《深度学习推荐系统》学习笔记(5)——Embedding（论文）
Embedding在推荐系统中的应用
文章目录
- Embedding在推荐系统中的应用
-
- Word2vec (2013, Google)
- Item2vec (2006, 微软)
- DeepWalk (2014)
- Node2vec (2016, 斯坦福大学)
- EGES (2018, 阿里巴巴)
- 局部敏感哈希 (2008)
- 其他参考文献
Word2vec (2013, Google)
- 原理：利用句子中词的相关性建模，利用单隐层神经网络获得词的Embedding 向量
- 特点：经典 Embedding方法
- 局限：仅能针对 词序列 样本进行训练
[4-1] MIKOLOV TOMAS,et al. Distributed representations of words and phrases and their compositionality[C].Advances in neural information processing systems.2013.
https://arxiv.org/pdf/1310.4546.pdf
[4-2] MIKOLOV TOMAS, et al. Efficient estimation of word representations in vector space[A/OL]: arXiv preprint arXiv:1301.3781 (2013).
https://arxiv.org/pdf/1301.3781.pdf
[4-3] RONG XIN,Word2vec parameter leaming explained[A/OL]: arXiv preprint arXiv:1411.2738(2014).
https://arxiv.org/pdf/1411.2738.pdf
[4-4] GOLDBERG YOAV,OMER LEVY.Word2vec Explained: deriving Mikolov et al’s negative-sampling word-embedding method[A/OL]: arXiv preprint arXiv:1402.3722(2014).
https://arxiv.org/pdf/1402.3722.pdf
Item2vec (2006, 微软)
- 原理：把 Word2vec 的思想 扩展 到任何序列数据上
- 特点：将Word2vec应用于推荐领域
- 局限：仅能针对 序列 样本进行训练
[4-6] [Item2vec] BARKAN OREN,NOAM KOENIGSTEIN. Item2vec: neural item embedding for collaborative filtering[C]. 2016 IEEE 26th International Workshop on Machine Learning for Signal Processing (MLSP),2016.
https://arxiv.org/vc/arxiv/papers/1603/1603.04259v1.pdf
DeepWalk (2014)
- 原理：在图结构上进行随机游走，生成序列样本后，利用Word2vec的思想建模
- 特点：易用的 Graph Embedding方法（图 ->序列，折中 ）
- 局限：随机游走进行抽样的针对性不强
[4-7] [Deepwalk] PEROZZI BRYAN,RAMI Al-RFOU,STEVEN SKIENA. Deepwalk: Online learning of social representations[C]. Proceedings of the 20th ACM SIGKDD international conference on Knowledge discovery and data mining, 2014.
https://arxiv.org/pdf/1403.6652.pdf
Node2vec (2016, 斯坦福大学)
- 原理：在DeepWalk的基础上，通过调整随机游走权重的方法使 Graph Embedding的结果在网络的 同质性 和 结构性 之间进行权衡
- 特点：可以有针对性地挖掘不同的网络特征
- 局限：需要较多的 人工调参 工作
[4-8] [Node2vec] GROVER,ADITYA,JURE LESKOVEC. node2vec: Scalable feature learning for networks[C]. Proceedings of the 22nd ACM SIGKDD international conference on Knowledge discovery and data mining, 2016.
https://arxiv.org/pdf/1607.00653.pdf
EGES (2018, 阿里巴巴)
- 原理：将不同信息对应的 Embedding 加权融合 后生成最终的 Embedding向量
- 特点：融合多种补充信息，解决Embedding的 冷启动 问题
- 局限：没有较大的学术创新，更多是 从工程角度解决多Embedding融合问题
[4-9] [EGES] WANG JIZHE, et al. Billion-scale commodity embedding for e-commerce Recommender in alibaba[C]. Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, 2018.
https://arxiv.org/pdf/1803.02349.pdf
局部敏感哈希 (2008)
- 原理：利用局部敏感哈希的原理进行 快速的Embedding向量最近邻搜索
- 特点：解决利用 Embedding 作为推荐系统召回层的快速计算问题
- 局限：存在小概率的最近邻遗漏的可能，需要进行较多的 人工调参。（准确率vs召回率）
[4-12] SLANEY MALCOLM,MICHAEL CASEY.Locality-sensitive hashing for finding nearest neighbors [lecture notes].IEEE Signal processing magazine 25.2, 2008: 128-131.
http://citeseerx.ist.psu.edu/viewdoc/download;jsessionid=807931B596DE2E484EA2DA3C654579D5?doi=10.1.1.160.174&rep=rep1&type=pdf
其他参考文献
[4-5] BENGIO YOSHUA, et al. A neural probabilistic language model[J].Journal of machine learning research 3, 2003: 1137-1155.
http://citeseerx.ist.psu.edu/viewdoc/download;jsessionid=01E90F09439CF6868487792E9F7C054E?doi=10.1.1.62.1441&rep=rep1&type=pdf
[4-10] [LINE] TANG JIAN, et al. Line: Large-scale information network embedding[C]. Proceedings of the 24th international conference on world wide web. International World Wide Web Conferences Steering Committee, 2015.
https://arxiv.org/pdf/1503.03578.pdf
[4-11] [SDNE] WANG DAIXIN,CUI PENG,ZHU WENWU. Structural deep network embedding[C]. Proceedings of the 22nd ACM SIGKDD international conference on Knowledge discovery and data mining, 2016.
https://www.kdd.org/kdd2016/papers/files/rfp0191-wangAemb.pdf