阅读记录-推荐系统

推荐系统遇上深度学习(十八)--探秘阿里之深度兴趣网络(DIN)浅析及实现

常见ctr预估算法
LR，FM，wide&deep，DeepFm，DeepCross。一般思路是:通过embedding 层，将高维离散特征转换成固定长度的连续特征，然后经过多个全连接层，最后通过一个sigmoid函数转成0-1值，表示点击概率
DIN动机
1.多样性
2.局部激活
特征
1.用户特征(one-hot)：性别，年龄等
2.用户行为特征(multi-hot)：历史商品序列，历史店铺序列，历史类目序列等
3.广告特征(one-hot，这里指的就是item)：item id，shop id，cate id等
4.上下文特征(one-hot)：pid，time
模型结构
Va是item的embedding 向量，Vi表示第i个用户行为特征的embedding向量。DIN的思想就是在Va和Vi之间加了一层权重，不同的i有不同的权重。之前使用的深度网络中都没有加这个权重
评价指标
GAUC
激活函数
从Relu到PRelu，再到Dice
加入了自适应正则

image.png

模型结构

计算公式

推荐系统遇上深度学习(二十五)--当知识图谱遇上个性化推荐

推荐系统的难点
1.稀疏性问题
2.冷启动问题
常见解决方案
在推荐算法中额外引入一些辅助信息(side information)
1.社交网络
2.用户、item属性
3.图像、视频、音频、文本等多媒体信息
4.上下文信息：时间，地点，当前会话信息等
知识图谱
1.精确性
2.多样性
3.可解释性

image.png

推荐系统遇上深度学习(三十六)--Learning and Transferring IDs Representation in E-commerce

电商中学习id类特征的embedding表示
一般用word2vec来学习，取用户的行为流序列作为训练集。本文的重点是，在word2vec的基础上考虑不同Id类特征之间的连接结构，通过这些连接，在ItemID序列中的信息可以传播到其它类型的ID特征，并且可以同时学习这些ID特征的表示
具体的实现方式是：把item的id和其他属性的id拼接起来，作为一个新的向量(类似于之前的一个item向量)；训练目标是：context-target损失，itemId和其对应的属性Id关系越近越好(item和属性之间需要设置权重)，变成2部分优化；用户的embedding是用用户最近交互过的T个物品对应向量的平均值，来代表用户的Embedding
本文算法的应用：可以建模物品之间的相似度，将已知物品的向量迁移到位置物品上，不同类型向量之间迁移，不同应用场景之间的迁移

image.png

推荐系统遇上深度学习(四十三)-考虑用户微观行为的电商推荐

通常我们的模型特征都是基于宏观信息的，比如用户购买，点击了item。微观行为包括浏览商品的时间、对商品详情和评论的阅读、进入的渠道等。
本文是把微观行为加入了模型训练中，主要的微观行为如下(这些数据的调研划分都是经过数据分析的)，同时分析了下各种微观行为的转化率：
1.渠道(点击源，五类)：主页、类别页、促销页、购物车、搜索结果列表
2.用户浏览的主要模块(三类)：商品评论、商品规格属性、一致浏览到底部
3.加车和下单行为(两类)：加车、下单
4.停留时长(五档)：0-9s，10-24s，25-60s，61-120s，>120s
模型实现
1.输入层：输入的是用户的行为序列，Su={x1,x2,...,xn}，序列中每一项是商品ID、行为ID、停留时长ID的三元组，如xt=(pv,am,dk)
2.embedding层：商品ID、行为ID、停留时长ID在Embedding层分别转换为对应的embedding，然后进行横向拼接
3.RNN层：我们可以选择LSTM或者GRU，实际中LSTM和GRU效果差不多，但GRU相对于LSTM更加简单，因此选择了GRU
4.attention层：attention对行为序列中的每一个时刻的RNN层的输出进行加权
5.输出层：模型的输出是attention层加权后的向量，采用的损失函数是交叉熵损失

推荐系统遇上深度学习(四十六)-阿里电商推荐中亿级商品的embedding策略

本文提出了一种基于side information的图嵌入学习方法，主要可以解决：大数据集上可扩展性，稀疏性(比如上文主要是依赖单个用户和商品的交互)，冷启动(新加入的商品如何推荐给用户)
本文重点是：图嵌入，side information(辅助信息)，不同的辅助信息贡献程度不一样。具体的实现方式有三种：Base Graph Embedding (BGE)，这种方法是取用户的行为序列(可以划分时间段)，取所有(或很多)用户的行为绘制有向带权图，然后采用随机游走的方法产生序列(游走概率取决于边的权重)，最后采用word2vec来计算，得到item的embedding vector；Graph Embedding with Side information (GES)，第一种方法是对上文的一个优化，采用所有(或很多)用户共有的序列，而不是一个用户的序列。但是没有解决冷启动的问题，第二种方法加入了side information，即加入了一些辅助信息，比如品牌，风格，店铺，颜色，城市，类目，性别，年龄，购买力，材质等。这样如果一个新的商品进来，没有和用户的交互信息，但是可以参考这些辅助信息的相似度进行推荐；Enhanced Graph Embedding with Side information (EGES)，第三种方法是第二种方法的优化，考虑了不同的辅助信息在最终的向量中的权重不一样，这两种方法最终得到的向量称为 item的embedding aggregated vector

BSE的流程图

GES和EGES的流程图