京东基于商品图片的个性化推荐:Telepath

目录

一、推荐算法框架

二、京东Telepath模型

---

一、推荐算法框架

推荐系统框架如上图所示，主要包含两个重要模块：检索模块（Retrieval）和排序模块（Ranking）。检索模块获取推荐结果候选集，排序模块对待推荐的商品排序，最终按照得分高低推荐给用户。

二、京东Telepath模型

在电商网站，有两个因素影响用户行为：商品吸引力和商品与用户兴趣的匹配度。京东提出telepath推荐模型：从用户视觉的角度，理解用户的兴趣偏好。Telepath模型融合了CNN、RNN、DNN三种神经网络，CNN模拟用户视觉，获取商品图片吸引力的关键视觉信号，DNN和RNN基于用户浏览记录获取其兴趣信息。Telepath模型成功应用在京东的推荐系统和广告系统，并且明显提高冷门商品的曝光率。

Telepath算法框架如下所示，主要包含：图片视觉吸引力特征的提取（Vision Extraction）、用户兴趣的捕捉（Interest Understanding）、得分预测（scoring）。

1、图片视觉吸引力特征的提取(Vision Extraction)

选择六个分类：表（watch）、手机（cellphone）、羽绒服（down jacket）、沙滩鞋（beach shoes）、奶粉（milk powder）和饼干（cookies）。每个分类随机选择10000个商品，构建CNN网络，获取图片的特征向量。

CNN网络结构如下，最终图片的特征向量用50维的稠密向量表示。

2、用户兴趣捕捉模型(Interest Understanding)

构建RNN、DNN模型，从用户次序浏览商品的行为中，获取用户的兴趣偏好。

RNN（N=3 LSTM layers）捕捉用户的短期兴趣，DNN(3-layer)捕捉用户的长期兴趣，用户的短期和长期兴趣用50维的向量表示。

3、得分预测(scoring)

得分模型计算用户的偏好向量和商品图片的特征向量的匹配度，构建LR模型，结合用户兴趣偏好向量、商品图片的特征向量、以及用户和商品信息，预测用户对商品的偏好得分。

 

参考资料：

Telepath:Understanding Users from a Human Vision Perspective in Large-Scale Recommender Systems