Latent Cross: Making Use of Context in Recurrent Recommender Systems 论文阅读

由于我最近把GRU用到推荐系统中后感觉效果并不好,所以带着问题读的文章,写的也比较简单,各位见谅啦~
其实这篇文章我个人觉得写的真的有点confusing,在符号的应用上和主流不太一样,导致看的时候感觉不是很舒服

目录

      • 摘要
      • DNN缺陷(一阶算子)
      • Youtube RNN 推荐算法
        • RNN baseline
        • Context Feature
      • Latent Cross
      • 实验结果

摘要

主要关注context的用法,采用了RNN-based 方法,然后引入latent cross把context特征融合进来。
Latent Cross: Making Use of Context in Recurrent Recommender Systems 论文阅读_第1张图片
各种算法的比较:
Latent Cross: Making Use of Context in Recurrent Recommender Systems 论文阅读_第2张图片

DNN缺陷(一阶算子)

虽然它可以拟合任意函数,但是和CF类算法还是有区别。通过特征之间的点乘,CF类算法可以学到low-rank关联,因此这一部分就做了一个实验来验证这种first-order神经元是否能完美学习这类low-rank关联。
结果如下图,r代表矩阵data的秩,m代表m个特征。结果是网络层数越多,拟合的越好,但是效率肯定不高。
Latent Cross: Making Use of Context in Recurrent Recommender Systems 论文阅读_第3张图片
Latent Cross: Making Use of Context in Recurrent Recommender Systems 论文阅读_第4张图片

Youtube RNN 推荐算法

对于user i在时刻t之前的观看历史,其中j为video, t为时间,Xi是用户i看的所有视频
在这里插入图片描述
e ( τ ) e^{(\tau)} e(τ)表示第 τ \tau τ个event(就是视频), y ( τ ) y^{(\tau)} y(τ)表示此时的label,ψ(j)是上传者,网络就是要预测 j+1
在这里插入图片描述
网络的输入如下,第一项是video的embedding, 第二项是上传者的embedding,第三项是context的embedding,也就是 c ( τ ) c^{(\tau)} c(τ)
在这里插入图片描述

RNN baseline

对每个 e ( τ ) e^{(\tau)} e(τ),RNN的输入是 x ( τ ) x^{(\tau)} x(τ)和前一个cell的隐状态 z ( τ − 1 ) z^{(\tau-1)} z(τ1)。输入之前会把 x ( τ ) x^{(\tau)} x(τ)过FC,得到
在这里插入图片描述
RNN的输入就是 h 0 ( τ ) h_0^{(\tau)} h0(τ) z ( τ − 1 ) z^{(\tau -1)} z(τ1),自然可以得到一个输出和此时的隐状态 h 1 ( τ ) h_1^{(\tau)} h1(τ) z ( τ ) z^{(\tau)} z(τ)。预测时,会把RNN的输出过MLP
在这里插入图片描述

Context Feature

A、TimeDelta:两次点击之间的时间差
在这里插入图片描述
B、Software Client客户端:不同的客户端想看的东西不同(电脑想看长的视频,手机端想看短视频)

C、Page频道:Home page的人对推荐的东西更包容,Watch Next Watches的人会更想深层次的看某一个topic的内容

D、融合方式

(1)pre fusion:加在RNN之前,作为RNN的输入

(2)post fusion:和RNN输出拼在一起进行预测

本文采用的是把 c ( τ − 1 ) c^{(\tau -1)} c(τ1)用作pre fusion,把 c ( τ ) c^{(\tau)} c(τ)用作post fusion

Latent Cross


直接把context features和 h ( τ ) h^{(\tau)} h(τ)一 一点乘

实验结果

证明了Latent Cross的有效性,但是RNN是负向的

Latent Cross: Making Use of Context in Recurrent Recommender Systems 论文阅读_第5张图片
实验也证明了DNN不是越深、越多就越好,因为层数加多之后训练起来难度变大,收敛也不一定就比浅层好
Latent Cross: Making Use of Context in Recurrent Recommender Systems 论文阅读_第6张图片

你可能感兴趣的:(原创,推荐算法,论文阅读)