个性化推荐典型任务与传统算法

典型任务和算法(模型)

1.相似匹配(基于内容)

1.1 标签匹配

1.2 LDA主题模型

2.评分预测

2.1.large scale 问题。为什么不直接进行回归预测呢?

2.2.user or item based 协同过滤

以user-based协同过滤为例:找出与当前User i最相似的N个User,并根据N个User对Item的打分估计 i 对该Item的打分。相似度采用jaccard similarity 或 Cosine Similarity:

sim(x,y)=rxryrxry s i m ( x , y ) = r x ∩ r y r x ∪ r y

sim(x,y)=1cosine(x,y)=1ABA B s i m ( x , y ) = 1 − c o s i n e ( x , y ) = 1 − A ⋅ B ∣ ∣ A ∣∣   ∣∣ B ∣ ∣

2.3.矩阵分解(model-based 协同过滤):

矩阵分解相当于:表示学习(用户、物品)+相似匹配

2.3.1.SVD(PCA):

奇异值分解,通过降维的方法来补全用户-物品评分矩阵,对矩阵中没有出现的值进行估计。缺点是分解前需补全R矩阵的缺失值(比如用全局平均值或用户、物品平均值进行补全),耗费存储大;计算复杂度高。

R=Um×mSm×nVTn×n R ′ = U m × m S m × n V n × n T

个性化推荐典型任务与传统算法_第1张图片

2.3.2.ALS:

交替最小二乘梯度下降

个性化推荐典型任务与传统算法_第2张图片

R=Xm×kYTn×k R ′ = X m × k Y n × k T

Lexp=u,iS(ruixuyi)2+λxuxu2+λyuyi2 L e x p = ∑ u , i ∈ S ( r u i − x u ⊺ ⋅ y i ) 2 + λ x ∑ u ‖ x u ‖ 2 + λ y ∑ u ‖ y i ‖ 2

求解方式固定X求Y,固定Y求X

xu=(YTY+λI)1YTr(u) x u = ( Y T Y + λ I ) − 1 Y T r ( u )

yi=(XTX+λI)1XTr(i) y i = ( X T X + λ I ) − 1 X T r ( i )

支持隐反馈数据(0,1)(加权的正则化矩阵分解)[1]

LWRMF=u,icui(puixuyi)2+λxuxu2+λyuyi2 L W R M F = ∑ u , i c u i ( p u i − x u ⊺ ⋅ y i ) 2 + λ x ∑ u ‖ x u ‖ 2 + λ y ∑ u ‖ y i ‖ 2

cui=1+αdui c u i = 1 + α d u i

xu=(YTCuY+λI)1YTCur(u) x u = ( Y T C u Y + λ I ) − 1 Y T C u r ( u )

yi=(XTCiX+λI)1XTCir(i) y i = ( X T C i X + λ I ) − 1 X T C i r ( i )

2.3.3.PMF

Probabilistic Matrix Factorization概率矩阵分解[2]

传统的协同过滤方法既不能处理大数据量的推荐,也不能处理只有很少评分的用户。这篇论文提出了著名的概率矩阵分解的方法来解决这个问题。概率矩阵分解的思想是以中线性因子模型,它使用与用户相关的系数,将用户的偏好建模成一个一系列向量的线性组合。

博文

2.3.4.BPMF

Bayesian Probabilistic Matrix Factorization贝叶斯概率矩阵分解[3]

本论文的模型和前文类似,但在求解时,是从贝叶斯角度而不是传统概率角度出发:不再把系统参数当做一个固定值估计,而是作为一个服从某种分布的随机变量,转而估计该分布的参数。

2.4.基于特征+矩阵分解:

   物品特征、用户特征、用户行为特征

2.4.1.SVD++(加入用户偏执的SVD)

R=Bi+Bu+Xm×kYTn×k R ′ = B i + B u + X m × k Y n × k T

2.4.2.SVDFeature[4]

SVDFeature是由Apex Data & Knowledge Management Lab在KDD CUP11竞赛中开发出来的工具包。它的目的是有效地解决基于特征的矩阵分解

三种激活函数(预测值的转换)与损失函数,可应用于回归与二分类。 TODO

R=μ+(jb(g)jγj+jb(u)jαj+jb(i)jβj)+(jpj)T(jqjβj),αβγ R ′ = μ + ( ∑ j b j ( g ) γ j + ∑ j b j ( u ) α j + ∑ j b j ( i ) β j ) + ( ∑ j p j ) T ( ∑ j q j β j ) , α 表 示 用 户 特 征 , β 表 示 商 品 特 征 , γ 表 示 全 局 特 征

2.4.3.FM

Factorization Machine 因子分解机[5],解决稀疏数据下的特征组合问题,多种激活函数与损失函数可以应用于比如回归、分类、排序。 TODO

R=w0+i=1nwixi+i=1nj=i+1n<Vi,Vj>xixj R ′ = w 0 + ∑ i = 1 n w i x i + ∑ i = 1 n ∑ j = i + 1 n < V i , V j > x i x j

2.4.4.FFM[6]

在FM模型中,每一个特征会对应一个隐变量,但在FFM模型中,认为应该将特征分为多个field,每个特征对应每个field分别有一个隐变量。也就是说,“Day=26/11/15”这个特征与“Country”特征和“Ad_type”特征进行关联的时候使用不同的隐向量,这与“Country”和“Ad_type”的内在差异相符,也是FFM中“field-aware”的由来。

R=w0+i=1nwixi+i=1nj=i+1n<Vi,fj,Vj,fi>xixj R ′ = w 0 + ∑ i = 1 n w i x i + ∑ i = 1 n ∑ j = i + 1 n < V i , f j , V j , f i > x i x j

2.4.5 DPMF[7]

依赖辅助特征的矩阵分解Dependent Probabilistic Matrix Factorization

与PMF类似,加入了一些经过高斯处理的特征信息

2.4.6.Collaborative Topic Modeling(LDA+协同)(内容+行为)[8]

基于协同的推荐只会推荐旧的物品,不能泛化到新物品。因此该模型结合内容与行为提高模型的泛化能力。

在[8]中,作者通过引入隐含变量将主题模型与矩阵分解(PMF)相结合,将item的隐变量替换成了item主题向量 θj θ j 与隐向量 ξj ξ j 的加和 vj=θj+ξj v j = θ j + ξ j ,其中隐向量决定了推荐对新旧物品的偏执

3.排序

3.1.评估:CTR(点击率)、CVR(转化率)、停留时长、Rank、…

3.2.模型:

LR、GBDT、GBDT+LR、xgboost、LGBM、FM / FFM ...

4.序列预测

上述皆是基于用户与物品的点对推荐模式,并没有充分考虑物品的时序关系

4.1.基于session的特征:

短期偏好、意图识别,

4.2.基于session的模型(可作召回或端到端推荐):

马尔科夫决策过程[9]、隐马尔科夫、条件随机场

[1] Hu Y, Koren Y, Volinsky C. Collaborative filtering for implicit feedback datasets[C] Mining, 2008. ICDM’08. Eighth IEEE International Conference on. Ieee, 2008: 263-272.

[2] R. Salakhutdinov and A. Mnih. Probabilistic matrix factorization. Advances in Neural Information Processing Systems, 20:1257–1264, 2008.

[3] Salakhutdinov R, Mnih A. Bayesian probabilistic matrix factorization using Markov chain Monte Carlo[C]/Proceedings of the 25th international conference on Machine learning. ACM, 2008: 880-887.

[4] Chen T, Zhang W, Lu Q, et al. SVDFeature: a toolkit for feature-based collaborative filtering[J]. Journal of Machine Learning Research, 2012, 13(Dec): 3619-3622.

[5] Rendle S. Factorization machines with libfm[J]. ACM Transactions on Intelligent Systems and Technology (TIST), 2012, 3(3): 57.

[6] Juan Y, Zhuang Y, Chin W S, et al. Field-aware factorization machines for CTR prediction[C]/Proceedings of the 10th ACM Conference on Recommender Systems. ACM, 2016: 43-50.

[7] Adams, Ryan Prescott, George E. Dahl, and Iain Murray. “Incorporating
side information in probabilistic matrix factorization with gaussian
processes.” arXiv preprint arXiv:1003.4944 (2010).

[8] Wang C, Blei D M. Collaborative topic modeling for recommending scientific articles[C]/Proceedings of the 17th ACM SIGKDD international conference on Knowledge discovery and data mining. ACM, 2011: 448-456.

[9] Markov decision Processes (MDPs)(Shani et al., 2002)

你可能感兴趣的:(推荐系统,推荐系统,协同过滤,矩阵分解)