(论文阅读笔记1)Collaborative Metric Learning(一)（WWW2017）

一、摘要

    度量学习算法产生的距离度量捕获数据之间的重要关系。这里，我们将度量学习和协同过滤联系起来，提出了协同度量学习（CML），它可以学习出一个共同的度量空间来编码用户偏好和user-user 和 item-item的相似度。

二、背景

2.1 Metric Learning

     令 χ={x1,x2,…,xn} 是空间 Rm 上的一个数据集。
相似对记为：

S={(xi,xj)|xi和xj被认为是相似的}

非相似对记为：

D={(xi,xj)|xi和xj被认为是不相似的}

最普通的度量学习方法采用的是马氏距离度量：

dA(xi,xj)=(xi−xj)TA(xi−xj)−−−−−−−−−−−−−−−−√

其中 A 是空间 Rm×m 上的半正定矩阵。这个式子将输入 x 映射到空间 Rm 上，且满足一些期望的限制。有很多方法来创建这样一个距离，最常用的方法是全局法，来解决如下凸优化问题：

minA∑(xi,xj)∈SdA(xi,xj)2st.∑(xi,xj)∈DdA(xi,xj)2≥1andA≥0

还有其他一些方法，比如非线性转换函数，比如核函数和神经网络，可以提高度量的准确性。

2.2 Metric Learning for kNN

     上边的全局优化本质上式试图学习一种距离：它将相似的放在一起，将不相似的尽量分开。另一方面，如果学习到的度量被用作knn分类，只要保证目标与k个近邻共享一个类标就足够了。
     具体来说，给定一个输入 x ,我们把离 x 近的数据点作为它的target neighbors。并且假设 x 的target neighbors构建了不同类标之间的边界。不同类标的输入侵入边界被作为importors。这里，学习的目标就是最小化importors的个数。
     一种为人知模型是LMNN，它使用2个损失函数来表达上述目标函数。
1. LMNN定义了pull loss：

Lpull(d)=∑j→id(xi,xj)2

其中， j 是 i 的target neighbor。
2. push loss：

Lpush(d)=∑i,j→i∑k(1−yik)[1+d(xi,xj)2−d(xi,xk)2]+

其中，如果 i 和 k 拥有同一个类标，则 yik=1 ,否则， yik=0 [z]+=max(z,0) .完整的损失函数是结合上述两个损失函数， 可以通过半正定编程来进行优化。

2.3 Collaborative Filtering

     这里重点关注隐性反馈的CF，传统的CF算法是基于用户相似计算出的。MF是一种流行的CF算法，普通的MF模型设计为用户的显性反馈，它是通过将users 和items映射到潜在因子空间上，那么user-item的关系可以通过潜在因子的乘积获得。
rij 记为用户 i 对item j 的打分，用户向量 ui→∈Rr 和item向量 vj→∈Rr ,它们的乘积为 ui→Tvj→ ,这个式子让最优化问题变为最小化集合上的均方误差：

minu∗,v∗∑rij∈K(rij−ui→Tvj→)2+λu||ui→||2+λv||vi→||2

其中， K 是分数集合， λu,λv 是 L2 正则化的超参数。

隐性反馈(Implicit feedback)和贝叶斯个性(Bayesian personalized ranking)化排序略过，感兴趣的可以自己查询资料。