多兴趣建模中兴趣向量多样性度量

多兴趣建模中兴趣向量多样性度量

多兴趣建模（例如Mind、SINE、ComiRec）过程中，通常会产生多个用户兴趣向量，同一个用户的多个兴趣向量在空间中应当相距足够远，以此来代表不同的兴趣点。

通常在实践中，会在模型主损失后面加一个多样性损失（diversity loss）来对兴趣向量进行约束。各个用户兴趣向量越不相似，则多样性损失越小。

$$Loss=(1-\alpha )\ast Los{s}_{main}+\alpha \ast Los{s}_{diversity}(1)$$

常用的衡量多样性损失如下，假设用户的两个兴趣向量表示为$v_i$和$v_j$，$v_i\in R^{n\times 1}$,$v_j\in R^{n\times 1}$，用户兴趣向量个数为$M$

cos相似度

$$Los{s}_{diversity}=\frac{1}{M^2}\sum _{i=1}^M\sum _{j=1}^M\frac{v_i^T{v}_j}{||v_i||||v_j||}(2)$$
兴趣向量越不相似，点积结果越小，多样性loss越小
$$Los{s}_{diversity}=-\frac{1}{M^2}\sum _{i=1}^M\sum _{j=1}^M\log (1-\frac{v_i^T{v}_j}{||v_i||||v_j||})(3)$$
使用$\log$函数进行激活，兴趣向量越相似，多样性loss越大，随相似度增加loss非线性增长

L2距离

$$Los{s}_{diversity}=-\frac{1}{M^2}\sum _{i=1}^M\sum _{j=1}^M(v_i-v_j{)}^T(v_i-v_j)(4)$$
兴趣向量越不相似，L2距离越大，多样性loss越小
$$Los{s}_{diversity}=-\frac{1}{M}\sum _{i=1}^M(v_i-mean(v){)}^2(5)$$
这里用兴趣向量之间的方差大小度量多样性，方差越小，多样性loss越大

KL距离

KL距离是度量两个分布的差异，设$p(x)$和$q(x)$是2个分布，kl距离计算如下
$$D(p||q)=\sum _{x}p(x)\log \frac{p(x)}{q(x)}(6)$$
在这里分布我们泛化成2个兴趣向量，同时因为kl计算没有对称性，所以我们采用如下方式
$$Los{s}_{diversity}=\frac{1}{2}(D(v_i||v_j)+D(v_j||v_i))(7)$$

附上tf代码实现