CIKM 2020：Deep Time-Aware Item Evolution Network for Click-Through Rate Prediction（时间感知的深度物品演化网络）

0. 摘要

为了提高用户满意度和业务效率，点击率预测是电子商务中最重要的任务之一。通常情况下，用户的兴趣可能不同于他们过去的习惯或者印象，如促销项目，可能在很短的时间内爆发。本质上，这种变化与项目进化问题有关，这是以前的研究没有研究过的。顺序推荐中最先进的方法使用简单的用户行为，不能充分模拟这些变化。这是因为，在用户行为中，过时的兴趣可能存在，并且一个项目随着时间的推移的流行程度没有得到很好的表示。为了解决这些限制，我们引入了时间感知的项目行为来处理新兴偏好的推荐。项目的时间感知项目行为是一组用时间戳与该项目交互的用户。用户对某个项目的丰富交互信息可能有助于对其演化进行建模。在这项工作中，我们提出了一个基于时间感知项目行为的点击率预测模型TIEN。在TIEN中，通过利用交互时间间隔，相似用户在短时间间隔内的信息有助于识别目标用户的新兴用户兴趣。通过使用连续的时间间隔，可以在进化项目动力学中捕捉项目随时间的流行度。偶然与物品互动的嘈杂用户被进一步消除，从而学习到健壮的个性化物品动力学。据我们所知，这是第一次研究电子商务点击率预测的项目演化问题。我们在五个真实的CTR预测数据集上进行了广泛的实验。结果表明，TIEN模型持续地实现了对最先进方法的显著改进。

1. 动机

1. 为了提高用户满意度和业务效率，点击率预测一直是电子商务中最重要的任务之一。随着深度神经模型的快速发展，大多数高级CTR预测模型仅利用用户行为获得了巨大的成功。对于给定的用户，用户行为由用户与之交互的项目组成。
2. 用户的偏好可能会迅速改变或出现，比如在购物节期间，比如亚马逊的黑色星期五，淘宝的双11，可能会出现不同于日常的用户偏好，促销中的物品可以在很短的时间内流行起来。在这种情况下，使用典型的用户行为通常无法预测用户的新兴兴趣。其原因不仅在于用户行为中可能存在过时的兴趣，而且用户新兴偏好的预测在很大程度上依赖于项目的演化。
3. 先前的工作要么通过简单的聚合来整合项目行为，要么将项目行为作为一个行为序列来捕捉时间演化中的项目动态。但是，这些方法要么平等地对待项目行为中的用户，要么只保留项目行为序列中用户的顺序，而忽略两种可能的时间敏感特性。
4. 首先，项目行为中的互动时间对于预测项目的潜在受众至关重要。用户可能已经与一个远离当前的项目进行了交互，现在他们可能已经改变了他们的兴趣；其次，项目行为中的互动时间对于反映项目对用户的吸引力随时间变化至关重要。即使拥有相同物品行为的物品也可以有不同的流行趋势和生命周期。比如A项和B项的交互用户相同，但是交互时间分别是一天前和一年前。这意味着此时A项比B项更受欢迎。将项目行为建模为序列只是忽略了交互时间戳，这导致两个项目具有相同的时间动态。

2. 贡献

在本文中，我们提出了时间感知的项目行为来解决这一局限性。与传统的项目行为不同，项目的时间感知项目行为是一组用时间戳与该项目交互的用户。时间感知项目行为有助于推荐新出现的偏好，因为它们可能暗示项目的潜在偏好随时间的演变和影响。

我们提出了深度时间感知项目演化网络来解决项目演化问题。
首先，我们提出了一个时间间隔注意力层，根据历史交互和推荐时间的间隔来计算每个用户在项目行为中的重要性权重。这允许模型在项目行为中关注有价值的用户（动机4的第一个时间特性）；
此外，提出了一个鲁棒的个性化关注层，以消除项目行为中的噪声用户，从而实现鲁棒的个性化项目动态；
最后，提出了一个时间感知进化层来对项目行为中的时间间隔序列进行建模，以捕捉项目的流行度，使得具有相同项目行为的两个项目可以具有不同的流行度（动机4的第二个特性）。

利用项目行为，即建模随时间变化的个性化项目动态和流行度，可以实现对新兴偏好的更准确推荐。

3. 模型

3.1 问题定式

在这项工作中，最终CTR预测可以定式如下：

3.2 提出模型

在这一节中，我们展示了如图1所示的TIEN模型。TIEN同时利用了用户行为和项目行为。

3.2.1 嵌入层

用户和物品特征主要包括多个离散特征，对用户特征来说，包括用户ID、性别、年龄段等等，对物品特征来说，主要包括物品ID、店铺ID和品类ID等等。用户行为序列中每一个物品会转换为对应的特征表示，而物品行为序列中每一个用户也会转换为对应的特征表示，在Embedding层，用户和物品特征会转换为对应的embedding，分别用$e_u$和$e_i$表示：

同样，用户行为序列中的每一个物品特征也会转换为对应的embedding表示，用$S_u$表示，物品行为序列中每一个用户特征也会转换为对应的embedding表示，用$S_i$表示：

3.2.2 时间间隔注意力层

时间间隔注意力层，利用历史交互和推荐时间之间的时间间隔来计算每个用户在项目行为中的重要性权重。

首先说一下时间间隔是如何计算的。首先计算时间间隔：$ti{v}_k=|t-t_k|$；我们认为时间间隔符合指数分布，因此将时间间隔映射在范围内：$[0,1),[1,2),[2,4)...$；然后，我们执行嵌入查找，以获得不同时间间隔的嵌入：

在时间间隔注意层，我们首先用GRU对项目行为嵌入的依赖关系进行建模，得到行为隐藏状态$h_{uk}$。为了计算每个用户在项目行为中的重要性权重从而强化特定用户的信息，我们通过实现时间间隔关注用户状态来构建关注机制的关注query。它是由行为隐藏状态和项目间隔嵌入的元素总和产生的：$h_{utk}=h_{uk}+e_{tivk}$。

3.2.3 鲁棒的个性化注意力层

项目行为中的时间感知有助于关注最近一段时间内与特定项目互动的用户。然而，新出现的偏好推荐可能会受到嘈杂交互的影响。此外，为了实现个性化的项目动态，注意力机制被用来激活与特定目标用户相关的项目行为中最相似的用户。然而，如果仅考虑最相似的用户，嘈杂的交互可能导致不可靠的个性化项目动态。

基于上述原因，提出了鲁棒个性化关注层，用于消除时间感知项目行为中的噪声用户，从而提高个性化项目动态性的鲁棒性。在健壮的个性化关注层中，我们使用平均池来表示项目行为中的用户嵌入。最后我们使用目标用户和平均项目行为嵌入来构建注意力机制的注意力Query，如下：

我们的注意力机制计算如下：

Query：目标用户的平滑嵌入$e_{u_{smooth}}$
Key：用户状态的注意力时间间隔 $h_{utk}$
Value：用户的行为隐藏状态$h_{uk}$
通过同时考虑时间间隔嵌入和平滑目标用户嵌入来计算每个用户在项目行为中的权重，并将该权重应用于项目行为的隐藏状态，从而通过加权求和实现鲁棒的个性化项目动态。此外，为了使模型能够共同注意来自不同位置的不同表征子空间的信息，我们采用了多头注意。

3.2.4 时间感知演化层

在很多场景下，每一件物品都有不同的流行趋势和生命周期，这也是电子商务中一件物品最重要的特征。然而，先前将项目行为建模为序列的方法简单地忽略了项目行为的交互时间戳，这导致两个项目具有相同的时间动态。因此，为新兴偏好推荐捕获进化项目动态是有益的。
基于上述原因，提出了时间感知进化层来对项目行为中的时间间隔序列进行建模，以捕捉项目的流行度，使得具有相同项目行为的两个项目可以具有不同的流行度。我们利用GRU逐步向前学习相关的时间间隔嵌入，以获得整个时间间隔序列的最具代表性的信息。

3.2.5 下游应用网络层

在最后的全连接层，将当前用户的向量表示，候选物品的向量表示，用户行为序列的向量表示，物品行为序列的向量表示，拼接后输入到全连接层中，得到最终的预测结果。如果下游任务是CTR，则使用交叉熵来计算损失：

4. 实验结果

从下表中，我们可以看到，与所有基线相比，TIEN显著提高了性能，并实现了最先进的性能。

消融实验如下表所示，删除TIEN中的任何组件都会导致性能下降。

实用性如下表所示，在TIEN的帮助下，所有基于模型的性能都得到了提高，这证明了动态项目演化的有效性，并展示了TIEN的实用性。因此，我们的TIEN可以被视为一个通用的框架来增强现有的基于用户行为的CTR预测模型。

我们最后看一下截断长度对模型的影响。如下图所示，可以观察到，当截断长度增加时，TIEN效果会显著提升。这意味着TIEN能够处理长期的项目行为，从而实现显著的改善。相反，当长度增加时，基线模型的性能下降。这表明，如果没有时间间隔关注层和健壮的个性化层，基线模型不能处理长期的项目行为，因为不必要地引入了噪声和无用的信息。

5. 个人思考

该篇论文主要是为了完成一个项目演化的问题。例如一些场景，像双11等可能会出现不同于日常的用户偏好，促销中的物品可以在很短的时间内流行起来。在这种情况下，使用典型的用户行为通常无法预测用户的新兴兴趣。其原因不仅在于用户行为中可能存在过时的兴趣，而且用户新兴偏好的预测在很大程度上依赖于项目的演化。

核心思想是建模项目随时间变化的个性化动态和流行度，可以实现对新兴偏好的更准确推荐。

核心结构是三个层。

1. 我们提出了一个时间间隔注意力层，根据历史交互和推荐时间的间隔来计算每个用户在项目行为中的重要性。这模型在项目行为中关注有价值的用户（直白来说时间间隔越小，参考价值越高，降低过时兴趣）；
2. 提出了一个鲁棒的个性化关注层，以消除项目行为中的噪声用户，从而实现鲁棒的个性化项目动态；
3. 最后，提出了一个时间感知进化层来对项目行为中的时间间隔序列进行建模，以捕捉项目的流行度，使得具有相同项目行为的两个项目可以具有不同的流行度（几天前的频繁交互肯定比一年前的频繁交互更流行）。

最后简单说两个拍脑袋想法。

1. GRU建模改为transformer，时间戳按照position embedding的思路加入。Transformer的优势就不赘述了。
2. 其实可以把所有的用户和项目都当做是一些节点，那么每个节点下的项目/用户序列都可以看你做是天然的边，那么是不是可以用GCN的思路构造出所有用户/项目的全局图式表征。