论文：
题目:《A Contextualized Temporal Attention Mechanism for Sequential Recommendation》
地址：https://dl.acm.org/doi/pdf/10.1145/3366423.3380285
序列推荐任务很少使用时间和上下文信息对h(h就是rnn，gru等序列建模网络输出的状态)进行加权，www这篇论文融合了上下文和时间信息的加权信号，一起看看吧，虽然笔者觉得这篇论文非常笨重。。
一 、背景
这篇论文的背景其实可以放在sequence recommendation任务中去看待，根据历史记录中用户的先后行为来预测用户的偏好对于现代推荐系统而言具有挑战性且至关重要。现有的大多数序列推荐算法都将重点放在顺序动作之间的传递结构上，但是在对历史事件对当前预测的影响进行建模时，很大程度上会忽略时间和上下文信息。
论文认为，过去事件对用户当前动作的影响应随时间推移以及在不同背景下发生变化。因此，我们提出了一个基于上下文和时间的注意机制，该机制可以学会权衡历史行为对行为的影响，不仅影响行为是什么，而且还影响行为发生的时间和方式。更具体地说，为了动态地校准自注意机制的相对输入依存关系，我们设计了多个参数化的核函数来学习各种时间动态，然后使用上下文信息来确定对每个输入遵循哪些weight kernel函数。
上面的说法可能有点晦涩难懂，下面结合一张图来描述一下
以上图中所示的在线购物场景为例：系统获得了一系列用户行为记录，并且需要推荐下一组商品。 我们应该注意，在此场景中，我们假设这些交互行为不是彼此独立的， 这更好地反映了推荐系统只能访问脱机数据和部分用户行为记录的情况。好了，接着看上图中的场景，用户在过去的一段时间内点击来网球拍，手机，运动鞋，智能手环，然后在昨天一直在浏览手机，那么这个时候我们需要预估用户的下一次点击，这个时候的用户正想买一个手表，那么这个时候系统是给用户推荐运动手表呢，还是推荐电子手表呢，因为用户过去的浏览有运动类的物品和智能设备的物品。
按照时间的分段性来看：长期的历史记录表明用户对购物体育相关产品感兴趣。 现在，用户正在寻找手表，该系统可以推荐一些运动手表。 从本质上讲，长期的用户历史记录通常可能会携带稀少但至关重要的用户偏好信息，影响着现在的意图，而最近的交互操作应该会更能代表用户在将来的意图。
按上下文细分：由于用户仔细浏览几个智能手机（比平均时间间隔短得多的时间间隔），因此可以认为这些物品跟当前用户的偏爱非常相关，因此智能手表可能比传统手表更受青睐。 通常，用户浏览日志的某些时间段可能看起来是异构的，这个时间段里面充满了用户的短期兴趣偏好，用户在这个时间点上会以重复的方式专注于一小部分同类物品。
很容易理解，时间因素可以理解为用户的长期兴趣偏好，即使在很遥远的历史，也会对现在的兴趣产生影响，上下文偏好可以理解为用户的短期兴趣偏好，也就是用户在近期浏览的物品表征了用户现在的短期意图。说白了就是对用户进行长短期兴趣建模。
二、三个问题
本来不想说这三个问题的，无奈部分论文说的太抽象了，或许是越抽象越容易中稿？
说实话这篇论文在解释时间跟上下文关系的时候说的太晦涩难懂了，笔者看的也是很头疼，比如下面这段话：
首先，我们看第一个问题，我的理解就是用self-attention进行序列建模，第二个就是确定时间因素和上下文因素的影响，第三个就是综合考虑时间和上下文的影响。
三、模型
还是直接看模型吧，扯一堆什么因果关系看得头大：
3.1 模型输入
用户空间U，大小为U；物品空间V，大小为V。
用户的历史行为序列为{},其中 ={(,), (,) , ... },其中用户u的交互时间，代表交互的物品。
模型的输入为包括窗口大小为L的用户历史记录:{ () i: 0 -> L},当前需要推荐的时间戳,输入序列的embedding X表示：
同时将输入序列的时间信息使用时间戳差来表示：
模型整体上分为三个部分：content-based attention，temporal kernels和contextualized mixture
三层模型可以表示为：
其中，根据content X来计算每个输入的权重，输出权重序列α ∈ ；将时间信息T通过K temporal kernels计算每个输入的temporal权重β ∈ ；从X中提取context信息，并结合前两个阶段获得的α 和β 来计算得到最终的contextualized temporal权重γ ∈ 。
最终被推荐的物品的表示为：
其中，F-out是一个feed-forward层。
3.2 阶段 (what is the action)
这里用到的是self-attention机制，具体的细节不在赘述，只需要知道结果输出就行：
其中 表示最后一个物品的输入embedding，其实就是用最后一个物品的embedding作为key，self-attention最后一层的状态作为query来计算的。
3.3 阶段 (what is the action)
基于观察：用户随意浏览的物品对短期的影响会急剧下降，但是在长期来说仍有着重要的作用。用户仔细浏览过的物品对用户短期的兴趣有着重要的作用。
所以，文章提出了很多temporal kernels来建模这种时间变化，不同的kernel函数:→ 如下所示：
(1) = ,假设一个用户操作的影响会随着时间指数下降，但是永远不会消失。
(2) ,假设一个用户操作的影响会随着时间而减弱，最终可以忽略不计。
(3) -alT + b,假设一个用户操作的影响会随着时间线性下降，之后的softmax操作会将某个时间段内的影响置为0。
(4) 假设一个用户操作的影响不受时间影响。
根据K个kernal函数{},我们可以将T转为K个temporal权重集合：
作为下一阶段的输入。
3.4 阶段 (what is the action)
这一阶段的目标是基于提取到的context信息融合前两个阶段获得的content和temporal信息。
使用Bidirectional RNN结构来获得context信息。从输入序列embedding表示X中，我们可以计算得到循环隐藏层的状态：
其中，⊕是拼接操作，C_attr是可选择的context特征（可以是特定推荐系统中每个行为的属性，表示行为发生时的上下文），本文中只使用了Bi-RNN的输出作为context特征。
行为i的context特征需要映射为一个长度为K的权重向量，每一个元素都是这个行为经过后的结果，使用feed forwaed层Fγ将它们映射到概率空间，然后经过softmax操作得到概率分布：
最后将context和temporal信息进行融合：
其中，,
3.5 模型的输出
其中，r是每一个item的分数，对于给定的用户，通过softmax层对item分数进行归一化，该层会在item表上产生概率分布，也就是进行多分类的意思。
四、损失函数和实验结果
4.1 损失函数
其中Ns是根据频率进行负采样的负样本。