2020-RKT

2020-RKT：Relation-Aware Self-Attention for Knowledge Tracing
有代码：https://github.com/shalini1194/RKT

摘要

学生在解决练习的过程中获得技能，每一次这样的互动都对学生解决未来练习的能力有明显的影响。
这种影响表现为:1)互动中涉及的练习与学生遗忘行为之间的关系。传统的知识追溯研究没有明确地对这两个组成部分联合建模，以估计这些相互作用的影响。
在本篇文章中：提出RKT模型。
（1）引入 关系感知注意力层 ： 融合了上下文信息（通过文本整合的练习关系信息、学生成绩信息、通过指数衰减核函数建模的遗忘信息）。
（2）实验效果好（两个公开数据集，一个私有数据集）
（3）可解释性的注意力权重有助于将学生学习过程中交互和时间模式之间的关系可视化。

引言：

之前的模型都没有考虑到 temporal component – 时间成分。（由于学生学习过程的动态行为，时间成分非常影响过去交互）。知识追踪的一些论文提到过时间因素，但是主要是关注上一次与同一KC或上一次互动所经历的时间，没有建模互动中涉及的练习的关系。
本文使用一种表示来捕获关系信息，称为关系系数（通过练习关系建模和遗忘行为建模得到相关系数）

练习关系建模 — 练习的文本内容和学生成绩信息中提取练习之间的关系
遗忘行为建模 — 具有时间衰减曲线的核函数模拟学生的遗忘倾向。

一并考虑了练习之间的关系和遗忘行为。

相关工作

1. 认知诊断
2. 知识追踪
   RKT是对SAKT 的扩展。
3. KT 中的关系建模
   练习关系建模
   遗忘行为建模
4. 注意力机制
   在我们的任务中，我们使用自我注意机制来学习与前一个互动相对应的注意权重，以预测一个学生是否会在下一个练习中提供正确答案。然后对学生的练习关系和遗忘行为进行增强，以提高模型的表现。

方法

3.1 练习的文本表示

把练习的文本采用 SIF（Smooth Inverse Frequency） 的方式表征， 是 f(w) 函数：

3.2 练习间的关系矩阵
$A_{i,j}$ 的计算来源于两部分组成，前者是根据习题的做对做错情况形成一个混淆矩阵以类似皮尔逊系数计算的形式得出（皮尔逊系数文中没有解释其含义），后者是直接由练习文本之间的相似性计算得出。

3.3 个性化关系建模
- 练习关系建模（3.2 中的两个部分构成的）
- 遗忘行为建模 （拼接了3.2中的练习关系 和 时间影响，指数衰减核函数指的就是exp函数）
3.4 输入嵌入层
3.5 关系感知自我注意层
其中关于 ${\beta }_j$ 中 ${\alpha }_j$ 的计算，其中 Q 和 K 中有重复的部分，即 K 中是包含Q为一本分的（我表示不理解 — 意思是： 题目文本嵌入表征 和 其作答表征求相似度吗？）
3.6 预测层

3.7 模型训练
二元交叉熵

4、实验设置

在本节中，我们提出了我们的实验设置来回答以下问题:
RQ1: RKT能否超越最先进的知识追踪方法?
RQ2: RKT体系结构中各种组件的影响是什么?
RQ3在计算嵌入时，注意力权重是否能够学习有意义的模式?

代码：https://github.com/shalini1194/RKT
代码我没跑通，后续通了再分享代码。