基于图神经网络的知识追踪的五篇论文

本质上是预测回答的对错，是二元分类的预测问题

Context-Aware Attentive Knowledge Tracing 2020

《情境感知的注意力知识追踪》，注意力知识追踪，情感感知。通过建立问题和回答的上下文感知（情感感知）表示，使用单调的注意机制来总结过去的学习者在正确的时间尺度上的表现。

注意力机制：根据权重的不同，将有限的资源用来处理更重要的数据。

1.本文通过指数衰减（exponential decay）还有情感感知的相对距离的度量（context-aware relative distance measure）来计算注意力的权重。所得到的结果也可以达到比目前的KT方法优秀（最高AUC提高6%）。

2.近30年所有的KD问题都基于两个共同的假设：①一个学习者过去的表现可以用一组变量来概括，这组变量表示他们对一组概念/技能/知识点上的潜在的知识水平；②一个学习者的未来表现可以用他们当前的潜在概念知识水平来预测。（废话）

3.self-attentive knowledge tracing (SAKT)是第一次提出注意力机制在KT，但性能不如DKT和DKVMN(dynamic key-value memory networks )，注意机制比递归和基于记忆的神经网络更灵活，并在自然语言处理任务中表现出优异的性能。

4.数据集：Statics2011、Assist2009、2015、2017（和我那个程序的数据集一样，我多了kddcup2010和synthetic）
在过去的十年中，Assist数据集一直是KT方法的标准基准。Statics2011数据集是从一门关于静力学的大学工程课程中收集的。
对这些数据集做了一些标准的预处理

5.本文AKT三个关键创新：问题和回答的上下文感知表示（context-aware representations of questions and responses）、单调注意机制（the monotonic attention mechanism）和基于Rasch模型的嵌入（the Rasch modelbased embeddings）、

6.总结：通过建立问题和回答的上下文感知表示，使用单调的注意机制来总结过去的学习者在正确的时间尺度上的表现，并通过使用Rasch模型来捕捉覆盖相同概念的问题之间的个体差异。

GIKT: A Graph-based Interaction Model for Knowledge Tracing 2020

《基于图形的知识追踪交互模型》，以前的文献没有将问题信息与高阶问题技能（high-order question-skill）相关联系起来，这主要是问题稀疏性(问题多而学生少)和多技能问题的限制。
现有的KT方法[如DKVMN]通常基于目标问题对应的技能（skill知识点）而不是问题本身来构建预测模型。且简单地增加问题特征会丢失潜在的问题间和技能间信息。基于这些考虑，利用问题和技能之间的高阶信息非常重要。

本文首先研究了如何有效地提取问题技能关系图中包含的高阶关系信息。受图形神经网络(GNNs)通过聚集来自邻居的信息来提取图形表示的强大能力的激励，我们利用图形卷积网络(GCN)从高阶关系中学习问题和技能（知识点）的特征(embeddings)。一旦问题和技能的特征被聚合，我们就可以直接将问题嵌入和相应的答案嵌入一起作为KT模型的输入。
这就是崔老师所说的，用图结构把问题的知识点给关联起来？？

深度知识追踪(DKT) 是第一个深度KT方法，它使用递归神经网络(RNN)来追踪学生的知识状态。动态键值存储网络(DKVMN) 可以发现每个技能的基本概念，并跟踪每个概念的状态。基于这两个模型，通过考虑更多的信息，提出了几种方法，如学生的遗忘行为，多技能信息和专家标注的先决技能关系图或学生个性化。

本文主要贡献:1)通过利用图卷积网络聚合问题嵌入和技能嵌入，GIKT能够利用高阶问题-技能关系，这缓解了数据稀疏问题和多技能问题。2)通过引入重述模块和交互模块，我们的模型能够以一致的方式更好地模拟学生对新问题及其相关技能的掌握程度。3)经验上，我们在三个基准数据集上进行了广泛的实验，结果表明我们的GIKT大大优于基线。

A Self-Attentive model for Knowledge Tracing 2019

《知识追踪中的自注意力机制》，在KT中，深度知识追踪(DKT)和动态键值存储网络(DKVMN)优于所有传统方法，然而，这些方法在处理稀疏数据是不太行。所以这里使用自注意力机制（SAKT）

DKT和**DKT+**他们用一个隐藏向量（hidden vector）来对学生的知识状态进行建模。
DKVMN为KT开发了存储增强神经网络。使用两个矩阵，键和值，它分别学习题目和基础知识和学生知识状态之间的相关性。DKT模型面临着参数不可解释的问题。DKVMN比DKT更容易解释，因为它明确地维护了一个KC表示矩阵(键)和一个知识状态表示矩阵(值)。然而，由于所有这些深度学习模型都是基于RNNs的，它们在处理稀疏数据时面临着不泛化的问题

本文使用transformer]。在KT任务中，学生在一系列学习活动中积累的技能是相互关联的，在特定练习中的表现取决于他在过去与该练习相关的练习中的表现。（考虑做题的历史数据）
SAKT比其他KT的AUC高4个点左右，而且由于self-attentive适合并行，SAKT比其他的KT快一个数量级

skill tag 技能标签（知识点的数量）、
本文所谓的密度（density）=unique interactions/users*skill tag

Dynamic Key-Value Memory Networks for Knowledge Tracing 2017

其实应该先看这个，明显之前的几篇都有引用它

《动态键值对记忆网络的KT》,DKVMN可以利用底层概念之间的关系，并直接输出学生对每个概念的掌握程度。与促进单个记忆矩阵或两个静态记忆矩阵的标准记忆增强神经网络不同，我们的模型有一个称为key的静态矩阵，它存储知识概念，另一个称为value的动态矩阵，它存储和更新相应概念的掌握水平。
学生在解决问题时必须应用一个或多个概念来解决问题。（一题多知识点）
BKT是概念特定的。
DKT使用一个总结的隐藏向量来建模知识状态。
我们的模型同时维护每个概念的概念状态，所有的概念状态构成了学生的知识状态
我们的DKVMN模型可以自动学习输入练习和底层概念之间的相关性，并为每个概念维护一个概念状态。在每个时间戳，只有相关的概念状态将被更新。
本文贡献：
1.利用MANN的效用可以更好地模拟学生的学习过程。
2.提出了一种具有一个静态key矩阵和一个动态值矩阵的新型DKVMN模型。
3.我们的模型可以自动发现概念，这是人类专家通常执行的任务，并描述了学生不断发展的知识状态。
4.我们的端到端可训练模型在一个综合数据集和三个真实世界数据集上分别始终优于BKT和DKT