文献笔记|知识追踪|GKT|Graph-based Knowledge Tracing: Modeling Student Proficiency Using Graph Neural Network

Graph-based Knowledge Tracing: Modeling Student Proficiency Using Graph Neural Network

题目：《基于图的知识追踪：利用图神经网络建模学生熟练度》

作者：Hiromi Nakagawa, Yusuke Iwasawa, Yutaka Matsuo

来源：WI‘19

代码：https://github.com/jhljx/GKT

关键词：Knowledge tracing, Graph neural network, Educational data mining, Learning sciences

研究对象

计算机辅助学习系统的进步使得对知识追踪的研究的增多，所谓知识追踪即学生在课程作业中的表现可以随着时间的推移被预测。准确的预测可以帮助学生识别适合自己知识水平的内容，从而促进更有效的学习。

从数据结构的角度来看，课程作业可以潜在地构造成一个图。掌握课程作业的要求被划分为知识点，称为节点，这些概念共享依赖关系，称为边。举例来说，课程知识分为三个知识点 $v=\{v_1,v_2,v_3\}$ ，对 $v_1$ 的理解取决于对 $v_2$ 的理解。同时，$v_2$ 依赖于 $v_3$ 。(例如，$v_1$ , $v_2$, $v_3$ 分别表示解二次方程、解线性方程、项的移位)。在这里，知识点及其依赖关系可以分别被视为图的节点和边，其中边从 $v_3$ 指向 $v_2$，从 $v_2$ 指向 $v_1$。

面临的问题

从数据结构的角度来看，课程作业可以潜在地结构化为图。而将图结构的性质这种先验知识合并到知识追踪模型中可以提高模型的性能。然而，以往的基于深度学习的方法，如DKT，并没有考虑这种性质。以往基于深度学习的方法的体系架构，如RNN，虽然在序列数据上通常表现良好，但不能有效地处理图结构数据。

难点

在使用GNN进行知识追踪时应当如何定义潜在图结构？

GNN对图形结构数据建模具有相当强的表达能力，然而，在一些知识追踪设置的情况下，图结构本身即关联的知识点和这种关联的强度，并没有明确提供。

尽管研究人员可以启发式地和手动地注释知识点关联，但这个工作需要深厚的领域知识和大量的时间，因此很难预先定义一个在线学习平台中所有知识点的图结构。作者称这个问题为隐式图结构问题。

• 一个解决方案是使用简单的统计数据来定义图结构，这些统计数据可以自动从数据中导出，比如知识点回答的转移概率。
• 另一种解决方案是在学习图结构本身的同时并行优化主要任务。

作者的方法

Battaglia等人[2]从关系型归纳偏差的角度解释了GNN的表达能力，关系型归纳偏差通过结合人类对数据性质的先验知识提高了机器学习模型的样本效率。为了将这些好处整合到知识追踪中，本文提出了一种基于GNN的知识跟踪方法，即基于图的知识跟踪(GKT)。这种模型将知识跟踪重新表述为GNN中的一个时间序列节点级分类问题，能够在考虑潜在知识结构的同时预测作业熟练程度的过程。这种表述基于三个假设：

1. 课程知识能够被分解成一定数量的知识点。
2. 学生有自己的时序的知识状态，这代表了学生对课程知识点的掌握程度。
3. 课程知识被构造成一个图，它能够影响学生知识状态的更新：如果学生回答了一个概念，无论正确与否，他/她的知识状态不仅会受到所回答的知识点的影响，还会受到其他相关知识点的影响，这些相关知识点在图中以邻居节点的形式表示。

Framework

GKT

问题定义

聚合

注意：${\mathbf{h}}_{\mathbf{k}}^{{}^{\prime }\mathbf{t}}$ 是一个分段函数，并非一个分块矩阵！！！

更新

• This erase-followed-by-add mechanism allows forgetting and strengthening concept states in the learning process of a student.
• 门控循环单元是一种循环神经网络。GRU网络引入门控机制来控制信息更新的方式。GRU网络引入一个更新门来控制当前状态需要从历史状态中保留多少信息（不经过非线性变换），以及需要从候选状态中接受多少新信息。

预测

• NLL: https://zhuanlan.zhihu.com/p/383044774
• 最后一段解释了在预测阶段没有额外利用隐式图结构的原因。

隐含图结构的实现及 $f_{neighbor}$

基于统计的方法

当实验的次数足够多时，可以用某事件发生的频率来近似替代该事件发生的概率。

基于学习的方法