【论文解读 ICEIT2022】Heterogeneous Graph Based Knowledge Tracing基于异构图的知识追踪

依然是两阶段

摘要

最近，随着在线辅导系统的发展，对知识追踪(Knowledge Tracing)的研究有所增加。知识追踪可以预测学生在一段时间内的作业表现。以往的研究，如贝叶斯知识追踪(Bayesian Knowledge Tracing)、深度知识追踪(Deep Knowledge Tracing, DKT)和深度知识追踪(qDKT)，主要集中在技能水平和问题水平。因此，这些方法没有考虑到问题与技能的相关性。受异构图嵌入(HGE)的启发，我们提出了一个基于HGE的知识跟踪模型。本文基于技能信息和问题信息构建异构图，捕捉技能节点和问题节点之间的潜在交互。在该方法中，知识跟踪模型可以利用比以往方法更多的信息。实验结果表明，该方法在以技能或问题为中心的研究中具有较好的应用前景。

1 引言

知识追踪是对学生学习进度和知识状态的路径进行建模。他们的知识状态是指到目前为止他们对知识概念的掌握程度。根据学习者以往的学习表现，知识跟踪模型预测未来与特定知识概念相关的正确回答问题的概率。知识概念是知识内容的基本组成部分，在数据库[1]中有时称为技能。为此付出了许多努力。贝叶斯知识追踪(Bayesian Knowledge Tracing, BKT)[2]是最著名的模型之一，它利用隐马尔可夫模型来估计学生的知识状态。绩效因素分析(PFA)[3]是另一种著名的方法。该方法采用逻辑回归函数，考虑了以往答案的复杂性和知识概念的复杂性，评估了正确答题的概率。近年来，随着深度学习技术的兴起，deep Knowledge Tracing (DKT)[4]应运而生，而deep Knowledge Tracing plus (DKTplus)[5]则在DKT中加入了两个正则化项，以达到预测的一致性。利用循环神经网络[6]对学生的历史表现序列进行建模。该算法首先将深度学习方法引入到知识跟踪任务中。然后，受图神经网络的启发，基于图的知识跟踪(GKT)[7]考虑了图神经网络捕获的知识概念之间的底层连接。

值得注意的是，无论上面提到的那些模型使用的主要框架是什么，它们都是根据技能或知识概念来表述知识跟踪问题的。以BKT为例，采用隐马尔可夫模型对数据集中的每一项技能进行处理。因此，模型的数量与知识概念相同。显然，BKT模型不能解决与多个技能相关的多技能问题，除非它将多技能视为一种全新形成的技能。而PFA模型以知识概念作为输入，既能很好地处理单个技能问题，也能很好地处理多技能问题。DKT将深度学习引入到知识跟踪任务中。我们有可能发现DKT技能之间的复杂联系。此外，GKT直接构建知识概念图来把握知识概念之间的潜在联系，因为知识概念及其关系自然形成了一个复杂的图。

学生的表现可能会受到与相同技能相关的不同问题的影响。所有以技能为导向的模型都未能揭示这一点。针对这个问题，有几篇论文提供了他们的解决方案。增强循环神经网络(EERNN)[8]利用双向长期短期记忆模型对每个练习的上下文进行编码，从而考虑到问题的多样性。另一个框架是练习感知知识追踪(EKT)[8]是由同一个团队提出的。与EERNN相比，有练习意识的知识跟踪为每个学生维护了一个知识概念状态矩阵，从而可以同时记录学生在多个技能上的知识状态。为了描述学生对所有知识概念知识状态的动态记忆，动态Key-V值记忆网络(DKVMN)[9]引入了两个记忆矩阵。一种是静态矩阵，它将所有知识概念的表示形式存储为关键矩阵。另一种是动态矩阵，将学生在学习过程中对这些知识概念的掌握程度存储为价值矩阵。知识跟踪的自注意力模型[10]采用注意机制来处理数据稀疏性，这意味着有时学生可能只有很少的交互记录。近年来，以问题为中心的知识追踪(Questioncentric Knowledge Tracing, qDKT)[11]在深度知识追踪的基础上，采用了问题的嵌入向量和问题的情境作为输入向量，而不是采用技能嵌入作为输入向量。

---

与仅利用问题特征的以问题为中心的知识跟踪不同，也不类似于仅构建知识概念图来识别技能背后的结构模式的图知识跟踪。我们提出了一个二部异构图(BHG)。图的节点由问题和知识概念组成。它是为了模拟与相同技能相关的相似和各种问题。BHG既包含问题信息，又包含技能信息，使得它能够更充分地表达学生的知识状态。这对于知识跟踪任务是必不可少的。针对BHG，提出异构图嵌入方法，为每个问题学习一个嵌入向量，即知识跟踪模型的输入向量。提出的方法确保我们在考虑各种问题的同时，揭示技能的结构。
本文贡献：

• 将异构图嵌入到知识跟踪模型中，利用技能信息和问题信息对知识跟踪问题进行建模。
• 我们将问题类型作为异构图中问题节点的附加属性。它提供了更多的信息，因为问题类型字段表明了不同于技能的信息，这可以在知识跟踪模型中使用。
• 利用低维的异构图嵌入，形成一个连续空间。这是一种有效的表示方式。

2 相关工作

2.1 知识追踪

知识跟踪任务使得跟踪学生知识状态随时间的演化成为可能。换句话说，当学生回答从数据集中提取的问题时，我们可以对他们不断变化的知识状态进行建模。一旦我们可以估计学生的知识状态，预测他们未来在其他问题上的表现就是我们所追求的。

2.2 异构图嵌入

异构图是一种特殊的图，它是由不同类型的节点和不同类型的关系构成的。尽管异构图具有特殊性，但它在现实世界中却非常普遍，如书目网络、在线购物推荐网络和社交网络[12]。因此，异构图包含足够的信息，包括指定实体的不同节点的不同属性和描述唯一语义的各种类型的边。由于这些特性，异构图的学习表示过程比同构图的学习表示过程面临更多的挑战。而异构图嵌入(Heterogeneous Graph Embedding, HGE)既可以获得异构图的节点表示，又可以获得节点间关系的语义。
在深度学习领域，采用嵌入的方法对输入向量进行降维和特征融合。在大多数情况下，输入向量是稀疏和离散的，这意味着输入向量属于一个高维空间。因此，深度神经网络需要更多的参数来拟合数据集。嵌入技术能够将输入向量映射到一个元素不再稀疏离散的低维连续空间。异构图嵌入的难点在于图的复杂结构和节点属性的异质性。保留结构的异构图嵌入可以保持图的结构，有助于学习节点间连接的语义。最近的一篇论文报道了投影度量嵌入(PME)[13]，它属于结构保留的异构图嵌入。在对象空间中，异构图的节点可以编码在不同维度上，而在关系空间中，节点可以编码在相同维度上。因此，PME解决了将不同类型的节点嵌入到相同维度的挑战

3 基于异构图嵌入的知识追踪

本文从问题层面提出了一种知识跟踪模型，并以每个问题的嵌入向量作为输入，不同于现有的单热点编码方法。**在问题层面对问题进行建模，我们评估学生回答特定问题的正确性概率，而不是特定技能。**基于异构图嵌入的知识跟踪(HGEKT)利用异构图嵌入获得不同于单热编码的嵌入向量作为深度知识跟踪框架的输入。HGEKT的体系结构如图1所示。它的细节将在下面的上下文中揭示。
1）异构图
HGEKT模型由异构图预处理模块、PME模块和DKT模块三部分组成。处理数据部分从原始数据构建异构图。该异构图是一种特殊的二部图，由问题节点和技能节点组成。
2）异构图预处理
异构图预处理:简单地说，HGEKT建立在异构图之上，异构图由问题节点和技能节点组成。首先，我们从数据集中提取每个独特的问题和技能。然后，按照以下方法定义异构图中的边。如果问题中使用了技能，那么问题节点和技能节点之间存在一条边。问题节点的属性包括与之链接的技能以及它所属的问题类型。技能节点的属性要简单一些，因为它包含了技能名称，这是一个知识概念。问题-技能异构图包含我们在后面的知识跟踪模块中需要的信息。
3）PME模块
深受基于图神经网络的深度学习和cora数据集的启发，[14]是一个著名的数据集，包含了机器学习主题的学术论文。cora数据集由被引论文和被引论文组成，通过分析论文之间的引文关系可以预测其研究主题。我们将问题视为引用的论文，将与问题相关的技能视为引用的论文，由于问题和技能具有不同的属性，我们将图视为异质图。因此，我们利用异构图嵌入来分析问题-技能图。

4 实验

5 结论

本文提出了一种基于异构图嵌入的知识跟踪模型，并结合技能和问题对问题进行建模。它考虑了以技能为中心的KT方法所忽略的问题的多样性。构建异构图来捕获这些信息。此外，我们将异构图嵌入引入到知识跟踪中，不同于以技能为中心的方法采用的一热编码。实验结果表明，该方法具有较好的性能，为解决知识跟踪问题提供了一种选择。基于异构图的方法如果能给异构图附加更多的属性，将有可能提高KT的性能。当前数据库中关于问题和技能的信息只是他们的数字。未来的挑战集中在收集更多关于问题和技能的信息，以便异构图嵌入可以学习更好的表示。

---

总结：
没啥创新，只是异构图嵌入的方法不同
。。。。。。