【KSEM2020】AKTHE - Attention-based Knowledge Tracing with Heterogeneous Information Network Embedding

利用metapath2vec进行异构网络嵌入

摘要

知识追溯是促进个性化教育的一个重要研究领域。近年来，深度知识追溯取得了巨大的成功。然而，学生实践数据的稀疏性仍然限制了知识追踪的表现和应用。另一个复杂的问题是，答案记录对当前知识状态的贡献在每个时间步骤中都是不同的。为了解决这些问题，我们提出了基于注意的异构信息网络嵌入知识跟踪(AKTHE)。首先，我们使用异构信息网络描述问题及其属性，并生成有意义的节点嵌入。其次，我们利用注意机制捕获历史数据与当前状态的相关性。在四个基准数据集上的实验结果验证了该方法在知识跟踪方面的优越性。

1 引言

知识跟踪是一种基于学生行为序列的建模方法。有了KT的存在，我们可以准确地掌握学生对知识概念的掌握和理解。准确的知识追踪，使我们能够把握学生当前的需求，准确地推荐问题。这项任务意味着可以根据学生的个人需要为他们提供资源。知识追溯是构建适应性教育体系的核心和关键。

目前存在两种类型的知识追踪模型:传统的知识追踪模型和深度知识追踪模型。贝叶斯知识追踪(BKT)[2]是传统知识追踪模型中非常著名的模型。它是一个带有隐变量的马尔可夫模型。基于学生近期学习表现的深度知识追踪(Deep Knowledge Tracing, DKT)[3]近期表现良好。它可以为复杂知识概念之间的关系建模。

尽管基于深度学习的知识追踪技术已经取得了很大的进展，但仍存在一些有待解决的问题。例如，学生行为的稀疏性。具体来说，学生通常使用碎片化的时间学习，只花很少的时间在平台[4]上。这样一来，每个学生可能只练习了系统中的一小部分试题，很大一部分知识的掌握情况仍然未知，影响了知识的追溯，限制了进一步的应用。我们解决稀疏问题的观点依赖于问题的属性信息。具体来说，同一名学生在回答相同难度或辨别能力相似的问题时，对相同知识概念的正确率是相似的。

现有的一些研究问题属性的工作主要是对它们进行挖掘。其他的研究尝试在知识追踪中使用问题的属性[6]，但他们没有专门将问题属性应用到深度知识追踪中。异质信息网络(HIN)[7]通过分析网络中各种类型的节点和各种链接关系，可以准确区分网络中的不同含义，挖掘更多有意义的知识。问题及其属性可以表示为一个异构信息网络。通过网络嵌入捕捉每个问题的特征，可以指导我们更好地理解知识状态。

在学生历史问题的顺序中，每一个问题对下一个问题是否能正确回答的贡献是不同的。例如，下一题主要考察对整数乘法的掌握情况，那么过去与这个概念相关的问题对现在的状态影响更大。受机器翻译中注意机制的启发，注意机制可以捕捉到与原句对应的单词，使翻译更加准确[8]，我们将注意机制应用于知识追踪问题，以达到更好的效果。

本文利用异构信息网络对问题的属性信息进行建模，生成有意义的问题嵌入，从大量的学习日志中对学生的知识状态进行建模和预测。我们的贡献如下:

• 我们使用异构信息网络来建模问题及其属性，以学习问题的有效表示。

• 我们提出了基于注意的知识追踪和异构信息网络嵌入模型来模拟学生当前的知识状态。

• 我们对我们的模型进行了评估，结果表明我们的AKTHE模型在知识追踪方面有更好的表现。

5 结论

本文主要研究知识追溯中问题的属性信息。我们用异构信息网络描述问题及其属性，这是这个应用程序所需要的。借助异构网络嵌入，学习到的节点嵌入可以集成到深度知识跟踪模型中。我们还在深度知识追踪模型中加入了注意机制。在四个知识追踪数据集上，我们的模型比BKT、DKT和DKVMN有更好的性能。

在未来，我们打算用图嵌入的方法引入问题中所包含的概念之间的关系。