【AAAI22】Interpretable Knowledge Tracing: Simple and Efficient Student Modeling with Causal Relations

可解释的知识追踪：简单高效的因果关系学生建模

摘要

智能辅导系统在未来的学习环境中已变得至关重要。知识追踪是该系统的重要组成部分。它是关于推断学生的技能掌握和预测他们的表现，以相应地调整课程。与传统模型相比，基于深度学习的KT模型具有显著的预测性能。然而，从神经网络中成千上万的参数中提取与认知理论相关的有心理学意义的解释是很困难的。在学生成绩预测中，有几种方法可以达到较高的准确性，但诊断和预测推理在学习科学中更为关键。由于KT问题的可观察特征(问题ID和学生每次练习的正确性)很少，我们利用机器学习和数据挖掘技术从学生的回答数据中提取有意义的潜在特征。在这项工作中，我们提出了可解释知识追踪(IKT)，一个简单的模型，它依赖于三个有意义的潜在特征:个人技能掌握、能力概况(跨技能学习迁移)和问题难度。IKT对未来学生表现的预测是使用树增强朴素贝叶斯分类器(TAN)进行的，因此它的预测比基于深度学习的学生模型更容易解释。
IKT在不需要大量参数的情况下，也显示出比基于深度学习的学生模型更好的学生表现预测。我们对每个特征进行消融研究，以检查它们对学生表现预测的贡献。因此，IKT有很大的潜力在现实世界的教育系统中提供具有因果推理的适应性和个性化指导。

1 引言

在今天的教育中，用电脑学习起着至关重要的作用。个性化的适应性学习环境比传统的学习环境如课堂学习更有效(Bloom 1984)。智能辅导系统需要解决现实世界人类学习过程中大规模个性化的巨大挑战。最成功的辅导系统每年被成千上万的学生使用，而且人数还在不断增加(Baker 2016)。为了满足个性化的要求，我们需要一种有效的方法来经验地评估学生对技能(知识)的掌握情况。知识追踪(Knowledge Tracing, KT)是一种基于学生以往考试成绩动态评估其知识掌握状态的方法。它可以用来预测学生是否能正确回答下一个问题，以调整他们的个性化课程。人工智能技术已经在自适应学习环境的构建中找到了自己的方法，特别是在知识追踪问题上，从学生在任务中的观察表现来建模他们的概念性或程序性知识(Corbett和Anderson 1994)。目前最著名的例子是深度知识追踪(DKT) (Piech et al 2015)，使用循环神经网络(RNNs)。此外，它在学生表现预测方面比早期的学生模型更成功(Piech et al 2015;Minn等2019;明尼苏达州2020)。

贝叶斯知识追踪(Bayesian Knowledge Tracing, BKT)是最早和著名的序列方法，具有心理意义的参数。更具体地说，BKT是一个隐马尔可夫模型(HMM)，由表示学生对某一特定技能的知识状态的观察变量和潜在变量组成(即，一项技能可以被学生掌握也可以不掌握)，观察变量被假设为二进制(学生可以正确回答相关的问题)(Corbett and Anderson 1994)。通过使用上下文化的猜测和滑入参数(Baker, Corbett，和Aleven 2008)，使用帮助特征的估计过渡(Baker和Yacef 2009)，学生知道技能的初始概率(Pardos和Heffernan 2010)，项目难度(Pardos和Heffernan 2011)，不同学生群体的集群(Pardos等2012)，学生特定参数(Yudelson, Koedinger，和Gordon 2013)， BKT的几个扩展被引入。然而，这些扩展独立地对待技能，无法检测跨技能的学习迁移。

深度知识追踪(Deep Knowledge Tracing, DKT)由于能够对一些跨技能的学习迁移进行建模而获得了相当多的关注，而BKT无法处理这些迁移。然而，由于DKT将过去所有学生的互动(带有相关技能的二进制值)提供给rnn，它不能像BKT的扩展那样提供心理解释(Piech et al 2015)。这些心理信息隐藏在rnn的隐藏层中，有成千上万的参数(Khajah, Lindsey, and Mozer 2016)。此外，近年来提出了几种基于深度学习的知识追踪模型:深度知识追踪和动态学生分类(Minn等，2018)通过每个时间间隔上的学生技能能力概况聚类增强DKT;先决条件驱动的深度知识追踪(Chen et al 2018)通过整合技能之间的先决条件关系，增强了KT模型;带有注意机制的练习增强递归神经网络(Su et al 2018)计算所有先前知识状态的加权组合;顺序键-值记忆网络(Abdelrahman和Wang 2019)是一个跳跃- lstm架构，它将类似问题的隐藏知识状态聚合为一个新状态;深度层次知识追踪(Wang, Ma，和Gao 2019)捕捉问题和技能之间的关系，以获得问题表示;基于图的交互知识跟踪(Yang等2021年)利用图卷积网络将问题与技能的相关性基本结合起来。基于深度学习的模型比之前的方法显示出更好的预测性能，部分原因是它们已知可以在连续数据中保存过去的信息，比如学生的成绩轨迹。然而，与预测给定问题的正确性相比，这些模型不太可能为其推论提供有心理学意义的解释。

在本文中，我们试图通过特征工程和一个简单的概率图形模型来提供有意义的解释。因此，我们提出了一个新的学生模型，称为可解释知识追踪(IKT)，利用三个有意义的特征:个人技能掌握、学生的能力概况(跨技能学习迁移)和问题难度。我们首先利用传统的机器学习技术，如隐马尔可夫模型和kmeans聚类，提取有意义的特征，然后使用树增强朴素贝叶斯分类器合并提取的特征，以推断未来问题的正确性。与DKT系列模型相比，我们的IKT模型是一种新颖的模型，它通过具有意义特征的概率图形模型提供推理解释，同时在学生成绩预测任务中保持较高的预测性能。我们的实验表明，在一些已知的知识跟踪数据集上，IKT的性能预测优于已知的学生模型。此外，我们还进行消融研究，通过学习不同的树结构来衡量每个特征的贡献。