知识追踪之动态键值对记忆网络 Dynamic Key-Value Memory Networks for Knowledge Tracing

简介

本文分三个部分介绍：

1. 动态键值对记忆网络的详细介绍以及如何将记忆增强神经网络（MANN）引入到知识追踪领域。
2. DKVMN模型是如何进行追踪知识以及自动发现相似的练习题。
3. DKVMN的优势以及不足。
4. 针对DKVMN的问题，我们如何改进它，如何提出自己的观点，如何发表创新性的论文（例如，DKVMN不能自动发现练习题之间的依赖关系）。
   最后，如果对知识追踪（KT）不太了解的，我后期会发典型的知识追踪包括基于概率的贝叶斯知识追踪（BKT）、利用循环神经网络的深度知识追踪（DKT）、以及2017-2019年全部有关知识追踪领域的新模型等等，我会详细的介绍其原理以及各自的不足，告诉大家如何改进。我会提供pytorch、tensorflow2.0 两个版本的最佳代码并告诉大家如何使用。让提彻底了解知识追踪领域。彻底了解如何应用到在线教育（例如，edx、作业帮、好未来以及新东方等在线教育平台），真正的做到个性化教育，学生可以发现自己的薄弱知识点和自己盲区，对不熟悉的知识点进行巩固和加强，进而提高学生学习效率。教师可以根据学生的学习状态，制定更加合适的教学策略并推荐个性化的做题顺序。

动态键值对记忆网络

• 动态键值对记忆网络（Dynamic Key-Value Memory Networks for Knowledge Tracing，简写DKVMN），由香港中文大学的施行建于2017年提出的。根据BKT、DKT的优势和不足并且利用了记忆增强神经网络的方法，提出了动态键值对记忆网络（DKVMN）。
• 它借鉴了记忆增强神经网络的思想，结合了BKT和DKT的优点，DKVMN 用一个静态矩阵 key 存储所有的知识点和一个动态矩阵 value 存储以及更新学生的知识状态。在DKVMN论文中，他们比较了DKVMN和DKT，以及一个复杂的BKT版本BKT+。他们发现DKVMN取得了优异的性能，是KT领域最先进的模型。除了改进性能之外，它还有其他几个优于LSTM的优点，包括防止过拟合、参数数量更少以及通过潜在概念自动发现类似的练习题。
• 此外，Chaudhry R通过多任务学习将请求提示预测与知识追踪进行联合训练来提升DKVMN的性能。

DKVMN原理图详细介绍

由于下周有事，我会在后续的时间里给大家介绍它如何利用注意力机制链接内部与外部记忆。以及如何让读、写。如何利用删除向量以及添加向量跟新外部记忆单元。以及如何利用外部记忆单元中的记忆片段根据其权重发现相似的练习题。以及聚类的代码逐行精讲，另外学生的知识增长如何表示，知识点如何在KEY矩阵中保存。以及它最大的缺点跟优点，还有它用的技术，例如词嵌入、分布式表示等（可以说现在的知识追踪没人用 one-hot表示了）