MOOCad Visual Analysis of Anomalous Learing Activities in Massive Open Online Courses

论文传送门
视频

作者

香港科技大学

• Xing Mu
• Ke Xu
• Huamin Qu

法国国家信息与自动化研究所

• Qing Chen

Adobe 研究院

• Fan Du

微软亚洲研究院

• Yun Wang

摘要

由于技术革命和前所未有的报名人数，对大规模开放在线课程的研究在世界范围内迅速发展。现有的工作主要集中在表现预测、内容推荐和学习行为总结方面。然而，在 MOOC 数据中发现异常学习活动带来了特殊的挑战，需要提供异常行为的明确定义，分析多方面的学习序列数据，并在不同的尺度上解释异常。在本文中，我们提出了一个新的可视化分析系统，MOOCad，用于探索 MOOC 数据中的异常学习模式及其聚类。该系统集成了一种异常检测算法，将 MOOC 学习者的学习序列聚类成基于阶段的组。此外，它允许基于语义和可解释的分组数据摘要在组之间和组内进行交互式异常检测。我们通过对一位 MOOC 讲师的深度访谈，用真实世界的课程数据来证明 MOOCad 的有效性。

Introduction

异常的学习者可以被分成相对较小的、代表性不足的群体，这些群体具有异常的学习活动(即类似的活动，但在较大的群体中不明显)。

对 MOOC 数据的异常检测是一项具有挑战性的任务。异常检测技术面临一个固有的问题，即缺乏明确的边界来区分正常和异常情况，这使得训练和验证模型所需的基本事实难以获得。这一挑战因 MOOC 数据的多面性而进一步加剧，包括学习者简介、视频点击流互动和论坛活动。这些数据形成了大规模的学习序列(即学习活动或过程的排序)，具有丰富的上下文信息和高度的个体差异。为了应对数量和多样性，需要一种智能和交互式的工具来帮助识别和解释正常和异常的 MOOC 学习行为。

数据可视化已经被引入，通过提供直观的表示和丰富的交互技术来支持学习序列的探索和理解。

然而，现有的技术很少被开发来解决学习活动中的异常检测问题。基于应用领域，现有的 MOOC 数据分析工作主要分为三类:(1) MOOC 预测，如预测学生的辍学率和成绩;(2)视频和内容推荐，如帮助学生决定下一步学习哪些材料；(3)模式挖掘，如分析点击流数据，跟踪学生如何观看讲座视频。这些技术对于总结一般模式而不是检测异常学习活动是有用的。为了开发一个有效的视觉分析系统来检测和解释异常的学习活动，我们需要处理大规模和多方面的 MOOC 数据，并捕获数据中的时间模式(例如，学习活动的演变)和内容模式(例如，频繁的学习子序列)。

为了填补这一空白，我们推出了 MOOCad (MOOC 异常检测)，这是第一个视觉分析系统，帮助 MOOC 教师交互式地检测异常组，并以多种视角和丰富的上下文信息解释他们的非典型学习活动。我们设计了一个具有新颖可视化设计的交互式框架，支持在三个步骤中探索和解释异常群体和学习活动:阶段总结、阶段内学习模式聚类和个体序列检查。我们进一步进行案例研究，并与领域专家讨论潜在的改进。

Related Work

• Learning Analytics and Visualization
• Anomaly Detection and Visualization

System Requirements and Design

为了给 MOOCad 的设计提供信息，我们与一名 MOOC 讲师、两名领域专家(在开发 MOOC 分析系统方面)和五名 MOOC 学习者进行了一系列互动。从受访者的评论中得出一系列要求，并指导我们系统的开发。

Requirements:

• 考虑整个学习顺序
• 便于异常检测和推理
• 允许个人学习路径分析
• 提供交互性和多样性

MOOCad 体系结构由三个模块组成:(1)数据预处理模块，将每个学习者的整个学习活动转换为学习序列(R1)；(2)异常检测模块，检测每个学习阶段中具有异常学习活动的组(R2)；以及(3)可视化模块，作为 MOOC 教师探索学习序列数据并理解检测到的异常的界面(R3，R4)。

Algorithm

• 学习序列的阶段分析
• 各阶段异常群体的识别
• 频繁模式提取

Description of MOOCad

Task:

• 可视化前允许自定义查询
• 显示学习序列数据的进展模式
• 识别给定阶段中的异常组
• 指出表征一个异常组的频繁子序列
• 为基于阶段的分析提供支持信息
• 灵活的数据探索和比较

说明各个view分别解决了哪些task

Case Study

我们在一门语言课程上评估了 MOOCad ，该课程包含 6 个模块/周的材料，在同一轮课程中有 1，684 名学习者。
担任该 MOOC 的讲师被邀请参与本研究。

Conclusion and Future Work

在本文中，我们介绍了可视化分析系统 MOOCad，它使 MOOC 教师能够交互式地检测异常的学习活动。该系统结合了一种集成算法，以便于基于异常组的学习序列数据来识别和推理异常组。我们还提出了多个协调的视图和灵活的交互来支持阶段间学习进度的解释、阶段内的组比较和个体路径检查。我们通过一个真实数据集的案例研究来评估 MOOCad，该案例研究由 MOOC 讲师进行，展示了我们的系统在检测异常学习活动方面的能力。经过与领域专家的讨论，我们发现有些阶段组的语义在开始时专家并不清楚。但是有些群体后来被专家们经过探索进行了解读。这种变化显示了我们的无监督学习方法的优势，因为它可以发现意想不到的情况。虽然视觉设计得到了讲师的高度赞扬，并且交互被认为是易于使用的，但是系统设计仍然存在一些限制。在未来，我们计划通过设计更高级的替代方案来呈现信息，如个人测验分数以及学习者的其他属性，从而增强可视化效果。