SeqDynamics: Visual Analytics for Evaluating Online Problem-solving Dynamics

论文传送门
视频42’36’’

作者

香港科技大学

• Meng Xia
• Min Xu
• Chuan-en Lin
• Ta Ying Cheng
• Huamin Qu
• Xiaojuan Ma

摘要

解决问题的动态是指随着时间的推移解决一系列问题的过程，从中可以推断出学生的认知技能以及非认知特质和行为。例如，我们可以根据所解决问题的难度水平的变化得出学生的学习曲线（认知技能的指标），或者基于随时间推移解决问题的频率得出学生的自我调节模式（非认知特质和行为的一个例子）。很少有研究通过展开问题解决过程来提供这两方面的综合概述。在本文中，我们提出了一个名为SeqDynamics的可视分析系统，该系统从认知和非认知的角度评估学生的解决问题的动态。该系统通过一套新颖的视觉设计和协调的上下文视图，可视化学习者解决问题行为的时间顺序，使用户能够在多个尺度上比较和评估解决问题的动态。我们提供了三种方案来证明SeqDynamics在包含数千个问题解决轨迹的真实数据集上的有用性。我们还进行了五次专家访谈，以表明SeqDynamics增强了领域专家对学习行为序列的理解，并帮助他们有效完成评估任务。

Introduction

对学生认知技能和非认知特征及行为的评估为设计学生招聘政策和个性化辅导教学提供了重要的启示。认知技能指的是大脑用来思考、阅读、学习、记忆、推理和注意力的核心技能，而非认知特征和行为指的是特定的特征，如动机、责任心、毅力、自我调节和协作。
在本文中，我们将随着时间的推移解决一系列问题的过程和进展定义为问题解决动力学，从中可以推断出学生的认知技能和非认知特征和行为。
然而，评估学习者解决问题的能力是有挑战性的。

• 每个学习者的问题解决动态都是多维时间序列数据，如何用有意义的语义来表示和解释这些数据，以反映认知和非认知的特征和行为是非常重要的。
• 评价过程通常涉及大量学习者问题解决顺序的比较。用不同层次的细节总结学生解决问题的动态，以方便比较，这可能很困难。
• “好的”问题解决动态的标准定义的缺乏阻碍了学生学习行为的自动测量。

在本文中，我们介绍了 SeqDynamics，一个交互式的虚拟分析系统，供教师全面检查和评估学习者的问题解决动态。

SeqDynamics 自动从三个细节层次总结和分析问题解决动态:学习者排名、问题解决的概要特征(解决的问题数量、解决的难题百分比、问题类型的多样性、提交的数量、开始尝试困难问题的时间和活跃天数的百分比)，以及这些特征随时间的变化。

提供了多个视图来表示分析结果，供教师在三个级别进行评估和比较：

• ranking view (the macro level)
• projection view (the meso level)
• evolution view and comparison/cooperation view (the micro level)

新颖的视觉设计：

• 一种glyph，从认知和非认知的角度来显示学习者的概要性问题解决技能.
• 具有类似热图视图的双向堆叠图，可放大随时间推移而展开的问题解决序列的细节

贡献：

• Interactive System：一个交互式视觉分析系统，供教师评估学习者解决问题的能力，并在多个尺度(宏观-中观-微观)上选择候选人。
• Visualization Designs：一套新颖的视觉设计，从认知和非认知两个方面再现问题解决的动态，以促进对问题解决顺序的理解和比较。
• Evaluation：三个场景展示了 SeqDynamics 在真实数据集上的实用性，五个专家访谈显示 SeqDynamics 增强了他们的评估流程。

Related Work

• Problem-Solving Behavior Analysis
• Visual Analytics of Learning Sequences
• Time-series Data Visualization and Comparison

System Overview

设计要求：

• 对学生的整体表现有一个清晰的概述。
• 随着时间的推移，从不同的角度理解解决问题的动态。
• 比较/综合不同尺度下的问题解决能力。
• 支持互动和定制的评估探索。

系统模块：

• 数据收集和预处理模块
• 分析模块
• 可视化模块
• 交互

Problem-Solving Dynamics Analysis

我们从认知和非认知的角度建立解决问题的属性。
我们考虑三个学习属性来评估个体的认知技能:

• 解决的问题数量(l1)
• 解决的难题的百分比(l2)
• 解决的问题的多样性(l3)

此外，我们考虑与非认知特征和行为相关的三个学习属性:

• 勤奋(提交的总数(l4))
• 愿意接受挑战(开始解决难题的时间(l5))
• 坚持不懈(#(活跃天数)/ #(注册后天数) (I6))

ELO排名算法
$p_i=\frac{1}{1+a^{\left(r_i-r_p\right)/b}}{p}_p=\frac{1}{1+a^{\left(r_p-r_i\right)/b}}$
$r_i=r_i+k\left(s_i-p_i\right)r_p=r_p+k\left(s_p-p_p\right)$
$D_h=\frac{\sum \text{lnteraction}\text{ Score}}{\text{Number of Learners}}$

Design Task

• 显示学习者解决问题的总体表现分布
• 从认知和非认知方面直观地解释了学生的主要学习属性
• 根据学生解决问题的主要特点，促进学生之间的比较
• 详细分析学生解决问题的时间序列动力学
• 促进问题解决动态的详细比较和互补
• 通过调整属性权重从不同角度检查候选人

Visual Design

• Ranking View
• Projection View and Correlation Panel
• Evolution View
• Comparison/Cooperation View

Evaluation

• Elite Selection
• Personal Training
• Team Formation
• Team Formation

Expert Interview

Discussion

System Limitation:

• Scalability
• Degree of flexibility
• Data issue

Conclusion and Future Work

在这篇论文中，我们提出了 SeqDynamics，一个视觉分析系统，帮助教师从认知和非认知的角度探索和评估学习者的问题解决动态。该系统有助于在多种尺度上用多种视图进行评估:

• 排名视图显示学习者排名的总体分布
• 带有相关面板的投影视图使用户能够选择一个分类子集，并使用字形对它们进行比较
• 演化视图随着时间的推移扩展了问题解决的细节
• 比较/合作视图显示了两个问题解决序列之间的明确比较，并展示了团队中所选学习者的互补性。

它还提供了一组丰富的交互，用于交互式地评估问题解决的动态性。在未来，我们计划探索更多的方法来减少字形重叠，将我们的系统扩展到涉及竞争的领域(例如，电子竞技、体育)，并通过更多的任务来增强它(例如，性能预测)。