云盘存储 教学反思_刘清堂等：基于人工智能的课堂教学行为分析方法及其应用...

点击蓝字

关注我们

基于人工智能的课堂教学行为分析方法及其应用

刘清堂1，何皓怡1，吴林静1，邓 伟1，陈 越2，王 洋1，张 妮1

(1.华中师范大学 教育信息技术学院，湖北 武汉 430079；

2.北京中庆现代技术股份有限公司，北京 100094)

正文字数 13246 字       建议阅读时间 38 分钟

导读

随着人工智能技术的快速发展及课堂教学环境的改变，使课堂教学行为的深度分析成为可能。该文在对人工智能技术的教育应用现状及课堂教学行为分析方法的发展脉络进行梳理的基础上，构建了以“数据采集与存储”“行为建模与计算”和“智能服务”三个功能模块为核心的课堂教学行为智能分析模型，并以课堂S-T行为分析为例验证该分析模型的有效性。将实验成果应用于教学实践中，得到了教师们的认可，实验成果能为教师的教学反思、教师的专业发展及教学管理提供支持。根据教师在应用过程中所反馈的意见，还提出了具有针对性的行为识别模型优化策略。研究成果能为基于人工智能技术的课堂教学行为分析研究提供一些借鉴，也能为课堂教学行为的改善、教师的专业发展以及教学质量的提升提供一定的支持。

【关键词】人工智能；课堂教学行为；智能分析 【基金项目】本文系湖北省信息化与基础教育均衡发展协同创新中心项目“数据驱动的课堂教学有效性研究”(项目编号：XT2017008)的阶段性研究成果。 【作者简介】 刘清堂：教授，博士生导师，研究方向为学习分析技术、知识挖掘与知识服务([email protected])。何皓怡：高级工程师，在读博士，研究方向为学习分析技术([email protected])。吴林静：副教授，博士，研究方向为教育数据挖掘、人工智能与教育应用([email protected])。邓伟：副教授，博士，研究方向为人工智能、创客教育([email protected])。陈越：高级工程师，博士，研究方向为智能录播系统设计与开发([email protected])。王洋：在读博士，研究方向为在线教学、学习分析技术([email protected])。张妮：副教授，在读博士，研究方向为教师专业发展([email protected])。 

引言

人工智能(Artificial Intelligence)是研究、开发用于模拟和延伸人类智能的理论、方法、技术及应用系统的科学[1]。当前，人工智能技术已渗入人类生活的各个领域，社会对人才的需求正在发生改变，教育的变革也相应引发。美国《国家人工智能研发战略规划》中提到要利用人工智能技术改进教育机会，实施个性化学习和终身学习等[2]。我国《新一代人工智能发展规划》提出要发展“智能教育”，推动人才培养模式和教学方法改革[3]。《教育信息化2.0行动计划》提出要推进智能教育，开展以学习者为中心的智能化教学支持环境建设，推动人工智能在教学、管理等方面的全流程应用等[4]。

随着智能教学环境的建设和普及，与之相适应的教育教学模式及课堂教学行为分析等研究，成为了人们关注的焦点。进行课堂教学行为分析，探究课堂教学活动促进学生发展的内在机制，帮助教师反思获得实践性知识，有利于促进课堂教学质量的提升。然而传统的课堂教学行为分析方法，多是通过自我报告法、人工观察手动编码等方法采集和分析数据，存在着编码主观性强，费时费力，所获得样本量小等缺点，不利于发现普遍的教学规律。智能教学环境的日益普及为这些问题的解决带来了契机。利用智能技术自动采集和编码教学过程数据，能更为全面且及时地识别课堂教学行为，自动化地对课堂教学行为进行分析和可视化呈现，洞悉课堂教学情境，为教师的专业发展和教学质量的提升提供了有力支持。

本文结合人工智能的特点及课堂教学行为分析的相关理论，提出了课堂教学行为智能分析模型。通过实例应用进行分析和研究，以期为当前课堂教学行为分析研究提供借鉴和参考。

相关研究

(一) 人工智能的教育应用研究

当前，人工智能与教育的融合、发展研究产生了较多的成果，在应用研究方面大致可分为以下四种类型： 1.智能在线学习平台 随着在线学习，特别是MOOC及智能教学平台的快速发展，在线学习平台记录下学习者所产生的大量的结构化、半结构化及非结构化数据，这些面向教学系统和学习过程的海量数据是进行学习分析的数据来源。 基于教育大数据利用人工智能技术进行学习分析，实时洞悉学习者的学习状态，进而实施精准教学，以适应学习者各异的学习特征，促进其个性化发展。 大量的研究聚焦于学习者的在线学习心理、行为分析及学习绩效预测等。 如： 学者Macfadyen基于在线学习平台所记录的学习者行为数据，对学习者的学习绩效进行了预测[5]。 李爽基于在线学习平台的数据，构建了学习投入评测模型，并进一步分析了在线学习投入与学习绩效之间的关系等[6]。 2.智能教育助理 该领域的研究主要包括智能教学系统、教育机器人、学习同伴等。 智能教学系统(ITS)，是指一个能够模拟人类教师来帮助、辅导学习者进行学习的智能系统[7]。 其核心组件包括领域知识模型、学习者模型、教学法模型和人机接口模型[8]。 学者Hilles等设计开发了智能教学系统MDB以支持数据库系统课程的学习并取得了较好效果[9]。 孙波等基于在线学习者的面部表情利用智能技术对其情感进行自动识别，再通过虚拟教师的情感表达与学习者进行互动，以实施学习干预[10]。 智能机器人作为STEM教具能够有效培养学生的高阶思维能力和实践操作能力[11]。 綦春霞等利用智慧学伴，对学生的数学学科能力进行测评、诊断并实施精准干预，以推进学生数学学科能力的持续进阶[12]。 3.智慧教室 智慧教室(Smart Classrooms)是在先进信息技术支持下构建的个性化、数字化、智能化的新型学习环境[13]，具有主动感知教学情境、自动采集分析数据、适配性推送学习资源、学习工具多样化等特征。 智慧教室为教师的教学决策和学生的学习机会提供了多元化的、多维度的数据支持，是学生素质培养和能力发展的智能化空间。 学者Angeli等在课堂中利用数据挖掘方法对不同认知风格的学习者的问题解决过程进行了对比分析，该方法可为课堂教学的研究和教学设计的优化提供支持[14]。 学者Holstein等给K12任课教师佩戴混合现实的智能眼镜，以增强教师对学生的学习情况、元认知及行为的感知，便于教师对学生进行实时监控并提供针对性指导[15]。 国内学者张俍等基于心理学、神经科学、信息科学等学科理论设计了融合多模态数据的“智能课堂”，以此为科学的教学评价提供实证基础，从而能提升教师的课堂表现，推动教师教育的变革[16]。 陈靓影等基于多模态自然感知技术，探究课堂上学生学习兴趣的智能化分析方法，该方法能真实反映学生的学习兴趣状态，为教师改进教学方法、提高教学效果提供了可靠依据及手段[17]。 4.智能校园 智能校园是以网络化信息流转为基础，以人工智能技术为手段，以集成化教学资源及应用为依托，实现了校园中师生教学、管理决策的智能化和科学化[18]。 美国布拉德利大学的Uskov教授对智慧大学的概念模型进行了系统化的设计，他认为智慧大学是由具有一定智能水平的智慧教室、智慧学院、智慧课程、智慧教学、智慧技术和其他特殊组件构成的一个智慧系统，并以布拉德利大学为例介绍了智慧大学的建设情况[19]。 同时，Uskov教授还设计了智能学习分析系统，以提升智慧大学的智能水平[20]。 综合以上研究可以发现，随着信息技术的发展，在线学习平台、智慧教室、智能校园等学习环境的建设，为人工智能技术渗入日常教学创造了条件。 在线学习平台能较为详实的记录学习者的行为数据及输入信息，因其数据的易获取性及结构化程度较高，这为学习分析带来了便利。 在课堂教学方面，数字摄像、语音识别、电子书包、BYOD等技术的使用，使课堂教学数据的采集实现了伴随式、自动化和多源化。 但是，由于课堂教学情境的复杂性，课堂教学数据的非结构化、多源化等特征，增加了数据处理和分析的难度。 因此，如何基于人工智能的技术优势进行课堂教学行为分析仍需要进一步的探究。

(二) 课堂教学行为分析方法研究

行为是指为实现某种意图而具体进行的活动[21]。 教学可理解为教师的教和学生的学两方面的统一。 课堂教学行为可包括教师行为、学生行为和互动行为[22]。 课堂教学行为具有情景性和动态性，然而，在一定情境中，课堂教学行为同时又具有一定的规律性。 课堂教学行为研究就是要在零散、具体的课堂教学行为特征和表现中，探究教学行为的发生、发展规律，以增强师生在教学中的行为自觉，提高教学行为的效率[23]。 课堂教学行为研究对促进教学评价的客观性[24]，优化教学设计[25]，发展教师实践性知识[26]等有重要意义。 信息技术的发展使课堂教学环境发生了改变，课堂教学行为分析方法亦随之进化。 以下以课堂教学环境的发展变化为线索来看课堂教学行为分析方法的发展。 1.传统课堂教学环境阶段 此阶段的课堂教学行为分析方法研究多集中于分析量表的编制，观察者基于相关量表对课堂中的教学行为进行手工编码记录，再进行计算分析。 学者Anderson对幼儿教师与儿童的交互行为进行研究，研制出了观测幼儿教师在教学过程中的支配行为和民主行为的量表，并对两种行为进行计算比较[27]。 弗兰德斯(Flanders)互动分析系统(FIAS)将课堂中教师和学生的言语行为分为教师言语、学生言语、静止或混乱三大类共10个维度，观察人员选择适当的代码记录下师生的言语互动行为，形成互动分析矩阵，该方法为教师进行教学反思提供了支持[28]。 S-T分析方法将课堂教学行为分为学生(S)行为和教师(T)行为两类，通过观察课堂教学过程，以一定时间间隔进行采样、编码，形成S-T时序数据，绘制S-T曲线并计算确定课堂教学模式[29]。 2.信息化教学环境阶段 随着信息技术特别是多媒体技术的发展，给课堂教学带来了更为丰富的媒体展示和信息交互，同时也带动了课堂教学行为分析新方法和新工具的产生和应用。 为适应信息化教学环境下的课堂教学行为分析，学者们设计了融入信息技术特征的编码系统； 同时，课堂教学行为分析软件的开发和引入，有效提升了分析的效率。 学者顾小清等基于弗兰德斯(Flanders)互动分析系统，增加了师生与技术互动的维度，设计了基于信息技术的互动分析编码系统(ITIAS)[30]。 穆肃等结合信息技术课堂中师生教学行为的特点，提出了课堂教学行为分析系统(TBAS)及系列分析方法[31]。 李静等利用NVIVO软件，以信息化教学环境下的授课视频为研究对象，基于质性分析的视角对课堂教学行为进行研究[32]。 王艳丽等开发了课堂教学行为采集与分析软件，提高了数据采集和分析的效率[33]。 3.智慧教室阶段 智慧教室环境下，为自动化和智能化的采集和分析数据创造了条件，研究者们基于多源数据及智能算法，从多种教学行为切入开展识别模型的构建及分析方法研究，进一步丰富了课堂教学行为分析的内容和方法，同时分析的效率也得到了极大提升。 学者Liu等利用移动脑波传感器采集学习者的脑电信号，采用支持向量机分类器分析计算脑电特征并判断学习者的注意力情况取得了较高的准确率，这为教师的实时教学干预提供了支持[34]。 学者Whitehill等开发了自动化的课堂学习参与度识别器，该工具采用机器学习的方法实现了对学习者面部表情的自动采集和计算，推断出学习者的参与度情况，以增强教师对学习者参与度的瞬时感知[35]。 韩丽等建立了认知行为与学生头部姿态及面部表情行为的特征关系，并在此基础上构建了基于人脸检测与表情分析的课堂教学评价系统，分析与评价了学生对课堂教学的关注度、参与度以及活跃度[36]。 曹晓明等采用深度学习的方法，融合多模态数据，构建了学生学习参与度识别模型[37]。 综上所述，随着信息技术的发展，课堂教学行为分析技术正走向自动化和智能化，这使得课堂教学评价的常态化和规模化成为可能，为课堂教学规律的研究和学习本质的探寻提供了强有力的支持。 然而，智慧教室是一个既先进而又复杂的教学环境，目前多数研究还处在实验测试阶段。 通过教学视频来分析教学行为，因其低成本和易用性的特点，受到了研究者们的青睐，可这对图像抓取、特征选择、数据处理、计算和分析提出了更高的要求。 如何在复杂的教学情境中提取有价值的信息，以提升课堂教学行为分析的客观性和科学性还需进一步的研究。

课堂教学行为智能分析模型研究

智慧教学环境下的课堂教学行为分析是目前关注的热点研究领域，期待利用学习分析和大数据的方法揭示课堂教学的一般规律。 课堂教学行为分析涉及到教师行为、学生行为、师生互动行为等，同时需要综合考虑课堂教学内容(知识点)、智慧教学情境以及师生情感变化等，迫切需要研究课堂教学行为的数据采集、行为表征与分析、应用效果揭示与阐释等。 综合前人的研究和自身的实践，本文提出了课堂教学行为智能分析模型，如图1所示。 该模型以课堂教学为中心，在教育教学理论和人工智能技术、标准，以及信息安全和隐私保护相关规范指导下，进行课堂教学数据从采集、处理、存储、建模分析到应用反馈的一体化流程，力求充分发挥课堂教学数据的实际应用价值，提升课堂教学行为分析的科学性，最终提升教学质量。 以下对各模块具体功能进行介绍。

(一) 数据采集与存储模块

本模块主要依据相关教育教学理论及建立的课堂教学行为分析指标体系，利用相关设备进行数据采集。 为了不对课堂教学造成干扰以获取真实数据，尽量采用非入侵、伴随式的数据采集方式，获取的数据存储到相应的数据库中。 采集的数据主要分为4种类型： 图像数据、语音数据、生理信号数据和其他数据。 图像数据主要是利用安装在教室各个方位的摄像头等来进行采集，可采集教师、学生、电子白板和黑板等的图像数据。 语音数据主要通过教室安装的拾音器、教师佩戴的麦克风等来进行采集。 生理信号数据则是利用可穿戴设备来进行采集，采集的信号包括： 脑电、皮肤电、心率、血压、呼吸、皮肤温度、肌电、眼电信号等。 其他数据包括教学过程中的文本数据、基于移动终端的师生互动答题数据等，可利用相关工具进行采集。 对数据进行相应的预处理，如： 截取图像、设置图像大小和转换格式等； 对语音数据及生理信号数据去除噪声、变换格式等。 行为识别与计算模型的构建，离不开高质量训练集和测试集的支撑。 建立行为和情感数据库是进行行为识别的基础。 一个真实、自然、可靠的教学行为和情感数据库有利于教学行为特征的分析和提取，有利于提高行为识别的准确性。 因此在构建教学行为和情感数据库来进行模型的训练和验证时，应该考虑使用数据的自然度、清晰度、准确度及平衡性等问题。 自然度主要是指数据反映的教学行为和情感是自发表现的，符合日常表达习惯，行为类型多样，人物多样(不同性别、年龄)，具有较好实用性。 清晰度是指图像清晰分辨率高，语音咬字清晰并较少掺杂噪声，尽量减少生理信号采集过程中产生的噪声等。 准确度是指该数据能准确标注反映所要求情感或行为，如： 可通过对标注人员进行培训来提升准确度。 数据平衡性是指样本数目在各个类别之间的分布大致相等。 可通过建立行为和情感数据库评价指标体系来对数据库进行量化评价，以保证其质量等。

(二) 行为建模与计算模块

该模块主要是基于教育教学相关理论及课堂教学行为分析理论，并结合课堂教学的具体情境和人工智能技术的特点，构建教学行为识别与计算模型并进行行为计算，其流程可划分为： 教学行为机理研究、指标构建、获取数据、特征提取和选择、行为识别与计算。 教学行为机理研究主要是以课堂教学行为分析理论、认知科学、教育心理学、行为心理学等为理论基础，研究认知与教学行为及教学行为与人类动作、生理特征等之间的关系。 只有掌握了课堂教学行为的意义及其表现特征，才能明确采集什么样的数据及如何提取相关信息来进行分析。 指标构建则是在教学行为机理研究的基础上，结合人工智能技术特点，构建教学行为与人物动作、姿态、表情等特征之间的对应关系，形成相应的指标体系，使教学行为的测量更具有可操作性，以指导数据采集、特征提取和选择、行为识别与计算等。 如在分析学生学习兴趣时，将学生学习兴趣分为认知注意力、学习情感和思维活跃度3个维度，其中认知注意力的测量指标为学生注视黑板的时长，学习情感的测量指标为注意力集中时的笑脸时长，思维活跃度则是通过答题正确率和答题频率来进行测量[38]。 数据获取主要是从图像、语音、文本、生理信号等数据库中获取数据，以进行处理和分析。 特征提取和选择主要是从视频、图像、语音、文本及生理信号等数据中获取能够表征行为类别的相关特征信息，该步骤可包括特征标准化、特征层融合等操作，以为行为识别提供具有良好区分性的特征。 特征提取在人脸识别、数据可视化、模式识别等领域有广泛的应用，但该技术难以解释新特征与样本类别之间的相关关系[39]。 特征选择是指从原始属性中选取最小数量的特征子集，特征子集内的属性与样本类别具有较大相关性，属性与属性之间有较大独立性[40]。 在进行特征的选择时，可利用皮尔逊统计量、信息增益等方法来度量和评估特征与类别之间的相关度，以及特征之间的相关度。 另外，深度学习方法可实现自下而上的无监督的特征自动提取，在样本量较多的情况下采用此方法获取特征，无需过多的人为干预，也得到较多研究者的青睐。 行为识别与计算是利用相关算法根据输入的特征信息进行教学行为类别的判断和计算，内容包括决策层融合、情感识别、教学行为分类、师生行为比例计算、教学模式判断等。 行为识别与计算模型的构建需反复调试与比较，以提升其计算性能和精度。 当行为识别与计算模型构建成功后，便可实现自动化的以教学行为多模态数据作为输入变量进行计算，输出相应的教学行为状态结果，计算结果应用于智能服务模块，为教师、学生、管理者等提供教学支持服务。

(三) 智能服务模块

课堂教学行为智能分析的结果主要服务于课堂教学分析、教师教学分析和教学管理分析与决策三个方面。 在课堂教学过程中，智能分析与计算结果的实时可视化呈现，增强了教师的课堂教学感知，辅助教师进行课堂教学的形成性评价，及时调整教学策略，提供有针对性的学习支持服务，实现“因材施教”。 在教师教学分析方面，教师和教研室利用沉积下来的课堂教学行为分析数据，与学生的人口统计学信息及学习绩效相关联，发现影响学生学习绩效的相关因素，便于教师精准施教。 基于计算结果自动生成的课堂记录表及教师成长曲线等，能跟踪教师教学能力变化，为教师的教学反思提供支架，以进一步改善课堂教学，提升教学质量，促进教师专业发展。 在教学管理分析与决策方面，可在相关平台上汇聚整合辖区内课堂教学分析的数据，学校或区域管理者基于该数据进行宏观层面的教育分析与决策，使教学管理的效率和科学化水平得以提升。 在以上各方面的应用过程中，对出现的问题以及提出的建议形成反馈，继续对计算模型进行改进和完善。

(四) 教育教学理论与人工智能技术、标准

由于教育系统的复杂性，给人工智能技术与教育的融合提出了挑战，需在教育教学理论的指导下，智能化地应对教学系统的多样性和复杂性。 在对教学行为进行数据刻画时，既要针对不同的学习场景和学习过程，还需考虑教学行为数据来源的多样性和异构性，研制相应的标准规范对师生不同的教学行为进行量化与分析。 在教育实践中总结研究，促进相关理论创新和技术变革，提升课堂教学行为分析的科学性和客观性，以提升教学效能。

(五) 信息安全和隐私保护

技术是把双刃剑，随着人工智能技术与学校教育的不断融合深化，大量的教育数据被采集、挖掘、整合和共享，教学场域被逐步量化，教师和学生因被数据化构建而变得更为“透明”，这为教学研究和教学服务带来巨大便利，同时也存在着信息泄露的风险和危害。 因此，在数据的采集、分析和应用的过程中，要加强信息安全和隐私保护，遵守相应的法律法规和伦理规范，提高教师的数据素养。

课堂教学行为智能分析模型的应用探讨

对课堂教学师生的交互行为进行分析和研究，可为教师开展协同教研、教学反思提供支持，现有的分析方法已有很多。 S-T(Student-Teacher)分析方法[41]，是常用的课堂交互行为分析方法，其将教学行为分为T行为(教师行为)和S行为(学生行为)两类，这使得教学过程中的行为编码变得清晰而简单，提高了分类的可靠性和客观性。 传统的S-T分析方法多采用的是人工观察手动编码的方式进行。 随着智能技术的发展，教学环境的改变，使课堂教学行为分析实现自动化、常态化、规模化成为可能。 下面以S-T分析为例，阐述课堂教学行为智能分析模型的应用过程。

(一) 数据采集与存储

1.数据的采集 本研究中，课堂教学数据的采集采用了非入侵、伴随式的数据采集方式。 利用教室中安装的多路高清摄像机采集课堂上教师和学生的图像，利用麦克风采集语音数据，并通过录播系统自动合成为教学视频，存入视频数据库中。 本研究采集了10个中小学课堂教学现场视频作为训练集和测试集。 2.构建课堂教学行为图像数据库 通过视频图像捕获软件，设置每5秒钟采样一帧图像，采集上述10个课堂教学视频中的图像，共获得5360幅图像，并标注图像的行为类别(T行为或S行为)。 为保证图像标注的准确度，本研究选择了10名研究生作为图像标注人员，并制定相关标注规则，对标注人员进行培训后，完成标注。 将标注好的图像数据70%作为训练集和30%作为测试集，分别存入训练图像库和测试图像库。

(二) 行为建模与计算

1.教学行为机理研究 教学过程中的S-T行为分析，T行为主要包括教师的解说、示范、板书、媒体演示、提问、点名和巡视等。 S行为可定义为除T行为以外的所有行为，包括学生发言、思考、笔记、作业等。 基于S-T分析方法对课堂教学场景进行采样并记录，形成反映教学行为分布的量化数据，计算并绘制S-T曲线和Rt-Ch图，据此可以分析该节课师生交互的情况及所采用的教学模式，辅助教师进行教学研讨和反思。 2.指标构建 基于S-T行为分析理论及其人工智能技术的特点，主要对课堂教学图像中的T行为进行识别。 根据人脸检测、轮廓检测等技术的特点及其对教学场景图像特征的识别，建立教学行为与图像特征之间的对应关系，设计了S-T行为分析特征指标，如表1所示。 在表1中，可将教师行为T用图像中的人脸数目、轮廓数目、图像最大轮廓面积和帧间差分图最大轮廓面积四个特征来表示。 行为T1为教师解说、课件播放或板书，教师背对或侧对学生，教学视频中没有人脸，可用人脸检测数目为0和轮廓数目较少来进行推测。 行为T2为教师解说示范、提问或点名，视频中出现教师正面人脸且教师背景环境简单，可用人脸检测数目为1和图像最大轮廓面积较大来进行推测。 行为T3为教师解说，视频中表现为学生听课抬头看黑板，人脸数目和轮廓数目较多。 行为T4为教师在学生中巡视、讲授，主体动作幅度较大时，利用帧差法将当前样本图像与前一样本图像的像素点的灰度值进行做差计算，得到帧间差分图像并计算其最大轮廓面积，如其大于某阈值可判断有物体移动，并且背景有学生时，轮廓数目较多。 学生行为S为除T行为以外的所有行为。 3.获取数据 从训练图像库、测试图像库或视频数据库中获取数据，以进行处理和分析。 4.特征提取和选择 根据提出的S-T行为分析特征指标，需要从图像中获取人脸数目、轮廓数目、图像最大轮廓面积和帧间差分图最大轮廓面积共4种用于S-T行为分类的特征。 OpenCV是一个开放源代码的计算机视觉类库[42]，本研究采用OpenCV提供的相关算法获取图像特征再进行特征选择。 (1)通过人脸检测获取图像中人脸数目。 人脸检测需要提取人脸特征，OpenCV提供了HOG、Haar、LBP等多种特征提取技术。 本研究采用OpenCV自带的人脸检测器，通过在训练集中进行实验对比，Haar人脸检测器获得了较高准确率，得以在本研究中使用。 (2)通过轮廓检测获取图像中轮廓数目及最大轮廓面积。 轮廓检测是从图像中找出显著性物体并提取物体轮廓。 通过对样本图像进行分析后发现，教师行为状态图像背景较为简单，轮廓数目较少，轮廓面积较大且清晰。 因此，可将轮廓检测结果(轮廓数目和面积)作为S-T行为类型判定的因素之一。 本研究中图像轮廓检测的步骤如图2所示，首先采用中值滤波对原始图像进行降噪、去噪，得到较为平滑的图像； 然后对图像进行二值化处理，以凸显物体轮廓； 最后对二值化图像进行轮廓检测，同时过滤掉面积较小轮廓，对轮廓的数目与面积进行统计并保存，提取最大轮廓面积。 (3)采用帧差法进行主体动作检测获取帧间差分图最大轮廓面积。 帧差法即帧间差分法，它利用连续或相隔一定时间的帧间差分来确定图像中的变化区域，从而判断运动目标[43]。 本研究中帧差法计算步骤如图3所示，将相邻两个样本图像进行差分运算得到帧间差分图像，然后对帧间差分图像进行二值化处理及轮廓检测，即可将运动目标检测出来。 课堂情境下，帧间差分图像中最大轮廓面积的取值较大时，即可判断为教师在课堂中巡视、授课。 (4)特征相关性检验。 本研究利用Weka软件对从训练集图像中所提取的图像特征进行评估，判断其与教学行为类别之间的相关性，对各特征值进行归一化处理后，计算结果如表2所示。 计算所有单个特征与教学行为类别之间的皮尔逊相关系数，并根据系数的大小对特征进行排序，系数值越大表示该特征与教学行为类别之间的相关性越强。 表2中的4项特征都取得较大数值，因此可将其作为建立行为识别模型的自变量。 5.行为识别与计算 (1)构建行为识别模型，对教学行为类别进行判断。 以提取到的图像特征信息及分类结果作为输入训练并评估分类器，以获得针对本数据集的最优分类器。 所选择算法训练得出的分类器性能比较如表3所示。 通过比较发现，决策树分类器的精确率较高，可作为针对本数据集的最优分类器。 (2)师生行为统计及教学模式判定。 利用训练得到的分类器，输入图像特征信息，对教师行为和学生行为进行识别。 利用识别的结果计算生成师生互动曲线并判定课堂教学模式。 设定教师行为(T)的个数为Nt，学生行为(S)的个数为Ns，连续同一行为的连数为g，公式(1)计算的是课堂中教师行为占有率Rt，公式(2)则计算师生行为转换率Ch： Rt＝Nt / (Nt+Ns)                        (1) Ch＝(g－1) / (Nt+Ns)                     (2) 然后，可利用Rt、Ch值判定课堂教学模式，如表4所示。

(三) 智能服务

1.服务与反馈 该实验程序应用于实际教学当中，实现了对课堂教学视频进行自动化计算分析，为教师的教学反思提供了支架。 如图4所示，展示了某校小学语文《雪地里的小画家》一课的师生互动情况，最右侧显示的是通过计算得出的教师行为占有率Rt、学生行为占有率、师生行为转化率Ch及判断得出的教学模式； 最左侧显示了自动绘制的S-T曲线； 中间呈现的Rt-Ch图反映了本次课的教学模式类型为讲授型。 该实验成果在应用过程中得到了教师的认可，新方法减轻了教师统计数据的工作量，让教师能更专注于课堂教学的反思和评价； 同时该方法使课堂教学行为分析实现常态化、规模化成为可能，累积下来的数据有利于教师通过横向和纵向的对比分析，发现自身不足，加速个人成长，也能为教学管理者的决策提供数据支撑。 另外，教师们也提供了反馈意见，希望软件能自动识别出更多的课堂教学行为，并且如能提供课堂教学视频的相关背景信息，如教师的相关信息、学情信息、教学设计等，则更有利于对课堂教学行为进行对比和分析。 2.反思与对策 根据应用过程中所获得的反馈和意见，进行总结和反思，提出改进策略以求进一步满足实际应用需求。 首先，需继续增加样本量，补充多种类型的课堂教学样本，提升样本数据的自然度和平衡性，这将有利于特征选择和模型训练。 其次，优化技术和方法，继续挖掘和融入更多的行为识别特征(如： 头部姿态特征、语音特征、生理信号特征等)，采用多模态信息融合的方法提升行为识别的精确度、多样化及细粒度； 同时，还要优化特征提取方法提高检测准确率和鲁棒性，以提升行为识别模型的泛化能力。 最后，进行教学行为分析和统计时能关联教学情境等相关信息，深入挖掘教学行为产生的内在含义，以求更好的服务于教学； 同时，还需注意隐私保护，防止教师和学生的个人信息泄露。

结语

人工智能技术让我们能以一种新的方式来看待课堂和教学，带来了新的教育理念和教学评价方式。 教学过程及情境的分析和优化，得以在新技术的支持下进行思考和论证，使得教育决策更具有科学性和合理性。 本文对当前人工智能技术在课堂教学行为分析中的应用进行了研究和探索，构建了课堂教学行为智能分析模型并将其应用于实践，取得了一定的效果，在应用过程中所获得的反馈意见，又为进一步优化教学行为分析模型指出了方向。 期望本文提出的方法和案例能为基于人工智能技术的课堂教学行为分析研究提供一些参考和借鉴。

参考文献：

[1] 刘清堂,毛刚等.智能教学技术的发展与展望[J].中国电化教育,2016,(6):8-15.

[2] National Science and Technology Council.The national artificial intelligence research and development strategic plan[EB/OL].https://www.nitrd.gov/news/national_ai_rd_strategic_plan.aspx,2016-10-20.

[3] 国务院关于印发新一代人工智能发展规划的通知[EB/OL].http://www.gov.cn/zhengce/content/2017-07/20/content_5211996.htm,2017-07-20.

[4] 教育部关于印发《教育信息化2.0行动计划》的通知[EB/OL].http://www.moe.gov.cn/srcsite/A16/s3342/201804/t20180425_334188.html,2018-04-18.

[5] Macfadyen L P,Dawson S.Mining LMS data to develop an“early warning system”for educators:A proof of concept[J].Computers& Education,2010,54(2):588-599.

[6] 李爽,李荣芹等.基于LMS数据的远程学习者学习投入评测模型[J].开放教育研究,2018,(1):91-102.

[7] 贾积有.人工智能赋能教育与学习[J].远程教育杂志,2018,(1):39-47.

[8] 刘德建,杜静等.人工智能融入学校教育的发展趋势[J].开放教育研究,2018,(4):33-42.

[9] Hilles M M,Naser S S A.Knowledge-based Intelligent Tutoring System for Teaching Mongo Database[J].European Academic Research,2017,4(10):8783-8794.

[10] 孙波,刘永娜等.智慧学习环境中基于面部表情的情感分析[J].现代远程教育研究,2015,(2):96-103.

[11] Altin H,Pedaste M.Learning Approaches to Applying Robotics in Science Education[J].Journal of Baltic Science Education,2013,12(3):365-377.

[12] 綦春霞,何声清.基于“智慧学伴”的数学学科能力诊断及提升研究[J].中国电化教育,2019,(1):41-47.

[13] 唐烨伟,庞敬文等.信息技术环境下智慧课堂构建方法及案例研究[J].中国电化教育,2014,(11):23-29.

[14] Angeli C,Howard S,et al.Data mining in educational technology classroom research:Can it make a contribution?[J].Computers& Education,2017,113(5):226-242.

[15] Holstein K,Hong G,et al.The classroom as a dashboard:co-designing wearable cognitive augmentation for K-12 teachers[A].Abelardo Pardo.Proceedings of the 8th International Conference on Learning Analytics and Knowledge[C].New York:ACM Press,2018.79-88.

[16] 张俍,任友群.教师教育的智能变革何以可能:智能课堂及其意义[J].现代远程教育研究,2018,(4):15-21.

[17][38] 陈靓影,罗珍珍等.课堂教学环境下学生学习兴趣智能化分析[J].电化教育研究,2018,(8):91-96.

[18] 吴永和,刘博文等.构筑“人工智能+教育”的生态系统[J].远程教育杂志,2017,(5):27-39.

[19] Uskov V.L.et al.Smart Universities:Concepts,Systems,and Technologies[M].New York:Springer Press,2018.

[20] Uskov V.L.et al.Building Smart Learning Analytics System for Smart University[A].Vladimir L.Uskov.Proceedings of the 4th International KES Conference on Smart Education and Smart E-Learning[C].New York:Springer Press,2017.191-204.

[21] 中国社会科学院语言研究所词典编辑室编.现代汉语词典[M].北京:商务印书馆,1983.

[22] 王姣姣.实践与反思:课堂教学行为研究——以六所中小学校为个案[D].长沙:湖南师范大学,2009.

[23][24] 张建琼.教学行为研究的教学论意义[J].教育理论与实践,2004,(9):50-53.

[25] 李松林.课堂教学行为分析引论[J].教育理论与实践,2005,(4):48-51.

[26] 王陆,李瑶.课堂教学行为大数据透视下的教学现象探析[J].电化教育研究,2017,(4):77-85.

[27] Anderson H H.The measurement of domination and of socially integrative behavior in teachers’contacts with children[J].Child Development,1939,10(2):73-89.

[28] Flanders N.Intent,Action and Feedback:A Preparation for Teaching[J].Journal of Teacher Education,1963,14(3):251-260.

[29][41] 傅德荣,章慧敏等.教育信息处理[M].北京:北京师范大学出版社,2011.

[30] 顾小清,王炜.支持教师专业发展的课堂分析技术新探索[J].中国电化教育,2004,(7):18-21.

[31] 穆肃,左萍萍.信息化教学环境下课堂教学行为分析方法的研究[J].电化教育研究,2015,(9):62-69.

[32] 李静,张祺等.中学信息化课堂教学交互行为研究——基于质性分析的视角[J].中国电化教育,2014,(2):101-107.

[33] 王艳丽,程云等.技术支持下的课堂教学行为观察方法探究[J].现代教育技术,2016,26(9):39-45.

[34] Liu N H,Chiang C Y,et al.Recognizing the Degree of Human Attention Using EEG Signals from Mobile Sensors[J].Sensors,2013,13(8):10273-10286.

[35] Whitehill J,Serpell Z,et al.The Faces of Engagement:Automatic Recognition of Student Engagement from Facial Expressions[J].IEEE Transactions on Affective Computing,2014,5(1):86-98.

[36] 韩丽,李洋等.课堂环境中基于面部表情的教学效果分析[J].现代远程教育研究,2017,(4):97-103.

[37] 曹晓明,张永和等.人工智能视域下的学习参与度识别方法研究——基于一项多模态数据融合的深度学习实验分析[J].远程教育杂志,2019,(1):32-44.

[39][40] 潘锋.特征提取与特征选择技术研究[D].南京:南京航空航天大学,2011.

[42] Gary Bradski, Adrian Kaebler.学习OpenCV(中文版)[M].北京:清华大学出版社,2009.

[43] 李彤.智能视频监控下的多目标跟踪技术研究[D].长沙:中国科学技术大学,2013.

权责声明

本文来源于《中国电化教育》 | 2019年09期 .

本微信转载文章出于非商业性的教育和科研目的，如转载稿涉及版权等问题，请立即联系我们，我们会予以更改或删除相关文章，保证您的权利。封面图片来源于网上。