基于多模态融合的课堂教师教学行为自动识别研究
发布时间：2020-12-21 15:21
教育乃百年之大计。当前国内外对于课堂教学行为研究大多是以MOOC、SPOC等方式的线上为主,线下为辅。而当前主流的教育模式还是以线下为主,对线下课堂教学的评价却始终停留在原始的随堂专家评审的阶段,基于新技术如人工智能、大数据技术的课堂教学分析与评价却始终停留在理论层面。而对于教师的教学行为的评价无疑是课堂评价的主要内容之一,但是针对教师教学行为的识别却存在没有标准的编码方式和数据集可用、教学行为难以自动识别、识别精度较低等诸多技术瓶颈。针对这些技术瓶颈和巨大挑战,本文提出基于多模态融合的课堂教师教学行为自动识别模型,从而解决上述问题,为大规模、高精度、高性能的AI智能评教迈出重要的一步,并取得如下成果:（1）建立了课堂教学领域的教师行为视频、音频数据集及对应编码标准在传统课堂教学领域往往采用弗兰德斯互动分析法（FIAS）来对课堂的交互行为进行分析,而本次研究以课堂教学监控视频中的教师教学行为为研究对象,采集华中师范大学8号教学楼智慧教室长达12门课程的120个小时教学视频,并按照专业化的数据集制作流程建立了国内首个大规模的课堂教学行为视频、音频数据集CCNU-10,数据量达56000,...
【文章来源】：华中师范大学湖北省 211工程院校 教育部直属院校
【文章页数】：80 页
【学位级别】：硕士
【部分图文】：
图１．１所示，分为以下几个模块：??７??
硕士学位论文??ＭＡＳＴＥＲ＇Ｓ?ＴＨＥＳＩＳ??间的Ｘ和ｙ方向上进行光流场Ｆｘ和Ｆｙ的提取，这样的光流即表征其运动轨迹??（ｔｒａｊｅｃｔｏｒｙ）。Ｍａｔｉｋａｉｎｅｎ?等人［４７］提出基于光流的稀疏?Ｋａｎａｄｅ－Ｌｕｃａｓ－Ｔｏｍａｓｉ?（ＫＬＴ）??轨迹的行为识别方法。当然，与之相对应的稠密的运动轨迹（ｄｅｎｓｅｔｒａｊｅｃｔｏｒｙ）在后期??也有相关学者进行了研宄。比如Ｗａｎｇ等人［４４，４８］稠密运动轨迹做出了相关的研宄，??显著的优点在于无需进行目标的预处理过程就可去除背景，不过对于摄像头本身的??运动干扰却回答同时计算复杂度较大，下图２．２即为其流程示意图。??（ａ）?ｏｒｉｇｉｎａｌ?ｉｍａｇｅ?（ｂ）?ｏｐｔｉｃａｌ?ｆｌｏｗ?Ｆｘ＾ｙ???????、??＾?＾?Ｉ?？ｋｊ?－?靜??－??（Ｃ）?Ｆｘ，?Ｆｙ?（ｄ）Ｆ＋，Ｆ－，Ｆ＋，Ｆ－?（ｅ）?Ｆｂ＋，?Ｆ６￣，?Ｆｂ＋，?Ｆｂ￣??图２．１视频光流场示例??Ｔｒａｃｋｉｎｇ?ｉｎ?ｅａｃｈ?ｓｐａｔｉａｌ?ｓｃａｌｅ?ｓｅｐａｒａｔｅｌｙ?Ｔｒａｊｅｃｔｏｒｙ?ｄｅｓｃｒｉｐｔｉｏｎ??Ｄｅｎｓｅ?ｓａｍｐｌｉｎｇ?￣??ｉｎｅａｃｈ￣?揭??＜屬雜、?１’?一—???巍虐息??、?Ｖ：＾Ｖ＼ｘＶ?ＨＯＧ?ＨＯＦ?ＭＢＨ??图２．２基于稠密运动轨迹的特征提取流程??在将包含的行为视频的进行表示之后，下一步就是通过分类器将其归为原定的??１６??
硕士学位论文??ＭＡＳＴＥＲ＇Ｓ?ＴＨＥＳＩＳ??间的Ｘ和ｙ方向上进行光流场Ｆｘ和Ｆｙ的提取，这样的光流即表征其运动轨迹??（ｔｒａｊｅｃｔｏｒｙ）。Ｍａｔｉｋａｉｎｅｎ?等人［４７］提出基于光流的稀疏?Ｋａｎａｄｅ－Ｌｕｃａｓ－Ｔｏｍａｓｉ?（ＫＬＴ）??轨迹的行为识别方法。当然，与之相对应的稠密的运动轨迹（ｄｅｎｓｅｔｒａｊｅｃｔｏｒｙ）在后期??也有相关学者进行了研宄。比如Ｗａｎｇ等人［４４，４８］稠密运动轨迹做出了相关的研宄，??显著的优点在于无需进行目标的预处理过程就可去除背景，不过对于摄像头本身的??运动干扰却回答同时计算复杂度较大，下图２．２即为其流程示意图。??（ａ）?ｏｒｉｇｉｎａｌ?ｉｍａｇｅ?（ｂ）?ｏｐｔｉｃａｌ?ｆｌｏｗ?Ｆｘ＾ｙ???????、??＾?＾?Ｉ?？ｋｊ?－?靜??－??（Ｃ）?Ｆｘ，?Ｆｙ?（ｄ）Ｆ＋，Ｆ－，Ｆ＋，Ｆ－?（ｅ）?Ｆｂ＋，?Ｆ６￣，?Ｆｂ＋，?Ｆｂ￣??图２．１视频光流场示例??Ｔｒａｃｋｉｎｇ?ｉｎ?ｅａｃｈ?ｓｐａｔｉａｌ?ｓｃａｌｅ?ｓｅｐａｒａｔｅｌｙ?Ｔｒａｊｅｃｔｏｒｙ?ｄｅｓｃｒｉｐｔｉｏｎ??Ｄｅｎｓｅ?ｓａｍｐｌｉｎｇ?￣??ｉｎｅａｃｈ￣?揭??＜屬雜、?１’?一—???巍虐息??、?Ｖ：＾Ｖ＼ｘＶ?ＨＯＧ?ＨＯＦ?ＭＢＨ??图２．２基于稠密运动轨迹的特征提取流程??在将包含的行为视频的进行表示之后，下一步就是通过分类器将其归为原定的??１６??
【参考文献】：
期刊论文
[1]中学生课堂问题行为的调查研究[J]. 张彩云. 教育理论与实践. 2015(28)
[2]信息化教学环境下课堂教学行为分析方法的研究[J]. 穆肃,左萍萍. 电化教育研究. 2015(09)
[3]论科学研究的审美性质[J]. 唐松林,邓洁隽. 大学教育科学. 2015(04)
[4]课堂教学研究二十年:回顾、反思与重建[J]. 李松林. 教育理论与实践. 2008(31)
[5]新课程理念下教师教学行为研究[J]. 毕田增. 林区教学. 2005(02)
[6]支持教师专业发展的课堂分析技术新探索[J]. 顾小清,王炜. 中国电化教育. 2004(07)
[7]新课程与教师行为的变化[J]. 傅道春. 人民教育. 2001(12)
博士论文
[1]基于视频的人类行为识别方法研究[D]. 刘志康.中国科学技术大学 2018
硕士论文
[1]基于深度学习的课堂教学行为识别系统的研究与实现[D]. 宋志海.北京邮电大学 2018
[2]课堂教学语言行为分析平台的开发与应用[D]. 李兰英.浙江师范大学 2013
[3]教学视频与幻灯片同步方法研究[D]. 张智刚.西安电子科技大学 2013
[4]课堂教学视频分析的方法研究[D]. 高佩红.湖南师范大学 2011
本文编号：2930053
【文章来源】：华中师范大学湖北省 211工程院校 教育部直属院校
【文章页数】：80 页
【学位级别】：硕士
【部分图文】：
图１．１所示，分为以下几个模块：??７??
硕士学位论文??ＭＡＳＴＥＲ＇Ｓ?ＴＨＥＳＩＳ??间的Ｘ和ｙ方向上进行光流场Ｆｘ和Ｆｙ的提取，这样的光流即表征其运动轨迹??（ｔｒａｊｅｃｔｏｒｙ）。Ｍａｔｉｋａｉｎｅｎ?等人［４７］提出基于光流的稀疏?Ｋａｎａｄｅ－Ｌｕｃａｓ－Ｔｏｍａｓｉ?（ＫＬＴ）??轨迹的行为识别方法。当然，与之相对应的稠密的运动轨迹（ｄｅｎｓｅｔｒａｊｅｃｔｏｒｙ）在后期??也有相关学者进行了研宄。比如Ｗａｎｇ等人［４４，４８］稠密运动轨迹做出了相关的研宄，??显著的优点在于无需进行目标的预处理过程就可去除背景，不过对于摄像头本身的??运动干扰却回答同时计算复杂度较大，下图２．２即为其流程示意图。??（ａ）?ｏｒｉｇｉｎａｌ?ｉｍａｇｅ?（ｂ）?ｏｐｔｉｃａｌ?ｆｌｏｗ?Ｆｘ＾ｙ???????、??＾?＾?Ｉ?？ｋｊ?－?靜??－??（Ｃ）?Ｆｘ，?Ｆｙ?（ｄ）Ｆ＋，Ｆ－，Ｆ＋，Ｆ－?（ｅ）?Ｆｂ＋，?Ｆ６￣，?Ｆｂ＋，?Ｆｂ￣??图２．１视频光流场示例??Ｔｒａｃｋｉｎｇ?ｉｎ?ｅａｃｈ?ｓｐａｔｉａｌ?ｓｃａｌｅ?ｓｅｐａｒａｔｅｌｙ?Ｔｒａｊｅｃｔｏｒｙ?ｄｅｓｃｒｉｐｔｉｏｎ??Ｄｅｎｓｅ?ｓａｍｐｌｉｎｇ?￣??ｉｎｅａｃｈ￣?揭??＜屬雜、?１’?一—???巍虐息??、?Ｖ：＾Ｖ＼ｘＶ?ＨＯＧ?ＨＯＦ?ＭＢＨ??图２．２基于稠密运动轨迹的特征提取流程??在将包含的行为视频的进行表示之后，下一步就是通过分类器将其归为原定的??１６??
硕士学位论文??ＭＡＳＴＥＲ＇Ｓ?ＴＨＥＳＩＳ??间的Ｘ和ｙ方向上进行光流场Ｆｘ和Ｆｙ的提取，这样的光流即表征其运动轨迹??（ｔｒａｊｅｃｔｏｒｙ）。Ｍａｔｉｋａｉｎｅｎ?等人［４７］提出基于光流的稀疏?Ｋａｎａｄｅ－Ｌｕｃａｓ－Ｔｏｍａｓｉ?（ＫＬＴ）??轨迹的行为识别方法。当然，与之相对应的稠密的运动轨迹（ｄｅｎｓｅｔｒａｊｅｃｔｏｒｙ）在后期??也有相关学者进行了研宄。比如Ｗａｎｇ等人［４４，４８］稠密运动轨迹做出了相关的研宄，??显著的优点在于无需进行目标的预处理过程就可去除背景，不过对于摄像头本身的??运动干扰却回答同时计算复杂度较大，下图２．２即为其流程示意图。??（ａ）?ｏｒｉｇｉｎａｌ?ｉｍａｇｅ?（ｂ）?ｏｐｔｉｃａｌ?ｆｌｏｗ?Ｆｘ＾ｙ???????、??＾?＾?Ｉ?？ｋｊ?－?靜??－??（Ｃ）?Ｆｘ，?Ｆｙ?（ｄ）Ｆ＋，Ｆ－，Ｆ＋，Ｆ－?（ｅ）?Ｆｂ＋，?Ｆ６￣，?Ｆｂ＋，?Ｆｂ￣??图２．１视频光流场示例??Ｔｒａｃｋｉｎｇ?ｉｎ?ｅａｃｈ?ｓｐａｔｉａｌ?ｓｃａｌｅ?ｓｅｐａｒａｔｅｌｙ?Ｔｒａｊｅｃｔｏｒｙ?ｄｅｓｃｒｉｐｔｉｏｎ??Ｄｅｎｓｅ?ｓａｍｐｌｉｎｇ?￣??ｉｎｅａｃｈ￣?揭??＜屬雜、?１’?一—???巍虐息??、?Ｖ：＾Ｖ＼ｘＶ?ＨＯＧ?ＨＯＦ?ＭＢＨ??图２．２基于稠密运动轨迹的特征提取流程??在将包含的行为视频的进行表示之后，下一步就是通过分类器将其归为原定的??１６??
【参考文献】：
期刊论文
[1]中学生课堂问题行为的调查研究[J]. 张彩云. 教育理论与实践. 2015(28)
[2]信息化教学环境下课堂教学行为分析方法的研究[J]. 穆肃,左萍萍. 电化教育研究. 2015(09)
[3]论科学研究的审美性质[J]. 唐松林,邓洁隽. 大学教育科学. 2015(04)
[4]课堂教学研究二十年:回顾、反思与重建[J]. 李松林. 教育理论与实践. 2008(31)
[5]新课程理念下教师教学行为研究[J]. 毕田增. 林区教学. 2005(02)
[6]支持教师专业发展的课堂分析技术新探索[J]. 顾小清,王炜. 中国电化教育. 2004(07)
[7]新课程与教师行为的变化[J]. 傅道春. 人民教育. 2001(12)
博士论文
[1]基于视频的人类行为识别方法研究[D]. 刘志康.中国科学技术大学 2018
硕士论文
[1]基于深度学习的课堂教学行为识别系统的研究与实现[D]. 宋志海.北京邮电大学 2018
[2]课堂教学语言行为分析平台的开发与应用[D]. 李兰英.浙江师范大学 2013
[3]教学视频与幻灯片同步方法研究[D]. 张智刚.西安电子科技大学 2013
[4]课堂教学视频分析的方法研究[D]. 高佩红.湖南师范大学 2011
本文编号：2930053
本文链接：https://www.wllwen.com/jiaoyulunwen/gaodengjiaoyulunwen/2930053.html
