基于RealSense的在线教育表情识别研究及应用

发布时间：2020-03-24 17:31

【摘要】：在线教育是教育信息化和终生教育的重要途径,也是个性化教育发展的途径之一。在线教育依托互联网、计算机等技术和手段,引发了教育观念和教育模式的重要转向和深刻变革,但是,在线教育使用中仍然存在不足,尤其是师生交互方面。由于在线教育具有时空分离等特点,学习者和教师在线学习过程中无法实现情感交流,从而导致学习者的情感缺失。这些缺点会影响在线教育的学习效率,以及学习者的认知和心理等。那么,研究如何弥补在线教育中学习者情感缺失,已经成为在线教育领域中亟待解决的问题。在线教育的情感计算强调的是学习者情感信息的实时获取和快速反馈,而在线教育下的学习者表情表现出多样性、复杂性等特点。RealSense实感技术是Intel公司研发的中近距离感知技术,可实时获得人脸特征数据。通过对脸部特征点的数据分析,教师可以实时的获得学生在学习过程中的表情描述,进而与学生进行互动,以弥补师生分离造成的情感缺失,满足在线教育中的情感交互要求。本文的主要工作和创新点包括:首先,在研究分析目前已有的表情数据库在基础上,结合在线教育的特点,建立了一个基于实感技术的表情数据库,该数据库除包含二维RGB图片序列外,还包括对应帧的深度图像,以及整个面部的三维特征点数据。其次,研究光流法表情检测相关理论,通过对大量表情数据的分析,提出了一种基于局部特征点分析的表情检测方法,可以快速地检测到人脸表情。实验结果表明,该方法在保证表情检测准确性的前提下,明显降低了表情数据的冗余。再次,设计并实现了一个基于实感技术的表情识别模型。该模型包括图像预处理、特征提取、分类识别三个环节。其中特征提取采用旋转不变性的LBP特征和基本的RGB颜色特征,将提取的特征放入对多特征融合识别较好的Alexnet卷积神经网络模型进行训练识别。通过对表情数据库的测试结果表明,该方法可以较好的识别表情类别,满足在线教育的要求。最后,设计了一套初步的在线教育情感计算系统模型,并为验证系统的有效性,进行了小规模的实验测试,实验结果表明系统是有效的。
【图文】：

流程图,硕士学位论文,流程

本文实毅流程圈

表情,数据库

逦ｔ．Ｖｔ逡逑Ｃ０７逡逑图２．１邋ＰＩＥ数据库中样本实例逡逑（２）邋ＣＫ＋数据库逡逑这个数据库包括１２３个对象的５９３个图像序列，每个序列的最后一帧都对应逡逑表情序列的峰值帧，而在这５９３个图像序列中，，有３２７个表情序列有标签（０－中逡逑性１－愤怒２－蔑视３－厌恶４－恐惧５－高兴６－悲伤７－惊讶）。逡逑Ｓ０７３邋ＣＫＷ邋０００００００５逦Ｓ０７３邋００４邋０００００００５逦Ｓ０７３邋００４邋０００００００７逦Ｓ０７３ＪＸ？＿０００００００Ｓ逡逑ＨＨｌｉＨ逡逑Ｓ０７３邋００４００００００Ｑ９逦Ｓ０７３＿００４．００Ｃ！ＣＫ）０１０逦Ｓ０７３＿００４＿００００００１１逦５０７３＾０４．００００００１２逡逑图２．２邋ＣＫ＋表情数据库范例逡逑（３）邋Ｊａｆｆｅ表情数据库逡逑该数据库包含由１０名日本女性模特组成的７幅面部表情（６个基本面部表情逡逑＋１个中性）的２１３幅图像。该数据库都为正面图像，在拍摄后，对图像进行裁剪逡逑和整理，图像大小比例符合在线人机交互需要。逡逑图２．３邋ＪＡＦＦＥ表情数据库样本逡逑８逡逑
【学位授予单位】：华中师范大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：G434

【相似文献】