基于语音和文本的课堂情绪识别研究

发布时间：2025-07-02 04:36

　　情绪在人类的决策、交互和认知过程中扮演着十分重要的角色,人们迫切希望通过技术手段来自动的、精准的识别人类的情绪,为人类做决策制定解决方案提供有效的支撑。近年来随着深度学习算法在图像、文本、语音等各个领域的成功应用,众多的科研人员也将这项技术应用到了情绪识别研究中。课堂作为一个重要的应用场景,研究者们也是迫切希望利用课堂场景下的数据通过机器来实现对师生情绪的自动识别。以课堂情绪来反映学情,辅助老师实施教学干预,也就是将学生的情绪转化为老师的决策建议,以帮助老师进行精准教学。对于教师而言,这将有助于教师进行课后反思,亦可作为教师教学水平的一项评估依据。此外,实现对课堂情绪的精准画像将有效促进对课堂的客观评价。针对目前的课堂情绪识别研究而言,首先相关研究比较少,部分课堂情绪识别研究是基于视觉或生理信号的,而视觉数据和生理信号的采集相对比较困难而且成本高昂;其次识别方法也更多的是基于统计理论的传统机器学习方法;最后数据模态的利用比较单一,由于情绪的复杂性所以目前使用单一模态来进行有效的情绪识别仍然是一项艰巨的任务。因为课堂教学过程中师生间的交互主要是话语交流,所以本研究旨在通过利用师生交流过程中...

【文章页数】：92 页

【学位级别】：硕士

【部分图文】：

图２．１唤醒度－效价空间模型??

怕、厌恶??Ｉｚａｒｄ?惊讶、喜悦、有趣、轻蔑、生气、厌恶、困惑、害怕、内疚、自责??Ｏａｔｌｅｙ?开心、焦虑、厌恶、生气、悲伤??Ｅｋｍａｎ?喜悦、惊讶、生气、伤心、厌恶、害怕??维度空间连续型情绪描述模型是为了能描述复杂情绪而诞生的一种情绪描述??模型，连续模型将情绪的状态从....

图２．２包含一个隐藏层的前馈神经网络结构??前馈神经网络在计算层面包括线性变换和非线性激活这两个部分，它的计算本??

ａｔｔ?提出??的单层感知机，２０世纪８０年代一些研宄者在单层感知机的基础上提出了多层感知??机并逐渐在语音识别、图像识别、机器翻译等各种领域得到了广泛的应用［４９，力。９０??年代多层感知机前馈网络受到了来自支持向量机技术的冲击，原因是支持向量机具??有更少的参数，更高的效率和....

图２．３?ＬｅＮｅｔ－５卷积神经网络结构??如图２．３展示的是由Ｌｅｃｉｍ等人提出的用于识别文字的卷积神经网络

一个特征图的生成??它只依赖于一种特征过滤器，这在一定程度上能减少参数量，提升运算的效率。??Ｃ３：?ｆ．?ｍａｐｓ?１６＠１０ｘ１０??ＩＮＰＵＴ?Ｃｒｅａｔｕｒｅ?ｍａｐｓ?Ｓ４：?ｆ?ｍａｐｓ１６＠５ｘ５??３２Ｘ３２?ＨＬ．?ＯＵＴＰＵＴ??ａ?Ｉ?ｐａｎｅ?ｉＬ，?＾ｍ....

图２．４卷积运算示意图??（２）池化层??

硕士学位论文??ＭＡＳＴＥＲ＇Ｓ?ＴＨＥＳＩＳ??（１）卷积层??卷积层是卷积神经网络的核心，它主要负责提取输入对象的局部空间特征。一??般情况下，为了能提取到多种不同的特征模式，一般会事先预设多个可以学习的卷??积核（也称特征过滤器）来对输入执行卷积操作，包括卷积运算和整流激活....

本文编号：4055246