基于深度学习与自注意力机制的情感分类方法研究

发布时间：2025-07-09 02:50

　　传统的情感分类算法大多基于浅层的机器学习,采用人工设计的特征选择方法进行特征提取,但这些方法耗时长,训练难,人工成本高的缺陷很难适用于如今数据集庞大的应用场景。基于深度学习的情感分类方法,能从海量数据中主动学习包含语义信息的词向量,通过不同的深度神经网络获得句子或文档的特征和情感表达。深度神经网络中的损失函数对模型训练过拟合影响力显著,优化损失函数能够提高模型泛化能力,减少过拟合;情感词在文本分类中占有重要地位,循环神经网络中对输入词在情感分类结果的贡献度进行快速排序,增加情感词在文本分类中的影响,能够定量减少情感信息的丢失;在情感分类任务中引入自注意力机制,能充分学习到句子内部的词依赖关系,优化特征向量,有效解决信息冗余。基于上述思想,本文结合深度神经网络和自注意力机制展开文本情感分类方法的研究,通过设计模型结构和优化策略,提出四种情感分类模型,以期获得更好的分类效果。本文主要研究工作和创新点如下:(1)以长短期记忆网络和卷积神经网络为基础,对二分类任务中所用的交叉熵损失函数进行优化,使模型更有效地去拟合预测错误样本,减少过拟合。基于优化的交叉熵损失函数,设计了 LSTM-BO(Lon...

【文章页数】：75 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
1 绪论
    1.1 研究背景及意义
    1.2 国内外研究和发展现状
        1.2.1 情感分析研究现状
        1.2.2 深度学习研究现状
        1.2.3 注意力机制研究现状
    1.3 主要工作
    1.4 本文的组织结构
2 相关理论概述
    2.1 词向量
        2.1.1 词的分布式表示
        2.1.2 Word2vec框架
    2.2 深度神经网络模型介绍
        2.2.1 卷积神经网络
        2.2.2 LSTM和 Bi-LSTM模型
    2.3 注意力机制
    2.4 评价指标
    2.5 本章小结
3 基于深度学习的情感分类方法研究
    3.1 基于优化损失函数的LSTM-BO和 CNN-BO模型
        3.1.1 合页损失函数和三元组损失函数的本质思想
        3.1.2 LSTM-BO和 CNN-BO模型
    3.2 融合情感词权重的W-RNN模型
        3.2.1 循环神经网络
        3.2.2 W-RNN模型
        3.2.3 算法流程
    3.3 实验设置与结果分析
        3.3.1 实验设置
        3.3.2 基于LSTM-BO和 CNN-BO模型的实验结果分析
        3.3.3 基于W-RNN模型的实验结果分析
    3.4 本章小结
4 结合自注意力机制的SA-BiLSTM模型
    4.1 自注意力机制
        4.1.1 注意力机制本质思想
        4.1.2 位置编码
        4.1.3 复杂度分析
    4.2 SA-BiLSTM模型框架
    4.3 实验设置与结果分析
        4.3.1 实验设置
        4.3.2 基准系统及超参数配置
        4.3.3 实验结果与分析
    4.4 本章小结
5 总结与展望
    5.1 本文总结
    5.2 工作展望
致谢
参考文献
攻读硕士学位期间主要科研成果



本文编号：4057028