基于深度神经网络的文本分类模型研究

发布时间：2025-07-02 01:26

　　互联网中的信息伴随着无序和杂乱,于是信息的整理和归类便显现出了重要性。文本分类技术应运而生,该技术旨在能够快速并准确地分类文本。文本分类是自然语言处理领域最为基础的任务之一,已经进入了深度神经网络时代,深度神经网络能够克服传统文本表示存在的矩阵稀疏性、维度爆炸、难以表达语义等问题;能够弥补传统文本分类方法特征提取能力不足的劣势。本文主要研究了中文文档主题分类的相关技术,深入探究了多种深度神经网络在文本分类上的应用,并在此基础上设计并实现了一个适合于文档主题分类的文本分类模型。本文主要的研究工作内容包含以下几点:针对不同领域语料之间的文本语义存在的差异性问题,本文选取与实验数据集相同领域内的语料数据作为训练词向量的语料库内容,在最大程度上保证语义一致性;同时采用时下流行的神经语言模型Word2Vec去获取连续而稠密的词向量,以此作为后续任务的基础。针对如何实现循环神经网络较好地在短语上建模问题,本文使用卷积算法提取相应的短语(n-gram)特征;其次使用可以克服单向循环神经网络语义偏置问题的双向循环神经网络提取包含完整上下文语义信息的特征,以及使用能够捕捉数据内部相关性特点的注意力机制对特...

【文章页数】：64 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
第1章 引言
    1.1 研究背景与意义
    1.2 国内外研究现状
        1.2.1 文本表示方法
        1.2.2 文本分类方法
    1.3 本文研究内容
    1.4 本文结构组织
第2章 相关工作
    2.1 中文分词
    2.2 词向量
    2.3 卷积神经网络
        2.3.1 CNN
        2.3.2 Text-CNN
    2.4 循环神经网络
        2.4.1 长短时记忆(LSTM)
        2.4.2 门控循环单元(GRU)
        2.4.3 简单循环单元(SRU)
    2.5 注意力机制
    2.6 本章小结
第3章 基于卷积循环的文本分类模型框架
    3.1 引言
    3.2 模型整体介绍
    3.3 基于Word2vec的词嵌入
    3.4 基于卷积的短语特征提取结构
        3.4.1 n-gram特征
        3.4.2 短语特征提取结构
    3.5 基于注意力机制的文本向量生成结构
        3.5.1 自注意力机制
        3.5.2 文本表示向量生成结构
    3.6 本章小结
第4章 模型实验以及结果分析
    4.1 引言
    4.2 实验设计
        4.2.1 实验环境
        4.2.2 实验细节
        4.2.3 实验评价指标
    4.3 实验结果和分析
        4.3.1 分词实验结果
        4.3.2 词向量训练结果
        4.3.3 模型Conv-BSA测试结果
        4.3.4 循环结构对比实验结果
        4.3.5 与其他分类模型对比实验结果
        4.3.6 参数实验
    4.4 本章小结
第5章 结论与展望
    5.1 结论
    5.2 进一步工作的方向
致谢
参考文献
攻读学位期间的研究成果



本文编号：4055006