基于外部知识和记忆网络的句子对建模技术研究

发布时间：2025-06-21 03:05

　　随着自然语言理解技术的发展,诸如问答系统、智能客服对话等智能系统应用愈发广泛。智能系统的本质是建模自然语言句子,充分理解自然文本的语义,进而执行相应的任务。句子对建模(Sentence Pair Modeling)为自然语言理解的基本任务,它旨在建模两个句子的语义信息并判别其间的语义关系。因此,关于句子对建模的研究有助于下游自然语言理解任务,如自然语言推理和释义识别。当前基于神经网络的句子对建模方法大多仅依赖于训练语料,一方面,其不能有效地学习到模型理解文本的过程中需要的外部常识知识;另一方面,句子对建模过程中文本受关注的部分会随着模型对句子理解程度的变化而动态变化,因此模型需要多轮的深度信息交互处理而非简单的神经网络节点计算。因此,本文将外部常识知识和带有多轮交互的记忆网络引入文本建模方法中,进而实现高性能句子对建模的目标。本文主要的工作与贡献包括:(1)知识自适应神经网络模型:该模型从外部知识库中获取和句子相关的三元组形式的常识知识,然后通过知识吸收门将编码后的外部常识知识自适应地引入神经网络模型中,最后,模型经过知识化的信息聚集和文本推理进行语义推断和关系预测。该模型的创新点在于,...

【文章页数】：72 页

【学位级别】：硕士

【文章目录】：
内容摘要
ABSTRACT
1 绪论
    1.1 研究背景
    1.2 国内外研究现状
    1.3 本文主要研究工作
    1.4 本文组织结构
2 相关知识与技术研究
    2.1 时序神经网络模型
    2.2 预训练语言模型
    2.3 注意力机制
    2.4 本章小结
3 知识自适应句子对建模模型
    3.1 研究动机
    3.2 知识自适应句子对建模模型KANN
        3.2.1 KANN模型概览
        3.2.2 知识选择
        3.2.3 知识吸收门的构建
        3.2.4 句子交互和推理预测
    3.3 实验设置
        3.3.1 数据集和参数设置
        3.3.2 对比模型
    3.4 实验结果及分析
        3.4.1有效性实验
        3.4.2 消融分析
        3.4.3 不同知识来源和知识数量的影响
        3.4.4 知识吸收门位置的影响
        3.4.5 案例分析
    3.5 本章小结
4 双残差记忆网络句子对建模模型
    4.1 研究动机
    4.2 双残差记忆网络句子对建模模型DRMN
        4.2.1 DRMN模型概览
        4.2.2 句子向量表示
        4.2.3 双记忆结构构建
        4.2.4 基于残差记忆模块的句子交互
        4.2.5 最终预测
    4.3 实验设置
        4.3.1 数据集和参数设置
        4.3.2 对比模型
    4.4 实验结果及分析
        4.4.1有效性实验
        4.4.2 消融分析
        4.4.3 案例分析
    4.5 本章小结
5 基于句子对建模的主观题自动评分系统实现
    5.1 系统架构
    5.2 系统开发环境及平台
    5.3 系统详细设计与实现
    5.4 本章小结
6 总结与展望
    6.1 工作总结
    6.2 研究展望
参考文献
攻读学位期间发表的学术论文以及科研成果
致谢



本文编号：4051814