基于深度学习的答案选择方法研究

发布时间：2025-05-08 03:17

　　答案选择作保问答系统中的核心任务,能够有效帮助计算机理解自然语言,保以问答系统保基础构建的智能应用提供支持。目前主流方法通过微调BERT、RoBERTa等预训练模型构建答案选择模型。然而,这类方法存在着问答语义信息交互不足、缺乏背景知识的问题。针对上述问题,本文进行以下研究: (1)针对当前答案选择模型缺乏问答语义信息交互,微调下游任务模型鲁棒性低的问题,提出一种融合问题分类与RoBERTa的答案选择方法。首先,使用ASNQ数据集对模型进行迁移学习,使模型适应下游任务,缓解模型微调下游任务精度不稳定的问题;其次,利用命名实体识别工具识别答案句中的实体类型并标注,随后对这些类型与四种答案期望类型(EAT)进行映射,并根据问题的EAT过滤答案句中标注的实体,留下关键实体与标注信息;最后,利用Joint-RoBERTa能够对多个答案句语义关联信息进行建模的特性,对标注后的问答句语义特征进行融合,并计算问答对的语义相似度。 (2)针对现有模型缺乏背景知识、以往方法在知识提取过程中存在无关知识混入以及知识的特征表示与上下文信息相互隔离的问题,提出一种融合外部知识与Joint-RoBERTa的答案选...

【文章页数】：61 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第一章 绪论
    1.1 研究背景和意义
    1.2 国内外研究现状
        1.2.1 问题定义
        1.2.2 基于文本特征提取的方法
        1.2.3 基于预训练模型微调的方法
        1.2.4 答案选择任务中的知识增强方法
    1.3 本文主要工作
    1.4 论文组织结构
第二章 相关技术与理论
    2.1 问题分类技术
        2.1.1 卷积神经网络
        2.1.2 注意力机制
        2.1.3 BERT 与 RoBERTa
        2.1.4 迁移学习
        2.1.5 知识图谱
    2.2 本章总结
第三章 融合问题分类与 RoBERTa 的答案选择方法
    3.1 引言
    3.2 模型整体框架
    3.3 融合问题分类与 RoBERTa 的答案选择方法
        3.3.1 基于段落的 RoBERTa 答案选择模型
        3.3.2 保留原语义的EAT实体标注方法
        3.3.3 基于迁移与自适应的 Joint-RoBERTa 微调过程
    3.4 实验及结果分析
        3.4.1 实验数据集
        3.4.2 评价指标
        3.4.3 实验设置
        3.4.4 基线模型
        3.4.5 主实验
        3.4.6 消融实验
    3.5 本章小结
第四章 融合外部知识与Joint-RoBERTa的答案选择方法
    4.1 引言
    4.2 模型整体框架
    4.3 融合外部知识与Joint-RoBERTa的答案选择模型
        4.3.1 句子表示模块
        4.3.2 实体过滤与知识表示层
        4.3.3 知识融合模块
    4.4 实验及结果分析
        4.4.1 实验数据集
        4.4.2 评价指标
        4.4.3 实验设置
        4.4.4 基线模型
        4.4.5 主实验
        4.4.6 消融实验
    4.5 本章小结
第五章 总结与展望
    5.1 总结
    5.2 未来展望
参考文献



本文编号：4044235