基于多级语义表示和混合注意力机制的机器阅读理解研究

发布时间：2022-05-08 17:38

　　机器阅读理解是语言处理的一个重要分支,目的是让机器理解文本的语义并推理相关结论。机器阅读理解的主要过程是通过输入给定的文章和问题,输出与问题相匹配的答案。相对于传统的问答系统,机器阅读理解不依赖于强大的知识库系统,而是从小范围的文章中寻找各个单元之间的关系。此类任务的数据集是从人类语言能力测试题的阅读理解这一类题型得到的。对此类任务的探索有助于机器更好地模拟人类的思考方式,是达到高级人工智能的重要一步。目前已有的机器阅读理解方法在文本表示和推理机制上的两方面不足。现阶段的文本表示问题通常使用词向量来解决,传统的词向量不仅缺少对一词多义的区分,而且对于机器阅读理解任务,预训练的词向量往往会引入外部知识的关系。从目前的机器阅读理解答案推理模型来看,大多数基于单类型的注意力机制进行语义理解和答案推理,对于文本内部关系的深度挖掘还有一定的不足。我们基于机器阅读理解任务的两方面提出改进,分别是文本表示和推理答案两方面。基于一种多级语义表示模型,分别通过字符水平表示、词嵌入表示、特征工程表示以及上下文嵌入表示,使得文本表示能够适应机器阅读理解的特定任务。其次,实现了两种混合注意力机制模型去解决该类... 

【文章页数】：64 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
1 绪论
    1.1 研究背景与意义
    1.2 国内外研究概况
    1.3 论文的主要研究内容
2 关键技术研究
    2.1 感知器和激活函数
    2.2 循环神经网络
    2.3 自然语言处理的预训练和词向量
    2.4 端到端模型和注意力机制
    2.5 机器阅读理解的任务形式
    2.6 本章小结
3 多级语义表示和混合注意力机制
    3.1 模型概述
    3.2 基于多级语义的文本表示模型
    3.3 基于混合注意力机制的语义理解模型
    3.4 本章小结
4 实验
    4.1 数据集
    4.2 评价指标
    4.3 数据预处理和表示
    4.4 模型训练
    4.5 结果分析
    4.6 本章小结
5 总结与展望
    5.1 全文总结
    5.2 展望
致谢
参考文献


【参考文献】：
期刊论文
[1]基于双线性函数注意力Bi-LSTM模型的机器阅读理解[J]. 刘飞龙,郝文宁,陈刚,靳大尉,宋佳星.  计算机科学. 2017(S1)



本文编号：3652087