基于深度神经网络的答案选择模型的研究

发布时间：2025-03-24 16:34

　　答案选择是自然语言处理中十分重要的任务,同样也是问答系统中必不可少的组成成分。其基本的定义是给出问题和这个问题的答案候选池,目的是从答案候选池中可以准确地找到问题的最佳答案。该任务最困难的挑战在于答案可能不会直接与问题共享词汇单位,问题和答案之间可能只是语义上相关,而且候选答案的信息时而嘈杂,可能含有大量不相关甚至负相关的信息。早期的答案选择任务都是通过传统机器学习算法来实现的,但这种方式非常费时,而且训练出来的模型易出现过拟合问题。而深度学习近十年来蓬勃发展,在答案选择任务上都取得了不错的成果,其中表现非常突出的有卷积神经网络(CNN)、循环神经网络(RNN)、以及双向长短时记忆神经网络(BiLSTM)。但是这些神经网络都各有优点和不足,例如CNN可以获得句子的局部语义但较难获得长距离信息,而RNN可以获得上下文的序列信息但较难获得句子的局部语义。针对以上的问题,本课题研究的主要工作包括以下几点:1.研究多个基于深度神经网络的答案选择模型,针对CNN较难获得长距离信息和RNN较难获得句子局部语义的问题,通过结合多种神经网络对现有的答案选择模型进行了改进,并通过实验验证了多种组合模型的可...

【文章页数】：78 页

【学位级别】：硕士

【部分图文】：

图2-1神经网络结构

电子科技大学硕士学位论文8第二章相关技术原理2.1神经网络的基本原理神经网络是一个具有相连节点层的计算模型，其分层结构与大脑中的神经元网络结构相似。神经网络可通过数据进行学习，因此，可训练它进行数据识别、数据分类和预测未来等任务。神经网络将输入细分为多个抽象层，就像人类大脑的行为....

图2-2神经元模型

第二章相关技术原理9图2-2神经元模型上图中每一个连接线上都通过训练分配了权重，而不断地对神经网络进行训练就是为了让权重达到最优分布来优化自身模型，假设将输入信号设为A，各个连接线的权重值用key来表示。那么一条连接线在前端的信号为A，权重key在归一化之后变为′并与A相乘之后，....

图2-3单层神经网络结构(感知器)

第二章相关技术原理9图2-2神经元模型上图中每一个连接线上都通过训练分配了权重，而不断地对神经网络进行训练就是为了让权重达到最优分布来优化自身模型，假设将输入信号设为A，各个连接线的权重值用key来表示。那么一条连接线在前端的信号为A，权重key在归一化之后变为′并与A相乘之后，....

图2-5sigmoid函数图像

电子科技大学硕士学位论文10图2-4双层神经网络双层神经网络如图2-4所示，图中输入层设为()，输出层设为Z，单权重分布也变为了网络参数分布设为。该神经网络与单层神经网络最大的不同点在于其输入和输出之间添加了一个隐藏层。此外，计算方面也同时覆盖了隐藏层和输出层。上一小节中图2-3....

本文编号：4037576