基于自注意力机制和复制机制的关键字生成方法研究

发布时间：2025-07-19 01:16

　　随着科学技术的飞速发展以及信息技术的普遍应用,人们的日常生活与网络已经紧密相连。由于网络中文本信息的爆发式增长,人们每天可以接触到海量的文本信息。然而大部分人没有时间对文本信息进行详细的阅读和理解。如何从海量的数据中快速获取有价值的信息,已经成为当前人们的一个迫切需求。因此自动获取关键字为此提供了一种有效的解决方案。目前关键字获取方式主要有两种:提取和生成。提取方法依赖于词频的统计和排序,但不能揭示文本背后隐藏的语义信息;生成方法主要基于循环神经网络构建模型,但存在距离对单词之间依赖特征限制的问题。本文主要针对上述问题提出基于自注意力机制的编码器解码器模型SAM(Self-Attention Model)。此外,为了解决未登录词问题,本文基于SAM模型提出一种融入复制机制的关键字生成模型SACM(Self-Attention Copy Model),它允许模型直接从源文本中复制关键单词短语。本文详细的研究内容如下:(1)提出一种基于自注意力机制的关键字生成模型SAM。该模型基于文本语义生成关键字,可以生成源文本中不存在的关键字。它是一种编码器解码器框架结构,完全依赖自注意力机制获得输入和...

【文章页数】：73 页

【学位级别】：硕士

【部分图文】：

图2.1文本处理领域Encoder-Decoder框架的抽象表示

要深入地理解深度学习中的注意力机制模型,首先需了解Encoder-Decoder框架[38],目前大多数注意力机制都附加在此框架中。但是需要说明的是,注意力机制是一种通用的思想,本身并不依赖特定的框架。编码器解码器框架可以被看成一种深度学习领域的研究模式,它的应用场景非常广泛。图....

图2.2引入注意力机制的Encoder-Decoder框架

在引入注意力机制的模型中,每个目标词都有一组与其唯一对应的源文本单词注意力分配概率信息。这意味着在生成每个目标词yi的时候,不再使用相同的中间语义表示C,而是使用根据当前目标词而不断变化的中间语义表示iC。这也是注意力机制的核心。增加了注意力机制的Encoder-Decoder框....

图2.3注意力分布概率计算过程

在生成目标词“游戏”的时候,对应的输入源文本中每个单词的概率值分别是0.3、0.2和0.5。在生成目标的某个单词时,对应的源文本中每个单词的注意力分布概率的获得过程可以用图2.3进行说明。为了更加详细的说明,这里对编码器解码器框架进行细化,假设图中的编码器和解码器都基于循环神经网....

图2.4注意力机制的本质思想

其中表示源文本Source的文本长度,Similarity为一种计算相关性或相似性的函数。因为在上文翻译例子计算注意力的过程中,源文本Source中的Key和Value指的是一个东西,也就是输入源文本中每个单词对应的语义编码,所以根据本质思想对翻译结构进行理解有点困难。如果不考虑....

本文编号：4057748