面向神经机器翻译的数据缩减方法研究

发布时间：2025-06-26 05:33

　　神经机器翻译(NMT)是机器翻译领域的最新技术,需要大规模的双语平行数据作为训练语料。现有的公开双语平行数据集的种类较多,数据的质量各有不同。然而,规模较大的数据集中会出现数据冗余的问题,质量低的数据集则包含较多的噪声,这些数据问题会增加模型的训练成本以及影响模型的性能。为了降低双语平行数据集对NMT的影响,本文将从数据规模和数据质量两个方面展开面向神经机器翻译的数据缩减研究,主要工作包括:(1)基于句子向量的静态数据选择方法。大规模的双语平行数据集中通常会出现很多语义相似的平行句对,相似的平行句对对于模型的贡献也是相似的。这些相似的平行句对的存在并不一定能帮助模型提升性能,反而会增加模型的训练成本。为了减少双语平行数据集中相似的平行句对,本文提出了一种静态的数据选择方法,在句子语义的基础上缩减双语平行数据集的规模。在联合国的中英翻译任务上,静态的数据选择方法帮助模型缩减了训练时间,同时实现了模型在大规模数据集上训练的模型性能。(2)基于训练损失的动态数据选择方法。NMT的一个特性是需要大规模的双语平行数据集作为训练数据。根据这一特性,本文提出了基于训练损失的动态数据选择方法,在训练过程...

【文章页数】：72 页

【学位级别】：硕士

【部分图文】：

图２－１基于注意力机制的神经机器翻译模型架构图??

ｅｃｕｒｒｅｎｔ?Ｎｅｕｒａｌ?Ｎｅｔｗｏｒｋ，?ＲＮＮ?）构成的Ｓｅｑ２Ｓｅｑ模型、基于卷积神经网络??（Ｃｏｎｖｏｌｕｔｉｏｎａｌ?Ｎｅｕｒａｌ?Ｎｅｔｗｏｒｋ，?ＣＮＮ）构建的?Ｓｅｑ２Ｓｅｑ?模型｜２｜丨以及完全基?ｊ？自注意??力机制（Ｓｅｌｆ－ａｔｔｅｎｔｉｏｎ?Ｍｅ....

图２－３?ＶＤＰＷＩ模型框架图??（１）?Ｂｉ－ＬＳＴＭｓ?Ｎ络（Ｂｉｄｉｒｅｃｔｉｏｎａｌ?Ｌｏｎｇ?Ｓｈｏｒｔ－Ｔｅｍｉ?Ｍｅｍｏｒｙ?Ｎｅｔｗｏｒｋｓ）丨３８－３９１：??ＬＳＴＭ是循环祌经Ｎ络的－种变休，吋以捕获１Ｔ１?

?ｓｉｔ?ｃａｔｓ＾＜０＾＾?Ｃａｔｓ?ｓｉｔ?ｏｎ?ｔｈｅ?ｍａｔ??ｒＪ｜ｋ?｜??、丫，’?２．?Ｐａｉｒｗｉｓｅ?Ｗｏｒｄ??ｚ，—?＼?Ｉｎｔｅｒａｃｔｉｏｎ?Ｍｏｄｅｌｉｎｇ??ｓｉｍＣｕｂｅ??ｔ??Ｏｎ?ｔｈｅ?ｍａｔ?ｔｈｅｒｅ?ｓｉｔ?ｃａｔｓ?Ｃａｔｓ?ｓｉ....

图３－ｌｙ不同规模的数据下的ＢＬＥＵ值变化??为／解决模型在大规模数据上训练成本过高的问题和数据冗余问题，多种数据选??

神经机器翻译的数据缩减方法研宄?第－－章基于句子向量的静态数据选择方法??第三章基于句子向量的静态数据选择方法??３．１引言??随着越来越多的可获取的双语平行数据，机器翻译的质量得到了很大的提升。但??是由于计算机的内存、处理能力以及速度方面的限制，导致翻译模型在大规模数据上??....

图３－３句子向量的分布图??２２??

第二章基于句子向量的静态数据选择方法?面向神经机器翻译的数据缩减方法研究??语义相近的两个句子在语义向量空间中更加接近彼此。??本文使用Ｌｅ和Ｍｉｋｏｌｏｖ?（２０１４）?［２８］提出的ＰＶ－ＤＭ模型来训练句子向量，该模型??同时考虑了句子的语义和语法信息。图３－３给出了?ＰＶ－....

本文编号：4053241