网络聊天机器人在少数民族汉语教学中的关键技术研究

发布时间：2019-09-20 09:00

【摘要】：网络聊天机器人作为一款供人类生活学习的工具近年来备受关注,其技术也随着信息处理水平的提高而日渐成熟。目前活跃在网上的“小i”机器人,可以随时查询一些诸如天气情况之类的便于人们日常生活的知识,可以陪用户聊天、学习语言,供用户娱乐休闲。介于网络聊天机器人的聊天、学习的功能,本文设计并研究其在少数民族地区汉语教学上的应用系统,并围绕着网络聊天机器人的关键技术——自然语言理解进行深入研究。本文对网络聊天机器人的技术研究是从汉语分词开始的。由于汉语本身的语言特点,词与词之间不能用空格之类的显性标志分开,所以汉语分词就成了汉语自然语言处理的“瓶颈”。解决好中文分词决定着网络聊天机器人系统的性能好坏。所以本文研究的主要内容、关键技术及创新点主要有以下几点：一、本文采用统计自然语言处理方法,收集了少数民族汉语初中教材第五、六册30篇课文,建立了一个小规模的汉语语料库。语料库的工作包括断词断句处理、词性标注及统计分析等。词性标注均严格按照《汉语词典》里的词做标注。这项工作是一项长期而繁重的工作,需要大量的手工劳动去完成。所建的语料库为后续的工作做了数据上的支持。二、汉语存在歧义和未登录词等问题,所以歧义消解和未登录词识别是汉语分词关键问题。本文从最短路径算法解决歧义和未登录词具有快速、高效的特点,但不能很好的处理多条最短路径的问题,提出了对最短路径算法的改进方法——次短路径算法,这种方法避免了存在多条最短路径时不能判断最优解的问题,同时又延续了最短路径算法的特性。实验证明,次短路径算法对汉语分词的歧义效果和未登录词的识别有很大的改善作用。这是本文的贡献之一。三、本文分析了如何在中文分词中建立隐马尔可夫模型(HMM)的结构和参数训练等问题,并用实句网格图详细的说明了HMM模型中的第二个解码问题的算法一维特比算法的过程,这样做的一个优势在于能够清楚地看到待切分的句子按维特比思想寻找最佳的阶段切分词,然后递归回溯找到最佳的词性序列,完成分词过程。目前这一问题的理论思想成熟,但现有的文献对其分词的实践细节描述的很匮乏,使得本文的这项工作可作为新进入的研究人员作为参考学习。这是本文的贡献之二。四、结合次短路径搜索出来的路径,在已训练好的HMM模型下,通过仿真实验验证维特比分词算法,找到有效的分词结果。文中给出了与一般隐马尔可夫模型的分词比较。实验结果表明,结合次短路径算法的隐马尔可夫分词算法在一定条件下提高了隐马尔可夫算法的效率,同时也提高了分词的召回率和准确率。这是本文的贡献之三。五、本文的工作都是结合编程实践展开的。编程思想借助本文作者发表的一篇论文。该论文详细论述了一种避免设计复杂程序的新方法。这种方法的思想是基于算法的逻辑结构独立于存储结构,在不改变算法逻辑结构的前提下,只改变算法的存储结构,如利用数组存储复杂的图结构来设计并实现图的深度优先算法。在这之前查到的文献都是基于图结构的存储方式,如邻接表等。这一方法使得很多程序都变得简单了本文源于这一思想,将其应用于维特比算法上,只改变算法的输入输出接口,而不改变维特比算法的逻辑结构,就可以找到合适的词性序列。这一方法在程序设计课程上可以应用于许多优秀的经典算法。这是本文的贡献之四。
【学位授予单位】：中央民族大学
【学位级别】：硕士
【学位授予年份】：2012
【分类号】：H193;TP242

【参考文献】