信息检索系统性能评价与预测分析

发布时间：2020-08-02 19:46

【摘要】：自20世纪90年代以来,Web搜索引擎技术蓬勃发展。它已成为全球数十亿人获取信息的重要途径。在信息检索技术中,检索结果评价是一个重要环节,因为检索结果的有效性在很大程度上决定了检索系统的可用性。围绕这个问题,本文开展了一系列相关的工作。分述如下:(1)传统的搜索引擎只考虑相关性,但近年来研究人员发现多样性也是衡量查询结果好坏的一个重要因素,特别是对于一些语义宽泛、模糊的查询尤其如此。学术界提出了不少支持检索结果多样化的算法。因此,我们提出了解国际上主要的商业搜索引擎应用最新技术的情况。我们选择了三个有代表性的搜索引擎Google,Bing和Ask,评估它们支持结果多样化的有效性。并将这些商用网络搜索引擎与学术界表现最好的信息检索系统进行比较,发现三个参与的商用网络搜索引擎性能优秀,与学术界表现最好的信息检索系统性能相似。(2)由于准确的判断检索结果的有效性需要较多的人力、时间等多种资源,因此一些快速、轻型的方式就很有用处。如果在未返回结果给用户之前,搜索引擎能够自动判断有关结果的性能,那么对于提高搜索引擎的可用性有很大帮助。我们通过分析的手段,发现现有性能预测算法的一些不足之处,提出了两种支持结果多样化的查询性能预测方法,分别为基于子意图感知预测(Intent-Aware Prediction,IAP)和基于子意图覆盖预测(Intent-Covered Prediction,ICP)。实验结果表明所提的两种方法预测效果较佳,并且比传统查询性能预测方法更适用于多样化结果。(3)数据融合是构建有效的信息检索系统的一种可行的方法。针对信息检索中的融合结果,本文提出了一种基于随机森林的性能预测方法。实验表明,与典型的性能预测算法——回归分析法相比,应用随机森林算法可有效地提高预测准确度。
【学位授予单位】：江苏大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.3
【图文】：

模糊查询,会议,多样性

3.2.1 查询集实验选取 TREC Web 多样性任务 2009-2012 年间采用的 200 个查询。TREC的全称是文本检索会议（Text REtrieval Conference），它是信息检索领域的顶级会议之一。自 1992 年举办以来，该会议发布了许多不同的任务，每年都有众多研究组织提交检索结果。Web 多样性任务是近年来兴起的主要任务之一，与相关性（Ad Hoc）任务相比，它新增了对结果多样化的要求。该任务中，所有查询被分为两种类型：“模糊查询”和“多面查询”。根据 TREC 的定义[65]，模糊查询通常具有多种完全不同的解释，假设用户只对其中的一种释义感兴趣。多面查询通常比较宽泛，具有许多相关的方面，对一个方面感兴趣的用户仍可能对其他方面感兴趣。TREC 称不同的解释或方面为查询的子主题（subtopic）。图 3.1 和图3.2 分别是模糊查询的示例和多面查询的示例（2009 年第 25 号查询和 2010 年第75 号查询）。

主题,信息类,解释方式,导向作用

图 3.2 TREC 中的一个多面查询（第 75 号查询）图 3.1 中的查询包含四个子主题，其中两个是信息类（inf）子主题，另外两个是导航类（nav）子主题。图 3.2 中的查询也包含四个子主题，其中三个是信息类子主题，一个是导航类子主题。信息类子主题通常用于获取某种信息，它的特点是帮助用户获取新的知识。而导航类子主题一般用于搜索具有导向作用的URL 等，为用户免去直接输入 URL 的繁琐步骤。事实上，每个模糊或多面查询都可能有很多的解释方式，即包含多个不同的子主题，即便是 TREC 提供的子主题列表也未必完整。因此，本章将搜索引擎的评价工作分为两个部分讨论：第一部分中，仅考虑 TREC 中列出的子主题

主题,信息类,详情

它们都有四个子主题。但当检索到更多的文档时，可延伸出更多。实验中，我们为 25 号查询添加了另外五个子主题，包括两个信息类三个导航类子主题，为 75 号查询添加了两个信息类子主题。图 3.3 和别显示了对相应子主题集合的扩展详情。

【相似文献】