基于自然语言对象检索的人机交互技术研究

发布时间：2021-01-28 00:10

　　随着工业自动化、智能化的发展,智能机器人在制造业领域中应用愈发广泛,《中国制造2025》明确将智能机器人技术列入重点推动突破的科技领域。机器人、人类、环境三者的共融交互是机器人智能化的标志,而图形界面、力反馈等传统交互方式无法满足智能化的要求。因此,研究更加智能的人机交互技术是实现机器人智能化的重要途径,这能够有效提高人机协作的效率,加速制造业智能化的进程。众多交互方式中,人类语言（自然语言）是人机交互最自然的接口。机器人理解人类的自然语言表述可大大提高机器人智能化的程度,使得机器人和人类之间能像人与人一样进行交互。想要可靠地做到这一点,人类和机器人之间必须对环境有共同的理解,这正是自然语言对象检索任务的体现:基于自然语言表述在全局场景图像中定位目标对象。本文将自然语言对象检索应用于人机交互技术,使得机器人可以根据作业人员对场景图像中特定对象的描述定位目标对象,并自主完成目标对象的抓取和放置任务。相比于肢体手势、图形界面等交互方式,基于自然语言对象检索的人机交互方式更加智能化,可有效提高作业人员与机器人协作的效率。本文主要工作内容如下:（1）搭建了基于Kinect摄像机和EPSON机器... 

【文章来源】：吉林大学吉林省 211工程院校 985工程院校 教育部直属院校

【文章页数】：96 页

【学位级别】：硕士

【部分图文】：

明确描述的生成和理解方法

第1章绪论7图1.3基于自然语言表述的目标检测算法1.4主要研究内容及章节安排本文提出了基于自然语言对象检索的机器人人机交互方法，并将其应用于工业六自由度机械臂的物体定位和抓取任务，旨在提供一种智能高效的人机交互接口。因此，本文将以机器人视觉定位抓取系统为基础搭建人机交互实验平台，并以自然语言对象检索任务为核心实现交互算法。人机交互平台的工作原理为：首先，通过视觉传感器获取全局场景信息，并通过语音输入设备采集作业人员的自然语言表述；然后，利用候选区域提取算法获取场景图像的候选区域集，并采用自然语言对象检索算法检索作业人员描述的目标对象；确定目标对象后，根据机器人系统的视觉定位模块计算目标对象的空间位置，最后利用机器人抓取模块完成目标对象的抓取放置任务。本文的主要章节安排如下：第一章绪论。介绍基于自然语言对象检索的人机交互技术的研究目的和意义，并介绍人机交互技术和自然语言对象检索技术的国内外研究现状，最后简要阐述本文的主要研究内容和章节安排。第二章系统总体组成方案设计。介绍人机交互实验平台的总体设计方案，并简要阐述候选区域提娶自然语言对象检索和机器人定位抓取系统三部分的主要作用和实现原理，最后介绍实验平台的主要硬件构成和软件设计模式。

第2章系统组成与方案设计9第2章系统组成与方案设计人机交互系统是以机器人定位抓取系统为硬件基础搭建的，并以自然语言对象检索算法为核心算法。本章首先介绍人机交互系统的总体设计方案，并说明候选区域提取算法、自然语言对象检索算法和机器人定位抓取系统三部分的主要作用及实现原理。然后，介绍人机交互系统主要的硬件构成和系统软件设计模式。2.1系统总体方案设计图2.1人机交互系统总体设计方案图基于自然语言对象检索的人机交互系统总体设计方案如图2.1所示，系统主要由机器人定位抓取系统、候选区域提取算法和自然语言对象检索算法三部分组成。人机交互系统各组成部分的主要作用及实现原理如下：1）机器人定位抓取系统机器人定位抓取系统是基于EPSON机器人和Kinect摄像机搭建的，包含视觉定位模块和机器人抓取模块两部分。视觉定位模块主要作用是根据目标对象的边框计算其空间位置坐标（目标对象相对于机器人基坐标系的坐标）；机器人抓取模块的作用是根据目标对象的空间位置坐标对机器人进行运动学解算，并控制机器人完成目标对象的抓取和放置任务。2）候选边框提取算法候选区域提取算法基于Faster-RCNN架构实现，并


本文编号：3003990