基于深度信息的实时手语识别技术研究

发布时间：2025-06-27 22:35

　　随着人工智能等技术的快速发展,手势识别作为一种主要的人机交互方式逐渐成为热点问题。手语作为一种特殊的手势,也是语言障碍者的主要交流方式。手语携带有丰富的信息,具有良好的表达能力。一般无语言障碍者不具备手语技能,基于计算机视觉的手语识别的研究,既能方便语言障碍者和无语言障碍者之间的交流,又对人机交互的发展有着重要意义。本文通过Kinect传感器提取手语过程中的运动轨迹和关键手型作为实时手语识别的依据,对静态手型的特征提取、动态手语的跟踪和实时识别策略进行了研究和改进:（1）使用深度阈值和肤色阈值相结合的手部分割方法来获取手型:首先对获取的深度数据进行阈值分割,得到手部和小臂所在区域,将其映射到彩色图像空间,再进行肤色阈值分割;通过追踪骨骼点坐标来获取运动轨迹,并对其进行预处理。（2）提出了一种融合Hu矩和SURF（Speeded Up Robust Features）的特征提取方法:Hu+SURF-BoW。通过SVM分类器采取不同特征进对静态手语进行分类实验,实验表明Hu+SURF-BoW特征具有较好的识别性能,相对于Hu矩和SURF具有更好的稳定性。提出了一种在使用SURF对手语图像配准...

【文章页数】：92 页

【学位级别】：硕士

【部分图文】：

图1-1中国手语手指字母中国手语包括30个手指字母，5000余个手势词

4图1-1中国手语手指字母中国手语包括30个手指字母，5000余个手势词。手指语和手势语各有其

图2-1Kinect2.0简易结构图

7图2-1Kinect2.0简易结构图

图2-2Kinect采集的深度图像

图2-2Kinect采集的深度图像取骨骼信息也是其被广泛应用的重要原因，得到的，所以不受周围光照影响。Kinect跟

图2-3Kinect2.0骨骼图像

通过Kinect采集的骨骼图像b）Kinect2.0骨骼点图2-3Kinect2.0骨骼图像inect应用范围ect最初是为了配合XBOX游戏主机获得完美的体感游戏体验而

本文编号：4053994