真实感三维人脸唇形动画系统的语音驱动

发布时间：2017-12-10 17:09

  本文关键词：真实感三维人脸唇形动画系统的语音驱动

  更多相关文章： 唇形动画 语音驱动 语音特征参数 Mel频率倒谱系数 隐马尔科夫模型 MPEG-4

【摘要】：人脸动画是一种通过计算机合成人脸表情运动的人机交互方式，是虚拟现实领域相当活跃的研究方向，目前，在虚拟主持人、可视电话、辅助教学、医疗研究、游戏娱乐、电影和动漫制作等诸多领域均有广泛的应用。 语音驱动的三维人脸唇形动画技术属于人机多模态交互领域，简单来说，，就是利用音频文件来驱动人脸的唇部，生成与语音同步的口型动作。该技术丰富了人机接口的内容，提高了人机交互的效率，降低了音视频资源实时共享时对网络带宽的要求，因此，得到了国内外研究人员的广泛重视。 本文在深入研究了唇形动画技术、语音驱动动画技术以及语音的分析与处理等关键技术以后，设计并实现了基于MPEG-4标准的以语音文件为驱动源的真实感三维人脸唇形动画系统。该系统操作简单，通用性强，运行效率高，满足实时语音驱动唇形动画的需求。本文的主要工作包括： 一、建立通用的人脸网格模型。本文采用建模软件进行建模的方式，利用Direct3D纹理映射技术将人脸图片映射到网格模型上，得到逼真的人脸模型。由于通用的三维人脸网格模型的拓扑结构相同，因此，对于任意的主体对象都可以使用设计好的通用的人脸网格模型驱动方法。 二、设置唇部特征点。首先，分析了英文发音时元音与辅音的相互影响程度，归纳出典型的唇部动作。为了更准确的控制和驱动唇部进行动作，并且与MPEG-4标准兼容，定义了10个外唇特征点和8个内唇特征点。然后构建了唇部动画定义表来存储每个唇部FAP控制的唇部特征点信息。要想控制唇部模型进行动作，需要在得到了唇部FAP的值后，在唇部动画定义表中查找FAP的影响区域，并利用MPEG-4中提供的算法，计算出由该FAP控制的所有网格点的新的三维坐标信息。计算一组FAP中每一个FAP影响的网格点位移并进行叠加，最终得到一个形象的唇形。 三、提取语音特征参数。对输入的语音文件进行数字化、预加重、分帧加窗和端点检测的处理，其中，端点检测采用基于短时平均能量和短时平均过零率双门限的方法。然后，提取出语音特征参数MFCC，利用双层隐马尔科夫模型建立语音特征参数与唇部动画参数的映射模型。第一层映射模型中将当前语音帧以及它的前一帧和后一帧作为模型的观察值序列。对同一唇形类别中的语音观察值进行唇形类内再聚类，得到第二层映射模型，使得可视语音合成的真实感提高很多。因此，只要提取出实时语音的MFCC后就能利用映射模型得到唇部FAP的信息，从而驱动嘴唇运动。该方法可以有效地实现真人发声与唇形动画之间的同步，增强了动画的真实感。 四、分析了语音驱动的真实感三维人脸唇形动画系统的功能需求和工作流程，采用微软的Direct3D SDK和VC++6.0开发工具，编程实现了能够接受实时的语音输入并在人脸模型上输出与之同步的真实感唇形动画的系统。
【学位授予单位】：吉林大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP391.41

【参考文献】

中国期刊全文数据库 前9条

1 毕永新;韩慧健;周世文;;基于加权算法的汉语语音同步三维口型动画研究[J];图学学报;2012年02期

2 周东生;张强;魏小鹏;;人脸动画中语音可视化算法研究进展[J];计算机工程与应用;2007年09期

3 陈新;周东生;张强;魏小鹏;;语音驱动人脸动画中语音参数的提取技术[J];计算机工程;2007年06期

4 梅丽,鲍虎军,彭群生;特定人脸的快速定制和肌肉驱动的表情动画[J];计算机辅助设计与图形学学报;2001年12期

5 曾洪鑫;胡东波;胡志刚;;文本与朗读语音共同驱动的汉语语音与口型匹配方案[J];计算机与现代化;2013年10期

6 陈益强,高文,王兆其,姜大龙;基于机器学习的语音驱动人脸动画方法[J];软件学报;2003年02期

7 魏毅;夏时洪;王兆其;;基于物理的人体空中运动仿真[J];软件学报;2008年12期

8 姜大龙,王兆其,高文;基于MPEG-4的三维人脸动画实现方法[J];系统仿真学报;2001年S2期

9 关东东;关华勇;傅颖;;一种3维动画中间帧非线性插值算法[J];中国图象图形学报;2006年12期

中国博士学位论文全文数据库 前1条

1 李皓;语音驱动的人脸建模与动画技术研究[D];国防科学技术大学;2011年

本文编号：1275236