面向深度学习的多媒体流处理框架研究与应用

发布时间：2020-04-23 13:21

【摘要】：深度学习是机器学习的一个分支,是一种以人工神经网络为基础,对数据进行表征学习的方法。深度学习近些年来在图像处理、语音识别和自然语言处理等领域都取得了颠覆性的成果,因此开始被广泛应用于多媒体流处理业务中。在实际应用中,深度学习往往作为一个模块被嵌入到流处理场景中。虽然支持视频编解码或者深度学习计算的高性能运算设备不断被推出,但并没有一个通用的方法来实现不同设备之间的流式通信。同时,多媒体流处理不断变化的业务场景要..求必须根据具体场景对系统进行频繁的调整。为了使深度学习与多媒体处理更好地结合与协调,增强多媒体流处理业务的性能、可移植性与可扩展性,本文设计并实现了一套针对深度学习的多媒体流处理框架。其中的主要贡献包括:1.采用软件流水线实现了一套针对现实场景的多媒体业务处理方案,该方案能够在多媒体处理等应用场景中取得很好的吞吐性能。实验证明,在一款深度学习加速板卡上,以经典的VGG16-SSD作为推理网络,可以获得接近300帧每秒的高吞吐量。2.实现了一套流处理场景下的存储管理系统。该系统对多媒体流处理业务中不同模块之间数据交互所需要的存储资源进行自动管理,同时根据流式处理模式的特性对存储资源的利用进行了优化。3.实现了一套通用的插件系统。该插件系统为流处理业务中的每个模块提供了一套与框架进行交互的统一接口。通过该插件系统,使用者一方面能够对已有的流处理业务中的模块进行裁剪与扩展,从而灵活地定制整个业务的流水线结构,另一方面可以在业务的各个节点上快速嵌入各种不同的硬件设备上的不同处理模块。4.针对深度学习编程框架与深度学习难以结合的问题,提出了使用贴近硬件的中间表示进行软件抽象的方法。这种方法可以让深度学习应用脱离深度学习编程框架进行部署,同时也使得应用的硬件适配工作更为具体化和模块化。
【图文】：

逦ｐｏｏｌｉｎｇ逡逑３逦、４８逡逑图１．１邋ＡｌｅｘＮｅｔ论文中的网络结构逡逑在邋２０１２邋年的邋Ｌａｒｇｅ邋Ｓｃａｌｅ邋Ｖｉｓｕａｌ邋Ｒｅｃｏｇｎｉｔｉｏｎ邋Ｃｈａｌｌｅｎｇｅ邋（丨ＬＳＶＲＣ）竞赛，也逡逑就是我们熟知的丨ｍａｇｅＮｅｔ图像分类竞赛中，ＡｌｅｘＮｅｔ所取得的最好成绩是ｔｏｐｉ逡逑和ｔｏｐ５的错误率分别为３７．５％和１７．０％，而在这之前，这一竞赛的最好成绩是逡逑ｔｏｐｉ和ｔｏｐ５错误率分别为４５．７％、２５．７％，使用的算法为经典机器学习算法中的逡逑支持向量机丨｜８］邋（Ｓｕｐｐｏｒｔ邋Ｖｅｃｔｏｒ邋Ｍａｃｈｉｎｅ，即ＳＶＭ）。支持ＡｌｅｘＮｅｔ取得这样成绩逡逑的，是两块型号为ＧＴＸ５８０的ＧＰＵ，运行内存均为３ＧＢ。在这之后，，分类网络逡逑ＶＧＧＮｅｔ【１９】，ＧｏｏｇＬｅＮｅｔ【２０】，ＲｅｓＮｅｔ［２１］被相继提出。其中最为实用、实验效果最逡逑佳的ＲｅｓＮｅｔ系列卷积神经网络

逑头三星和ＬＧ都在使用ＧＳｔｒｅａｍｅｒ作为他们的电视系统多媒体引擎的内核。逡逑ＧＳｔｒｅａｍｅｒ的整体框架如图２．１所示。逡逑Ｇｓｔｒｅａｍｅｒ邋ｔｏｏｌｓ逦多媒体应用逡逑－逦ｆ逦＾邋ｆ逦Ｎ邋／■逦－Ｎ逡逑ＥＳ？逦＝＝逡逑逦逦邋＾＾邋Ｖ逦逦Ｊ逦Ｖ．逦邋逦／逦ｖ逦逦ｙ逦Ｖ邋ｙ逡逑Ｇｓｔｒｅａｍｅｒ邋ｃｏｒｅ逦Ｂａｓｅ邋ｃｌａｓｓｅｓ逡逑ｆｒａｍｅｗｏｒｋ逦Ｍｅｓｓａｇｅ邋ｂｕｓ逡逑Ｐｌｕｇｉｎ邋ｓｙｓｔｅｍ逡逑Ｄａｔａ邋ｔｒａｎｓｐｏｒｔ逡逑Ｐｉｐｅｌｉｎｅ逦…逡逑ｖ逦；逦ｙ逡逑３ｒｄ逡逑ｐｒｏｔｏｃｏｌｓ邋ｓｏｕｒｃｅｓ逦ｆｏｒｍａｔｓ逦ｃｏｄｅｃｓ逦ｆｉｌｔｅｒｓ逦ｐａｒｔｙ逡逑ｐｌｕｇｉ逡逑逦逦逦邋逦邋逦邋逦邋ｌｎｓ逡逑Ｇｓｔｒｅａｍｅｒ邋插件逡逑图２．１邋ＧＳｔｒｅａｍｅｒ整体架构图逡逑在ＧＳｔｒｅａｍｅｒ中，软件架构中的功能模块可以被分为三类，分别为核心架构、逡逑工具以及插件。逡逑？逦ｇｓｔｒｅａｍｅｒ邋ｃｏｒｅ邋ｆｒａｍｅｗｏｒｋ中实现了插件框架、ｐｉｐｅｌｉｎｅ架构、媒体类型处理逡逑机制、消息传递机制等等。逡逑？逦ｇｓｔｒｅａｍｅｒｔｏｏｌｓ中实现了多媒体硬件用常用的各种工具，类似多媒体播放、逡逑视频编辑器等。逡逑？逦ｇｓｔｒｅａｍｅｒｐｌｕｇｉｎｓ里面则是实现了更多的编解码格式支持等功能，例如ｍｐ３、逡逑ｍｐ４、ａｖｉ格式支持等。逡逑三种软件设计上的功能模块各自分工，相互协作。基于这样的软件架构设逡逑计
【学位授予单位】：中国科学技术大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP181;G434

【相似文献】

相关期刊论文 前10条

1 周新;;浅谈结构主义学习观[J];雅安职业技术院学报;2003年04期

2 赖志奎;;徐特立的学习观与学习方法[J];徐特立研究;1998年03期

3 ;侯碧波局长在省统计局学习实践科学发展观活动第二阶段动员大会上的讲话[J];青海统计;2008年11期

4 江蓉;;培养学生学习物理的兴趣[J];雅安职业技术学院学报;2007年04期

5 庞莲;李碧荣;;浅谈如何用鼓励语言激发学生学习数学的兴趣[J];数学教学研究;2019年02期

6 林仕彬;;成人学习理论及其教师专业发展的启示[J];广东职业技术教育与研究;2018年02期

7 李渊博;;论建构主义学习理论在思想政治教育活动中的借鉴与警示[J];课程教育研究;2014年06期

8 崔圣荣;;论建构主义学习理论在初中数学教学中的应用[J];数学学习与研究;2014年20期

9 郝娅杰;;试谈学习理论指导下的大学英语词汇教学策略——以行为主义、认知主义和人本主义学习理论为例[J];文教资料;2016年31期

10 巢洪政;;再议接受学习[J];江苏教育;2017年10期

相关会议论文 前10条

1 余渭深;向朝红;;对多媒体网络环境下外语学习理论的研究[A];教育技术应用与整合研究论文[C];2005年

2 黄慧;何昭红;;转化学习理论在心理咨询员培训中的应用[A];二十年“心”之探索——高校心理健康教育理论与方法研究[C];2010年

3 侯维芝;吕鑫祥;;基于建构主义学习理论的高职教育教学设计[A];中国职业技术教育学会2006年学术年会论文集[C];2006年

4 王华容;;现代建构主义学习理论的困惑[A];第十届全国心理学学术大会论文摘要集[C];2005年

5 杨雪;刘英杰;阚宝朋;;基于建构主义学习理论的网络三维虚拟学习环境的设计[A];计算机与教育：应用促进学与教创新——全国计算机辅助教育学会第十三届学术年会论文集[C];2008年

6 武杰;;特殊教育实践对几种学习理论的检验及其分析[A];第九届全国心理学学术会议文摘选集[C];2001年

7 韩丽萍;殷鑫;;运用建构主义学习理论,培养学生综合能力[A];中华中医药学会中医诊断学分会第十次学术研讨会论文集[C];2009年

8 赵红;;合作学习在小学语文阅读教学中的可行性研究[A];《教师教育能力建设研究》科研成果汇编（第七卷）[C];2018年

9 吴晓伟;程志国;石丹;岳山峰;于金平;杨艳秋;马向辉;宁光波;陈晶;;小学课堂教学中激发学生学习兴趣的研究[A];新课改背景下课堂教学方法与手段的有效性研究科研成果集（第八卷）[C];2017年

10 张晓莉;张淑君;;折衷主义学习理论与CAI教学策略[A];多媒体与教育：计算机辅助教育的新进展——全国计算机辅助教育学会第七届学术年会论文集[C];1995年

相关重要报纸文章 前10条

1 嘉兴支队 顾朝清;用“最有效的办法”学习理论[N];人民武警报;2019年

2 张凤波;学理论离不开强读强记[N];大兴安岭日报;2019年

3 本报记者 胡礼政;学习理论做榜样 脚踏实地当先锋[N];和田日报(汉);2019年

4 记者 陈明慧;省委举行学习报告会[N];新华日报;2019年

5 李峰;学习就要日积月累持之以恒[N];辽宁日报;2019年

6 张凤波;把握好学习的方向[N];解放军报;2019年

7 罗升平 姚鹏宇;学习别患上“荔枝病”[N];解放军报;2019年

8 记者 郭彬;着力改进学习方式 不断增强学习实效[N];沧州日报;2019年

9 厦门外国语学校行政党支部书记 刘震;激发学习能量 争创“学习型”支部[N];厦门日报;2019年

10 牡丹松轮 王克民;学习理论是共产党员的政治任务[N];中国远洋海运报;2019年

相关博士学位论文 前10条

1 李丽;追寻学习的生存论意义[D];华东师范大学;2007年

2 陈填锐;确定学习理论与智能振动故障诊断[D];华南理工大学;2010年

3 邵喜高;基于统计学习理论的多核预测模型研究及应用[D];中南大学;2013年

4 刘菊;关联主义学习理论及其视角下的教与学组织研究[D];东北师范大学;2011年

5 曾玮;基于确定学习理论的人体步态识别研究[D];华南理工大学;2012年

6 王巍;基于统计学习理论的项目风险评价与预测研究[D];天津大学;2008年

7 肖铨武;基于核的正则化学习算法[D];中国科学技术大学;2009年

8 潘志伟;统计学习算法：多分类及非独立同分布抽样下的回归[D];中国科学技术大学;2009年

9 李鑫;基于强化学习理论的网络拥塞控制算法研究[D];东北大学;2009年

10 马子昂;基于稀疏学习的视觉目标跟踪[D];浙江大学;2017年

相关硕士学位论文 前10条

1 李韦;面向深度学习的多媒体流处理框架研究与应用[D];中国科学技术大学;2019年

2 庞俊杰;增强学习和对手分类在人机谈判中的应用研究[D];厦门大学;2018年

3 张婉婉;建构主义学习理论在初中英语词汇教学中的运用研究[D];华中师范大学;2018年

4 张文佳;基于深度学习理论的高中英语阅读教学策略研究[D];海南师范大学;2018年

5 罗鹏;基于深度学习理论的旋转机械故障诊断方法[D];湖南大学;2018年

6 梁小帆;基于关联主义学习理论的创客教育模式设计和应用研究[D];河北师范大学;2018年

7 徐俊杰;中职数学教学中认知同化学习理论的应用研究[D];上海师范大学;2018年

8 张建飞;基于深度学习的目标跟踪研究及在白带识别中的应用[D];重庆理工大学;2018年

9 蔡天一;基于学习理论的中职《人力资源管理》课程教学改革研究[D];天津职业技术师范大学;2018年

10 崔东瑞;基于学习进阶设计高中物理导学案的探究[D];四川师范大学;2018年

本文编号：2637772