基于海量数据的消息队列的性能对比与优化方案

发布时间：2017-10-17 13:03

  本文关键词：基于海量数据的消息队列的性能对比与优化方案

  更多相关文章： 分布式处理 消息队列 比较

【摘要】：伴随着互联网的高速发展,互联网每日都会产生海量的数据,需要对这些海量数据进行大数据的实时处理,一个性能优良的分布式消息队列,会对系统的数据业务处理效率有极大的推进作用,那么使用什么样的消息队列传输这些海量数据就成为了一个关键的问题。在各大技术公司的团队中,使用最频繁的三种消息队列分别是:Apache Kafka,阿里巴巴的Rocket-MQ,Rabbit-MQ。本文首先先介绍了上述三个分布式消息队列的基本概念、架构特性以及实现原理,基于这些然后分别简单介绍它们的优缺点,之后通过搭建各个消息队列集群测试环境,分别进行大数据的实时计算实验,最后对比实时计算实验的结果,绘出相应的图形,更加直观的看出它们之间效率的对比,得出在实时大数据计算场景下哪个消息队列具有更高的性能。
【作者单位】： 北京邮电大学计算机学院;北京邮电大学;
【关键词】： 分布式处理 消息队列 比较
【基金】：国家科技支撑计划(2014BAK15B01)
【分类号】：TP311.13
【正文快照】： LIU Feng1,E Hai-hong2(1.School of Computer Science,Beijing University of Posts and Telecommunications,Beijing 100876,China;2.School of Computer Science,Beijing University of Posts and Telecommunications,Beijing 100876,China)0引言伴随着如今互联网行业的高

【相似文献】

中国期刊全文数据库 前10条

1 逄焕众;用于进程间通信的消息队列探讨[J];中国金融电脑;1998年08期

2 周世杰;刘锦德;秦志光;;消息队列技术研究:综述与一个实例[J];计算机科学;2002年02期

3 孟昭勇;对“消息”的初步认识[J];现代制造工程;2003年S1期

4 邓波;防止消息队列阻塞的办法[J];华南金融电脑;2003年06期

5 杜毅,杨金生,吴震华;Linux消息队列分析及应用[J];计算机工程;2004年S1期

6 王强;在数据库开发中巧用消息队列[J];计算机与现代化;2005年11期

7 曹婧华;冉彦中;许志军;;分布式消息队列的设计与实现[J];河南科技大学学报(自然科学版);2010年04期

8 JEFF PROSISE ,杨慧中;第二消息循环[J];个人电脑;1995年07期

9 沈华峰;;如何实现进程通信的程序设计——消息队列方法[J];上海微型计算机;1998年16期

10 张逸凡;于志安;;高级消息队列协议在大数据传输中问题及解决[J];电脑知识与技术;2014年01期

中国重要会议论文全文数据库 前2条

1 张磊;陈荦;吴秋云;李军;;基于消息队列的分布式信息查询技术的研究与实现[A];第二十届全国数据库学术会议论文集（技术报告篇）[C];2003年

2 郭杰;;基于NoSQL的持久化消息队列设计实现[A];全国冶金自动化信息网2014年会论文集[C];2014年

中国重要报纸全文数据库 前1条

1 于翔;微软公开M语言加快开放步伐[N];网络世界;2008年

中国博士学位论文全文数据库 前1条

1 苑洪亮;基于内容的“发布/订阅”若干关键技术研究[D];国防科学技术大学;2006年

中国硕士学位论文全文数据库 前10条

1 刘海涛;武警部队(支队级)勤务管理系统设计与开发[D];西安工程大学;2015年

2 孙骏;嵌入式消息队列子系统设计与实现[D];电子科技大学;2007年

3 张帆;基于消息队列的网上书店系统[D];吉林大学;2008年

4 李英芳;基于网络报税系统的消息队列中间件的研究与设计[D];西安电子科技大学;2006年

5 张磊;基于消息队列的自治异构信息查询系统的研究与实现[D];国防科学技术大学;2003年

6 宋二凤;基于MB、MQ的订阅发布的设计与实现[D];安徽理工大学;2011年

7 李慈;基于XML-MOM分布式通讯与协调体系的研究[D];北京化工大学;2007年

8 杨朝军;基于消息队列消息传输系统的设计与研究[D];第四军医大学;2009年

9 李晓剑;消息队列中间件技术及MSMQ应用研究[D];武汉理工大学;2002年

10 陈瑶;基于Node.js高并发web系统的研究与应用[D];电子科技大学;2014年

，

本文编号：1048971