基于负载有界一致性哈希的负载均衡研究与设计
发布时间：2021-02-16 01:58
随着移动互联网技术的飞速发展,互联网服务器集群的负载能力正面临着前所未有的挑战,合理的负载均衡系统实现变得尤为迫切。为了使负载均衡达到最佳执行效率的同时,能够兼顾集群的动态调整性,可以使用负载有界的一致性哈希（Consistent Hashing with Bounded Loads）算法作为集群负载均衡系统的分配算法。本文对负载有界的一致性哈希算法进行了如下所述的研究与优化:首先,本文提出基于虚拟节点的自适应一致性哈希算法（Adaptive Consistent Hashing with Virtual Nodes,ACHVN）,通过引入系统资源使用率和虚拟节点的概念,从性能和适应性的角度来优化负载有界的一致性哈希算法。ACHVN算法能够在维持系统动态调整性的同时,提供更好的分配效率和对异构集群的支持;其次,本文针对ACHVN算法的系统资源权值调整场景,提出了基于遗传算法的自适应学习率BP神经网络（Genetic Backward Propagation neural network with Adaptive learning rate,GBPA）,用于优化该场景下权值调整操作难以...
【文章来源】：南京邮电大学江苏省
【文章页数】：66 页
【学位级别】：硕士
【部分图文】：
一种典型的互联网服务器架构
关于负载均衡的研究取得了长足的进步，负载均衡算法层出不穷。然而，微服务由于打破了传统大型服务集群的常规架构，其负载均衡算法值得根据场景的特性进行进一步的研究与探索。本章将重点介绍微服务架构及现阶段常用的负载均衡算法。微服务微服务是一种在商用领域被广泛认可并运用于云计算与大数据集群的工程架构，同时也代表了一种在企业云上通过分布式部署形式，向用户提供服务与应用的方式。2.1.1 微服务架构技术原理微服务架构通常由三层结构组成：API 网关、RESTAPI 服务以及基础服务层[28]，三者的关系如图 2.1 所示。
图 3.1 虚拟节点应用前后的哈希环对比从上例的简单对比中，可以看出，虚拟节点的应用加快了用户请求命中节点的处理效率。由于该例子中使用的是 1:1 配比的虚拟节点，即一个物理节点对应衍生出一个虚拟节点，最终在哈希环上使用两个节点来表示该物理节点，因此在最佳的情况下，哈希环所需的遍历距离可以缩短至 50%，而其代价仅仅是将节点在哈希链表上的占用率提高了一倍，这相对于长度较长的一致性哈希而言，不会造成性能上的下降。然而，要想达到较为理想的效果，虚拟节点的映射也需要遵循一定的规律，其最首要的是要保证同一个物理节点在哈希环上的所有节点是在整个哈希环上均匀分布的，如图 3.2 所示。
【参考文献】：
期刊论文
[1]HiBase:一种基于分层式索引的高效HBase查询技术与系统[J]. 葛微,罗圣美,周文辉,赵頔,唐云,周娟,曲文武,袁春风,黄宜华. 计算机学报. 2016(01)
[2]基于OpenFlow的流分片负载均衡算法（英文）[J]. 王鹏,兰巨龙,陈庶樵. 中国通信. 2014(12)
[3]NoSQL的分布式存储与扩展解决方法[J]. 姚林,张永库. 计算机工程. 2012(06)
硕士论文
[1]基于Nginx的高并发访问服务器的研究与应用[D]. 陈大才.中国科学院大学(中国科学院沈阳计算技术研究所) 2018
[2]基于微服务架构的轻量级工作流平台的设计与实现[D]. 黄达毅.电子科技大学 2018
[3]微服务架构的研究及其在线教育系统的实现[D]. 李帅.北京邮电大学 2018
[4]基于半监督学习的网络流量分类技术研究[D]. 孔晓晨.北京邮电大学 2018
[5]微服务通信框架的设计与实现[D]. 肖仲垚.北京交通大学 2017
[6]基于微服务架构的SaaS应用构建方法研究[D]. 李苏璇.华南理工大学 2016
[7]基于Nginx高性能Web服务器性能优化与负载均衡的改进与实现[D]. 王永辉.电子科技大学 2015
本文编号：3035936
【文章来源】：南京邮电大学江苏省
【文章页数】：66 页
【学位级别】：硕士
【部分图文】：
一种典型的互联网服务器架构
关于负载均衡的研究取得了长足的进步，负载均衡算法层出不穷。然而，微服务由于打破了传统大型服务集群的常规架构，其负载均衡算法值得根据场景的特性进行进一步的研究与探索。本章将重点介绍微服务架构及现阶段常用的负载均衡算法。微服务微服务是一种在商用领域被广泛认可并运用于云计算与大数据集群的工程架构，同时也代表了一种在企业云上通过分布式部署形式，向用户提供服务与应用的方式。2.1.1 微服务架构技术原理微服务架构通常由三层结构组成：API 网关、RESTAPI 服务以及基础服务层[28]，三者的关系如图 2.1 所示。
图 3.1 虚拟节点应用前后的哈希环对比从上例的简单对比中，可以看出，虚拟节点的应用加快了用户请求命中节点的处理效率。由于该例子中使用的是 1:1 配比的虚拟节点，即一个物理节点对应衍生出一个虚拟节点，最终在哈希环上使用两个节点来表示该物理节点，因此在最佳的情况下，哈希环所需的遍历距离可以缩短至 50%，而其代价仅仅是将节点在哈希链表上的占用率提高了一倍，这相对于长度较长的一致性哈希而言，不会造成性能上的下降。然而，要想达到较为理想的效果，虚拟节点的映射也需要遵循一定的规律，其最首要的是要保证同一个物理节点在哈希环上的所有节点是在整个哈希环上均匀分布的，如图 3.2 所示。
【参考文献】：
期刊论文
[1]HiBase:一种基于分层式索引的高效HBase查询技术与系统[J]. 葛微,罗圣美,周文辉,赵頔,唐云,周娟,曲文武,袁春风,黄宜华. 计算机学报. 2016(01)
[2]基于OpenFlow的流分片负载均衡算法（英文）[J]. 王鹏,兰巨龙,陈庶樵. 中国通信. 2014(12)
[3]NoSQL的分布式存储与扩展解决方法[J]. 姚林,张永库. 计算机工程. 2012(06)
硕士论文
[1]基于Nginx的高并发访问服务器的研究与应用[D]. 陈大才.中国科学院大学(中国科学院沈阳计算技术研究所) 2018
[2]基于微服务架构的轻量级工作流平台的设计与实现[D]. 黄达毅.电子科技大学 2018
[3]微服务架构的研究及其在线教育系统的实现[D]. 李帅.北京邮电大学 2018
[4]基于半监督学习的网络流量分类技术研究[D]. 孔晓晨.北京邮电大学 2018
[5]微服务通信框架的设计与实现[D]. 肖仲垚.北京交通大学 2017
[6]基于微服务架构的SaaS应用构建方法研究[D]. 李苏璇.华南理工大学 2016
[7]基于Nginx高性能Web服务器性能优化与负载均衡的改进与实现[D]. 王永辉.电子科技大学 2015
本文编号：3035936
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3035936.html
