云数据中心拥塞控制与流量调度技术研究

发布时间：2020-08-01 20:51

【摘要】：当前云服务市场需求呈现出爆炸式的增长趋势,大量的传统业务逐渐移到云平台,促使以云服务为基础的市场规模持续高速增长;而国内外互联网公司也纷纷推出自己的云平台来抢占市场。作为云服务载体的数据中心(Data Center,DC),自然成为产业界和学术界研究的焦点。但是,随着租户和应用的爆炸式增长,以及新型服务模式与技术的出现。云数据中心从服务模式到软硬件组织结构都发生着巨大的变化。由于云数据中心传输带宽的不断提升以及租户的大量迁入,传统粗粒度的拥塞控制和流量调度方案很难提供令人满意的网络传输性能。这些从用户数量和应用模式,到数据中心内部的变化,都给云数据中心服务质量(Quality of Service,QoS)保障技术带来很新的问题和挑战。本文主要围绕云数据中心这些新的变化对网络拥塞控制和流量调度带来的新的问题和挑战,针对不同的应用场景提出两个高效的拥塞控制机制,以及一个高效的流量调度方案,来优化低时延、高并发的云数据中心网络传输。针对当前显式拥塞通知(Explicit Congestion Notification,ECN)无法为面向单队列传输的网络传输协议提供精确的拥塞反馈信息的问题,提出了一种基于数据包往返时延(Round Trip Time,RTT)的显式拥塞通知机制R-ECN。云数据中心网络传输协议在整个网络传输过程中不明确区分长、短数据流在性能需求上的差异,拥有广泛的适用范围和良好的可部署性,因而在云数据中心得到广泛的应用。R-ECN根据数据包的往返时延RTT,结合往返时延偏差梯度算法(Gradient of RTT Deviation,GRD),计算数据包的往返时延偏离传输路径的平均往返时延的梯度,然后利用这个梯度动态调节显式拥塞通知ECN的门限值;从而实现根据网络状态的变化,为面向单队列传输的网络传输协议提供精确拥塞反馈信息的目的,进而优化云数据中心网络传输协议的传输性能。实验结果表明:与当前的显式拥塞通知ECN相比,R-ECN能进一步改善云数据中心网络传输协议的传输性能,同时还能有效改善网络资源利用率;基于R-ECN机制的网络传输协议DCTCP的丢包量,比基于ECN机制的DCTCP丢包量少了1.95倍。针对当前显式拥塞通知ECN无法为面向多队列传输的流量调度方案提供精确且差异化的拥塞反馈信息的问题,提出了一种基于不同队列排队时延的显式拥塞通知机制QD-ECN。云数据中心多队列流量调度方案根据租户或者数据流自身的流量特征来实施优先级流量调度;虽然适用范围受限,且可部署性较差,但由于其优越的网络传输性能,多队列流量调度方案一直是研究的焦点。QD-ECN根据不同优先级队列在平均排队时延上的差异,为每一个优先级队列提供一个差异化的ECN门限值;并且利用排队时延偏差梯度算法(Gradient of Queueing Delay Deviation,G-QDD),计算数据包在每个队列中排队时延偏离该优先级队列平均排队时延的梯度,然后根据这个梯度动态调节多个差异化的ECN门限值。从而为云数据中心多队列流量调度方案提供精确且差异化的拥塞反馈信息。实验结果表明:QD-ECN能进一步改善多队列流量调度方案的网络传输性能(包括优化数据流的平均时延和尾时延),并能有效减少其丢包量;基于QD-ECN机制的多队列流量调度方案PIAS,其时延敏感短流99.9%位置的流完成时间,比基于ECN机制的PIAS低3.06倍。另外,实验结果也证实,QD-ECN比ECN拥有更好的鲁棒性。针对云数据中心流量调度方案无法同时兼顾广泛的适用范围、良好的可部署性和出众的网络传输性能的问题,提出了一种基于主机端的流量调度方案SPQ。当前的流量调度方案走了两个极端,一些方案追求方案本身拥有广泛的适用范围和良好的可部署性的同时,忽略了传输性能的提升;而另外一些方案追求出众的网络传输性能的同时,忽略了方案本身的适用范围和可部署性,导致无法在当前云数据中心部署实施。SPQ根据主机和交换机在流量调度的灵活性与粒度上的巨大差异,从交换机解耦主机端的流量调度,从而有效解决了上面的问题。SPQ在主机端模拟最少获得服务(Least Attained Service,LAS)算法,在每个主机端都能实现近似最优的优先级调度;在交换机中,使用单一的先进先出算法来避免多队列流量调度方案多个常见的缺陷。同时,为了缓解网络传输过程中长流对时延敏感短流性能的影响,SPQ根据ECN反馈和数据包的丢包情况来实施不同力度的反馈调节。实验结果表示:SPQ在具有广泛的适用范围和良好的可部署性的同时,还能获得近似最优的网络传输性能;与当前理论最优的方案相比,SPQ在优化时延敏感短流的平均时延方面仅仅只有0-1.1%的差距。同时,实验结果也表明,SPQ能有效规避当前多队列流量调度方案中常见的多个缺陷所带来的性能影响。
【学位授予单位】：华中科技大学
【学位级别】：博士
【学位授予年份】：2019
【分类号】：TP393.06

【参考文献】