基于瓶颈感知的多级反馈队列Coflow调度机制

Coflow作为并行计算框架的典型流量模型,降低Coflow的完成时间（CCT）成为云计算领域的研究热点。现有Coflow调度机制未考虑云数据中心内网络瓶颈问题,容易造成网络拥塞,导致CCT增加。针对该问题,构建基于瓶颈感知的Coflow调度机制Bamq。利用Lagrange对偶优化Coflow调度模型,以加快Coflow流速并增大吞吐量,从而降低CCT。通过设计多级反馈队列机制,降低吞吐量对网络拥塞产生的影响,根据已发流的大小、宽度和流速信息,构建瓶颈因子以动态调整多级队列的优先级,实现拥塞感知,提高Coflow调度性能。在Facebook真实数据集上进行实验,结果表明,相比Baraat、Varys、Aalo机制,该机制的CCT平均缩短21.3%,吞吐量平均提高17.9%,能够有效提高链路的利用率。     

一种近似最小有效瓶颈优先的Coflow调度机制

针对先验知识未知场景下的Coflow调度问题,提出一种近似最小有效瓶颈优先的Coflow调度方法。通过结合Coflow当前大小和宽度决定Coflow的调度顺序,并区分出流大小以及短与长等特征的Coflow,从而加大调度优化的空间。实验结果表明,与先验知识未知场景下的Aalo方法相比,该方法可使Coflow的平均完成时间降低33.2%,相较于先验知识已知场景下的SEBF方法,Coflow平均完成时间与其仅有7.3%的性能差距。     

一种适用突发流量的数据中心网络流调度策略

云数据中心网络的流调度问题是当下的一个研究热点.比较具有实用性的流调度是不假设流信息预先可知,但目前这类流调度方案在流量突发时的表现并不理想.提出了一种针对流量突发情况的流调度方案,通过将每流排队与多级反馈队列调度相结合,实现了一个基于流隔离的多级调度方案FISH,解决了流量突发情况下不同流的排队竞争问题.实验结果表明,该方案性能稳定,可以将小流完成时间降低8.6%以上.     

数据中心网络中基于ELM的流簇大小推理机制

近年来研究流簇(Coflow)为单位的调度策略成为改进数据中心网络的新热点.然而现有的信息未知流簇调度器难以快速地推理任务级信息,导致小任务不能被及时调度,以及平均任务完成时间无法最小化.因此数据中心网络需要更加高效的推理模型提升流簇大小判断的准确性和敏感性.提出了一种基于机器学习的流簇大小推理模型(MLcoflow)...     

数据中心网络流量调度的研究进展与趋势

近年来,流量调度已经发展成为网络领域的热点研究问题.该问题主要决定何时以及以多大速率传输网络中的每条数据流,其对网络性能和应用性能都具有十分重要的影响.然而,在托管着许多大规模互联网应用的数据中心中,流量调度问题正面临着流量矩阵多变、流量种类混杂、以及流量突发等与流量模型相关的挑战.此外,随着数据中心规模的不断壮大,流量调度问题还面临着网络带宽动态化、网络拥塞随机化、以及网络目标多样化等与网络模型相关的挑战.为了进一步提升对数据中心流量调度的关注和理解,推动流调度技术在实际应用中的不断发展,本文分别从调度目标、调度方式和调度对象这三个维度对数据中心网络流调度的相关研究工作进行了分析和对比,并概括出如下结论:现有研究主要以分布式、集中式或混合式的调度方式对数据中心内、数据中心间或数据中心与用户间的流进行高效地调度,从而达到带宽保障、时限保障、最小化流完成时间、最小化Coflow完成时间、公平性保证、最小化流传输成本等目标.本文最后还指出了四个数据中心流调度的未来发展方向,并相应提出尚未解决的研究问题.     

基于SDN的数据中心动态优先级多路径调度算法

随着云计算技术和分布式业务的发展,数据中心内部“东西向”大象流量激增,这部分大象流在调度不当的情况下容易发生碰撞,造成链路拥塞。本文提出一种基于软件定义网络（SDN）的动态优先级多路径调度算法（DPMS）。该算法根据数据中心流量的特点制定大象流和老鼠流调度模型,充分利用各网络节点间的冗余链路,提高资源利用率;并结合组表优化SDN架构中控制器和交换机的通信模式,降低了数据包处理时延。实验结果表明,相比ECMP和Hedera这2种调度策略,DPMS提高了网络吞吐量和链路利用率,减少了平均流完成时间,网络的整体性能有所提高。     

云计算中面向SLA的作业分层优先级调度策略

为了满足云计算中服务提供商和服务消费者双方协商的服务等级协议(SLA),提出在云计算环境下采用元调度和本地调度两层框架结构;在每层上采用了多级反馈队列调度算法,设置了基于截止期限、短作业优先等不同优先级的队列,并设计元调度器完成资源的分配和监控。实验仿真结果表明,该调度策略可以满足用户对作业处理时间的需求,保障了云计算SLA。     

基于多级队列算法的ITS资源调度策略

资源调度是公交智能交通系统(ITS)建设中亟待解决的一类重要问题。文章抽象了公交资源调度问题的一般特征和要求，以多级队列算法为基础并将其加以改进，给出了一种适用于ITS的资源调度策略，并成功地应用于北京市公交抢修调度系统中。还对该策略应用中的具体的资源子集划分、多级队列建立、优先级动态调整机制及自动分配等关键技术进行了阐述。     

基于辅助队列的硬实时混合任务节能调度算法

节能调度是当今实时系统研究的一个重要领域,其中混合实时任务节能调度技术研究刚刚起步.OLDVS算法是非常简洁的硬实时系统在线节能调度算法,但存在以下不足:不适应任务执行的动态变化,不能有效利用动态松弛时间,过于保守以致节能效果并不理想.据此,提出一种新的基于辅助队列的硬实时混合任务节能调度算法(OLDVS-AQ).通过引入一个额外的数据结构即辅助队列(Assisted Queue,AQ)来计算任务的最大完成时间,能够更有效地利用动态松弛时间进一步降低能耗.证明了该算法的可调度性,仿真实验结果表明,OLDVS-AQ算法始终优于OLDVS算法.平均提高约10%的节能效果.     

一种基于区分服务的嵌套队列调度算法

现有队列调度算法只能满足某一种特定类型业务流量的服务质量(QoS)需求,无法广泛支持多种类型业务流量。为此,提出一种基于区分服务的嵌套队列调度算法。将现有队列调度算法通过嵌套模型进行组合,并根据该嵌套模型进行队列调度,从而为多种类型业务流量提供均衡的QoS保障。仿真结果表明,该算法能够满足不同类型业务流量的QoS需求,其各项性能指标所达效果与最优效果的差距较小,并且在多种类型业务流量的支持方面比现有队列调度算法表现更好。     

一种基于平均寻道时间的磁盘调度优化算法

针对如何提高磁盘调度效率的问题,提出了一种基于平均寻道时间(AST)的磁盘调度优化算法。对操作系统中几种主要磁盘调度算法的平均寻道时间作深入研究,随机选取几组磁盘服务请求队列,分析在每种算法下磁头移动情况。然后通过模拟和解析,得到不同调度算法的平均寻道时间的摆动规律,进而提出一种基于平均寻道时间的磁盘调度优化算法,使得系统能够在不同的情况下实时地自动选择已有的算法来提高磁盘调度的效率。     

基于累计工作量的在线大数据分析作业调度算法

针对Hadoop和Spark等大数据分析系统中无先验知识任务的高效执行问题，设计了基于累计工作量（CRW）的任务调度器CRWScheduler。该调度器根据CRW将任务在低权重队列与高权重队列间切换；在为作业分配资源时，同时考虑到作业所在的队列和其瞬时占用资源量，无需作业先验知识即显著提升系统性能。基于Apache Hadoop YARN实现了CRWScheduler原型，在28个节点的基准测试集群上的实验表明，与YARN的公平调度机制相比，作业流时间（JFT）平均降低21%，其中95百分位的作业流时间（JFT）最多降低了35%，并且在与任务级调度程序协作时可获得进一步的性能提升。     

光电混合数据中心网络负载均衡流量调度机制

光电混合数据中心网络采用传统的RED(Random Early Detection)流量调度机制容易造成数据流丢失,同时在等价转发路径的选择上存在随机性。提出一种基于流量预测矩阵的负载均衡流量调度机制。该机制利用软件定义网络,具有全局视角的优点,周期性统计网络流量,建立流量预测矩阵。通过流量预测矩阵动态计算数据流在多条等价链路上的转发概率,并按此概率完成下一个周期的转发。同时,利用电交换链路单独处理突发流量,提高网络吞吐量,实现网络负载均衡。在光电混合数据中心网络拓扑结构上建立合成流量模型进行仿真实验和性能分析。结果表明,与传统的RED流量调度机制相比,该机制能够提高网络吞吐量、降低数据流丢弃率。     

基于多层虚拟拓扑节能的SDN数据中心网络流量调度算法

针对“富连接”数据中心网络在低负载时能源利用率较低的问题,提出一种节能的多层虚拟拓扑流量调度算法(EMV-SDN)。建立节能流量调度问题的整形线性规划(Integral Linear Programing,ILP)优化数学模型,使得在承载所有网络负载的前提下,网络能源消耗最小。提出节能的多层虚拟拓扑流量调度算法来求解数学优化模型,得到数据流的节能调度方案。通过休眠高层的虚拟拓扑和交换机端口实现节能,降低网络能源消耗。实验结果表明,在网络能耗和数据流平均完成时间等方面,EMV-SDN算法均优于ECMP(Equal-Cost Multi-Path Routing)以及Dijkstra最短路径算法。     

基于队列时延检测的链路可用带宽流量调度方法

为有效提高链路带宽资源的利用率和减小数据传输时延,首先分析了链路中数据传输时延的特点,提出一种基于队列时延检测的链路可用带宽流量调度方法,该方法研究了在调度流量与可用带宽之间在各种不同情况下的数据传输时延变化趋势,保证了该方法较好的全局完整性。通过仿真实验证明,该方法有较好的流量调度能力,能有效地控制各链路的流量,改善链路时间响应特性和提高链路带宽利用率。     

多级队列调度的计算机的系统仿真

本文基于排队系统的仿真原理和下次事件时间推进法，提出了分时和多级队列调度相结合的计算机的系统仿真模型，并开发了仿真软件，可用于预测计算机的性能参数。     

基于反馈控制的嵌入式实时系统调度算法设计

针对嵌入式实时系统在系统负载模型不确定的情况下系统的实时任务错过率过高以及调度稳定性差的问题,提出了一个基于反馈控制的调度模型.该模型主要由改进的多级队列调度器和3个控制器(准入控制器、执行等级控制器、比例积分微分(PID)控制器)组成.任务的错过率偏差反馈到PID控制器,产生相应的调整量并作用于其他两个控制器,对实时任务的执行等级进行调整, 经过调整的任务被调度器调度执行.在对模型中每个部件进行了一些结构调整和改进设计之后,将该调度模型应用于嵌入式可配置操作系统(eCos)中.实验结果表明,该模型降低了任务的时限错过率,同时解决了系统频频超载的问题.     

基于预测及蚁群算法的云计算资源调度策略

研究云计算资源调度问题,针对目前静态的网格资源调度算法只考虑任务完成时间最小化,导致了不能满足动态的云计算资源调度要求。为了适应云计算的动态性和实时性,解决云计算资源调度问题,降低数据中心用电量,提出一种基于预测及蚁群算法的云计算资源调度策略。当数据中心利用率较低时运行改进蚁群算法来合理调度虚拟机至宿主机,通过动态趋势预测算法预测数据中心负载来智能开关宿主机。仿真结果表明,采用预测及蚁群算法进行的云计算资源调度策略,保证了云计算的实时性,并有效减少数据中心用电量。     

基于大流调度的软件定义数据中心网络负载均衡算法

传统负载均衡算法对数据中心网络中的大流进行调度时,会造成部分链路负载过重、网络整体负载不均衡等问题。将负载均衡问题转化为多商品流问题进行求解,结合软件定义网络集中控制的思想和数据中心网络的流量特征,提出一种基于大流调度的软件定义数据中心网络负载均衡算法。根据阈值将数据流划分为大流和小流,结合路径上大流分布度和可用负载度对大流进行重路由,以减小大流对网络负载均衡的影响。仿真实验表明,在流量大小分布不均衡的数据中心网络中,该算法与传统的等价多路径算法和基于全局最先匹配的动态流量调度算法相比,在平均对分带宽上获得了更大的提升,能够更好地实现数据中心网络的负载均衡。     

多级反馈队列调度策略在Linux中的应用和实现

Linux操作系统作为日益流行的服务器操作系统，目前已得到广泛应用。该文分析了当前在Linux系统中进程调度策略的不足，探讨了在Linux系统中对多级反馈队列调度策略的应用和实现，提出了对Linux内核的修改方法。