E-Aalo:面向无先验知识Coflow的高效多级队列调度

过高的Coflow调度时间将会导致数据中心性能下降，如何减小数据中心中语义相关流(Coflow)的平均完成时间是目前数据中心网络流量调度需要解决的重点问题。为了降低先验未知情况下的Coflow调度的时间，提出一种面向无先验知识Coflow的高效多级队列调度E-Aalo(Enhanced-Aalo)。采用Coflow流量放置策略选择合适的节点减少Coflow中需传输的数据量，降低Coflow调度的平均完成时间。通过提前调度多级队列中低优先级队列流量进一步优化Coflow调度的平均完成时间。实验结果表明，与已有的Aalo方法相比，Coflow调度平均完成时间降低了12.28%,更接近先验已知情况下的最优调度。     

基于瓶颈感知的多级反馈队列Coflow调度机制

Coflow作为并行计算框架的典型流量模型,降低Coflow的完成时间（CCT）成为云计算领域的研究热点。现有Coflow调度机制未考虑云数据中心内网络瓶颈问题,容易造成网络拥塞,导致CCT增加。针对该问题,构建基于瓶颈感知的Coflow调度机制Bamq。利用Lagrange对偶优化Coflow调度模型,以加快Coflow流速并增大吞吐量,从而降低CCT。通过设计多级反馈队列机制,降低吞吐量对网络拥塞产生的影响,根据已发流的大小、宽度和流速信息,构建瓶颈因子以动态调整多级队列的优先级,实现拥塞感知,提高Coflow调度性能。在Facebook真实数据集上进行实验,结果表明,相比Baraat、Varys、Aalo机制,该机制的CCT平均缩短21.3%,吞吐量平均提高17.9%,能够有效提高链路的利用率。     

数据中心网络中基于ELM的流簇大小推理机制

近年来研究流簇(Coflow)为单位的调度策略成为改进数据中心网络的新热点。然而现有的信息未知流簇调度器难以快速地推理任务级信息,导致小任务不能被及时调度,以及平均任务完成时间无法最小化。因此数据中心网络需要更加高效的推理模型提升流簇大小判断的准确性和敏感性。提出了一种基于机器学习的流簇大小推理模型(MLcoflow),利用极限学习机(ELM)以最小训练误差为求解目标建立推理模型,并且使用不完全信息建模以提升敏感度。实验证明与其他算法相比,ELM方法的准确性评分平均高出19.8%,敏感度平均高出10.2%。通过仿真模拟对比了几种调度器,基于MLcoflow的调度器将平均任务完成时间降低了20.1%。     

云环境下基于预算分配的科学工作流调度研究

云环境下的科学工作流部署不同于传统的独立任务调度,需同步考虑调度代价与时间问题。为此,提出基于预算分配的科学工作流调度方法,将工作流任务与虚拟机资源间的映射求解分为预算分配和资源提供与调度2个阶段。为优化预算使用,设计基于快优先的预算分配算法(FFTD)和基于慢优先的预算分配算法,实现预算在各任务间的子分配。基于任务最早完成时间的降序排列进行任务选择,在虚拟机可重用的情况下根据单个任务的子预算进行资源分配,保证工作流任务的顺利调度。引入5种常规类型的科学工作流进行实验,测试算法在不同类型工作流结构和不同预算约束下的性能,结果表明,FFTD算法在72%、88%、84%的实验场景中相比BDT-AI算法具有更高的虚拟机资源利用率、预算约束满足率以及更短的调度时间,综合性能更优。     

一种基于先验知识动态分配资源的作业调度策略

针对目前遥感图像并行处理系统的调度策略中资源分配盲目性,导致作业平均带权周转时间过长和系统利用率低的问题,提出了一种新的基于先验知识的动态分配资源调度策略。这种策略一方面利用先验数据库来存储各种算法单位资源单位数据量的平均运行时间,结合待处理图像的数据量来估算作业单位资源的运行时间,从而为系统作业调度提供准确的并行作业运行时间估计;另一方面利用模糊数学知识动态地计算出集群的整体负载值。最终,本文设计了一种自适应的资源的动态分配方法,可根据作业单位资源的运行时间和当前集群整体系统负载值动态决定作业所需分配的资源数。这种资源分配方式可解决传统资源分配策略在资源分配上的盲目性,缩短作业平均带权周转时间,从而使系统达到负载均衡。通过对比分析和实验结果,本调度策略能较好地解决了目前并行遥感图像处理系统中传统作业调度存在的问题,缩短了系统的作业平均带权周转时间,提高了系统资源利用率,使得整体系统的处理性能得到大幅优化。     

服务器无感知计算场景下基于时空特征的函数调度

服务器无感知计算是一种新兴的以函数为中心的云计算范式.服务器无感知计算向用户提供高层次的函数抽象在云计算平台开发和部署应用.服务器无感知计算以函数为粒度分配资源.函数调度对函数性能有重要影响,面临问题规模大和动态性强2个难点.现有服务器无感知计算调度器使用先来先服务(FCFS)算法,容易受队头阻塞影响,导致函数完成时间较长.为了高效利用系统资源和降低函数完成时间,亟需对服务器无感知计算场景下的函数调度问题进行研究.首先,分析了服务器无感知计算场景下的函数调度问题,并定位了3个影响函数完成时间的因数,分别是排队时间、启动时间和执行时间.基于该分析,提出了数学模型对服务器无感知计算场景下函数调度问题进行形式化建模.其次,提出了基于函数时空特征的服务器无感知计算调度算法FuncSched.该算法在时间维度上考虑函数执行时间和函数启动时间,在空间维度上考虑函数资源占用量.最后,实现了原型系统,并使用了真实世界服务器无感知计算负载数据集进行实验.实验结果表明所提算法可以有效降低平均函数完成时间,从而有效提高了服务器无感知计算环境中函数的执行效率.     

数据中心网络流量调度的研究进展与趋势

近年来,流量调度已经发展成为网络领域的热点研究问题.该问题主要决定何时以及以多大速率传输网络中的每条数据流,其对网络性能和应用性能都具有十分重要的影响.然而,在托管着许多大规模互联网应用的数据中心中,流量调度问题正面临着流量矩阵多变、流量种类混杂、以及流量突发等与流量模型相关的挑战.此外,随着数据中心规模的不断壮大,流量调度问题还面临着网络带宽动态化、网络拥塞随机化、以及网络目标多样化等与网络模型相关的挑战.为了进一步提升对数据中心流量调度的关注和理解,推动流调度技术在实际应用中的不断发展,本文分别从调度目标、调度方式和调度对象这三个维度对数据中心网络流调度的相关研究工作进行了分析和对比,并概括出如下结论:现有研究主要以分布式、集中式或混合式的调度方式对数据中心内、数据中心间或数据中心与用户间的流进行高效地调度,从而达到带宽保障、时限保障、最小化流完成时间、最小化Coflow完成时间、公平性保证、最小化流传输成本等目标.本文最后还指出了四个数据中心流调度的未来发展方向,并相应提出尚未解决的研究问题.     

基于EDA多任务流的调度算法研究

针对高性能计算环境下的多个电子设计自动化（EDA）任务流调度问题,提出一种启发式公平调度算法L-Fairness。在准备队列选择待调度任务时,L-Fairness算法结合任务滞后度、完成度和剩余完成时间确定任务优先级,保证多个任务流中任务的公平调度,同时将license数量及其类型作为处理器选择的依据,满足EDA多任务流的调度需求。仿真结果表明,与经典Fairness算法相比,L-Fairness算法的平均资源利用率提高6.7%,不公平度和平均完成时间分别降低46.2%和14.9%,保证了用户服务质量及调度公平性。     

云计算环境下虚拟资源自适应调度策略

由于云计算环境下的资源调度与以往网格调度存在巨大差异,提出了一种适应云计算环境的虚拟资源调度方法;首先定义了虚拟资源调度数学模型,然后给出了一种改进的遗传算法,该算法采用经典网格任务调度算法Min-min获取初始最优解,通过海明距离约束产生初始种群,并将调度模型对应的目标函数改进为适应度函数,对交叉算子、变异算子、交叉概率和变异概率等都进行了改进;最后,通过实验证明文中方法能获得全局最早完成时间,与其它方法相比,文中方法所求解的最早完成时间提高了近20%,是一种适合云计算环境的虚拟资源调度方法。     

多资源公平调度器在Hadoop 中的实现

目前Hadoop的作业调度算法都是将系统中的多类资源抽象成单一资源,分配给作业的资源均是节点资源中固定大小的一部分,称为插槽。这类基于插槽的算法没有考虑到系统多资源的差异性,忽略了不同类型作业对资源的不同需求,因此导致系统在吞吐量和平均作业完成时间上性能低下。本文研究了多资源环境下公平调度算法在Hadoop中的实现,设计了一种多资源公平调度器MFS(Multi-resource Fair Scheduler)。MFS采用了DRF(Dominant Resource Fairness)调度思想,使用需求向量来描述作业对各类资源的需求,并按照需求向量中各资源的大小给作业分配资源。MFS能更加充分有效地使用系统的各类资源,并能满足不同类型作业对资源的不同需求。实验表明相比于基于插槽的Fair Scheduler与Capacity Scheduler,MFS提高了系统的吞吐量,降低了平均作业完成时间。