网格环境下可靠的可分割作业调度机制

针对传统可分割作业多路调度算法不能适应动态网格环境的不足,基于统一多路(Uniform Multi-Round:UMR)算法,提出一种可靠的可分割作业调度机制.系统动态地监控网格资源的变化,当资源发生变化时,通过性能预测与评估,及时地对剩余作业进行再调度.实验表明,较之传统的多路调度算法,该机制在动态的网格环境下,降低了作业完成时间,有效地利用了网格资源,提高了作业调度的可靠性.     

可靠的网格作业调度机制

针对网格环境的动态性特征,提出了一种可靠的网格作业调度机制(DGJS)。按照作业完成时间期限,DGJS将作业分为：高QoS级、低QoS级和无QoS级,不同QoS级作业有不同的调度优先权;基于资源可用性预测,DGJS采用基于可靠性代价的作业调度策略,将作业尽可能调度到可靠性高的资源节点;另外,DGJS对不同QoS级作业采用不同的容错策略,在保证故障容错的同时,节省网格资源。实验表明：在动态的网格环境下,较之传统的网格作业调度算法,DGJS提高了作业成功率,减少了作业完成时间。     

一种基于历史信息的自适应动态网格作业调度方法

目前,国内外围绕着网格中的作业调度算法已做了大量研究,先后提出了很多调度算法.但是,这些算法并不能很好地适应网格的动态性、自治性和分布性等特征.对此,提出了一种动态的网格作业调度方法-基于历史信息的自适应动态网格作业调度方法ASHI.该方法利用每个资源上最近作业的执行信息自适应调整预测模型,然后再根据网格的动态性和实时性等因素,对资源进行反馈选择后将作业提交负载较轻的资源上执行.实验证明,ASHI不但能及时有效地对作业进行调度,而且还可有效提高整个网格的吞吐量和均衡系统的负载.     

基于蚁群优化算法的服务网格的作业调度

提出了利用蚁群算法来优化服务网格的作业调度系统的方法和一个两层的作业调度模型，该模型可以在网格的动态和异构环境下实现对作业执行时间的预测，然后根据作业的预测执行时间并利用蚁群优化算法使适应函数取得最小值，从而得到最优化的作业调度。基于开发的校园网格实验床，通过实验显示该方法可以优化服务网格的性能，减少作业的平均执行时问，提高系统的吞吐率。     

考虑本地作业流时的网格资源调度算法

研究了网格资源上有和没有本地作业流两种情况下两种网格资源调度算法的性能优劣对比情况。建立了一个资源的本地随机作业流模型,提出了最快处理器可用资源优先(HRARF)和最适合作业并行度可用资源优先(MSNARF)两种网格资源调度算法,并对所提出的两种算法在资源有和没有本地作业流两种情况下调度网格作业的完工时间进行仿真。仿真结果显示,在资源负载较重时,在有和没有本地作业流两种情况下,HRARF和MSNARF两种算法的性能优劣对比正好相反。在网格中,两种算法在资源共享时和资源独占时的性能优劣对比可能不同。     

一种基于预测的反馈网格作业调度模型*

网格计算中的资源是动态和异构的,常规的静态作业调度方法不适宜网格计算环境,对于网格计算中一类并行计算的有效执行有赖于网格资源（CPU和网络带宽等）与作业的有效匹配。提出了一种基于资源预测结果对作业进行调度的策略,首先阐述了网格主机负载预测的研究成果——IAR模型,并提出了一种预测网络带宽的工具——网络性能平面,利用资源预测结果构造了一种反馈作业调度模型并对一类基于时间平衡的作业进行实验。结果表明,该模型在与其他诸多方法比较中,取得了执行时间较短和稳定性较好的效果。     

面向信息服务的网格资源管理器的设计

设计一个面向信息服务的网格资源管理器的架构，该架构分为全局和局部管理器。介绍一个新的作业调度算法，该算法的特点是根据历史作业执行时间来预测当前作业的执行时间，在调度时考虑作业执行时间和截止时间2个要素。试验证明该算法比目前常用的Max-Min和Min-Min算法具有更好的性能。     

一种基于流作业的网格作业调度研究

在基于网格环境的一些网格应用中,用户需要提交一种作业类型,该作业可以被分解为逻辑上独立的元作业,这些元作业不存在依赖和通讯关系,并且它们的执行需要大量的数据移动。针对这种作业类型,本文提出了一种基于流作业的网格调度模型。在该模型中,这些独立的元作业像"流"一样自主地流向各个计算节点去执行,各计算节点接收的流量取决于其计算能力,并避免"断流"问题。同时,该模型还分离了作业流和数据流,实现了作业逻辑控制和数据控制的分离,提高了调度的灵活性。本文将该调度模型应用于药物虚拟筛选应用中,该模型能够充分利用计算节点的计算能力。     

树型网格计算环境下的自适应任务调度算法

提出一种基于树型计算网格的自适应调度算法,实现对小粒度独立任务和用户大作业的自适应最优调度。通过对网格环境的实时检测,给出了基于节点负载状况、节点任务执行时间、任务传输时间和任务特性的自适应调度算法,即基于最优任务分配方案的启发式任务调度算法。通过实验与其他调度算法的比较,证明了所提出的任务调度算法在负载平衡和最优跨度方面具有明显的优越性。     

Hadoop平台下计算模型中调度策略的研究

针对Hadoop平台下默认调度算法FIFO、计算能力调度算法以及公平调度算法在调度过程中遵守严格的队列顺序,导致一些任务被调度到不满足数据本地性节点上的问题,提出一个基于本地性的调度算法——延时调度。该算法在维护公平性原则的同时,当一个被调度的作业无法启动一个本地的任务时,让这个任务等待一小段时间,调度其他作业先执行。实验结果表明,此调度算法缩短了作业平均响应时间,有效增加了集群系统的吞吐量,提高了集群资源利用率。     

基于云计算Hadoop异构集群的并行作业调度算法

针对Hadoop异构集群中计算和数据资源的不一致分布所导致的调度性能较低的缺点,设计了一种基于Hadoop集群和改进Late算法的并行作业调度算法;首先,介绍了基于Hadoop框架和Map-Reduce模型的调度原理,然后,在经典的Late调度算法的基础上,对Map任务和Reduce任务的各阶段执行时间进度比例进行存储和更新,为了进一步地提高调度效率,将慢任务迁移到本地化节点或离数据资源较近的物理节点上,并给了基于改进Late算法的作业调度流程;为了验证文中方法,在Hadoop集群系统上测试,设定1个为Jobtracker主控节点和7个为TaskTracker节点,实验结果表明文中方法能实现异构集群的作业调度,且与其它方法比较,具有较低的预测误差和较高的调度效率。     

分布式系统中计算作业流的均衡调度算法

分布式系统中计算作业流被映射到节点后无法进行动态调整,使关键作业无法及时执行而造成作业间等待。针对该问题,提出一种计算作业流均衡调度算法。算法对映射到分布式节点的作业根据其依赖关系得出阶位值,依据该值在分布式节点上进行动态优先值调整,使关键作业尽早完成,减少作业之间的等待,缩短计算作业流执行时间。实际系统应用表明,该算法对作业管理系统中投入的计算作业流的快速执行有较强优越性。     

遗传优化的混合网格计算调度模型SCE部署研究

网格计算涉及的资源通常存在区域和组织差异,涉及的作业(Job)则存在数据和计算两种密集类,针对具有混合特征的网格计算,提出了基于SCE中间件的遗传优化网格作业调度算法.首先分析了具有不同密集类型Job的混合网格计算模型,得到作业与资源的属性表示,以及作业调度与资源之间的约束关系.然后根据混合网格计算模型分析,将其转化成约束条件下的最优解问题,引入改进遗传算法进行求解.在种群初始化时根据适应性筛选出一部分样本作为初始种群,利用高质量样本启发寻优,降低进化代数;同时针对每个染色体的作业执行速度和染色体内每个作业的执行速度依次设计适应性,从而加速收敛;通过适应性修正、交叉和变异处理,防止种群出现过早或者局部收敛,并且增加种群多样性.最后基于SCE部署作业调度,从中间件进一步提升作业调度效率,减少出错.实验结果表明,基于SCE中间件的遗传优化网格作业调度算法能够有效抑制执行错误的发生,提升作业调度与资源配置的效率,降低作业调度响应时间.     

异构集群节点与作业特性感知资源分配算法

为了避免多应用间的资源争用,Spark采用了FIFO、FAIR等作业调度策略,辅以SpreadOut和非SpreadOut两种资源调度算法,但是这些算法没有充分考虑用户作业类型和集群节点性能的相互关系。用户作业类型及节点性能偏向感知的资源调度算法ATNPA提出了对该问题的解决方案。ATNPA根据作业运行所需的内存量和CPU核数将用户作业分为CPU密集型和内存密集型。节点的性能偏向性由节点的静态因素和动态因素决定。静态因素包括CPU速度、内存大小、CPU核数和磁盘容量等;动态因素包括CPU剩余率、内存剩余率、磁盘剩余率和磁盘读写速度等。ATNPA算法在进行资源分配时,能够将作业分配到最适合其类型的节点上。仿真实验表明,与未考虑节点和作业匹配的算法相比较,ATNPA能够有效缩短作业的执行时间、提高集群的性能。     

网格计算中一种改进的工作流调度算法

网格计算中如何有效地实现工作流的调度问题是目前的研究热点。文中综合考虑了资源节点的动态负载和服务能力,提出了一种改进的调度算法（AWSA）。该算法首先对任务的优先级进行降序排列,然后依次为它们选择具有最大截止时间约束的服务站点作为其候选资源,最后,依据资源站点的任务分配情况和负载变化趋势,白适应地实现从任务资源请求到站点的映射。仿真实验结果表明,文中方法是有效的,在作业拒绝率和作业调度长度方面,AWSA的性能要优于已有的方法。     

基于SGE的仿真网格及其作业调度研究

网格引擎是一个构建本地和集群网格的工具,其框架是由四种类型的主机及其对应的守护进程构成.该文主要研究了通过SGE框架构建分布式仿真网格平台的方法,描述了仿真网格平台上执行用户提交的仿真任务的工作流程.随后讨论了基于SGE仿真网格中的资源组织和作业调度,并分析了仿真网格中所使用的作业调度算法,包括确定作业顺序的FIFO算法、优先级算法、等额度和日历算法等;确定队列顺序的负载调整、队列号等算法等.     

基于学习方式对Hadoop作业调度的改进研究

随着并行计算、分布式计算和网格计算技术的发展,云计算作为一种新的模型被提出来,发展极为迅速。Hadoop作为一个开源的云计算系统,得到了广泛的运用。作业调度是Hadoop平台的核心问题之一,通过对Hadoop中已有调度算法的了解和分析后,基于学习的方式,利用过去的节点历史记录和作业属性来不断地改进作业调度;应用了基于特征加权的朴素贝叶斯分类器算法来改进任务的分配调度,并通过实验进行了验证,结果表明它对任务分配调度执行效率有一定的提高。     

基于主机性能度量的异构集群作业调度算法

传统经典作业度算法在集群应用中实现简单、执行效率高,但在异构集群环境下由于缺乏在线节点运行状态动态反馈能力和负载均衡能力,降低了计算资源利用率和系统吞吐率.为解决上述问题,设计了一种在异构集群环境下基于主机性能度量的作业负载均衡调度算法,该算法通过收集集群中在线节点的状态信息和作业响应时间遴选出可信节点集合,计算出各可信节点的HPM值,利用负载均衡运算规则生成候选的作业分配节点集合,最终按照预先设计的优先原则把不同作业分配至各计算节点,并更新各节点运行状态.实验结果表明,在异构集群环境下调度同类型作业时,该算法在总完成时间和负载均衡性能等指标上均优于传统经典算法.     

结合价值密度和截止期的网格实时作业调度

在商业网格和云计算环境中,作业有到达时间、计算量、预算、截止期等参数,其中,预算是时间的函数。准确区分作业的重要性和紧迫性是作业调度系统的一个关键问题。综合利用这四个参数来定义作业的优先级,并提出基于价值密度和相对截止期的网格作业调度算法。分别对弱实时和强实时网格作业的调度进行仿真。仿真结果显示,所提出的调度算法的性能在两种情况下都优于所有对比算法的性能,且在强实时作业情况下优势更明显。     

一种作业弹性与截止时间感知的作业调度算法

针对采用MapReduce模型的大数据分析作业的调度问题进行深入研究，并分析现有任务调度算法的缺陷，现有算法没有考虑资源分配对于作业截止时间的影响，也未考虑不同类型作业截止时间的敏感性问题。因作业的完成时间随着分配资源的不同而改变，故称之为弹性作业，截止时间敏感性是指不同类型作业对截止时间要求的严格程度不同。针对以上问题，提出一种截止时间感知的弹性作业调度算法（DA）。该算法将作业依据截止时间敏感程度进行分类，在基于作业整体执行时间预测的基础上，通过调控不同的资源分配策略来改变作业完成时间，同时结合用户对于截止时间的需求及作业预执行的收益来提前规划作业的资源分配及调度次序使得整体收益最大化。将算法在仿真拥有210个物理节点的集群中进行实验，实验表明该算法满足了截止时间的限制并使得作业整体收益值平均提高了2.37倍。