一种简化的基于First-Fit的Backfilling调度策略——RB-FIFT

机群作业管理系统是机群系统的重要组成部分,而作业调度策略又是机群作业管理系统的核心内容。作业调度策略的选择不仅关系到机群系统的利用率,还决定用户作业的响应速度和平均执行时间。在节点分配基于空间共享策略(Space-Sharing)的机群系统中,传统的基于先来先服务的First-Fit调度策略虽然能够提高机群系统的利用率,却容易引起饥饿问题。文章基于传统的先来先服务的调度策略,提出了一种简化的Backfilling算法,简要叙述了该算法的设计和实现,最后根据模拟实验结果,从用户和系统的角度分析了该算法的性能。     

基于自适应功耗管理的高性能计算机作业调度策略的研究

作业调度系统是高性能计算机的核心组件,其目标是在满足性能要求的前提下,使得所有任务消耗的总功耗最低。提出了一种自适应功耗管理策略,该策略采用遗传算法作为功耗调度算法,采用作业队列的能效比作为调度因素,与面向资源效率的传统作业调度算法相比,在确保提升资源利用率、减少资源碎片、提升作业吞吐率、减少饥饿作业的前提下,大幅提升了系统的能效比。实验证明该策略能有效提高整机能效,与传统作业调度策略相比能节约9%以上的能耗。     

基于OpenPBS的机群作业管理系统的设计与实现

机群作业管理系统直接关系到机群性能的发挥和使用率的提高,是机群的一个重要组成部分。该文主要介绍了当前比较流行的作业管理系统OpenPBS的结构及工作过程,以及在其基础上开发的好用的web方式的作业提交系统。基于web的使用策略增加了系统的好用性。     

LUNF--基于节点失效特征的机群作业调度策略

良好的可扩展性使得人们可通过扩大机群系统的规模来达到所需要的计算能力,但随着机群系统节点数目的增多,节点失效对机群系统性能的影响已经成为大规模机群系统使用过程中一个不可回避的问题．机群作业调度作为机群操作系统软件的重要组成部分,完成高效资源管理与合理作业调度,机群作业调度系统功能上可分为作业选取策略和节点分配策略两部分．结合机群系统节点失效的特征,提出了正常运行时间最长节点优先(longest uptime node first,LUNF)的节点分配策略．仿真结果表明,相对于节点随机分配策略,LUNF策略的作业平均响应时间与作业平均slowdown降低10％左右．     

虚拟计算环境中的多机群协同调度算法

基于虚拟计算环境的核心机理,提出由自主调度单元、域调度共同体、元调度执行体为核心的多机群协同系统框架.剖析多机群任务并发运行性能模型,设计了多机群协同调度算法框架,提出最大空闲节点优先、最小网络拥塞优先、最小异构因子优先与最小异构空闲节点优先4种启发式资源选择策略.实验验证了协同调度模型与算法在任务集完成时间与系统平均利用率的测度上的有效性.     

PBS作业管理系统分析

本文对PBS作业管理系统进行了分析.通过与Condor系统的比较,介绍了PBS系统的功能和特性;讨论了PBS的作业调度策略;分析了PBS系统下作业执行过程;通过设计和运行一个作业的实例,对PBS作业管理系统进行了进一步的分析.     

集群作业管理系统的关键技术分析及比较

集群技术是一种较新的技术,通过集群技术,可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益,集群作业管理系统则是集群系统中的核心部分.讨论了集群作业管理系统中的一些关键技术,如作业调度的组织模式、作业调度策略、进程迁移机制、资源组织和管理等,据此分析比较了当今具有代表性的几种集群作业管理系统PBS,CONDOR和LSF,并由此得出了对于今后研究和开发下一代集群作业管群系统有重要指导意义的结论.     

一种适用于机群OpenMP系统的有效调度算法

OpenMP作为共享存储并行编程标准，以其良好的易用性、支持增量并行等特点成为并行程序设计的主流模型之一．OpenMP标准是针对UMA共享存储结构制定的，其循环调度机制只考虑了负载平衡而无须考虑数据分布．然而在机群OpenMP系统中，数据局部性是影响性能的关键因素．针对OpenMP标准中静态调度策略不适合机群计算的缺点，提出了一个充分体现拥有者计算原则的LBS调度算法，并通过扩展制导的方式在机群OpenMP系统（OpenMP/JIAJIA)上加以实现．测试结果表明，LBS算法对于机群OpenMP系统很有效．     

曙光3000机群作业管理系统JOSS的设计与实现

介绍了曙光3000机群作业管理的设计与实现，介绍曙光3000作业管理系统的组成、结构、功能、作业调度算法和资源分配策略等以及设计时的一些考虑，最后对该系统与PBS和LSF作了比较，并对系统存在的不足之处和进一步的工作作了简要的叙述。     

基于多维QoS的集群作业调度算法

调度技术是集群作业管理系统的关键技术之一。但是,目前大多数集群作业管理系统采用的调度技术,很少按照应用对系统资源的需求加以详细区分和权衡,无法同时满足不同应用在高吞吐量、高可用性和实时性等方面的要求,造成了资源的闲置和资源因为负载过重而无法正常工作。该文正是注意到了这种不足,根据不同应用的需求和实时收集到的资源信息,引入了多维QoS的概念,并给出了多维QoS的数学模型,提出了一种基于多维QoS的集群作业调度算法JSBMQ,充分提高了系统的资源利用率和平均响应时间,使集群可以提供不问断的高效的计算服务。     

网络集群计算系统中的并行任务调度

基于多处理机并行任务调度模型，探讨网络集群计算系统中的并行任务调度问题，首先证明了一般网络集群计算系统中调度算法的可近似性难度，然后提出了三种不同的启发式算法：最大长度优先调度算法、最大宽度优先调度算法和最大面积优先调度算法；然后根据大量的模拟实验对这些算法以及文献中已提出的调度算法进行了比较分析，结果表明该文的启发式算法比文献中的算法在性能上效果更好。     

大型高能物理计算集群资源管理方法的评测

高能物理数据由物理事例组成,事例之间没有相关性。可以通过大量作业同时处理大量不同的数据文件,从而实现高能物理计算任务的并行化,因此高能物理计算是典型的高吞吐量计算场景。高能所计算集群使用开源的TORQUE/Maui进行资源管理及作业调度,并通过将集群资源划分成不同队列以及限制用户最大运行作业数来保证公平性,然而这也导致了集群整体资源利用率非常低下。SLURM和HTCondor都是近年来流行的开源资源管理系统,前者拥有丰富的作业调度策略,后者非常适合高吞吐量计算,二者都能够替代老旧、缺乏维护的TORQUE/Maui,都是管理计算集群资源的可行方案。在SLURM和HTCondor测试集群上模拟大亚湾实验用户的作业提交行为,对SLURM和HTCondor的资源分配行为和效率进行了测试,并与相同作业在高能物理研究所TORQUE/Maui集群上的实际调度结果进行了对比,分析了SLURM及HTCondor的优势和不足,探讨了使用SLURM或HTCondor管理高能物理研究所计算集群的可行性。     

A multi-dimensional scheduling scheme in a Grid computing environment

In this paper, we propose a novel distributed resource-scheduling algorithm capable of handling multiple resource requirements for jobs that arrive in a Grid computing environment. In our proposed algorithm, referred to as multiple resource scheduling (MRS) algorithm, we take into account both the site capabilities and the resource requirements of jobs. The main objective of the algorithm is to obtain a minimal execution schedule through efficient management of available Grid resources. We first propose a model in which the job and site resource characteristics can be captured together and used in the scheduling algorithm. To do so, we introduce the concept of a n-dimensional virtual map and resource potential. Based on the proposed model, we conduct rigorous simulation experiments with real-life workload traces reported in the literature to quantify the performance. We compare our strategy with most of the commonly used algorithms in place on performance metrics such as job wait times, queue completion times, and average resource utilization. Our combined consideration of job and resource characteristics is shown to render high-performance with respect to above-mentioned metrics in the environment. Our study also reveals the fact that MRS scheme has a capability to adapt to both serial and parallel job requirements, especially when job fragmentation occurs. Our experimental results clearly show that MRS outperforms other strategies and we highlight the impact and importance of our strategy.     

分布式环境中的多作业执行调度策略与优化

分布式大数据计算引擎是科研机构、互联网企业和政府部门处理大规模数据必不可少的工具,它们的使用和推广促进了各个领域的快速发展,为社会进步做出了巨大贡献。但是,在多作业处理的情况下,目前主流的大数据计算引擎在资源分配和作业调度方面仍有许多不足之处,它们通常对多作业平均划分内存资源并以先进先出FIFO的方式调度作业,这样简单的资源划分方式和作业调度机制并不能充分利用系统性能。针对此问题,从计算引擎的作业层面做出了改进：在资源划分方面,通过提取作业特征对作业的任务量进行预估,判断作业任务量和作业预分配资源间的差异,合并对集群资源浪费较高的作业,充分利用计算资源;在作业调度方面,对作业池中的作业进行特征提取,使用多路K-means算法对作业进行聚类分析,然后基于分析的结果,使用自平衡轮询调度算法对作业进行调度,达到负载均衡的目的。为了验证所提算法的有效性,使用大规模文本数据集在分布式集群环境中进行对比实验,实验结果表明,提出的作业合并算法和多作业调度算法可以减少5%~23%的作业运行时间,提高了7.5%~29%的系统吞吐量,在最好情况下可减少40%的线程启动数。     

一种采用消息模型的多集群作业管理方案设计

文中针对多集群环境资源异构且地域分散、网络环境不可靠以及面向用户需求的特点,提出了一种采用消息模型的多集群作业管理方案。该方案采用全局一局部的层次调度方法,基于发布一订阅的消息模型,根据当前网络环境、用户作业的资源需求、各集群自身负载情况进行综合统一调度管理。实践证明,采用该方案设计实现的多集群作业管理系统实现了多集群环境下的资源监控、资源管理、作业调度、作业控制、数据管理等功能,有效解决了在资源异构及网络环境不可靠条件下的系统稳定性问题,显著提高了多集群系统作业吞吐能力。     

面向信息服务的网格资源管理器的设计

设计一个面向信息服务的网格资源管理器的架构，该架构分为全局和局部管理器。介绍一个新的作业调度算法，该算法的特点是根据历史作业执行时间来预测当前作业的执行时间，在调度时考虑作业执行时间和截止时间2个要素。试验证明该算法比目前常用的Max-Min和Min-Min算法具有更好的性能。     

具有模糊处理时间的网格任务调度免疫算法

目前，网格计算作为一种新的计算范式正在兴起。任务调度是其中的一个重要研究领域。该文以AIS的克隆选择算法为基础，给出了基于人工免疫系统的网格任务调度算法。首先，对网格任务调度问题进行模糊化，并给出了形式化描述，随后用结构化的语言对算法进行了说明，最后通过仿真实验对算法的有效性以及算法参数对性能的影响进行了验证。