DPVM：支持任务迁移和排队的PVM

本文介绍作者研制的一个基于任务排队动态调度并任务且具有进程迁移功能的并行计算支持环境ＤＰＶＭ系统。它是对ＰＶＭ系统的改进，以网络中各主机的ＣＰＵ利用率和ＣＰＵ队列长度为负载指标，动态调度系统中的并行任务以使整个并行任务的执行时间最短。在并行任务执行期间，ＤＰＶＭ系统使用进程先锋来进一步支持动态调度、主人优先和关机迁移的功能。     

基于异构Flink集群的节点优先级调度策略

Flink流处理系统默认的任务调度策略在一定程度上忽略了集群异构和节点可用资源,导致集群整体负载不均衡。研究分布式节点的实时性能和集群作业环境,根据实际作业环境的异构分布情况,设计结合异构Flink集群的节点优先级调整方法,以基于Ganglia可扩展分布式集群资源监控系统的集群信息为依据,动态调整适应当前作业环境的节点优先级指数。基于此提出Flink节点动态自适应调度策略,通过实时监测节点的异构状况,并在任务执行过程中根据实时作业环境更新节点优先级指数,为系统任务找到最佳的执行节点完成任务分配。实验结果表明,相比于Flink默认的任务调度策略,基于节点优先级调整方法的自适应调度策略在WorldCount基准测试中的运行时间约平均减少6%,可使异构Flink集群在保持集群低延迟的同时,节点资源利用率和任务执行效率更高。     

非安全互连同构系统上的静态任务调度

在分布式内存多处理机ＤＭＭ（ｄｉｓｔｒｉｂｕｔｅｄ ｍｅｍｏｒｙ ｍｕｌｔｉｐｒｏｃｅｓｓｏｒ）系统中,不同处理机上运行的任务之间的通信开销仍然很大,有时甚至抵消了多处理机并行所带来的好处．为了使并行程序在ＤＭＭ系统上能得以高效的执行,必须采用合理的调度技术将任务分配给处理机．章首先分别给出了任务调度系统中的任务模型、处理机模型以及调度问题的形式化描述,然后在此基础上研究了任务调度中３个最重要的     

并行环境下基于多处理机任务的调度模型与调度算法

1 引言目前所研究的并行系统中的任务调度问题,大都针对于单处理机任务进行。所谓单处理机任务就是指所有被调度的任务都只需要一个处理机,而且可以是任意一个处理机。然而,在网络环境下,由于各个处理机的性能和功能不尽相同,一个任务往往需要一个或多个处理机同时执行才能完成,称这样的任务为多处理机任务。如果一个任务需要r个处理机同时执行,我们就称这个任务为r-处理机任务。这里所说的“处理机”实际上是一个广义的概念,它可以是计算机系统中的CPU、内存、驱动器或打印机等,也可以是网络系统的节点、链路和带宽等。一个并行工程,无论是上层的作业,还是底层的进程,它们都需要拥有不同的各种资源组合。并行系统中多处理机任务的调度,就是充分合理地利用所有可利用的资源,依照某种顺序串行或并行地调度所有待处理的多处理机任务,使得系统的总执行时间尽可能小。     

基于PVM的C++对象分布并行机制的初步研究

对象具有内在的并行性.将面向对象程序设计与分布并行处理相结合,可产生既具有面向对象特征,又充分利用资源,还可缩短作业运行时间的对象分布并行系统.提出了一种基于PVM(parallelvirtualmachine)的C++对象的分布并行机制.该机制以协议和pvmlib作了向后兼容扩充的PVM系统为对象分布并行支撑;用预处理器将用户作业的并行类分离,并派遣到(PVM)系统中的目标机进行异地编译、加载执行;通过把并行类映射为PVM任务,请求对象消息映射为请求PVM任务消息来实现并行类对象的分布并行.实验结果表明,此对象分布并行机制(当问题规模达到一定程度时)可提高系统资源利用率和程序运行效率,并能简化PVM应用编程.     

并行系统的以存储器为中心的互联机制MCIM

并行系统中计算结点之间的互联网络一直是并行体系结构的研究热点,３０年来曾研究过多种ＩＮ的结构及其特性,然而这些ＩＮ都是以逻辑电路为基础的。本文提出一种以多端口快速静态存储器为中心的并行系统互联机制,称之为ＭＣＩＭ,ＭＣＩＭ不同于共享 共享存储器,它的容量较小,划分为多个消息传递的通信邮区,并通过每个端口的访问接口（ＰＡＩ）。连接８－１６个计算结点。常用的四端口存储器可组成３２－６４个计算结点的并行     

双通道紧耦合通用多微机控制系统

一、多微机控制系统功能分配在多微处理机系统中,不同的任务和程序,如任务调度、I/O管理、数据管理、对象控制,可以分给不同的处理器来承担。只要在设计时,各处理器功能分配得当,使各处理器能同时并行地执行各自的任务,那么系统的速度则会大大提高。基于以上思想,我们提出多微机控制系统由一个作业调度机、一个输入输出专用机和若干个作业处理机构成。作业调度机专门进行作业处理机的作业调度,使作业调度和作业处理能并行执行,提高多任务处理速度。在作业调度机中配备以下软件:任务调度、实时时钟管理、任务启动处理、任务结束处理、任务延时处理、通讯命令译码。     

基于云计算Hadoop异构集群的并行作业调度算法

针对Hadoop异构集群中计算和数据资源的不一致分布所导致的调度性能较低的缺点,设计了一种基于Hadoop集群和改进Late算法的并行作业调度算法;首先,介绍了基于Hadoop框架和Map-Reduce模型的调度原理,然后,在经典的Late调度算法的基础上,对Map任务和Reduce任务的各阶段执行时间进度比例进行存储和更新,为了进一步地提高调度效率,将慢任务迁移到本地化节点或离数据资源较近的物理节点上,并给了基于改进Late算法的作业调度流程;为了验证文中方法,在Hadoop集群系统上测试,设定1个为Jobtracker主控节点和7个为TaskTracker节点,实验结果表明文中方法能实现异构集群的作业调度,且与其它方法比较,具有较低的预测误差和较高的调度效率。     

基于粒子群优化的异构多处理器任务调度算法

为提高异构多处理器任务调度的执行效率,充分发挥多处理器并行性能,提出一种基于粒子群优化的异构多处理器任务调度算法——FPSOTTS算法。该算法以求得任务最短完成时间为目标,首先通过建立新的编码方式和粒子更新公式实现粒子搜索空间到离散空间的映射,使连续的粒子群优化算法适用于离散的异构多处理器任务调度问题;同时通过引入禁忌算法进行局部搜索,克服粒子群算法的早熟收敛现象,避免陷入局部最优。实验结果表明,FPSOTTS算法的执行效率优于Min-min算法和遗传算法,有效地降低任务的执行时间。FP-SOTTS算法很好地解决了异构多处理器任务调度问题,并且适合于大规模并行任务调度。     

一种基于两级DAG模型的MapReduce工作流异构调度算法

MapReduce编程模型被广泛应用于大数据处理平台,而一个有效的任务调度算法对模型的运行效率至关重要。将MapReduce工作流的Map和Reduce阶段分别拆解为若干个有先后序限定关系的作业,每个作业再拆解为多个任务。之后基于计算集群的可用资源和任务异构性,构建面向作业和任务的2级有向无环图(DAG)模型,同时提出基于2级优先级排序的异构调度算法2-MRHS。算法的第1阶段进行优先级排序,即对作业和任务分别进行优先权值计算,再汇总得到任务的调度队列;第2阶段进行任务分配,即基于最快完成时间将每个任务所包含的数据块子任务分配给最适合的计算结点。采用大批量随机生成的DAG模型进行实验,结果表明与其他相关算法相比,本文算法有更短的调度长度(makespan)且更加稳定。