差异化作业调度在Storm上的实现

作业调度一直是大数据技术研究的热点,关于分布式集群上的调度优化的探讨一直没有停过。本文对比分析对比静态分配调度、均匀分配调度、资源感知调度和就近调度算法,提出差异化作业调度管理技术,并把它应用到分布式实时处理系统Storm当中。经过实验验证,该调度算法能对Storm集群中不同作业任务,进行差异化管理。     

融合多集群的ECCSSM分布式调度器研究与设计

针对目前的Windows CCS调度系统无法进行多集群间作业调度的情况,设计了一种名为ECCSSM分布式调度系统,使CCS调度系统可以实现跨多个集群的协同分布式调度。通过对已有的Windows CCS的调度系统进行功能上的补充,尤其是分布式协同调度功能的引入,实现了单个集群间以P2P方式调度并行作业,不仅可以合理利用计算资源,而且可以提高整个计算系统的可扩展性。     

大规模异构计算集群的双层作业调度系统

高能物理计算平台中的HTCondor和SLURM计算集群为多个高能物理实验提供数据处理服务,然而HTCondor并行作业调度效率较低、SLURM难以应对大量串行作业,且计算平台整体资源管理及调度策略过于简单。为满足高能物理计算集群高负荷运行的需求,在传统作业调度器上增加作业管理层,设计双层作业调度系统,通过高效调度串并行作业并兼顾实验组间资源的使用公平性,实现用户对作业的细粒度管理。测试结果表明,双层作业调度系统支持大批量高能物理作业的快速提交,并充分利用计算平台的总体资源,具有较好的作业调度性能。     

基于异构Flink集群的节点优先级调度策略

Flink流处理系统默认的任务调度策略在一定程度上忽略了集群异构和节点可用资源,导致集群整体负载不均衡。研究分布式节点的实时性能和集群作业环境,根据实际作业环境的异构分布情况,设计结合异构Flink集群的节点优先级调整方法,以基于Ganglia可扩展分布式集群资源监控系统的集群信息为依据,动态调整适应当前作业环境的节点优先级指数。基于此提出Flink节点动态自适应调度策略,通过实时监测节点的异构状况,并在任务执行过程中根据实时作业环境更新节点优先级指数,为系统任务找到最佳的执行节点完成任务分配。实验结果表明,相比于Flink默认的任务调度策略,基于节点优先级调整方法的自适应调度策略在WorldCount基准测试中的运行时间约平均减少6%,可使异构Flink集群在保持集群低延迟的同时,节点资源利用率和任务执行效率更高。     

基于集群拓扑结构的工作流调度研究

针对MapReduce的默认调度策略先进先出(FIFO)在执行任务时考虑本地性调度带来的任务等待时间长、资源利用率不高和没有考虑任务的优先级等问题,提出一种基于集群拓扑结构的工作流实时调度算法。MapReduce在对工作流进行Map处理时,首先根据taskTracker的计算能力和数据大小对map阶段工作流的完成时间进行估计,得到一个完成时间隶属函数,然后再利用集群的拓扑结构,得到taskTracker在集群中的距离隶属函数,根据这两个隶属函数来对集群中的taskTracker在工作流处理时间和数据传输时间进行综合性能评估,这样可以有效地缩短任务的等待时间并提高资源的利用率。同时该算法采用对作业进行优先级划分的方式,满足不同类型作业的需求。大量的实验结果表明:该优化策略在平均完成时间和平均等待时间方面要优于FIFO算法,可以有效提高工作流处理的实时性。     

网格计算中作业管理系统的分析及设计

随着高性能应用需求的迅猛发展，单台高性能计算机已经不能胜任一些超大规模应用问题的解决。这就需要将地理上分布、系统异构的多种计算资源通过高速网络连接起来，共同解决大型应用问题，作业管理是随着集群技术和网格技术的应用发展而发展起来的一项技术。针对网格计算中的作业管理系统，该文主要分析了作业管理系统的设计、实现及关键技术，以及作业管理系统中的各种组件的工作原理，并在此基础上提出并设计出针对网格计算的作业调度器的框架。     

基于YARN资源调度器的MapReduce作业数调节方法

YARN是Hadoop的一个分布式的资源管理系统,用来提高分布式集群的内存、I/O、网络、磁盘等资源的利用率.然而,YARN的配置参数众多,要对其人工调优并获得最佳的性能费时费力.本文在现有的YARN资源调度器的基础上,结合了一种闭环反馈控制方法,可在集群运行状态下动态地对MapReduce （MR）作业数进行优化,省去了人工调整参数的过程.实验表明,在YARN的容量调度器和公平调度器的基础上使用该方法,相比于默认配置,MR作业完成时间分别减少53%和14%左右.     

改进人工蜂群算法求解分布式柔性作业车间调度问题

针对分布式柔性作业车间调度问题的特点,提出一种改进人工蜂群算法.首先,建立以最小化最大完工时间为优化目标的分布式柔性作业车间调度优化模型;然后,改进基本人工蜂群算法以使其适用于求解分布式柔性作业车间调度问题,具体的改进包括设计一种包含三维向量的编码方案,结合问题特点针对性地设计多种策略用于种群初始化,在雇佣蜂改良搜索操作中设计多种有效的进化操作算子,并在跟随蜂搜索操作中引入基于关键路径的局部搜索算子以提升算法的局部搜索能力;最后,利用扩展柔性作业车间通用测试集得到的测试数据设计实验验证算法性能,使用正交试验法优化算法参数设置.仿真实验结果表明,改进后的人工蜂群算法能有效求解分布式柔性作业车间调度问题.     

计算网格中作业调度系统GridPBS的设计与实现

通过对目前流行的集群调度系统PBS进行封装和扩展,设计并实现了一个计算网格作业调度系统GridPBS。该系统可使PBS系统的应用拓展到整个计算网格环境,克服了现有PBS系统只能在单个集群节点上运行的局限性。根据计算网格中的集群资源运行情况对用户作业进行凋度分配,从而有效地整合和利用计算网格各节点的计算能力。     

基于G1obus网格服务的作业调度的实现

为了实现作业调度系统的均衡分布,提高资源利用率和系统的吞吐率,通过对网格服务的研究,设计并实现了一种基于Globus网格服务的作业调度系统.提出了网格服务的模式,给出了作业调度系统的结构形式;设计并实现了一种综合考虑作业数、各结点性能以及当前负载情况的作业调度分配器系统.实验结果表明,此分配器系统能有效改善作业的分配和调度,大大提高分布式网络资源的利用率.