Hadoop作业调度本地性的研究与优化

作为开源云计算平台的核心技术之一,Map Reduce作业处理框架及其作业调度算法,对整个系统的性能起着至关重要的作用,而数据本地性是衡量作业调度算法好坏的一个重要标准,首先本文介绍和分析了Map Reduce基本原理,Map Reduce作业处理机制和Map Reduce作业调度机制及其在数据本地性方面表现出的优缺点等相关内容。其次,针对原生作业调度算法在数据本地性考虑不周全的问题,结合数据预取技术的可行性与优势,通过引入资源预取技术设计并实现一种基于资源预取的Hadoop Map Reduce作业调度算法,使作业执行效率更高。     

MapReduce在Hadoop平台下作业调度算法的改进和实现

该文在Hadoop实现的MapReduce架构基础上,分析了现有的三种作业调度算法,针对当前算法没有考虑服务器负载状况和数据本地性差的缺点,提出了基于可变长度队列的公平调度算法(FSVQ),该算法分析了空闲节点率,并通过采取等待的办法满足考虑数据本地性。实验证明该算法可增加服务器集群的工作效率,减少网络延迟,具有实际的应用意义。     

Hadoop平台下计算能力调度算法的改进与实现

在计算能力调度算法中没有全面考虑各资源特征的分配是否满足作业多样的服务要求,提出一种基于优先级的计算能力加权调度算法,根据作业的优先级以及提交时间等因素来计算作业的权重。依据作业的权重对作业队列进行排序并分配空闲的slot给队首的作业,从而避免调度陷入局部最优也能更好地满足作业的多样性服务要求。在搭建的Hadoop平台上进行实验表明,改进后的算法能较均衡地分配系统资源减少一些作业的等待时间,并且运行全部作业的用时有所减少。     

基于蚁群算法的Hadoop调度算法研究

为有效提高Hadoop集群作业调度的效率,提出一种基于蚁群算法的自适应作业调度的方案,有效利用蚁群算法正反馈的优势特点,使Hadoop作业调度器更高效地对任务进行分配,提高整体架构的作业性能。实验结果表明,该算法能够很好的平衡资源负载,减少任务的完成时间,提高系统处理任务的性能。     

Hadoop平台下的动态调度算法

目前,云计算环境具有动态、异构和海量多类型任务并发等特征,随着集群规模不断增大、用户QoS不断增多,现有调度算法越来越难以适应动态变化的环境及满足用户的需求。针对Hadoop平台下现有调度器不能根据作业运行状态和资源使用情况进行动态调整的问题,提出了Hadoop下基于作业分类的动态调度算法。该算法在使用朴素贝叶斯分类算法对队列中作业进行分类的过程中,根据各个作业的类型,预先设定类别权值,将队列中的作业分类,并引入效用函数,根据用户提交时的预期完成时间QoS和作业完成情况估算其作业完成时间,实现动态设置作业优先级。实验表明,使用提出的算法不仅能有效减少 作业的分类时间,而且能明显提高 动态性和用户QoS。     

Hadoop云平台下基于资源预估的作业调度算法

为解决Hadoop云平台下作业无法满足时间约束的问题,提出一种基于资源预估的作业调度算法。通过建立资源预估模型计算作业所需资源,然后结合作业间的资源竞争关系对完成时间进行判定,最后根据作业的数据本地性改进延迟调度策略。实验结果表明,本文算法能够满足作业对时间约束的需求,提升系统的资源利用率。     

Hadoop平台下基于加权轮转算法的改进任务调度算法

为提高Hadoop作业调度的效率,增加云平台的吞吐率,提出了一种基于Hadoop云计算平台的作业调度算法。该算法在加权轮转调度算法的基础上,针对MapReduce的运行特点,增加了改进map任务本地性调度的因素,使得作业调度仍然保持了相对的公平性,并通过提高轮转周期内的map任务数据本地性,减少了任务的执行时间。实验结果证明,该调度算法与加权轮转调度算法相比,较好地提高了任务本地执行的比例,缩短了云计算系统内作业的总执行时间。     

Hadoop平台公平调度算法研究与优化

Hadoop Map Reduce框架的公平调度算法以统一的固定配置文件管理计算节点上计算槽的数量,这不能保障集群负载均衡,亦不能满足不同用户的资源需求。针对公平调度算法配置方式的不足,提出一种动态反馈的调度算法。该算法结合公平调度算法预先分配的特性,能够对计算节点上的计算槽进行动态调整。实验结果表明,基于动态反馈的改进算法有效地提高了集群的执行效率。     

Hadoop集群环境下本地性调度算法改进

Hadoop集群环境下本地性调度算法是提高数据本地性的算法。算法本质是提高数据本地性,减少数据传输时间,减少集群的网络I/O,提高资源利用率。由于调度算法采用FIFO方式,当前作业数据量大时将影响其他紧急性高的作业响应时间,降低系统性能。本文提出一种新的调度策略,即在保证原算法数据本地性的前提下,集成静态优先级的抢占调度策略。实验结果表明,在相同的数据集上,采用集成静态优先级抢占的调度策略,优先级高的作业响应时间较优先级低的作业响应时间减少。     

Hadoop集群环境下集成抢占式调度策略的本地性调度算法设计

在Hadoop集群环境下本地性调度算法是提高数据本地性的算法。本地性调度算法的调度策略的本质是提高数据本地性,减少网络传输开销,避免阻塞。但是由于Map任务的完成时间不同,Reduce任务存在的等待现象影响了作业的平均完成时间,使得作业的完成时间增加,进而引起系统的性能参数不佳。因此提出在保留原算法数据本地性要求的基础上集成可抢占式的调度方法。在Reduce任务等待时,挂起该任务并释放资源给其他Map任务,当Map任务完成到一定程度后,重新调度Reduce任务。基于上述调度策略设计了集成抢占式策略的本地性调度。为了对改进的算法进行验证,通过实验对本地性调度算法和集成抢占式本地性调度算法进行比较。实验结果表明,在相同数据上,集成抢占式本地性调度算法的平均完成时间有明显的降低。     

Hadoop平台中MapReduce调度算法研究

MapReduce是一种新型的并行计算框架,在计算速度,容错性,可靠性等方面具有优势,因此得到了广泛的商业应用与科学研究。而调度算法作为MapReduce的核心组成部分,它的优劣成为了直接影响MapReduce性能的关键因素,因而得到了很大的关注。在介绍和分析MapReduce并行计算模型的基础上,介绍了几种相关的模型改进,并基于Hadoop平台,重点研究了MapReduce的常用调度算法及改进算法。通过对比分析,就MapReduce未来的发展进行了进一步的探讨,为其调度算法的改进提供有效的方法。     

“上海高校网格e-网格计算应用平台”任务调度策略的优化

首先分析了"上海高校网格平台e-网格计算应用平台"现有的任务调度策略,针对它的不足之处,提出了两个优化的方案.第一个方案着重于研究如何提高系统的吞吐率,并且已经在系统中得到了实现;第二个方案着眼于系统未来的发展,提出了在系统规模扩大后可能会使用到的调度策略,并通过模拟,证明了该方案的可行性.     

MobiWay应用中基于Hadoop的多目标多任务调度算法

针对Hadoop应用环境复杂、网络带宽等因素多变而影响调度算法性能的问题,提出适用于多任务多目标的Hadoop调度算法(MOSMT)。在分析已有调度算法工作原理的基础上,构建MOSMT算法的数学模型和调度策略;在负载模拟器中进行算法评估,并将MOSMT算法应用于MobiWay;对MobiWay应用中的MOSMT算法性能进行测试分析,以最少的资源和最低的时间成本完成任务的调度。通过与FIFO和Fair调度算法对比表明,该算法能够实现类似的功能,并且在处理多任务多目标时耗时更少,更为经济。     

基于云计算技术的全媒体服务平台架构研究

云计算技术在传媒界的应用已经为业态发展和竞争带来了显著的变化。而且云计算在未来的市场规模、发展潜力及作用也开始得到传媒界的普遍重视。电视、报刊、网络等不同类型的媒体都开始积极推动新媒体技术的应用和发展,力求借助其促进自身的进步。全媒体是未来媒体存在和发展的基本形态,单一形态的媒体市场的竞争中得到持久的发展。云计算和全媒体,一个是未来媒体赖以发展的技术基础,一个是媒体发展形态,正确认识两者之间的辩证关系对于媒介发展至关重要。     

云计算平台中监控视频摘要任务调度方法研究

随着视频监控系统的大量部署,产生了大量的监控视频数据,视频摘要技术应运而生。如何优化大量的视频摘要算法服务器的工作效率,高效的视频摘要任务调度方法成为关键。提出一种基于视频摘要任务执行时间预测模型的分布式任务调度方法。该方法对视频摘要处理过程中的监控视频数据块所需的服务器处理时间进行预测,从而合理调度任务,使服务器负载均衡,提高了云服务器的资源利用率,降低了视频摘要任务的分布式处理时间。     

基于改进狮群算法的云计算资源调度策略

针对云计算在运算过程中资源利用率低以及节点负载不均衡的问题,提出一种改进狮群优化算法的云计算资源调度策略.针对传统狮群算法易早熟收敛陷入局部最优以及算法收敛精度低的问题,通过余弦扰动因子以及双高斯变异函数对算法进行改进.数值仿真实验结果表明,改进后的狮群优化算法较好地平衡了算法的全局勘探能力和局部开发能力,提高了算法的全局收敛精度.建立云计算资源调度数学模型,并通过改进后的狮群算法对模型进行优化.     

基于混合粒子群分布估计算法的Hadoop任务调度优化策略

在一个异构的网格环境下,Hadoop异构任务调度的目的是有效地利用资源和共享可用的资源之间的负载,这样的任务调度问题是NP-Hard问题。提出一种基于混合粒子群分布估计算法(HPSO-EDA)的任务分配策略。新的HPSO-EDA引入分布估计算法的建立概率模型和随机抽样操作来替代速度和位置的更新操作来引导最优解的进化,提高算法的收敛速度,防止算法陷入局部最优化解。通过实验仿真表明:HPSO-EDA比传统PSO和EDA能在更短的时间里产生更好的结果。     

一种基于优化混合调度策略的P2P VoD系统的研究与设计

现有的P2P视频点播系统在性能指标方面还存在着不足。在分析现有P2P流媒体体系结构及调度策略的基础上,提出了一种在网状结构的P2P视频点播系统上的优化混合调度策略,讨论了系统相关的节点管理和资源定位等关键技术。系统采用随机走和tracker服务器结合的资源定位机制,在保证快速定位的同时很好地减轻了tracker服务器的负担,通过紧急下载与基于锚节点的数据预取的混合式调度策略较好地降低用户的等待时延,改善了用户体验。     

基于节点性能的Hadoop作业调度算法改进

由于构成数据中心的计算设备一般都存在性能上的差异,但是Hadoop调度算法没有考虑不同节点的性能差异,导致节点间出现"忙闲不均"的现象,影响作业的执行效率。针对如上问题,在系统分析Hadoop资源管理机制(Yarn)源代码的基础上,提出了节点性能评价指标,综合考虑节点的硬件配置参数和运行过程中的动态性能指标。在此基础上对Fair Scheduler调度算法进行改进,实现了基于节点性能的任务分配,整体上提高了所有节点的利用率。在Hadoop集群上的实验表明,所提出的节点性能评价指标和对Fair Scheduler调度算法的改进,有效解决了节点的负载均衡问题,整体上提高了作业执行效率。     

基于虚拟化环境的多GPU并行通用计算平台研究

针对分布式多节点多GPU的系统环境,实现一种基于CUDA框架的多GPU通用计算虚拟化平台。应用程序可以如同使用本地GPU一样方便地使用多个远程GPU,原来的CUDA应用程序可以不经过修改或者只进行少量的修改就可以运行在该虚拟化GPU平台上,从而实现单机多GPU和多机多GPU在编程模式上的统一,并通过一个基于高斯混合模型的数据聚类程序来进行实验验证。实验结果表明,在不影响程序正确性的前提下,相对于原来使用CPU的程序,使用两个远程GPU可以获得十倍左右的加速比。