基于Storm拓扑结构热边的调度算法

Storm分布式实时计算系统采用轮询调度算法达到任务均衡分配的目的,但Storm默认调度算法未考虑计算节点间的网络通信开销,可能造成topology处理时延高、集群吞吐量低等问题。为此,引入Storm topology热边的概念,通过减少网络传输的tuple数量,将热边关联的源executor和目标executor调度到同一工作节点执行,提升Storm集群的计算性能。实验结果表明,该调度算法能够有效降低Storm处理时延及集群节点间的通信量,提高系统吞吐量,并且有利于集群的负载均衡。     

改进蚁群算法的Storm任务调度优化

Apache Storm 默认任务调度机制是采用Round-Robin（轮询）的方法对各个节点平均分配任务,由于默认调度无法获取集群整体的运行状态,导致节点间资源分配不合理。针对该问题,利用蚁群算法在NP-hard问题上的优势结合Storm本身拓扑特点,提出了改进蚁群算法在Storm任务调度中的优化方案。通过大量实验找到了启发因子α与β的最佳取值,并测得改进后蚁群算法在Storm任务调度中的最佳迭代次数;引入Sigmoid函数改进了挥发因子ρ,使其可以随着程序运行自适应调节。从而降低了各个节点CPU的负载,同时提高了各节点之间负载均衡,加快了任务调度效率。实验结果表明改进后的蚁群算法和Storm默认的轮询调度算法在平均CPU负载上降低了26%,同时CPU使用标准差降低了3.5%,在算法效率上比Storm默认的轮询调度算法提高了21.6%。     

Storm环境下基于拓扑结构的任务调度策略

针对Storm流式计算平台中默认轮询调度策略存在通信开销大、负载不均衡的问题,提出基于拓扑结构的任务调度策略（TS²）。首先,选取CPU资源充足且可用的工作节点并各分配一个进程,消除节点内进程间通信开销,优化进程部署;然后,分析拓扑结构,找出拓扑中度最大的组件,优先分配该组件的线程;最后,在满足节点可承载最大线程数的条件下,尽可能将关联任务部署到同一个节点来减少节点间通信开销,改善集群负载均衡,优化线程部署。实验结果表明：在系统延迟方面,与Storm默认调度策略和离线调度策略相比,TS²的平均优化率分别为16.91%和5.69%,有效提高了系统的实时性;在节点间通信开销方面,TS²相比于Storm默认调度策略平均降低了15.75%;在平均吞吐量方面,TS²相比于Storm默认调度策略平均提升了14.21%。     

Storm环境下基于权重的任务调度算法

大数据流式计算平台Apache Storm默认采用轮询的方式进行任务调度,未考虑到拓扑中各任务计算开销的差异以及任务之间不同类型的通信模式,在负载均衡和通信开销方面存在较大的优化空间。针对这一问题,提出一种Storm环境下基于权重的任务调度算法（TSAW-Storm）。该算法首先根据各任务的CPU资源占用情况以及任务间的数据流大小,分别确定拓扑的点权和边权;并利用最大化边权增益的思想,逐步构建起各工作节点中承载的任务集合,在保证集群负载均衡的同时,尽可能将边权较大的节点间数据流转化为节点内数据流,从而降低网络传输开销。实验结果表明,在包含有8个工作节点的WordCount基准测试中,TSAW-Storm的系统延迟和节点间数据流大小相比Storm默认调度算法分别降低了30.0%和32.9%,且各工作节点的CPU负载标准差仅为Storm默认调度算法的25.8%;此外,在与在线调度算法的对比实验中,TSAW-Storm在系统延迟、节点间数据流大小和CPU负载标准差方面分别降低了7.76%、11.8%和5.93%,且算法的执行开销明显降低,有效提高了Storm系统的运行效率。     

Storm下基于最佳并行度的贪心调度算法

开源分布式实时计算框架Storm在互联网、金融、电子商务等领域得到了广泛应用。Storm默认采用轮询的调度策略,且依赖用户对Topology任务的并行度配置,当配置不合理时依然会造成Topology处理时延增大、吞吐量降低等问题。针对该问题,提出了一种Storm下基于最佳并行度的贪心调度算法,调度时先求解Topology任务中各组件的最佳并行度,再采用贪心策略进行调度,以最小化节点间的网络通信开销。通过与默认调度算法、线上调度算法和热边调度算法进行实验比较,结果表明算法能够有效降低Storm处理时延,提高系统吞吐量和资源利用率。     

基于遗传算法的Kubernetes资源调度算法

Kubernetes在优选阶段仅根据节点CPU和内存的利用率来决定节点的分值,这只能保证单节点的资源利用率,无法保证集群资源的负载均衡.针对该问题,提出一种基于遗传算法的Kubernetes资源调度算法,该算法加入了网络带宽和磁盘IO两项评价指标,同时为评价指标赋予不同权重值,并且引入校验字典校验并修复遗传算法生成的新种群中不符合配置的个体.实验结果表明,与Kubernetes默认资源调度策略相比,该算法考虑了集群中的所有节点的资源利用率,在保证集群负载均衡方面有着更好的效果.     

基于主机性能度量的异构集群作业调度算法

传统经典作业度算法在集群应用中实现简单、执行效率高,但在异构集群环境下由于缺乏在线节点运行状态动态反馈能力和负载均衡能力,降低了计算资源利用率和系统吞吐率.为解决上述问题,设计了一种在异构集群环境下基于主机性能度量的作业负载均衡调度算法,该算法通过收集集群中在线节点的状态信息和作业响应时间遴选出可信节点集合,计算出各可信节点的HPM值,利用负载均衡运算规则生成候选的作业分配节点集合,最终按照预先设计的优先原则把不同作业分配至各计算节点,并更新各节点运行状态.实验结果表明,在异构集群环境下调度同类型作业时,该算法在总完成时间和负载均衡性能等指标上均优于传统经典算法.     

面向云环境的Flink负载均衡策略

作为新一代的大数据计算引擎,Flink得到了广泛应用。Flink在云环境下进行容器化部署时,其默认任务调度算法不能感知节点的资源信息,导致即时调整负载和自主均衡能力较差,而主流的容器编排工具虽然提供了管理容器的可能性,却也未能结合Flink特点解决平衡资源利用的同时降低容器组内的通信开销问题。针对以上问题开展研究,提出了一种面向云环境的Flink负载均衡策略FLBS,综合考虑了Flink集群中算子的分布特点和容器间通信机制,以节点间通信开销和均衡负载作为评估标准。实验结果表明,与Flink默认调度策略相比,FLBS能够有效提高计算效率,提升系统性能。     

面向边缘计算的Storm边缘节点调度优化方法

边缘计算有高实时性和大数据交互处理的需求,边缘异构节点间的调度时耗长、通信时延高以及负载不均衡是影响边缘计算性能的核心问题,传统的云计算平台难以满足新的要求。文中研究了在边缘计算环境下Storm边缘节点的调度优化方法,建立了面向边缘计算的Storm任务卸载调度模型。针对拓扑任务在边缘异构节点间的实时动态分配问题,提出了一种启发式动态规划算法(Inspire Dynamic Programming,IDP),通过改变Storm的Task实例的排序分配方式以及Task实例和Slot任务槽的映射关系实现全局的优化调度;同时,针对拓扑任务的并发度受限于JVM栈深度的缺陷,提出了一种基于蝙蝠算法的调度策略。实验结果表明,与Storm调度算法相比,所提算法在边缘节点CPU利用率指标上平均提升了约60%,在集群的吞吐量指标上平均提升了约8.2%,因此能够满足边缘节点之间的高实时性处理要求。     

基于Docker Swarm集群的调度策略优化算法

Swarm是一种对集群中Docker镜像和容器进行管理的工具,其在计算节点权值时可能会得到若干个相同权值的节点.现有的Swarm调度策略只是将这些节点随机分配,由于相同权值节点的资源负载情况并不相同,所以将会造成节点负载不均衡.针对上述问题,本文提出一种动态调度算法对Swarm调度策略进行优化.通过实验,证明增加动态调度算法能够使集群中节点负载更加均衡,同时提高集群的整体资源利用率.     

Storm流处理平台中负载均衡机制的实现

Storm流处理平台解决了传统的基于Hadoop的批处理系统实时性不高的问题,为多源异构大数据处理提供了高效、快速、实时的数据处理框架。然而Storm平台在任务分配过程中只考虑了不同节点之间可用Slot的排序,并没有充分考虑节点的实际负载情况,从而容易产生负载不均衡的问题。针对以上问题,本文在Storm分布式流处理系统上实现对可用Slot和节点负载情况的加权排序改进Storm调度算法,通过数据结构设计,保证rowkey的随机性和唯一性,确保RegionServer的负载平衡;同时通过批量写入的机制,提高Hbase数写入速度,从而提高流数据存储效率。通过与原生Storm系统的对比实验,表明本文算法的改进和机制优化保证了数据的快速写入,提高了集群资源的利用率,改进后的系统在实用性与效率上具有明显的优势。     

一种面向车辆实时数据并行处理的任务调度算法

车辆实时监管正面临着不断增长的大规模车辆监测数据的实时处理需求,需要采用分布式的并行计算架构来提升大规模车辆监测数据处理的性能,支撑多样化的车辆监测数据处理任务,应对支撑环境的伸缩性需求。在这种架构下,对系统中不同计算节点间的车辆监测数据处理任务的调度提出了更高的要求。针对这一要求,并结合流式到达及历史积累的车辆监测数据的持续化处理需求以及大规模车辆监测数据实时处理中内存敏感的特征,提出一种基于路由表的并行任务调度算法。该算法基于车辆监测数据时空属性以及各计算节点的内存信息建立路由表,并以路由表的形式来进行任务的并行划分和分配调度,从而使得各计算节点达到负载均衡的状态。实验表明该算法能够使计算节点间的负载差异缩小到12%以内。此外,该算法在某市车辆监管实时系统中的实际应用也证明了其有效性。     

实时流处理系统Storm的调度优化综述

随着大数据技术的发展,流式处理系统渐渐成为了研究的热点。相对于Hadoop等传统的批处理系统,流式处理系统具有更好的实时性特点。在已有的流式处理系统中,Storm系统具有良好的稳定性、高可扩展性以及高容错性等特点,使它在流式数据处理系统中脱颖而出。但是在任务调度方面,Storm系统并没有做过多的考虑,默认采用相对简单的轮询调度法,导致系统在性能上存在瓶颈。近年来针对Storm系统的调度问题,研究提出了各种优化方案。本文从实时流处理系统Storm的调度优化出发,将这些优化方法分为四类,并详细阐述各类中具有一定代表性的方法,分析其优缺点以及适用的场景。最后,讨论了在日益发展的新环境下,Storm系统的调度优化相关研究未来可能存在的方向。     

大数据流式计算框架Heron环境下的流分类任务调度策略

新型大数据流式计算框架Apache Heron默认使用轮询调度算法进行任务调度，忽略了拓扑运行时状态以及任务实例间不同通信方式对系统性能的影响。针对这个问题，提出Heron环境下流分类任务调度策略（DSC-Heron），包括流分类算法、流簇分配算法和流分类调度算法。首先通过建立Heron作业模型明确任务实例间不同通信方式的通信开销差异；其次基于流分类模型，根据任务实例间实时数据流大小对数据流进行分类；最后将相互关联的高频数据流整体作为基本调度单元构建任务分配计划，在满足资源约束条件的同时尽可能多地将节点间通信转化为节点内通信以最小化系统通信开销。在包含9个节点的Heron集群环境下分别运行SentenceWordCount、WordCount和FileWordCount拓扑，结果表明DSC-Heron相对于Heron默认调度策略，在系统完成时延、节点间通信开销和系统吞吐量上分别平均优化了8.35%、7.07%和6.83%；在负载均衡性方面，工作节点的CPU占用率和内存占用率标准差分别平均下降了41.44%和41.23%。实验结果表明，DSC-Heron对测试拓扑的运行性能有一定的优化作用，其中对接近真实应用场景的FileWordCount拓扑优化效果最为显著。     

集群软件无线电系统中实时信号处理调度研究

在集群软件无线电系统中,当宽带大容量信号数据进入系统后通过在节点上的并行计算实现对强衰弱信号的高增益、低延迟处理.结合集群软件无线电系统中信号处理的特点,研究了以下任务调度方面的问题:1) 提出了一种适合集群软件无线电系统中信号处理的调度器模型.该模型简单、高效,避免了瓶颈问题.2) 提出了一种新的包含3 个步骤的调度策略——RQBB,其中第1 步采用已有的DASAP 算法.3) 提出了两种启发式算法——MQB 和MSD,分别用在RQBB 的第2 步和第3 步操作.MQB 是一种公平算法,用于使所有接收的任务具有较高的QoS 收益(较高的QoS 级别和较小的QoS 级别差异),MSD 算法用于使系统具有较高的吞吐率并达到负载均衡.通过大量实验对RQBB 与DASAP, DALAP 算法和RQRB 策略进行了比较.实验结果表明,RQBB 具有较高的调度成功率,使得所接收任务具有最优的QoS 收益,同时使得系统具有较高的吞吐率并达到负载均衡.     

基于CloudSim的分类负载均衡调度模型

针对传统的集群调度模型效率低下不足以满足用户需求的问题,本文提出一种基于模糊聚类的分类负载均衡调度模型。首先,构建任务请求的指标体系以完成数学模型的建立;接着,采用基于模糊C均值聚类算法的改进算法对请求分类,即用改进的最小支撑树算法获取初始中心,有效性测度获取其分类个数,BP神经网络算法提高其学习能力;然后,采用两次分类的方法对服务器分类,预聚类对服务器进行功能预聚类,模糊关联聚类按处理负载能力对其分类;最后将分类调度模型在CloudSim下仿真实验,通过对比其他调度算法得到分类调度模型更具适应性和高效性,具有工程指导意义。