基于权重轮询负载均衡算法的优化

随着电商网站用户规模不断增长,高并发问题成为在搭建大规模电商网站系统时面临的一项重大挑战,通过负载均衡算法来实现Web服务集群中各节点均衡负载是解决高并发的手段之一.然而,目前通用的负载均衡算法都存在一些不足之处,针对这一问题,提出了一种动态自适应权重轮询随机负载均衡算法（Dynamic Adaptive Weight Round-Robin Random Load-Balancing,DAWRRRLB）,该算法考虑到影响Web服务集群中服务器节点性能的多重因素,根据节点在运行过程中的实时负载情况动态的改变集群中节点的负载性能,并结合改进的Pick-K算法对权重轮询负载均衡算法进行优化,始终保证性能最优的服务器节点在提供服务.通过多次实验对比,改进的DAWRRRLB算法可以有效的提高负载均衡效率.     

基于轮转周期的动态反馈负载均衡算法

网络管理系统中管理端逐步采用分布式集群构架,通过负载均衡算法调度客户端请求,并将客户端请求分配给多个事务节点进行并行处理。为进一步提高集群系统服务的性能,文中在研究以往负载均衡算法的基础上,提出了一种基于轮转周期的动态反馈负载均衡算法。该算法设计了一种基于剩余资源动态权值的节点剩余负载能力计算方法的动态反馈机制;并在动态反馈负载均衡算法的一个采样周期内引入轮转周期对客户端请求均衡分配。通过实验比较分析,该算法能获得更好的负载均衡效果。     

一种改进的动态告警负载均衡算法

负载均衡通过将大量的并发访问请求转发到多个服务器分别进行处理,以提高web集群的整体吞吐量.现有的负载均衡算法存在着引用负载因素过少、负载计算过于复杂、节点的负载抖动现象过于严重等问题.本文提出一种改进的动态告警负载均衡算法,基于请求类型、节点工作能力和实时负载值来确定转发目标.该方案实时监测各节点的负载状态并实施周期性反馈与动态告警,既保证了负载信息的实时性与有效性,又减少了负载计算量;采用RED方法校正负载状态的判定,避免了因为负载状态的误判而引发的负载不均,从而减小了负载抖动现象.模拟实验结果表明,改进算法增加了web集群系统的吞吐量,并且明显改善了负载均衡度.     

基于Docker Swarm集群的调度策略优化算法

Swarm是一种对集群中Docker镜像和容器进行管理的工具,其在计算节点权值时可能会得到若干个相同权值的节点.现有的Swarm调度策略只是将这些节点随机分配,由于相同权值节点的资源负载情况并不相同,所以将会造成节点负载不均衡.针对上述问题,本文提出一种动态调度算法对Swarm调度策略进行优化.通过实验,证明增加动态调度算法能够使集群中节点负载更加均衡,同时提高集群的整体资源利用率.     

一种基于Kademlia的全分布式爬虫集群方法

针对将海量爬虫节点组织成全分布式爬虫集群所遇到的高效、均衡、可靠、可拓展等问题,提出了一种基于Kademlia的全分布式爬虫集群方法。该方法通过改进的Kademlia技术建立起爬虫节点间的底层通信机制。在此基础上,根据Kademlia的异或特性及节点的可用资源情况,设计并实现具有任务划分、异常处理、节点加入退出处理及负载均衡的全分布式爬虫集群模型。在实际网络系统上的实验结果表明,该方法能有效利用海量弱计算终端的计算、存储和带宽资源,构建高效、均衡、可靠、可大规模拓展的全分布式爬虫集群。     

云环境中基于LVS集群的负载均衡算法

为了解决传统负载均衡技术应用到云计算环境中引发的新问题,提出一种云环境下基于LVS集群分组负载均衡算法。该算法首先根据硬件性能计算各节点的权值,将性能相同(或近似相同)的服务器分为一组,每组节点数量相等(或近似相等),负载均衡器定期地收集各节点CPU、内存、I/O、网络利用率以及响应时间,动态改变节点的权值,使用改进算法选择该组内最佳节点,并计算节点的综合负载和组负载。最后再次使用改进算法由组负载均衡器选择集群最佳节点,并进行任务请求的合理分配,从而解决因并发量过大而引起的时延等问题。实验结果表明,与加权轮询算法(WRR)和加权最少连接算法(WLC)相比,本算法能够在并发量较大的情况下维持较短的响应时间和较高的吞吐率,使集群负载更加均衡。     

一种改进的基于动态反馈的负载均衡算法

负载均衡是集群系统研究的一个重要问题,负载均衡算法是集群任务分配的核心,介绍了LVS中的负载均衡算法,讨论了常用算法的不足,在分析这些算法各自优缺点的基础上,提出了一种改进的基于反馈的负载均衡算法,算法引入一个负载容余参数以更准确地描述集群节点的负载状况,在考虑服务节点真实负载,处理能力的基础上,尽量简化负载均衡器的任务分配算法.测试结果显示该算法优于静态算法.     

一种中间件数据库集群的负载均衡算法

为满足用户对数据库集群系统高输入高输出应用的需求,设计一种采用中间件技术的数据库集群系统,并针对该系统提出一种基于Markov模型的数据库集群负载均衡算法。该算法在执行节点负载信息采样周期内,利用Markov模型预测集群系统各执行节点的负载信息状态,根据预测的执行节点负载信息对集群系统进行负载均衡。实验结果表明,该算法能够有效提高数据库集群的性能。     

基于主机性能度量的异构集群作业调度算法

传统经典作业度算法在集群应用中实现简单、执行效率高,但在异构集群环境下由于缺乏在线节点运行状态动态反馈能力和负载均衡能力,降低了计算资源利用率和系统吞吐率.为解决上述问题,设计了一种在异构集群环境下基于主机性能度量的作业负载均衡调度算法,该算法通过收集集群中在线节点的状态信息和作业响应时间遴选出可信节点集合,计算出各可信节点的HPM值,利用负载均衡运算规则生成候选的作业分配节点集合,最终按照预先设计的优先原则把不同作业分配至各计算节点,并更新各节点运行状态.实验结果表明,在异构集群环境下调度同类型作业时,该算法在总完成时间和负载均衡性能等指标上均优于传统经典算法.     

Storm集群下基于性能感知的负载均衡策略

Storm计算框架具有为多源异构大数据提供高效、快速、实时处理的能力.然而因Storm默认的调度策略使用了简单的轮询方法,无法根据集群动态的负载状态调整其任务的分配.针对该问题,提出了基于性能感知的负载均衡策略,根据节点的处理效率计算其性能感知值,并通过贪心调度保证节点的任务量与节点处理能力相匹配,以达到负载均衡的目的.通过与默认调度算法实验比较,结果表明该算法能够有效降低Storm处理时延,提高吞吐量和实现集群负载均衡.     

Parallel extremal optimization in processor load balancing for distributed applications

The paper concerns parallel methods for extremal optimization (EO) applied in processor load balancing in execution of distributed programs. In these methods EO algorithms detect an optimized strategy of tasks migration leading to reduction of program execution time. We use an improved EO algorithm with guided state changes (EO-GS) that provides parallel search for next solution state during solution improvement based on some knowledge of the problem. The search is based on two-step stochastic selection using two fitness functions which account for computation and communication assessment of migration targets. Based on the improved EO-GS approach we propose and evaluate several versions of the parallelization methods of EO algorithms in the context of processor load balancing. Some of them use the crossover operation known in genetic algorithms. The quality of the proposed algorithms is evaluated by experiments with simulated load balancing in execution of distributed programs represented as macro data flow graphs. Load balancing based on so parallelized improved EO provides better convergence of the algorithm, smaller number of task migrations to be done and reduced execution time of applications.     

基于禁忌搜索的流式计算平台负载均衡策略

针对大数据流式计算平台原生的调度机制存在计算负载分配不均衡、资源利用率低的问题,提出异构环境下基于禁忌搜索算法的负载均衡策略,并将其应用于Apache Flink平台。首先,通过构建作业拓扑模型将流式计算作业的拓扑结构抽象为有向无环图（directed acyclic graph,DAG）,并将每个任务槽（task slot）抽象为节点,为计算节点的性能评估奠定基础;其次,通过建立性能评估模型将有向无环图中带性能权值的节点导入性能评估模型,进行归一化处理得到节点性能的优劣;再将评估参数传入禁忌调度算法（tabu search for schedule,TBS）进行作业路径优化,从而得出最优作业路径;最后,使用Flink平台提供的CustomPatitionerWrapper接口将数据分配到最优作业路径包含的节点中,完成计算负载的均衡分配,从而提升Flink平台的整体性能。实验结果表明：通过禁忌调度算法优化后的负载均衡策略与原生的Flink平台相比,平均计算延迟降低了10~20 ms,资源利用率显著提高,平均吞吐量提升约15%,有效证明了负载均衡策略的有效性和优化效果。     

基于粒子群优化算法的RPL负载均衡研究

针对现有IPv6路由协议在建立网络拓扑过程中未考虑负载均衡,易导致低功耗有损网络出现部分节点能量过早耗尽、链路发生堵塞等问题,提出了一种基于父节点拥塞程度及其能量损耗的粒子群优化RPL路由协议(PSO-RPL)。通过将各子节点周围所有节点中Rank值最低的节点作为父节点集,并根据父节点集中所有节点的负载因子和剩余能量构造适应度函数的基础上,PSO-RPL借助粒子群优化算法获得了各子节点的最优父节点,从而实现了所有父节点的负载均衡。仿真结果表明提出的PSO-RPL协议实现了网络负载的有效均衡,延长了整个网络的生命周期,降低了整个网络的能量消耗。     

一种支持邻居负载感知的动态负载平衡扩散算法

动态负载平衡是网络节点之间负载分布调整的主要手段。负载平衡中的扩散算法与其他算法相比具有各节 点同步执行,迁移开稍较小、不存在中心节点瓶颈等优势。对FOS (First Order Scheme)扩散算法进行改进,提出了 支持部居负载感知的动态负载平衡扩散算法(NLA LI3)。采用了发送者启动的策略来建立迁移组,利用节点的部居 负载信息计算负载交换的影响因子,以实现对H)S算法的加速改进。实验证明,该算法有效提升了收敛速度。     

一种SRIO网络负载均衡最短路径路由算法

在串行RapidIO传输过程中,路由选路算法是影响传输性能的重要因素之一。针对串行高速输入-输出(SRIO)网络深度优先搜索分配路径非最优问题,提出一种负载均衡最短路径路由算法。通过广度优先搜索对SRIO网络中的节点进行枚举并建立网络拓扑信息,以路由跳数定义路由的成本,根据改进Floyd-WarShall算法计算并保存交换节点间的K最短路径。给出预期负载的概念和链路上的路由路径数量来定义链路的负载,采用负载均衡算法从K最短路径中进行选路,建立SRIO网络最短路径约束的负载均衡路由。实验结果表明,与深度遍历路由算法、最小跳数算法相比,该算法在网络传输平均跳数、链路平均负载和链路负载均衡方面有更好的表现,能够有效提升SRIO路由网络的稳定性。     

基于数据库集群的动态负载均衡研究与实现

针对数据库集群负载问题,提出了一种动态负载均衡方法,并进一步设计、实现了包括CPU使用率、磁盘存储量、磁盘响应效率、网络延时、内存使用率等在内的多指标的节点负载测量和实时监控。该算法根据各节点的负载反馈信息进行任务分配,实现了负载均衡。性能分析和实验表明,该算法具有较高的负载均衡度和较低的系统开销。     

Optimal Static Load Balancing in Star Network Configurations with Two-Way Traffic

We study the static load balancing problem in a distributed computer system that consists of a set of heterogeneous computer systems interconnected by a star network with two-way traffic. We formulate the static load balancing problem as a nonlinear optimization problem which minimizes the mean response time. We prove that in the optimal solution the satellite nodes in the star network can be divided into four different types: the idle source nodes, the active source nodes, the neutral nodes, and the sink nodes. The necessary and sufficient conditions for optimal solution are studied. An efficient algorithm of complexity O(n) is proposed for the static load balancing of an n-satellite system. The effects of link communication time on optimal load balancing in a star network are also studied by parametric analysis. By employing the proposed algorithm, a significant system performance improvement over that without load balancing is illustrated in a numerical example. The numerical example also shows that the effects of the link communication time in a star network are large.     

基于Kademlia的负载平衡云存储算法

针对采用主从式结构的主流云存储系统可能出现的性能瓶颈和可扩展问题,基于分布式哈希表(DHT)技术的完全分布式云存储系统成为一种新的选择。解决好节点的负载平衡问题,是此类技术获得推广的关键。研究了Kademlia算法应用于云存储系统的负载平衡性能。考虑到算法在异构环境下负载平衡性能有明显下降,改进算法在Kademlia找出的候选存储节点中根据节点的存储能力来分配负载。仿真结果表明,改进后算法的负载平衡性能有非常明显的提高,在系统模拟运行时间足够长(如1500 h以上)时,过载节点平均下降7.0%(轻载)和33.7%(重载);文件保存成功率平均提高27.2%(轻载)和35.1%(重载),而增加的通信开销可接受。     

基于结构网格的增升构型失速特性大规模并行数值模拟

针对民机增升构型失速特性的数值模拟,我们基于贪婪负载平衡算法的剖分工具对多块结构网格进行区域分割,在某新型超级计算机系统上完成求解软件的移植、优化和测试,采用 2 亿量级的计算网格开展大规模并行计算研究,测试完成了万核级负载平衡的网格区域分割,实现了增升构型失速特性的 4 096 核数并行计算,并行效率达到 50% 以上,提高了工程应用中对复杂流动现象的数值模拟能力。数值模拟结果加深了对增升构型失速流动机理的理解,可以为增升装置设计优化提供有意义的参考依据。