基于极值优化的多核集群负载均衡

针对分布式多核节点系统的负载均衡难以取得最优解的问题,提出了一种基于改进极值优化的负载均衡方法.该方法通过节点的CPU占用率发现负载不均衡情况,然后用一个衡量模型估计计算与通信开销使改进的极值优化方法能够实现集群的负载均衡.仿真与实验结果表明该算法能够提高分布式集群的计算效率,是一种理想的负载均衡算法.     

采用多种策略的分布式Web Spider

针对日益突出的网页访问问题,设计了一种新型分布式Web Spider.该分布式Web Spider采用中央控制节点来协调各个web spider的行为,利用宽度优先搜索来获得高质量的网页,通过对DNS缓存来提高访问web server的速度,以增加并行线程数量的方式来增加网页下载速度,并能动态地加入web spider节点和子中央控制节点,具有很强的灵活性和扩张能力.实验结果表明该分布式Web Spider作为搜索引擎的前端能够快速有效地下载网页,具有较好的性能.     

新型分布式Web Spider的设计

针对日益突出的网页访问问题,设计了一种新型分布式Web Spider。该分布式Web Spider采用中央控制节点来协调各个web spider的行为,利用宽度优先搜索来获得高质量的网页,通过对DNS缓存来提高访问web server的速度,以增加并行线程数量的方式来增加网页下载速度,并能动态地加入web spider节点和子中央控制节点,具有很强的灵活性和扩张能力。实验结果表明该分布式Web Spider作为搜索引擎的前端能够快速有效地下载网页,具有较好的性能。     

节点对等Web Spider设计与实现

由于互联网具有海量信息并且快速增长,提高搜索引擎的信息采集器WebSpider的数据采集和更新速度有重要意义。受计算资源限制,单机多线程WebSpider的采集速率不高。带中心节点的分布式并行webSpider又容易产生中心节点瓶颈问题。利用ProActive网格网络并行分布计算中间件提供的主动对象技术、网络并行计算技术、自动部署机制等设计和实现了一个名为P—Spider2．0的节点对等的分布式并行WebSpider,并设计了一个基于Raibin算法的URL去重算法。实验表明该WebSpider方便管理和部署,并且比单机多线程webSpider具有更高的采集速率。     

节点对等WebSpider设计与实现

由于互联网具有海量信息并且快速增长,提高搜索引擎的信息采集器WebSpider的数据采集和更新速度有重要意义。受计算资源限制,单机多线程WebSpider的采集速率不高。带中心节点的分布式并行webSpider又容易产生中心节点瓶颈问题。利用ProActive网格网络并行分布计算中间件提供的主动对象技术、网络并行计算技术、自动部署机制等设计和实现了一个名为P—Spider2．0的节点对等的分布式并行WebSpider,并设计了一个基于Raibin算法的URL去重算法。实验表明该WebSpider方便管理和部署,并且比单机多线程webSpider具有更高的采集速率。     

MongoDB负载均衡算法优化研究

随着Web2.0网络应用的兴起和大数据技术的发展,传统的关系型数据库(ORDBMS)已经难以满足海量数据的存储需求。非关系型数据库(NoSQL)因其高扩展性、高伸缩性、高可用性和容错性等特点,得到了越来越多的应用。作为一种新兴的NoSQL数据库,MongoDB数据库因具有模式自由、易于扩展、故障自动恢复、支持自动分片等特点,被广泛应用于大数据处理与分析中。文中首先介绍了MongoDB自动分片架构原理和实现机制,然后分析了MongoDB自带的负载均衡算法,其虽能使各个节点数据量达到平衡,但没有考虑各个节点的负载均衡。为了解决节点的负载平均问题,在原算法基础上提出了一种基于节点实时负载的负载均衡改进算法,改进算法的主要思想是引入节点负载指数作为chunk块迁移的一个判断条件。通过搭建测试环境并进行实验,验证了改进的负载均衡算法可以有效地均衡分片中的数据,提高集群的并发读写性能,从而证明了算法的有效性。     

ZigBee地址分配算法及树路由算法改进

ZigBee使用的分布式地址分配算法(DAAM)为节点分配地址时没有考虑网络拓扑结构的变化。这就造成了地址空间的严重浪费,使得节点入网成功率降低。同时基于DAAM机制的树路由算法没有考虑节点的负载,负载不均衡将导致网络分割的提前到来。本文提出一种改进的分布式地址分配算法和基于它的负载均衡的树路由算法。改进的地址分配算法通过获取邻居节点的地址空间从而提高节点入网成功率。改进的树路由算法可以均衡节点能耗,延长网络寿命。     

基于权重轮询负载均衡算法的优化

随着电商网站用户规模不断增长,高并发问题成为在搭建大规模电商网站系统时面临的一项重大挑战,通过负载均衡算法来实现Web服务集群中各节点均衡负载是解决高并发的手段之一.然而,目前通用的负载均衡算法都存在一些不足之处,针对这一问题,提出了一种动态自适应权重轮询随机负载均衡算法（Dynamic Adaptive Weight Round-Robin Random Load-Balancing,DAWRRRLB）,该算法考虑到影响Web服务集群中服务器节点性能的多重因素,根据节点在运行过程中的实时负载情况动态的改变集群中节点的负载性能,并结合改进的Pick-K算法对权重轮询负载均衡算法进行优化,始终保证性能最优的服务器节点在提供服务.通过多次实验对比,改进的DAWRRRLB算法可以有效的提高负载均衡效率.     

基于Pastry的可信Web入侵防御系统

针对当前Web应用入侵防御系统可扩展性欠佳和检测实时性不高的问题,提出一种基于Pastry的可信Web入侵防御模型。所有检测节点组成一个结构化的P2P覆盖网,通过基于Pastry的通信算法和节点信任管理算法,实现完全分布式、可扩展和自组织的可信Web入侵防御系统。分析及实验结果表明,该系统能够检测Web应用典型攻击,有效解决了传统分布式系统单点失效、负载不均衡的问题。     

无线传感器网络分布式成簇算法优化

能量异构问题在通信过程中会成为无线传感器网络不可避免的现象,为解决能量负载不均衡问题,对一种适用于能量异构环境的无线传感器网络分布式成簇算法进行改进。算法结合能量水平相对估计因子使高能量节点更易成为簇头;簇间通信时根据通信代价选择单/多跳方式,同时设置低能量的簇拒绝转发其他簇的数据以达到均衡能耗的目的。模拟实验结果表明,新算法能更好的均衡节点能量负载,其能量有效性得到了很大的提高。     

基于ProActive的分布式并行Web Spider设计

单机Web Spider的数据采集速度较慢,采用MPI技术或直接用Java开发分布式Web Spider代价较高。该文利用ProActive中间件提供的主动对象技术、网络并行计算技术、自动部署机制设计实现了P-Spider分布式并行Web Spider。实验结果表明,该P-Spider采集速率是单机多线程Web Spider的2.2倍。     

一种基于负载均衡的无线传感器网络分布式定向分簇算法

针对无线传感器分簇网络中节点负载不均衡的问题,提出了一种基于负载均衡的分布式定向分簇算法(DDC).DDC算法基于簇的局部信息对节点在下一轮中的能量水平及其负载能力进行预评估,并给出了相应的预评估因子.在每一轮成簇过程中,首先基于节点能量预评估因子将网络分割成适当的分区,然后在每个分区中,根据节点在本轮的负载能力预评估因子选取簇头,前者可以有效保证各分区的能量均衡性,后者可以实现分区内节点的负载平衡.DDC算法的这种特性能将网络能量与节点负载有机结合起来,从而最大限度地延长网络生命周期.实验仿真结果表明,与同类算法相比,DDC算法的能量有效性效果显著,网络中节点负载更加均衡.在网络初始能量异构的情况下,依然表现出良好的适应性和可扩展性.     

Near-optimal all-to-all broadcast in multidimensional all-portmeshes and tori

All-to-all communication is one of the most dense collective communication patterns and occurs in many important applications in parallel and distributed computing. In this paper, we present a new all-to-all broadcast algorithm in multidimensional all-port mesh and torus networks. We propose a broadcast pattern which ensures a balanced traffic load in all dimensions in the network so that the all-to-all broadcast algorithm can achieve a very tight near-optimal transmission time. The algorithm also takes advantage of overlapping of message switching time and transmission time, and the total communication delay asymptotically matches the lower bound of all-to-all broadcast. Finally, the algorithm is conceptually simple and symmetrical for every message and every node so that it can be easily implemented in hardware and achieves the near-optimum in practice     

结构化P2P系统中基于网络定位的负载均衡算法*

结构化P2P系统中,各对等节点处理能力的差异以及关键字通常与一定的语义相关,导致系统中节点的负载不均衡。算法针对基于DHT的大规模计算网络中,计算任务在节点间分布不均衡的问题,提出了一种高效的基于网络定位的负载均衡算法：当某个节点的负载较小时,它将以自己为中心,与物理位置相近的节点构成一个星型结构区域,然后在这个物理位置相近的区域进行负载转移。该算法具有扩展性好、效率高、维护简单的特点。仿真实验表明本算法可以达到理想的负载均衡效果,并使负载转移开销减少了40%以上。     

P2P网络下基于K-Wmeans聚类算法的Web服务发现研究

针对P2P网络的动态性、分布性等特点,提出了一种运用加权改进的K-Wmeans算法对Web服务进行聚类分析的方法。通过对P2P网络中各个节点上Web服务进行分布式聚类,可使服务请求者按照类别更准确快速地发现所需的Web服务。最后分析了算法的时间复杂度,并通过实验证明了此种方法在P2P环境下的Web服务聚类中存在一定的优越性。     

可扩展Spider负载均衡策略的研究与实现

可扩展Spider采用分布式处理技术,是搜索引擎实现信息搜索的不可缺少的代理。在传统负载均衡策略基础上,对Spider的研究提出可扩展Spider的负载均衡策略,该策略能够有效的对Spider的资源进行均衡调度处理,使得Spider具有良好的可扩展性和高效性。     

一种结构化P2P系统的负载平衡算法

在结构化P2P系统中,由于使用分布式散列表,各节点能够达到基本的负载平衡。但是,各个节点由于承担负载的能力不同和数据的存取存在热点现象,因此仍然存在负载不平衡的情况。针对这一缺点,采用局部信息调整负载的方法,提出了分布式负载平衡算法,从而避免了单点失效问题,同时算法的实现更为简单。     

基于DHT的P2P系统的负载均衡算法

在基于DHT的结构化P2P系统中，DHT的使用以及节点处理能力的不同导致系统中节点的负载不均衡．现有的负载均衡算法存在两个不足：①负载的转移没有考虑节点之间的链路延迟；②算法依赖于系统中固定位置的某些节点．提出了分布式负载均衡算法：每个节点周期性的收集系统局部负载信息，然后选择链路延迟较小的节点进行负载转移．算法依赖于系统中的所有节点，解决了单点失败问题．同时，负载的转移是在链路延迟较小的节点之间进行的．仿真实验表明，①对于各种系统利用率，该算法都可以获得理想的负载均衡效果；②算法可以使负载转移开销减少45％以上．