主动获取式的分布式网络爬虫集群方法研究

针对当前分布式网络爬虫方法遇到的处理效率、扩展性、可靠性、任务分配和负载平衡等问题,提出了一种主动获取任务式的分布式网络爬虫方法。该方法在子机节点中加入分控模块,评估节点负载及运行状况,并主动向中控节点申请任务队列。在此基础上,结合动态双向优先级任务分配算法,设计了一种具有负载平衡、任务分级分配、节点异常敏捷识别、节点安全退出等特性的分布式网络爬虫模型。实际测试表明,该主动获取式的分布式网络爬虫方法可有效地利用通用平台建立大型分布式爬虫集群。     

集群动态负载平衡系统的性能评价

该文使用随机Petri网对集群动态负载平衡系统建立了一个抽象模型．通过细化模型中的节点本地处理部分对5种动态负载平衡算法的性能进行了分析，并讨论了集群负载特性对动态负载平衡系统性能的影响，最后得出的主要结论有：(1)动态负载平衡算法可以取得比静态负载平衡算法更好的性能；(2)与传统的只考虑CPU就绪队列的负载平衡算法相比，考虑了各种I／O请求队列的负载平衡算法可以取得更好的性能；(3)即使在极端的集群负载特性中。集群动态负载平衡算法仍然能取得比较理想的性能，因此实现即使是十分简单的集群动态负载平衡系统也是很有必要的。     

基于Petri网的集群应用系统性能评价

利用随机Petri网理论给出了一个集群应用软件负载平衡系统的抽象模型,通过细化其中的本地节点处理部分对3种集群动态负载平衡的调度策略和应用系统体系结构对负载平衡系统的影响进行了分析,得到了一些对大部分应用系统的设计起到指导作用的结论.这些结论是:(1)无论是静态负载平衡还是动态负载平衡都能提高集群系统的性能,动态负载平衡会得到更好的性能;(2)在动态负载平衡算法中除了要考虑系统中最重要的等待队列--应用队列外,还要考虑数据库队列;(3)异步体系架构将任务切分到各处理子系统中,有助于将各子系统负载数据综合到负载向量中,能够更准确地衡量系统负载、提高负载平衡系统的性能,优于同步体系结构.     

CORBA环境下的动态负载平衡研究

详细分析已有的关于CORBA环境下的负载平衡策略存在的主要问题,在此基础上提出一个新的CORBA环境下的分布式动态负载平衡模型。详细讨论它的负载平衡策略,并且给出若干负载指标,实现了基于最短总体期望响应时间策略的负载平衡系统。     

基于．NET Remoting的动态负载平衡模型

在对.NET Remoting技术和传统的分布式负载平衡算法深入研究的基础上,提出一种排序队列和哈希映射矩阵相结合的负载平衡策略,给出一个分布式环境下的动态负载平衡模型。一方面可提高系统吞吐量,另一方面可缩短任务请求的响应时间。模型采用模块化设计方法,使其具有部署灵活性和容错性,并应用滑动窗口机制提高模型的负载平衡指标可信度。     

一种测控通信平台的动态负载平衡服务研究

为了提高基于UDP协议的测控通信平台的稳定性、实时性和数据处理能力,建立了动态负载平衡模型,提出了加权负载因子负载平衡算法.该算法利用CPU的使用率、当前的活动会话数、内存的使用率和剩余任务数来衡量服务器的负载,计算任务队列的剩余任务耗费值,并以此确定服务器的负载状态;进一步说明了负载平衡频率和负载平衡粒度控制策略,通过剩余任务耗费值的阈值、阈长和主辅关系的解除时机两个方面控制负载平衡频率,通过任务迁移量来控制负载平衡粒度.最后通过实验证明了该算法的有效性.     

一种基于Agent的多粒度负载平衡中间件

通过负载平衡中间件技术，能够对多台计算机集群提供负载平衡，从而对集群中各类冗余服务进行有效管理，使系统的伸缩性和可靠性最大化。然而，现有的负载平衡中间件大都采用单一的基于对象的负载监测粒度，在多个服务对象组共存的情况下会导致服务对象组的扩展能力不强，并存在重复的负载监测。本文基于CORBA技术，通过采用Ageent，提出了一种多粒度的负载平衡中间件模型，并阐述了该模型相关的若干关键技术、解决方法及其实现。     

一种测控通信平台的动态负载平衡服务研究

为了提高基于UDP协议的测控通信平台的稳定性、实肘性和数据处理能力,建立了动态负载平衡模型,提出了加权负载因子负载平衡算法。该算法利用CPU的使用率、当前的活动会话数、内存的使用率和剩余任务数来衡量服务器的负载,计算任务队列的剩余任务耗费值,并以此确定服务器的负载状态;进一步说明了负载平衡频率和负载平衡粒度控制策略,通过剩余任务耗费值的阈值、阈长和主辅关系的解除时机两个方面控制负载平衡频率,通过任务迁移量来控制负载平衡粒度。最后通过实验证明了该算法的有效性。     

基于移动代理的并行计算动态负载平衡

为解决网络计算平台异构性问题,目前的趋势是分布式技术和并行技术的结合。动态负载平衡是使用机群进行网络并行计算的关键,而获取节点的负载信息是实现动态负载平衡的前提。给出了一种利用移动代理技术获取节点负载信息的方法,该法不仅可实现上述平衡,且可大大减少网络并行计算中的通讯开销。     

基于Mobile Agent技术的负载平衡模型研究

为更好地实现分布式系统中的负载平衡,结合自主设计的分布式数据库服务器系统DDSS（distributed database server system）,抽象出分布式冗余系统的3层管理框架,从对负载索引的客观描述与定义着眼,引入服务请求消化率、阈值负载贴近度等概念及主动负载平衡的思想,提出并实现了基于移动代理技术的负载平衡模型MMA,并对其性能进行了分析．通过分析表明,基于移动代理技术的负载平衡模型MMA具有代价小、智能性好、效率高及具有对负载索引的刻画客观准确等优点．     

面向同构型多处理机系统的动态负载平衡算法

为了解决同构型多处理机系统中的负载不平衡问题,提出一种分布式控制、发送者驱动的动态平衡算法,该算法利用CPU队列长度衡量处理机负载状态、利用进程执行时间选取适合被迁移的负载、利用较完备的消息机制传播处理机负载状态和负载平衡要求,适用于计算密集型任务.实验结果验证了该算法的有效性.     

A fault tolerant model to attain reliability and high performance for distributed computing on the Internet

The aim of the proposed fault tolerant model is to attain reliability and high performance for distributed computing on the Internet. The novelty of this model lies in the integration of three unique schemes that work in unison within a single framework. These three schemes are consecutive message transmission, adaptive buffer control, and message balancing. Message balancing essentially seeks to ensure that each message queue is served for an interval, which depends on the current length of the queue, by the processor. In the experiments, only two parameters: current buffer length and rate of change of the actual queue length were used for proportional and derivative feedback control of adaptive buffer management. Test results have indicated clearly that the model goes a considerable way towards achieving the stated aim.     

基于消息优先级队列分布式交换网元调用系统的研究

为解决现有技术存在的无法按照优先级处理订单的问题,设计一个基于消息优先级队列的分布式交换网元调用 系统。增添消息队列topic个数并且赋予每个消息队列topic优先级属性,然后按照高优先级的消息队列topic优先消费来将处 理订单的顺序重新排列。通过Json微服务调用工单拆分模块,将优先级高的订单分配到优先级高的消息队列中,然后工单调 度系统按照高优先级队列优先处理原则进行工单的调度,最后高优先级的订单会优先执行工单激活模块。本技术可以简化业 务逻辑,提高系统效率,保证多主机多节点同时工作,起到负载均衡和自动切换的作用。     

Load Balancing Parallel Explicit State Model Checking

This paper first identifies some of the key concerns about the techniques and algorithms developed for parallel model checking; specifically, the inherent problem with load balancing and large queue sizes resultant in a static partition algorithm. This paper then presents a load balancing algorithm to improve the run time performance in distributed model checking, reduce maximum queue size, and reduce the number of states expanded before error discovery. The load balancing algorithm is based on generalized dimension exchange (GDE). This paper presents an empirical analysis of the GDE based load balancing algorithm on three different supercomputing architectures—distributed memory clusters, Networks of Workstations (NOW) and shared memory machines. The analysis shows increased speedup, lower maximum queue sizes and fewer total states explored before error discovery on each of the architectures. Finally, this paper presents a study of the communication overhead incurred by using the load balancing algorithm, which although significant, does not offset performance gains.     

基于消息传递机制的动态负载平衡算法研究

针对同构集群系统中的动态负载平衡问题，提出了一套面向负载信息交流的消息机制，基于该消息机制设计了一种分布式控制、发送者驱动的动态负载平衡算法。实验证明该算法在处理大规模计算密集型任务时，具有一定的有效性和实用性。     

使用资源利用率作为负载平衡系统的负载指标

一个可以正确反映当前系统负载情况的负载指标对一个成功的动态负载平衡系统来说是至关重要的．但是，很少负载平衡系统对其选定给出一个实验说明，而且多数系统使用资源队列长度（即ＣＰＵ队列长度）作为负载指标．本文说明了这种负载指标存在的缺点，并对一种新的负载指标－资源利用率进行了讨论．实验表明，在动态负载平衡系统中，使用资源利用率作为负载指标比使用资源队列长度作为负载指标对资源利用率及作业响应时间的改进更有效．     

基于消息传递的数据交错重分布负载平衡技术

数据重分布是实现消息传递环境下负载平衡的重要手段,提出了数据交错分布的模型问题及模型问题的并行计算模型,分析了模型问题在消息传递环境下的实现,讨论了性能和适用条件,给出了分析结果,讨论了通信与计算的时间重叠问题,将数据交错重分布负载平衡技术应用到非平衡刚性动力学方程组的并行计算中,获得了很好的负载平衡效果。