HPMR内存管理模块优化设计

HPMR系统是一个采用MapReduce模型的高性能计算软件支撑平台,它改进了MapReduce模型以适应高性能计算的需求。高效的HPMR系统内存管理模块是保证其效率的重要模块。HPMR系统中有两个角色,Master和Worker。Master负责从输入数据文件中读入数据块并分配给Workers。Worker负责接收master分配的数据块、管理map函数的输入输出模块的输入输出数据、管理reduce函数输入输出数据。目前的内存管理模块存在管理通信冗余、管理低效、数据处理并行不足等缺点。本文根据成熟的内存优化理论,重新设计了HPMR底层的数据管理机制,提出了基于内存池的内存管理。实验表明,新的内存管理模块是保证HPMR系统高效的必要条件。     

基于移动Agent的分布式路由算法研究

移动Agent技术能较好地适应Internet分布式的特点，将其引入网络分布式路由计算领域是对Internet路由系统的革新。本文指出了传统路由算法存在的问题，提出基于移动Agent的分布式路由算法，就路由表的初始化、通信网络中Agent的数量控制、网络链路故障后路由表的更新、后向Agent的消亡等方面进行了讨论，并进行了仿真实验和性能分析。     

基于新路由表的双向搜索chord路由算法

针对结构化P2P（Peer to Peer）网络资源高效搜索问题,提出了一种基于新路由表的双向搜索chord路由算法。该算法为解决chord算法路由表中存在着大量冗余信息,查找资源效率低下等缺点,提出了一个新的路由表构造公式。该公式首次加入路由因子概念,充分考虑了网络中节点个数和资源个数对路由表的影响,在不增加路由表项的前提下,不仅基本删除了路由表的冗余项,还实现了chord环的双向查找以减少平均查找跳数。实验仿真结果表明,该算法基本消除了路由表中的冗余信息,减少了平均查找跳数,有效地提高了资源的查找效率。     

基于节点异构的双向查询Chord系统

资源的有效确定是P2P网络研究中一个关键问题。针对基本Chord和双向查询Chord路由算法存在路由表有较多冗余信息、没有考虑节点异构性的问题,该文通过对路由表冗余信息的改进,提出一种基于节点异构的双向查询Chord系统。实验结果表明,该系统减少了平均路由跳数,提高了资源查询效率。     

数据传输延时的ZigBee网络混合路由算法研究与优化

针对当前无线传感器网络中数据传输延时的问题,提出一种改进后的基于线性和非线性路由算法的混合传输ZigBee路由算法。改进后的算法引入了路由表,在改进后的算法中进行节点选择。考虑到数据在节点之间传输的跳数问题,节点传输数据时根据节点的剩余能量和自身的深度选择子路由算法。仿真结果表明,该算法能有效地降低节点之间数据传输的延时,提高通信效率。     

基于邻近度的P2P路由算法

邻近度路由技术对P2P网络的路由性能影响很大.本文提出一种新的分布式结构化P2P路由算法FDPNS.FD-PNS路由算法采用邻近度路由技术,节点在转发一个查询请求后触发路由表的维护任务,有针对性地对本次转发使用的路由表项进行优化,以减小搜索和定位的路由延迟,提高系统的整体性能.     

基于433M路由算法在抄表系统中的应用与研究

提出一种初始设置路由表,动态维护路由表的自适应路由算法。该算法在通信前执行一次路由表状态扫描,确保通信线路节点的有效性和可靠性,根据通信路径深度选择最优路径,完成远程数据通信过程。已应用于一套基于ZigBee(2.4 GHz)的无线抄表方案中,实现了远距离的数据通信。     

基于PNS-PGrid的P2P路由算法的设计与实现

目前绝大多数的P2P网络系统都是以覆盖网络方式构建的。在覆盖网络中相邻的节点在底层网络中可能并不相邻甚至相隔很远,这样导致覆盖网络中两个节点间会有很大的路由延迟。只有节点路由表项的内容正确地反映节点之间在底层网络中的拓扑关系,才能最终减少应用层的路由延迟,提高网络应用的性能。文中介绍了几种结构化P2P路由机制：Chord,CAN,Plaxton,Tapestry,Pastry和PGrid;以及几种非结构化P2P路由机制：Napster,BitTorrent,Gnutella和FreeNet。重点分析了PGrid路由算法。针对PGrid路由算法的路由表维护的盲目性和优化周期长等缺点,提出了一种新的基于邻近度选择技术的路由表维护算法PNS—PGrid（proximity neighbor selection PGrid）。PNS—PGrid是在节点转发一个查询请求后,触发路由表维护任务,并对本次转发使用的路由表项进行优化,且优化周期根据路由表项是否达到或接近最优值而进行调整。PNS—PGrid算法中还加入了对未报告的节点失效和异常退出的处理机制来对路由表进行维护。最后在开源软件PGrid中实现了PNS—PGrid算法。测试表明,PNS—PGrid算法在较少的开销下使路由表项能动态地有针对性地进行调整,并且快速地达到最优值,最终减少路由延迟,提高网络性能。     

基于邻近度的结构化P2P路由算法研究

在P-Grid路由算法的基础上,采用邻近度路由技术,设计一种新的分布式结构化P2P路由算法,该算法对P-Grid的路由表构建和维护进行了改进,在路由表构造时,选择距离自己较近的节点作为邻居节点,以使overhv网络拓扑尽可能反映其在底层的物理网络拓扑,使得访问节点能够高效地找到在底层网络中距离自己最近的访问对象,减少定位延迟,最终提高构建在P2P overlay之上的应用的性能.     

面向海量数据的K-means聚类优化算法

针对集中式系统框架难以进行海量数据聚类分析的问题,提出基于MapReduce的K-means聚类优化算法。该算法运用MapReduce并行编程框架,引入Canopy聚类,优化K-means算法初始中心的选取,改进迭代过程中通信和计算模式。实验结果表明该算法能够有效地改善聚类质量,具有较高的执行效率以及优良的扩展性,适合用于海量数据的聚类分析。     

HPMR在并行矩阵计算中的应用

为了解决传统并行编程难度大、效率低的问题,提出一种基于MapReduce模型的并行编程方法,在高性能MapReduce平台上实现矩阵并行LU分解。实验结果表明,相比传统并行编程模型,MapReduce模型并行程序可较好满足高性能数值计算需求,其编程简洁性和可读性能有效提升并行编程效率。     

HDRA:一种基于历史寻径信息的分布式路由算法

直接互连网络已成为构建大规模并行系统的主流网络互连体系结构，路由算法对互连网络的通信性能和并行系统性能的发挥起着重要作用。针对静态互连网络，提出一种新的基于路由表查找技术的分布式路由算法HDRA，该算法有效地利用历史寻径信息，加快路由寻径速度，提高网络传输性能，而且算法设计简单，易于硬件实现。     

Performance analysis of fault-tolerant routing algorithm in wormhole-switched interconnections

With nowadays popularity of large-scale parallel computers, Multiprocessors System-on-Chip (MP-SoCs), multicomputers, cluster computers and peer-to-peer communication networks, fault-tolerant routing becomes an important issue in developing these systems. Fault-tolerant routing algorithms in such systems aim at providing continuous operations in the presence of one or more failures by allowing the graceful degradation of system. The Software-Based fault-tolerant routing scheme has been suggested as an efficient routing algorithm to preserve both communication performance and fault-tolerant demands in parallel computer systems. To study network performance, a number of different analytical models for fault-free routing algorithms have been proposed in the past literature. However, there has not been reported any similar analytical model of fault-tolerant routing in the presence of faulty components. This paper presents a new analytical modeling approach for determining the effects of failures in wormhole-switched 2-D tori using the fault-tolerant Software-Based scheme. More specifically, we describe a general model to derive mathematical expressions to investigate the performance behavior of routing algorithms confronting convex (|-shaped, □-shaped) or concave (U-shaped, +-shaped, T-shaped, H-shaped) faulty regions. The model is validated through comprehensive simulation experiments for different types of failures.

MapReduce框架下基于R-树的k-近邻连接算法

针对大规模空间数据的高性能k-近邻连接查询处理,研究了MapReduce框架下基于R-树索引的k-近邻连接查询处理。首先利用无依赖并行和串行同步计算的形式化定义抽象了MapReduce并行编程模型,基于此并行计算模型抽象,分别提出了 R-树索引快速构建算法和基于 R-树的并行 k-近邻连接算法。在索引构建过程中,提出一种采样算法以快速确立空间划分函数,使得索引构建符合无依赖并行和串行同步计算抽象,在MapReduce框架下非常容易进行表达。在k-近邻连接查询过程中,基于构建的分布式R-树索引,引入k-近邻扩展框限定查询范围并进行数据划分,然后利用 R-树索引进行 k-近邻连接查询,提高了查询效率。从理论上分析了所提出算法的通信和计算代价。实验与分析结果表明,该算法在真实数据集的查询上具有良好的效率和可扩展性能,可以很好地支持大规模空间数据的k-近邻连接查询处理,具有良好的实用价值。     

奇偶直方图负载均衡超立方对等云MapReduce模型*

针对传统MapReduce算法结构在处理大数据时,负载均衡性能不理想的缺点,设计了一种具有负载均衡机制的层次MapReduce模型。该模型利用超立方拓扑结构对MapReduce的映射操作进行改进,通过特定算法将八个结构化的数据中心链接到一个对等的云环境结构中,并使用奇偶直方图组合采样方式的均衡划分方法,实现在用户请求下的节点工作负荷指数均衡。最后,基于Hadoop框架对所提算法进行仿真实验,结果显示本文所提算法结构相对于原始MapReduce结构,具有更高的并行计算的资源利用率,以及更佳的容错和负载均衡性能,综合性能得到有效提升。     

基于线性函数的QoS路由预计算算法

多度量的服务质量路由(QoSR)作为下一代互联网的一个重要难题，具有NPC的复杂度．作者设计了启发式算法(LFP)使用线性函数将两个度量转化成单一函数值，进而通过多个不同线性函数实现了与服务质量请求无关的QoSR预计算方式．文章分析了线性函数对算法性能的影响，给出了服务质量约束的可行区域和不可行区域的线性函数判定方法．实验结果表明，算法使用少量均匀分布的线性函数，即可产生具有较高路由性能的QoSR路由表，在可扩展性和路由性能等方面均明显优于现有算法。     

Self-organization of reconfigurable protocol stack for networked control systems

In networked control systems (NCS), the control performance depends on not only the control algorithm but also the communication protocol stack. The performance degradation introduced by the heterogeneous and dynamic communication environment has intensified the need for the reconfigurable protocol stack. In this paper, a novel architecture for the reconfigurable protocol stack is proposed, which is a unified specification of the protocol components and service interfaces supporting both static and dynamic reconfiguration for existing industrial communication standards. Within the architecture, a triple-level self-organization structure is designed to manage the dynamic reconfiguration procedure based on information exchanges inside and outside the protocol stack. Especially, the protocol stack can be self-adaptive to various environment and system requirements through the reconfiguration of working mode, routing and scheduling table. Finally, the study on the protocol of dynamic address management is conducted for the system of controller area network (CAN). The results show the efficiency of our self-organizing architecture for the implementation of a reconfigurable protocol stack.     

Routing performance enhancement in hierarchical torus network by link-selection algorithm

A hierarchical torus network (HTN) is a 2D-torus network of multiple basic modules, in which the basic modules are 3D-torus networks that are hierarchically interconnected for higher-level networks. The static network performance of the HTN and its dynamic communication performance using the popular dimension-order routing algorithm have already been evaluated and shown to be superior to the performance of other conventional and hierarchical interconnection networks. In this paper, we propose a link-selection algorithm for efficient use of physical links of the HTN, while keeping the link-selection algorithm as simple as the dimension-order routing algorithm. We also prove that the proposed algorithm for the HTN is deadlock-free using three virtual channels. We evaluate the dynamic communication performance of an HTN using dimension-order routing and link-selection algorithms under various traffic patterns. We find that the dynamic communication performance of an HTN using the link-selection algorithm is better than when the dimension-order routing algorithm is used.