分布式图处理系统技术综述

图作为一种基本的数据类型,是对现实世界中对象及其关联关系的一种抽象.现实中许多的科学问题都可以被模型化为图的问题,因此对图数据进行分析非常的重要.图数据分析在语义web分析、社交网络、生物基因分析以及信息检索等领域有着广泛的应用.随着移动互联、物联网等信息技术的发展,图数据的规模处于持续增长的状态.为了能够应对大规模图数据的高效分析和计算,谷歌提出了Pregel分布式图处理框架,此后学术界和工业界提出了许多基于Pregel框架的优化技术和系统实现.在充分调研和分析的基础上,本文首先总结出分布式图处理系统的3个优化目标;其次,论文从计算粒度、任务调度、通信方式、负载划分等四个维度,对现有分布式图处理系统中的各类优化技术作一个详细的综述;最后,论文对该领域未来的研究内容和发展方向进行了探讨与展望.     

图数据库中基于GPU的图分析计算方法

现有的图数据库对于在线分析操作大多采用基于CPU的分布式图计算引擎（如GraphX）,但CPU核心数量有限的不足会导致计算效率低下,同时集群间的同步也会产生额外的通信开销。通过使用图形处理单元（GPU）对图计算进行加速,设计并实现图处理系统RockGraph。该系统能够根据用户需求从图数据库中提取出包含核心信息的子图,经过数据格式转换后,利用JNI工具调用动态链接库,采用超显存GPU图计算框架进行在线分析,并将计算结果写回图数据库。实验结果表明,与基于CPU的分布式图计算系统相比,RockGraph的图分析效率可提高3倍~5倍。     

图嵌入算法的分布式优化与实现

随着人工智能时代的到来,图嵌入技术被越来越多的用来挖掘图中的信息.然而,现实生活中的图通常很大,因此分布式图嵌入技术得到了广泛的关注,分布式图嵌入算法面临着两大难点：（1）图嵌入算法多种多样,没有一个通用的框架能够描述大部分的算法;（2）现在的分布式图嵌入算法扩展性不足,当处理大图时性能较低,针对以上两个挑战,本文首先提出一个通用的分布式图嵌入框架,具体地,本文将图嵌入算法中的采样流程和训练流程进行解耦,使得框架能够较好的表达多种不同的算法;其次,本文提出了一种基于参数服务器的模型切分嵌入策略,具体地,本文将模型分别切分到计算节点和参数服务器上,同时使用数据洗牌的操作保证计算节点之间没有模型交互,从而大大减少了分布式计算中的通信开销,笔者基于参数服务器实现了一个原型系统,并且用充分的实验证明了在不损失精度的前提下,基于模型切分的策略能够比基线系统取得更好的性能.     

基于顶点组重分配的动态增量图划分算法

图划分是分布式图计算中的一项基础工作, 其作用是将大规模图进行划分并分配到集群中的不同机器上. 图划分的质量对分布式图计算的性能有很大的影响, 其目标是降低负载平衡和最小化边割. 如今, 现实中的图数据通常呈动态增长态势, 这就需要一种能够处理动态增量图的划分方法, 在图数据动态增长的过程中确保划分的质量不受影响. 目前虽然有一些动态图划分算法被提出, 但它们不能同时专注于实时处理动态变化和获得高质量的划分结果. 提出基于顶点组重分配的动态增量图划分算法(ED-IDGP)来解决大规模动态增量图的划分问题. 在ED-IDGP算法中, 设计实时处理4种不同单元更新类型的动态处理器, 并在每次处理完单元更新后通过在分区发生动态变化的附近执行局部优化器进一步提高图划分的质量. 在ED-IDGP的局部优化器中, 利用基于改进标签传播算法的顶点组搜索策略搜索顶点组, 并利用提出的顶点组移动增益公式衡量最有益的顶点组, 将该顶点组移动到目标分区中做优化. 在真实数据集上从不同的角度和度量指标评估了ED-IDGP算法的性能和效率.     

具有容错和负载平衡功能的分布式应用

简要讨论了分布式多层应用的软件容错和负载平衡,并基于MicrosoftWindows平台COM/DCOM技术做了基本实现.用于演示的C/S模式的实例,具备基本粗粒度（请求事件级）的刚性作业负载平衡和容错能力.     

基于对象的可靠群组通信机制研究

近年来,网格计算技术日益成为用来解决数据和计算密集型应用的可行方案,网格运行平台本身和在网格环境中的并行应用都需要大量的点对多点的群组通信.提出一种灵活、可容错的群组通信机制.该机制基于远程方法调用(RMI),可为分布式并行应用提供高效、可容错的群组通信.通信方法可以在本地对象、远程对象,或一组对象中激活.这种通信采用异步方式,通信发起者可以选择全等待或必要性等待两种机制来获取通信结果.从而最大程度地保证通信的可靠性或高效性.     

一种Spark环境下的高效率大规模图数据处理机制

本文针对现有的图处理和图管理框架存在的效率低下以及数据存储结构等问题,提出了一种适合于大规模图数据处理机制。首先分析了目前的一些图处理模型以及图存储框架的优势与存在的不足。其次,通过对分布式计算的特性分析采取适合大规模图的分割算法、数据抽取的优化以及缓存、计算层与持久层结合机制三方面来设计本文的图数据处理框架。最后通过PageRank和SSSP算法来设计实验与MapReduce框架和采用HDFS作持久层的Spark框架做性能对比。实验证明本文提出的框架要比MapReduce框架快90倍,比采用HDFS作持久层的Spark框架快2倍,能够满足高效率图数据处理的应用前景。     

基于并行图计算框架大规模图最大流加速算法

最大流是一个重要的图计算问题,很多实际场景中如城市车流量和排水管道的排水量等问题若转化为最大流问题可以得到有效的解决.已有工作从多个角度对最大流问题进行了探讨,但仍存在一些问题.针对一些分布式图计算系统进行图分割计算复杂度较高,多次计算存在大量冗余工作等问题,提出基于GraphChi框架的大规模图最大流加速算法.根据原图中的割点构建覆盖图,给定源点和汇点后确定覆盖图中唯一路径,在GraphChi框架上并行求解覆盖图路径上各子图的最大流,找到各子图最大流的最小值即为原图的最大流值.在美国路网数据集的测试结果表明,提出的算法可显著缩短大规模图的最大流计算时间并且空间复杂度较低,有很好的加速效果.     

MR-GSpar:一种基于MapReduce的大图稀疏化算法

图的稀疏化是图聚类分析中数据预处理的关键操作,已得到广泛的关注.针对图数据日益普及、规模不断增大的现状,提出了一种基于MapReduce的面向大规模图的稀疏化算法,即MR-GSpar算法.该算法在MapReduce并行计算框架的基础上,通过对传统的最小哈希(Minhash)算法的并行化改造,使其可在分布式的集群环境中实现对大规模图数据的高效稀疏化处理.真实数据集上的实验表明了该算法的可行性与有效性.     

面向外汇市场监测的分布式计算框架设计

针对金融外汇市场监测指标计算复杂度高、完备性强、效率低等问题,基于Spark大数据架构提出了一种新的面向外汇市场监测的分布式计算框架。首先,对外汇市场监测的业务特性和现有技术框架进行了分析总结;然后,综合考虑了外汇单市场多指标和多市场多指标并行计算的业务特性;最后,基于Spark的有向无环图（DAG）作业调度机制和YARN的资源调度池隔离机制,分别提出了外汇市场级的有向无环图（M-DAG）模型和市场级资源分配策略——M-YARN。实验结果表明,所提面向外汇市场监测的分布式计算框架相对于传统技术框架在性能上提高了80%以上,可以有效保证大数据背景下外汇市场监测指标计算的完备性、精准性和时效性。     

基于二分图极大权值匹配的SOC故障定位算法研究*

针对故障传播给故障定位带来的影响,考虑SOC功能测试系统中的故障源和故障事件之间的不确定性,提出一种基于二分图的故障定位算法。首先从SOC中抽象出特定的硬件模块,由这些模块构成故障源。然后故障源结合相应的故障事件组合成二分图,在二分图的基础上生成一种适用于SOC故障定位的故障传播模型(Fault Propagation Model,FPM)。最后将SOC故障定位的问题转化成二分图极大权值匹配的求解问题,从概率上保证结果的正确性。实验结果表明,故障定位准确率提高了0~21%,误报率下降了0~15%,更加适用于小型系统的故障定位。     

一种面向图的分布式软件动态配置和容错方法

提出一种新的方法，通过动态配置对基于组件的分布式软件的容错提供支持。此方法采用面向图的GOP编程模型，将整个分布式软件的体系结构用一张逻辑图来描述，系统的动态配置可以通过执行图上预定义的一组操作来完成。检测到故障或异常的时候实施这种动态配置能够支持系统的容错。文中描述了此方法的基本模型、系统结构和基于CORBA的原型实现。     

基于粗糙集和图论的电力系统故障诊断方法

将粗糙集与图论相结合处理电力系统故障诊断,提出了故障决策表图的新概念,得到一种基于粗糙集和图论的电力系统故障诊断方法,并进一步提出了故障信息覆盖度和故障诊断规则分级的概念.利用故障决策表图及其邻接矩阵,得到了快速识别决策表核属性和属性约简的方法,并将规则分级应用于故障规则提取.利用所提出的方法对具体实例进行处理,仿真结果表明,该方法能有效地减少时间和空间复杂度,可根据设定的阈值提取诊断规则.     

A disk I/O optimized system for concurrent graph processing jobs

In order to analyze and process the large graphs with high cost efficiency, researchers have developed a number of out-of-core graph processing systems in recent years based on just one commodity computer. On the other hand, with the rapidly growing need of analyzing graphs in the real-world, graph processing systems have to efficiently handle massive concurrent graph processing (CGP) jobs. Unfortunately, due to the inherent design for single graph processing job, existing out-of-core graph processing systems usually incur unnecessary data accesses and severe competition of I/O bandwidth when handling the CGP jobs. In this paper, we propose GraphCP, a disk I/O optimized out-of-core graph processing system that efficiently supports the processing of CGP jobs. GraphCP proposes a benefit-aware sharing execution model to share the I/O access and processing of graph data among the CGP jobs and adaptively schedule the graph data loading based on the states of vertices, which efficiently overcomes above challenges faced by existing out-of-core graph processing systems. Moreover, GraphCP adopts a dependency-based future-vertex updating model so as to reduce disk I/Os in the future iterations. In addition, GraphCP organizes the graph data with a Source-Sorted Sub-Block graph representation for better processing capacity and I/O access locality. Extensive evaluation results show that GraphCP is 20.5× and 8.9× faster than two out-of-core graph processing systems GridGraph and GraphZ, and 3.5× and 1.7× faster than two state-of-art concurrent graph processing systems Seraph and GraphSO.     

基于SVG的电网故障处理自动化系统

将SVG运用于10 kV电网故障定位、隔离与恢复系统的网络建模与表达,通过研究电网SVG图形描述和设备图元建模,提出基于坐标和节点融合的设备连接关系生成方法,实现基于设备模型的拓扑自动生成、完整性检查和故障信息的容错,设计并实现系统SVG图形Web发布方法。现场运行取得了良好的效果。     

基于系统级诊断理论的卫星网络故障识别算法

提高卫星网络的容错性是一项具有挑战性的工作,故障识别是其中一项根本措施.在采用双层节点图对卫星网络建模的基础上,提出一种基于PMC测试无效模型的卫星网络故障识别算法,并证明了算法的正确性.通过大量仿真实验,对算法在不同类型的卫星网络中的性能进行了对比与分析.实验结果表明,算法能够适用于多种网络拓扑,并具有良好的鲁棒性.     

基于键合图模型的新型解析冗余关系故障诊断方法研究

研究了通过诊断键合图模型建立系统解忻冗余关系(ARRs)的故障诊断方法.通过在系统键合图中加入虚拟传感器的方法建立系统的诊断键合图,根据诊断键合图模型的因果关系路径构建系统的解析冗余关系和系统故障特征矩阵,并利用系统实际观测特征与故障特征的比较进行系统的故障检测和隔离,通过在双容水箱系统的仿真验证,证明了该方法便捷性和...     

基于贝叶斯征兆解释度的链路故障定位算法

针对故障和征兆关系不确定的网络中故障定位算法检测率低和误检率高的缺陷,提出了一种基于贝叶斯征兆解释度的链路故障定位算法。该算法以概率加权的二分图作为故障传播模型,通过处理贝叶斯后验概率信息,定义一种新的参数贝叶斯征兆解释度,并基于该参数对可能链路故障进行判断,得出最优故障假设集合,实现链路故障定位。理论分析和仿真实验表明,该算法具有较低的计算复杂度,且在小规模不确定网络中具有较高的故障检测率和较低的故障误检率。     

动态图划分算法研究综述

图划分是大规模分布式图处理的首要工作,对图应用的存储、查询、处理和挖掘起基础支撑作用.随着图数据规模的不断扩大,真实世界中的图表现出动态性.如何对动态图进行划分,已成为目前图划分研究的热点问题.从不同动态图划分算法的关注点和特点出发,系统性地介绍当前可用于解决动态图划分问题的各类算法,包括流式图划分算法、增量式图划分算法和图重划分算法.首先介绍图划分的3种不同的划分策略及问题定义、图的两种不同的动态性来源以及动态图划分问题;然后介绍3种不同的流式图划分算法,包括基于Hash的划分算法、基于邻居分布的划分算法以及基于流的优化划分算法;其次介绍单元素增量式划分和批量增量式划分这两种不同的增量式图划分算法;再次,分别介绍针对图结构动态的重划分算法和针对图计算动态的重划分算法;最后,在对已有方法分析和比较的基础上,总结目前动态图划分面临的主要挑战,提出相应的研究问题.     

基于改进图卷积神经网络的配网线路故障诊断

随着电网的不断扩容,系统结构越来越复杂,多故障频发,而多故障是故障诊断的关键和难点。为解决故障处理数据量大,需要快速、准确地诊断电网故障的问题,本文提出了一种基于模糊优化图卷积神经网络的配网故障诊断模型。首先处理采集的配网故障线路的特征数据;其次,搭建基于图卷积神经网络的故障诊断模型,利用模糊理论建立配电网故障的隶属函数;最后利用训练好的模型进行配网故障诊断。仿真结果表明,模糊优化图卷积神经网络对多故障诊断的准确率高于卷积神经网络以及其他方法,本文方法做出的诊断结果更加精确,综合诊断效果最好。