面向全球数值天气预报模式的加权等积并行数据划分算法

极区计算对全球数值预报模式设计的重要性主要体现在2个方面:模式动力框架中的极区处理和极区并行数据划分带来的并行负载不平衡问题.其中后者是全球数值预报模式大规模并行计算的性能瓶颈,对此提出一种新的基于加权等积的球面数据划分算法.该算法以球带数目和权函数为参数,将南北两极分别划分到单独的子区域,形成极点通区,使从极点到赤道方向每个纬度对应的子区域数目逐渐增多,灵活地实现球面网格的高质量划分.从理论上分析该算法的划分质量后,以基于球谐谱的浅水波模式PSTSWM为实验平台,验证了提出的划分算法具有很好的并行划分性能以及可扩展性.结合我国自主设计的GRAPES全球模式,展望了该算法的应用前景.     

SN_PDBS中数据重划分的设计与实现

在基于共享硬件结构的并行数据库系统中,数据倾斜严重影响系统性能,数据重划分是实现数据物量重组织,解决数据放置倾斜的一种比较彻底的方法,本文提出了ＳＮ结构下并行数据库的静态和动态重划分算法,以及针对轮转重划分的静态算法,理论分析和实践表明算法是正确可行性的。     

面向大数据的并行聚类算法

在大数据时代,针对CLUBS算法较高的计算复杂度导致训练效率低下的问题,提出一种面向大规模数据的并行聚类算法CLUBS‖,通过将CLUBS算法的思想融入MapReduce并行计算框架,实现数据的并行处理,提高算法的计算效率,从理论上对几个关键计算的并行化进行较为深入的分析,基于Ad-hoc消息传递对该算法进行实现.实验结果验证了所提方法的有效性.     

一种基于代表元的划分算法

划分是把程序中不同的计算和数据分配到并行处理系统的不同处理机来充分利用并行系统的计算资源、提高程序处理速度的一种优化技术.划分的效果对程序在并行系统上的执行效率将产生至关重要的影响,因此划分问题一直是并行领域研究的一个热点.但是应用程序的一些特性,如非紧密嵌套循环、一条语句对非只读数组的多次引用间存在重叠、不同语句对同一数组不同步长的引用,给有效解决划分问题设置了极大的障碍.已有的划分算法无法对具有这些特征的程序进行自动划分.虽然在对具有这些特征的程序进行手工优化过程中,存在一些直观上的划分策略,但这些策略无法应用到编译器中来指导编译器完成对程序的自动划分.文中根据这类程序的特点,提出了一种基于代表元的划分算法.该算法通过使用程序中对划分计算产生实际影响的数组引用作为代表元素构造各种划分的限制条件,完成程序的划分.同时通过寻找最大一致性数据划分方向有效减少了程序划分过程中的数据重组织通信.该算法已经在AFT2004中实现,并对应用程序获得了很好的效果.     

应用于地理信息数据自动分类的高性能聚类算法

针对现有地理信息数据分类不能体现数据归属的多类别共存性问题,提出一种使用聚类和并行计算技术提高数据分类的有效性和效率的并行地理信息数据聚类算法,并实现相应的数据自动分类系统。采用文本向量建模和抽取数据的类别特征,然后采用基于GPU的并行k-means聚类算法对数据进行类别划分。实验表明,设计的并行聚类算法体现了特征属性归属的多类别交叉性,具有较好的运行性能和扩展性。     

基于计算量拟合的并行数据剖分算法

提出了一种基于计算量拟合的并行数据剖分算法,算法针对并行计算中静态负载不平衡问题,由各处理器实测计算时间,拟合出各基本数据剖分单元的计算量,在此基础上按各处理器计算时间相等的原则确定数据剖分。模拟试验表明,该算法能快速有效地实现各处理器的负载平衡。     

一种基于多核微机的闭频繁项集挖掘算法

随着数据量的增长,如何快速有效发现频繁项集已成为挖掘关联规则的核心问题,而并行计算和闭频繁项集分别是一种处理大量数据直接有效的方法和频繁项集的无失真信息最小集合。分析一些经典闭频繁项集算法和并行关联规则算法及其不足,提出一种基于多核微机的并行闭频繁项集挖掘算法,提高了闭频繁项集挖掘的效率。     

基于数据并行的碰撞检测

在建筑信息建模的精确碰撞检测应用中,数据量日趋庞大,但串行执行无法随处理机主频的增加而持续加速。针对该问题,构建面向多核及众核处理机的数据并行计算模型,基于此提出一种数据并行碰撞检测方法。对参与碰撞检测的模型进行立方体细分,去除数据相关性,设计数据并行的模型组合、冲突检测和归约计算过程,并分析算法的抽象形式和理论执行时间。实验结果表明,该方法具有可行性和持续可扩展性,可为解决数据密集型问题提供一种高效的数据并行方式。     

基于性能预测的并行软件模块设计研究

并行计算软件库,如scalapack和plapack,通过提供大量并行计算子过程来提高并行计算软件开发效率。为方便用户使用并行软件库,该文提出了一种基于性能预测技术来开发并行计算软件库的方法,这是一种隐藏并行计算细节的有效途径。并就构成该软件库的神威超级计算机系统并行软件开发工具,并行线性代数软件库的数据自动分布的方法和供用户调用并行软件库的接口设计技术进行了讨论。实验结果表明,这种技术能有效提高并行计算软件效率。     

基于改进属性约简的细粒度并行AP聚类算法

Affinity Propagation(AP)聚类算法将所有数据点作为潜在的聚类中心,在相似度矩阵的基础上通过消息传递进行聚类.与传统聚类方法相比,对于规模很大的数据集,AP是一种快速、有效的聚类方法.正是这样,属性约简对于AP算法非常重要.另外,在大规模并行系统的设计中,细粒度并行是实现高性能的基本策略.提出了一种基于改进属性约简的细粒度并行AP聚类算法(IRPAP),将粒度思想引入到并行计算中.首先分析了并行计算中的粒度原理.然后用改进的属性约简算法对数据集预处理.此算法并行计算并选择差别矩阵元素,降低了时间空间复杂度,最后用AP算法聚类.整个IRPAP算法将任务划分到多个线程同时处理.实验证明,对于大规模数据集的聚类,IRPAP算法比AP算法效率更高.