大规模海洋数据同化的并行优化

海洋数据同化是一种同时利用海洋观测资料和海洋数值模式对海洋数据进行修正的有效方法,经过处理的海洋数据更加接近海洋的真实情况.在高分辨率下,基于中国科学院大气物理研究所（Institute of Atmospheric Physics,Chinese Academy of Sciences,IAP）和大气科学和地球流体力学数值模拟国家重点实验室（State Key Laboratory Modelling for Atmospheric Sciences and Geophysical Fluid Dynamics,LASG）发展的LASG/IAP气候系统海洋模式（LASG/IAP climate ocean model,LICOM）的同化并行程序往往涉及大量的文件读取、通信和计算,以往的研究虽然对这些方面进行了优化,但是由于优化只是停留在上层算法层面,没有考虑底层的文件系统以及超算集群的架构,因此优化的效果不太明显.针对以往研究存在的问题,进一步将海洋数据同化的数据特性、计算特性与所使用的超算平台的架构特性相结合,在此基础上结合时间局部性和空间局部性,提出了基于计算拓扑图的负载均衡策略...     

面向大规模海洋数据同化算法的并行实现及优化

海洋数据同化是一种将海洋观测资料融合到海洋数值模式中的有效手段,经过同化的海洋数据更加接近海洋的真实情况,对人类理解和认识海洋具有重要意义。围绕海洋数据同化设计了一种基于区域分解的一般性并行实现方法。在此基础上,提出了一种基于IO代理的新并行算法。首先,IO代理进程负责数据的并行读取;接下来,IO代理进程对数据进行切块,然后将块数据发送给相应的计算进程;当计算进程完成局部数据同化后,IO代理进程负责收集计算进程的同化结果,并将其写入磁盘。该方法的主要优势在于：利用IO代理进程来负责IO,而不是像传统方法那样让所有进程都来参与IO（直接并行IO）,这样可以防止大量进程对磁盘的同时访问,有效避免进程排队所导致的等待。在天河二号集群上的测试结果表明,对于1度分辨率的数据同化,在核心数为425时,该并行实现的总运行时间为9.1 s,相对于传统串行程序的加速比接近38倍。此外,对于0.1度分辨率的数据同化,基于IO代理的并行同化算法在使用10 000核时依然具有较好的可扩展性,并且可将其IO时间最大限制在直接并行IO时间的1/9。     

气象资料三维变分同化阶段区域分解并行实现

变分同化由于能明显改善同化质量,正在成为数值天气预报的主流同化方法．研究三维变分同化的并行计算,提出了三维变分同化的阶段区域分解、观测资料的自适应划分算法、计算与通信重叠的矩阵转置和周边区域通信以及文件I／O方法,在此基础上实现了MPI并行三维变分原型系统,在由8个双CPU节点组成的Linux机群上并行加速比达到了11．9．     

大宗数据实时处理优化方法的研究及应用

主要讨论在需要进行大宗数据实时处理的企业级计算环境中影响系统处理性能的主要因素。以及如何通过优化处理方式规避这些因素、降低I／O并发冲突和提高系统实时处理性能的方法。对上述方法的风险进行了描述,并给出优化处理崩溃／恢复和保持数据一致性的策略。     

不同矩阵分解方法对海洋数据同化的影响*

在海洋数据同化领域,集合最优插值方法中,矩阵求逆过程所使用的奇异值分解(singular value decomposition,SVD)十分耗时。对集合最优插值中逆矩阵的求逆过程进行优化,分别使用LU分解、Choleskey分解、QR分解来替代SVD分解。首先,通过LU分解(Choleskey分解或QR分解)得到相应的三角矩阵(或正交矩阵);然后,利用分解后的矩阵来实现相关逆矩阵的计算。由于LU分解、Choleskey分解、QR分解的算法复杂度都远小于SVD分解,因此改进后的同化程序能得到大幅度的性能提升。数值结果表明,所采用的三种矩阵分解方法相比于SVD分解,都能将集合最优插值的计算效率提升至少两倍以上。值得一提的是,在四种矩阵分解中Choleskey分解使得整个同化程序的性能达到了最优。     

GRAPES区域模式的输入输出分析和优化

新一代全球/区域多尺度统一的同化与数值预报系统Global/Regional Assimilation and PreEdiction System(GRAPES)是中国气象局(China Meteorological Administration,CMA)自主研发的数值天气预报软件.随着对模式分辨率和预测时效性要求的提高,GRAPES的输入输出(I/O)性能成为了一个重要的瓶颈.分析了GRAPES区域模式的I/O行为,提出并设计实现了一个高性能I/O框架.该框架采用二进制编码以及多I/O通道技术实现了灵活可配置的输出方式.同时,通过非堵塞通信的方式实现了异步I/O,隐藏了I/O与通信的开销.工作在曙光"派"超级计算机上进行了测试,结果显示该框架不仅可以提高I/O性能达到10倍以上,也可以减少性能抖动带来的性能不确定性问题.     

OVALS海洋资料同化系统并行计算研究

海洋数值预报技术的发展与高性能计算密切相关。为提高OVALS海洋资料同化系统的时效性,本文实现了OVALS系统的并行化。在温盐资料同化模块并行化过程中,本文提出了层优先处理器划分算法,并研究了基于该算法的并行I/O、全局通讯等实现方法;在高度计资料同化模块并行化过程中,设计实现了基于预处理的非规则区域分解算法,较好地实现了OVALS并行计算负载平衡。数值实验表明,OVALS并行系统在36并行规模下取得了17.45的并行加速比。     

数据网格中基于优化机制的通信模型

针对基于多计算机机群构成的网格的大规模并行计算的需要,对多级分组通信模型的单一机群分组通信进行了研究。探讨了在单一机群内的主动节点、被动节点个数和各个计算节点的能力以及机群网络的带宽之间的形式化关系,优化了通信结构,描述了基于能力优化机制的通信模型。理论和试验表明,该模型充分利用了机群的计算节点能力、网络通信能力。该模型适合基于网格的并行计算。     

基于FFT并行算法的并行I/O性能的研究

该研究对象为并行计算机的I/O性能,将任务分发给不同的处理结点,通过进程间的相互协调、有序合作完成FFT并行算法的实现。在完成任务的过程中,通过记录I/O时间与计算时间,求出I/O性能与计算性能,通过分析比较数据从而认识I/O性能的重要性。研究计算机的I/O性能对于如何进一步改进系统以及提高资源利用率具有重要意义。     

面向优化内存使用的高速RAID控制器设计

在存储密集型应用系统中,磁盘阵列RAID是十分重要的组成部分,其性能优劣将影响到用户服务质量。论文分析了在磁盘阵列控制器实现存储服务功能时对系统内存的使用特点,以此提出了可提高磁盘阵列I/O性能的控制器优化算法,并阐述了该算法的实现方法。实验证明这种优化设计可以大幅度提高磁盘阵列的存储性能。     

A parallel data assimilation model for oceanographic observations

In this paper we describe the development of a program that aims at achieving the optimal integration of observed data in an oceanographic model describing the water transport phenomena in the Agulhas area at the tip of South Africa. Two parallel implementations, MPI and OpenMP, are described and experiments with respect to speed and scalability on a Compaq AlphaServer SC and an SGI Origin3000 are reported. Copyright © 2003 John Wiley & Sons, Ltd.     

科学计算双路并行I/O优化方法

科学计算数据集由数据和元数据组成.一般条件下,数据的尺寸较大,元数据尺寸较小.传统的高性能计算机并行文件系统可以高效率地读写大块连续数据,但是无法高效率地读写大量较小块的元数据.一旦大块数据和小块元数据两类读写特征混杂在一起,元数据将较严重地干扰并行I/O,造成性能的下降.为此,文中提出数据与元数据分治的双路并行I/O方法.该方法在高层I/O库中建立内存文件系统与并行文件系统两级存储,在存储资源之间并行迁移科学计算元数据.一方面降低较频繁读写元数据的I/O延迟,另一方面改变科学计算数据的存储特征与存储模式,从而提高科学计算应用、尤其是数据分析与可视化等读入密集型应用的I/O效率.测试表明,双路并行I/o方法可提高写性能8％～13％,提高读性能89％到1.01倍.     

基于连接管理的并行I／O数据库系统的研究

I／O和网络开销是数据库系统主要的性能瓶颈，本文针对数据库I／O请求的特点，讨论在大量并发I／O请求到来的情况下如何有效地对这些I／O请求进行重组、排序和合并，以便提高数据库系统的总体性能。     

多MapReduce作业协同下的大数据挖掘类算法资源效率优化

由于任意的MapReduce作业都需要独立地进行任务调度、资源分配等一系列复杂的操作,这使得同一算法协同的多个MapReduce作业之间,存在着大量的冗余磁盘I/O及资源重复申请操作,导致计算过程中资源利用效率低下。大数据挖掘类算法通常被切分成多个MapReduce job协作完成。以ItemBased算法为例,对多MapReduce作业协同下的大数据挖掘算法存在的资源效率问题进行了分析,提出基于DistributedCache的ItemBased算法,利用DistributedCache将多个MapReduce job之间的I/O数据进行缓存处理,打破作业之间独立性的缺陷,减少map与reduce任务之间的等待时延。实验结果表明,DistributedCache能够提高MapReduce作业的数据读取速度,利用DistributedCache重构后的算法极大地减少了map与reduce任务之间的等待时延,资源效率提高3倍以上。     

一种动态并行I/O调度新策略的研究

并行I/O已经成为提高分布式计算系统性能的一种重要方式,论文在研究集群计算系统并行I/O数据调度策略的基础上,提出了一种应用于分布式计算系统中的二次调度自主维护负载平衡的动态I/O调度算法(DIO_TSMB),实验结果表明了算法的有效性,最后分析了并行I/O数据调度的发展趋势。     

一种动态并行I／O调度新策略的研究

并行I／O已经成为提高分布式计算系统性能的一种重要方式，论文在研究集群计算系统并行I／O数据调度策略的基础上，提出了一种应用于分布式计算系统中的二次调度自主维护负载平衡的动态I／O调度算法（DIO_TSMB），实验结果表明了算法的有效性，最后分析了并行I／O数据调度的发展趋势。     

模糊系统的微粒群并行聚类算法

为了解决大规模的数据聚类问题时需要的大量计算,提出了一种模糊系统的微粒群优化并行k-means聚类算法。该方法利用模糊规则,动态地调整微粒群惯性权重和加速因子,克服群体逐渐失去迁移性而停止进化的问题,保证群体多样性而避免陷入局部极小值。采用任务并行和部分异步通信模式,降低计算时间。实验结果表明,该算法在并行机群上运行时,加快了聚类算法的计算速度,提高了聚类质量。     

快速EZC-DCT地形压缩算法的并行优化

为能够在大规模地形实时渲染中提高渲染及数据压缩的速率,提出一种利用GPU并行优化的快速EZC-DCT地形压缩算法。采用二维快速DCT变换代替EZC-DCT算法中的DCT变换,在利用GPU对算法进行并行加速的基础之上,对算法的并行方案进行优化改进,更加有效地利用GPU强大的并行计算能力,分担CPU的负荷,快速完成相关计算。实验结果表明,该算法帧速率比原EZC-DCT方法提升约10个百分点,满足地形渲染的实时性要求。