基于高性能计算的SWAT参数敏感度分析并行框架

随着大规模水文模拟需求的不断提高,如何解决计算需求问题逐渐成为水文研究的一个热点.SWAT(soil and water assessment tool)模型在进行大规模水文模拟时有着良好的适应性与准确度,但其敏感度分析模块由于计算量过高,计算时长往往长达数月之久.为了加快SWAT敏感度分析的运行速度,针对SWAT敏感度分析模块的特点,基于MPI提出了一种高效的主—从式并行计算框架,并在此框架的基础上,通过将正演过程并行化,在敏感度分析的主—从并行框架中引入通信子空间的操作,将并行化的正演与主—从式的外层并行框架相结合,得到一种混合式的敏感度分析并行框架,大大提高了对参数集合的敏感度分析速度,将SWAT敏感度分析模块使用的处理器数量从原始的单核串行一跃提升到百核的数量级.最后通过天山北坡流域的模拟验证了此并行框架的可行性.     

淮河沙颍河支流水质预报模型的参数率定

水质模型的参数率定一直是水质预报的难点。由于要求模型计算结果准确,故必须对每个参数反复多次计算才能给出一个较为可用的参数值。用传统的串行计算方法来处理参数率定问题,其计算时间过长,无法快速给出准确的模型。文章利用已有的数据和经验,根据沙颖河具体的水质和应用特点,在国内首次提出了采用基于并行计算技术的高性能计算方法,对沙颖河支流水质模型进行多参数率定的方案,并在曙光系列并行机上得以实现。结果表明：其率定的准确性大大优于常规率定,并缩短了整个模型的建模时间,由此为模型的快速应用提供了可靠的参数依据。     

基于改进Bayesian-MCMC的突发水污染事件预测模型参数率定方法

预测模型是科学制定应急处置措施的基础.为快速准确地构建突发水污染事件预测模型,将预测模型参数的率定问题视为贝叶斯估计问题,并根据有限差分方法和贝叶斯推理得到参数的后验概率密度函数,再通过改进的Metropolis-Hastings抽样方法得到较为合理的参数值.以发生在某明渠段的突发水污染事件为例,分析讨论等容量控制非均匀流和非等容量控制非均匀流两种情景下不同观测噪声对参数率定值的影响,并与由贝叶斯-马尔科夫链蒙特卡罗方法得到的参数值和真实值进行对比.结果表明:改进Bayesian-MCMC方法在计算精度、适用性和抗噪声等方面优于贝叶斯-马尔科夫链蒙特卡罗方法,能较好地率定模型参数,并为构建突发水污染事件预测模型提供了新思路.     

基于半监督学习的克里金插值方法

针对数据量较小时,克里金插值精度低的问题,将克里金插值模型与半监督学习理论相结合,利用未标记样本参与训练改进模型性能,提出基于半监督学习的克里金插值模型,即自训练克里金插值模型（STK）和协同训练克里金插值模型（CTK）。以北京地区2017年4月和5月的PM2.5浓度数据作为实验数据,采用克里金插值模型、STK和CTK进行对比实验。实验结果表明,这两个模型既具有半监督学习的优点,适用于只有少量标记样本的情况,又可以分析空间现象的分布模式。其中CTK采用两个模型协同训练,有效削弱了早期误差对后期训练的影响,利用未标记样本提升了模型的性能。     

基于克里金插值的脑电图成像系统

脑电图在医疗诊断中发挥了重要作用,能够快速纪录脑内神经元活动产生的电信号并能在屏幕上清晰地成像。针对16导联设备设计了一种脑电图成像系统,可以有效地支持二维脑电地形图和三维脑电旋转图的显示。对于二维脑电地形图采取了对时域信号的频域变换以及克里金空间插值方法进行填充绘制;对于三维脑电旋转地形图采取了反向映射到二维平面像素点的方法加以实现,该方法的成像效果清晰,并避免使用外部库文件,最后对导联设备增加以及产品的进一步功能发展所面临的挑战作了简要的分析。     

基于时空注意力克里金的边坡形变数据插值方法

山体滑坡每年都会对人们的生命财产安全造成重大损失,是常见的地质灾害之一。为了对山体滑坡进行防控,需要广泛地监测山体表面的沉降过程,但是由于恶劣气候和监测成本等难以克服的困难,山体沉降数据的收集呈现出局部数据不完整、数据采样不均衡和监测点动态变化等特点,使得山体滑坡的防控研究受到阻碍,给数据的采集和分析工作提出了新的要求。现有方法从空间角度对缺失进行补充,但忽略了时间维度的依赖关系。为了解决上述问题,对不完整的INSAR数据填充进行了研究,利用时空掩码矩阵对时空依赖关系进行建模,利用多头注意力对多层次的空间关系进行综合学习,并在克里金法(Kriging)的基础上提出了新的使用时空注意力的克里金插值法,实现了对复杂时空特征的深层理解。在真实数据集上的数据恢复实验验证了该算法可以有效地学习复杂的时空特征,并在3种不同的数据缺失情景下都取得了优于现存插值算法的表现。     

基于Delaunay三角网的克里金并行算法优化

当采样点数据量较大时,可以采用Delaunay三角剖分建立三角网来使用局部邻域采样点进行克里金插值.但是该算法需要对每个插值点拟合半变异函数,插值点规模大时造成巨大开销.为此,本文提出了一种以三角形为单位拟合半变异函数的克里金插值方法,采用CPU-GPU负载均衡将部分计算优化,充分考虑不均匀样本对克里金插值效果的影响.结果表明,本文算法能够保证不均匀样本集的插值效果,提升了计算性能且能够保证较高的精度.     

基于种群演化的超参数异步并行搜索

近年来随着深度学习尤其是深度强化学习模型的不断增大,其训练成本即超参数的搜索空间也在不断变大,然而传统超参数搜索算法大部分是基于顺序执行训练,往往需要等待数周甚至数月才有可能找到较优的超参数配置.为解决深度强化学习超参数搜索时间长和难以找到较优超参数配置问题,提出一种新的超参数搜索算法—–基于种群演化的超参数异步并行搜...     

基于克里金空间插值的MODIS积雪覆盖率产品去云方法

由于云与积雪在可见光和远红外波段都具有相似的光谱特征,使得光学遥感监测积雪受到天气的严重干扰,如何消除亚像元尺度上MODIS积雪覆盖率(Snow Cover Fraction,SCF)产品中云的干扰成为了一个亟待解决的难题。通过分析亚像元尺度上SCF分布的空间变异性,提出了一种基于克里金空间插值的MODIS SCF产品去云方法,分别利用普通克里金(Ordinary Kriging,OK)和以海拔为协变量的普通协克里金(Ordinary Co|Kriging,OCK)进行去云实验。11个不同日期的实验结果表明:OK和OCK方法在MODIS SCF产品去云中均能达到较高的精度,特别是在云覆盖率低于20%的情况下,此时OCK的精度要好于OK;而当云覆盖率大于20%时,OK的精度略高于OCK,但两者的精度都明显低于云覆盖率低于20%的情况,而且平滑效应都比较明显。     

一种对象化并行计算框架

分布式计算、并行计算、内存计算是目前提高计算性能的关键技术和热点研究领域。在大数据环境下,针对数据型统计分析系统性能劣化明显、不能满足用户使用需求的问题,提出了一种轻量级高性能对象化并行计算架构,研制了该架构的对象服务组件、对象管理服务组件和客户端代理组件,并将该架构和组件在国家电网资产质量监督管理系统中进行了验证应用,其效果表明该框架能大幅提升大数据处理效率。     

一种面向异构计算的结构化并行编程框架

随着人工智能时代的到来,异构计算在深度学习、科学计算等领域发挥着越来越重要的作用。目前异构计算系统在应用上的瓶颈之一在于缺少高效的软件开发框架,已有的OpenCL、CUDA等支持GPU、DSP及FPGA的编程框架基于C/C++语言和传统的并行编程方法,导致软件开发效率较低,软件推理和调试困难,难以灵活处理计算设备之间的协作和调度。提出一种面向异构计算平台的基于脚本语言的结构化并行编程框架,提供结构化的并行编程接口,支持计算任务到异构计算设备的映射,便于并行程序的推理和验证。设计并实现了基于遗传算法的结构化调度算法,充分利用异构计算系统的计算能力,提高了异构计算系统的软件开发效率。实验结果表明,提出的编程框架在CPU+GPU平台上实现了相对于单处理器1.5到2.5倍的加速比。     

一种支持多维数据范围查询的对等计算索引框架

如何有效地支持多维数据范围查询是传统数据管理领域的研究热点之一.但是,在大规模分布式系统中,这仍然是一个具有挑战性的研究工作.VBI-tree是一个对等计算环境下基于平衡树的索引架构,在该架构上可以实现集中式环境下的多种支持多维数据索引的层次化树结构,例如R-tree,X-tree和M-tree等.VBI-tree设计的查询算法保证查询可以从树的任意位置开始,而不是像集中式环境下层次化树结构那样采用从树的根节点开始查询的方法,从而成功地避免了根节点引起的系统性能瓶颈问题.对于有N个节点的网络,索引方法可以保证查询效率是O(log N).VBI-tree提出了基于AVL-tree旋转的网络重构负载均衡策略可以有效地均衡负栽.另外,在数据操作频繁的情况下,为了提高索引的性能,在VBI-tree上建立特殊的祖先-子孙链接形成VBI-tree的结构.通过使用祖先-子孙链接,可保证对于相关查询区域的探索尽量发生在同层节点之间,而不是一直往根节点方向发送,从而减轻上层节点的查询负担,并且显著地降低了更新代价.模拟实验验证了提出的方法的有效性.     

并行计算模型在异构计算环境中的研究

近年来异构并行计算在高性能科学计算和通用应用领域受到广泛研究。本文结合多种代表性并行计算模型,给出异构环境中的HBSP模型和程序开销计算方法。采用基于消息长度的线性模型使通信开销的计算更精确,解除原有BSP模型对h-rela-tion的限制,使程序和算法在异构环境中的设计更加灵活。当构成BSP计算机的各处理机速度相同且原有BSP算法达到最优（即各处理机上所分配的计算量与通信量完全均衡）时,HBSP模型等同于原有模型。     

SAIH:A Scalable Evaluation Methodology for Understanding AI Performance Trend on HPC Systems

Novel artificial intelligence(AI)technology has expedited various scientific research,e.g.,cosmology,physics,and bioinformatics,inevitably becoming a significant category of workload on high-performance computing(HPC)sys-tems.Existing AI benchmarks tend to customize well-recognized AI applications,so as to evaluate the AI performance of HPC systems under the predefined problem size,in terms of datasets and AI models.However,driven by novel AI technol-ogy,most of AI applications are evolving fast on models and datasets to achieve higher accuracy and be applicable to more scenarios.Due to the lack of scalability on the problem size,static AI benchmarks might be under competent to help un-derstand the performance trend of evolving AI applications on HPC systems,in particular,the scientific AI applications on large-scale systems.In this paper,we propose a scalable evaluation methodology(SAIH)for analyzing the AI performance trend of HPC systems with scaling the problem sizes of customized AI applications.To enable scalability,SAIH builds a set of novel mechanisms for augmenting problem sizes.As the data and model constantly scale,we can investigate the trend and range of AI performance on HPC systems,and further diagnose system bottlenecks.To verify our methodology,we augment a cosmological AI application to evaluate a real HPC system equipped with GPUs as a case study of SAIH.With data and model augment,SAIH can progressively evaluate the AI performance trend of HPC systems,e.g.,increas-ing from 5.2％to 59.6％of the peak theoretical hardware performance.The evaluation results are analyzed and summa-rized into insight findings on performance issues.For instance,we find that the AI application constantly consumes the I/O bandwidth of the shared parallel file system during its iteratively training model.If I/O contention exists,the shared parallel file system might become a bottleneck.     

基于标记语言的跨平台并行编程框架设计

大量遗留的串行代码需要进行并行化改造,而并行程序复杂性及并行计算平台多样性导致改造成本较高.为此,设计了一种基于标记语言的三层并行编程框架,完成了从串行程序层到并行中间代码层、并行中间代码层到目标并行编程语言程序层的二个转换阶段.采用对串行代码进行语言标记的方法来实现并行中间代码层,该代码层实际是共享存储、分布式存储并...     

Cluster 环境下p-HPF编译器支持的并行计算范式

p-HPF是研制的一个符合HPF（high performance Fortran)规范的并行编译系统,以HPF为核心实现多范式并行计算是开发大型并行应用系统的基础。首先论述了Cluster环境下的并行运行范式,包括farm parallel范式、流水线并行、流循环并行、基于数据并行和组合数据并行等,抽象分析了它们的性能,接着给出了利用p-HPF的外部过程机制、任务并行机制以以FORALL,INDEPENDENT DO等典型并行语句实现几种典型并行范式的方法,给出了实例程序,对实例进行了实际运行并对运行结果进行了分析。     

一种基于多移动Agent的对等计算动态协作模型

对等计算技术为Internet上海量节点之间计算和信息资源的共享提供了基础平台.对等节点的协作可以有效利用分布于各对等节点上的资源以解决单节点难以完成的复杂任务.然而对等计算环境的动态性、不可预测性等特征也为顺利的协作带来了困难.提出一种基于多移动Agent的对等计算动态协作模型,利用多Agent技术构建P2P平台的协作层,将对等节点之间的协作转换为Agent之间的协作,再通过移动Agent来动态部署针对具体任务的功能组件.还给出了该动态协作模型在密码分析中的应用示范和对比实验数据结果,对该模型的实用价值进行验证.     

基于框架的虚拟计算环境关键技术研究

通过分析目前几种虚拟计算环境的现状、特点及适用范围,针对中小规模、异构零散的的计算需求,提出一种基于框架技术的虚拟计算环境的实现方法,并结合框架技术设计了分层服务模型.基于复杂多样的、性能差距明显的计算资源的调度问题,提出了一种基于对等模式的随机自适应调度算法.该算法提供对关联任务的调度,适合异构的、资源规模较大的环境,尤其是计算资源差异明显的异构计算环境.实现了基于框架技术的虚拟计算原型系统,并通过实验测试对比算法的调度性能,最后将计算环境应用于实际的地震资料处理中.