非结构CFD软件MPI+OpenMP混合并行及超大规模非定常并行计算的应用

常规工程应用中，非定常数值模拟（如多体分离）的计算量十分巨大，如果为了达到更高的计算精度，加密网格或者采用高精度方法将会使得计算量进一步增大，导致非定常数值模拟在CFD工程应用中成为十分耗时和昂贵的工作，因此，提高非定常数值模拟的可扩展性和计算效率十分必要。为充分发挥既有分布内存又有共享内存的多核处理器的性能和效率优势，对作者团队开发的非结构网格二阶精度有限体积CFD软件（HyperFLOW）进行了混合并行改造，在计算节点间采用MPI消息传递机制，在节点内采用OpenMP共享内存的MPI+OpenMP混合并行策略。首先分别实现了两种粒度（粗粒度和细粒度）的混合并行，并基于国产in-house集群采用CRM标模（约4 000万网格单元）定常湍流算例对两种混合并行模式进行了测试和比较。结果表明，粗粒度在进程数和分区数较少的小规模并行时具有效率优势，16线程时效率较高；而细粒度混合并行在大规模并行计算时具有优势，8线程时效率较高。其次，验证了混合并行在非定常计算情况下的可扩展性，采用机翼外挂物投放标模算例，分别生成3.6亿和28.8亿非结构重叠网格，采用对等的（P2P）网格读入模式和优化的重叠网格隐式装配策略，网格读入和重叠网格装配耗时仅需数十秒；采用3.6亿网格，完成了非定常状态效率测试及非定常分离过程的湍流流场计算，在in-house集群上12 288核并行效率达到90%（以768核为基准），在天河2号上12 288核并行效率达到70%（以384核为基准），数值模拟结果与试验结果符合良好。最后，在in-house集群上采用28.8亿非结构重叠网格进行了4.9万核的并行效率测试，结果显示，4.9万核并行效率达到55.3%（以4 096核为基准）。     

非结构混合网格自适应并行技术

计算流体力学（CFD）模拟实际工程问题所采用的网格规模可达千万量级，并行技术是减少计算时间的有效方法。耦合流场信息的网格自适应技术能有效动态优化计算网格，被NASA视为一项亟待发展的CFD关键技术。混合网格自适应系统包含网格分布优化、表面网格投影和空间网格匹配等关键技术。针对以上3项关键技术分别建立了高效的并行算法。首先，提出了"先唯一后同一"的两步法策略实现了网格单元分布优化过程的并行相容性；其次，基于局部曲面拟合思想，实现了曲面重构和新增物理网格点投影的完全并行；再次，提出了空间网格匹配技术的半并行算法，快速解决了网格单元交错问题。为了提高后续流场计算的并行效率，发展了基于并行重分区-网格数据迁移方法的动态负载平衡技术，并采用圆柱激波流场自适应模拟对动态负载平衡技术进行初步验证。最后，采用三角翼自适应加密测试了自适应系统的并行效率。结果表明，建立的混合网格自适应系统并行效率较高，且相比流场求解耗费总时间的比例低于1%。     

面向流场计算的 PVM 并行程序设计研究

针对流场计算的特点,提出了分布共享变量思想和异-同步并行算法,采用SPMD的编程模式在并行虚拟机（PVM）上初步实现了流场并行计算。     

分布存储结构并行处理机上隐式有限差分算法并行尝试

通过对传统的Beam-Warming隐式格式的并行化尝试,实现了无粘和粘性空气动力学方程的并行求解。计算中采用了SPMD并行编程模式,并将静态非重叠网格区域分裂技术用于建立计算区域和并行处理系统处理器节点之间的映射。结果表明原等价串行算法的稳定性和收敛性被基本保留,获得的加速比和并行效率较为满意。     

并行校准技术在航空装备计量保障平台中的应用

概述了并行校准的概念和实现方式,并在航空装备计量保障平台上运用了多线程并行校准技术,有效地提高了校准效率；同时,简述了在平台上使用的组件技术和数据结构.最后通过试验验证了所用方法的有效性.     

实现边界元并行分布计算的一种新方法

 给出了实现边界元并行分布计算的一种新方法。它将边界元离散节点分为与计算网络所拥有的处理机台数相对应的若干组, 以此实现任务分配, 独立地计算形成每组节点对应的离散边界元积分方程, 最后利用迭代方法行求解分布的边界元方程组。以弹性问题为例, 在Inmos T800 Transputer 系统上实现了边界元计算。验证了本文方法的可行性与有效性。     

波瓣喷管双层壁扩压器流场的数值分析

采用三维贴体曲线坐标网格，波瓣边界网格加密且正交，在整个计算区域进行全场计算。文中采用了Chen-Kim修正的k-ε湍流模型及同位网格SIMPLC计算方法，对带有双层壁扩压器的波瓣喷管流动进行了冷热态数值计算和分析。对波瓣及双层壁，采用大粘性的方法解决流固耦合，计算结果表明：在双层壁间有外界冷气流被引射进入，形成了壁面的冷却气流，相对单层壁扩压器，双层壁扩压器的壁面温度明显降低；自波瓣出口截面沿流向产生的环流速度场，强化了主次流的掺混，速度分布渐趋均匀。通过试验测试，计算结果与实验数据符合良好，二者在离开波瓣420mm的混合管内相对主流速度的最大误差为15．35％。     

基于GPU的反卷积算法并行优化

反卷积是图像去模糊的基本算法,针对传统反卷积算法在图像去模糊处理中实时性较弱问题,提出基于众核GPU的Iterative Deconvolve 3d反卷积算法的并行优化实现.所提算法将原算法中的核心运算放在GPU上并行实现,利用CPU和GPU协同工作模式,CPU负责串行任务GPU负责并行任务.实验表明:与传统的算法相比,在不影响图片处理效果的前提下,计算速度比CPU上的实现速度提高了近11倍,并具有良好的可扩展性.     

并行化非结构重叠网格隐式装配技术

重叠网格技术广泛应用于复杂外形及多体分离问题的数值模拟,但是超大规模重叠网格装配的鲁棒性和效率依然是实际应用中的瓶颈。基于格心型的有限体积格式,发展了一种并行化的非结构重叠网格隐式装配技术。该技术采用节点的壁面距离作为插值边界的判断准则,并通过物理边界推进确定出活跃区域。此外,基于网格分区策略实现了隐式装配技术的并行化,为了能够适应超大规模的计算网格,在每一个网格子区内单独建立用于查询的交替数字树（ADT）数据结构,整体网格点在各个子区内进行查询,并通过信息通讯接口（MPI）传递查询结果并进行逻辑判断。该并行化的非结构重叠网格隐式装配技术具有较高的自动化程度,通过多体装配算例以及机翼外挂物分离算例,证明了该方法的实用性。     

双层模型机匣和叶片的包容性问题数值模拟

采用显式动力分析有限元技术,研究了飞断叶片模型与机匣模型的撞击过程,并且计算了不同类型机匣模型包容情况下的临界转速。计算结果表明,双层机匣模型的包容能力明显地优于单层机匣模型,间隙情况对双层机匣模型的包容能力有一定的影响。研究结果对多层航空发动机机匣的包容性设计有一定的参考价值。     

跨、超音速流动的区域分解方法与并行算法

研究二维跨、超音速无粘性流动的 Euler方程区域分解方法、并行算法及其应用。通过内边界耦合条件实现相邻子区域解的光滑过渡,以得到总体流场的数值解。发展了一种多块区域之间守恒型的有效内边界耦合方法,对二维翼型跨音速流动和钝头体超音速流动等进行了分区数值求解,分区计算结果与其他单区计算结果作了比较,并讨论了多种区域分解数目的分区计算效率。并行计算采用纯结点并行编程方式和“先进先出”的同步控制等待机制,利用 PVM并行环境对二维绕翼型跨音速流动做了二区和四区分区并行计算。     

压气机数字孪生模型中的仿真技术探索

仿真技术是构建压气机数字孪生体的一种重要手段。为了满足数字孪生过程中准确性和实时性要求,给出了压气机数字孪生模型中的数值模型完备性分析,探索了一种将高性能计算与全环非定常模拟相结合的压气机孪生仿真技术。采用数值完备性定义某S弯进气道中涵道风扇的数字孪生体,从边界条件完备性与几何模型完备性方面分析了不同数值模型对涵道风扇数值孪生结果的影响;再结合现代高性能计算技术提出了一种压气机数字孪生过程中的高效计算技术,并针对某15级压气机开展了多级全环非定常模拟仿真计算。结果表明：满足压气机数值模型完备性要求是实现压气机数字孪生体准确性的前提,同时采用2层次计算模型的高效计算技术是获得压气机孪生模型的一种有效手段。     

面向流场计算的专用超级计算机体系结构研究

 本文在对流体力学等一类大型计算问题的并行计算模型进行分析的基础上,提出了一种可以实现大规模并行处理的专用超级计算机体系结构方案。该系统由一台宿主机和一个多计算机阵列组成一台个人超级计算机。利用专用性,减小复杂性,提高并行性是系统的主要特色。系统采用二维超环结构作为计算机结点之间的互连结构,反映了计算中数据交换的局部性特点,具有好的通信性能。每个计算机结点本身又采用流水线向量处理结构,从而将高层次的多机并行与低层次的向量处理相结合,实现了大规模的并行计算。本文讨论了系统的软、硬件结构并研究和评价了通信性能。     

消息队列在智能优化算法中的应用

针对启发式智能优化算法的特点,为提高算法的优化效率,以消息队列机制为基础提出了一种多线程并行计算技术。讨论了多线程并行计算的模型及原理,介绍了多线程之间通过消息队列相互通信的同步控制技术。通过气动优化问题在不同线程数目下并行计算的比较,表明消息队列可以简化线程间的通信过程,显著提高计算效率,具有一定的实用价值。     

Navier-Stokes方程两层稳定有限元算法分析

分析了定常Navier-Stokes方程的两种两层稳定有限元算法。它们将局部Gauss积分稳定化技术和两层算法的思想充分结合,采用低次等阶有限元P1-P1或Q1-Q1对N-S方程进行数值求解。误差分析和数值算例结果表明,当粗、细网格尺度H=O（h1/2）时,它们与在细网格上的单层有限元算法具有相同的收敛速度,而两层算法却节省了大量的计算时间。相比之下,Simple算法具有更高的计算效率。而且进一步发现Oseen算法能够对小粘性系数N-S方程进行有效求解。     

CE／SE并行计算研究及在Euler方程中的应用

时空守恒元和解元方法(CE/SE)是一种高精度的数值求解方法.采用改进的CE/SE方法和并行分区技术,针对非结构网格,发展了一套求解二维Euler方程的并行程序.对NACA0012翼型的亚跨声速流动和多段翼型复杂绕流进行了分区并行求解,多区并行计算的结果与实验的结果吻合较好,表明了本文研究方法的正确性和有效性.同时文中的分区方法能实现各处理器之间的负载均衡,有效地节省计算时间.     

跨流域三维复杂绕流问题的气体运动论并行计算

通过研究求解描述跨流域三维绕流问题的Boltzmann模型方程气体运动论耦合迭代数值格式,分析气体运动论数值计算方法的内在并行性;从变量依赖关系、数据通信与并行可扩展性三方面开展基于离散速度空间区域分解计算的研究,发展求解稀薄流到连续流跨流域三维复杂绕流问题的并行算法。通过对不同Knudsen数、不同马赫数、不同攻角三维球体及返回舱绕流的并行计算,计算结果与实验数据和理论分析吻合较好。研究表明,该并行算法负载平衡和并行可扩展性较好,对不同并行计算机系统具有很好适应性,显示直接求解分子速度分布函数的气体运动论计算方法有良好的并行计算特性。     

多GPU并行可压缩流求解器及其性能分析

为实现可压缩流问题的大规模高效数值求解,开展基于图形处理单元（GPU）的并行计算研究。在NVIDIA GTX 1070上建立了基于消息传递接口+统一计算设备架构（MPI+CUDA）的多GPU并行可压缩流求解器,该求解器基于结构网格有限体积法,空间离散采用AUSM⁺UP格式。采用一维区域分解法对计算网格进行划分,使得各GPU之间达到负载平衡。针对超声速进气道算例,对算法单GPU并行性能和多GPU可扩展性能进行分析。数值结果显示,单GPU并行计算可以获得37~46倍的加速比,极大地提高了计算效率;4块GPU并行计算加速比从47倍增加到143倍,并行效率维持在70%以上,说明并行算法具有良好的可扩展性。