非规则、核外并行计算研究综述

非规则、核外计算既是大规模并行应用普遍存在的问题,也是影响大规模并行应用效率的关键问题.本文从并行处理模型、运行支持库实现和并行优化三个方面对非规则、核外计算技术进行了全面综述,并对典型研究成果的特点和不足进行了分析.如何充分利用系统结构的特点和应用数据本身的特点,寻求非规则、核外计算处理的优化是现有技术发展的共同思想.在此基础上,指出了处理两类问题的技术相关性以及在SMP集群系统结构和网络存储环境下,解决非规则、核外计算的新思路:一是从问题描述、编译优化、运行支持等多层次协同研究充分利用系统结构特点的优化技术,二是从应用问题出发,在并行粒度确定、并行范例选择等方面统一非规则、核外计算的处理,三是研究新的支持非规则通信的优化技术和动态负载均衡方法.     

海量模型实时交互可视化技术综述

综述了海量模型实时交互可视化的最新研究进展,详细讨论了其中涉及的主要支撑技术,并对目前国内外典型的交互绘制系统进行比较和分析;最后,对今后的发展方向进行了展望。     

基于连续HLOD的大规模场景快速绘制算法

大规模场景的快速绘制是虚拟现实技术重要的研究课题之一.为了加速场景的绘制,一般采用层次细节模型和可见性裁剪方法,但是现有算法在处理大规模场景时存在着局限性.本文提出了一种新的大规模场景快速绘制算法,该算法在场景层次划分的基础上,利用拓扑结构可变的网格简化方法为场景层次计算连续的分层层次细节模型（HLOD）;然后在实时绘制阶段,对场景分层层次细节模型进行视点相关的全局和局部细化,并结合快速有效的视域裁剪,从而大大加速了场景绘制速度.实验结果表明该算法是简单有效的,并且算法还可以进一步扩展到外存方式.     

面向大规模并行数值模拟的一种高效数据组织方式

针对现代大规模并行数值模拟数据的存储与I/O问题，提出一种高效的数据组织方式。该方式基于XML VTK格式数据I/O通用模块，输出支持随机访问、数据压缩及可移植二进制编码的并行数据文件。与传统方式相比，按照这种方式组织数据，可以降低数据的存储规模，提高可视化处理的速度。经测试，数据存储开销可降低到原存储开销的30%，数据载入到可视化软件的速度提高90%以上。且这种组织方式适于引入out-of-core技术进一步提高可视化处理效率。     

海量超声数据体可视化研究

近年来,随着科学数据的快速增长,海量数据的可视化分析成了急需解决的难题.越来越多的处理海量数据的方法向着并行、分布式处理的方向发展.本文提出了一种混合的框架来处理海量的超声数据,该框架通过整合多种硬件环境和计算资源来处理海量数据;所有的数据都存放在一个基于高速网络环境的数据共享中心,具有高性能显卡的前端工作站将耗时的处理任务分配到网络中的计算结点,而自身处理显示和交互的操作;同时基于OpenCL和OpenMP实现了可视化算法在GPU和CPU上的并行计算;核外算法应用在本框架中来处理海量的体数据.实验结果表明,本文提出的框架不仅可以处理海量数据,而且具有较高的交互性能.     

基于多分辨率数据源镶嵌的大规模地形实时绘制算法

针对不同分辨率的测量地形数据源,提出了镶嵌四叉树模型,用以实现对多分辨率数据源的镶嵌,以及与细节层次(LOD)算法的融合.设计了基于此模型的批LOD算法,给出了相关公式,并设计了一种从CPU到GPU的渐进LOD数据传输方法.分析了镶嵌四叉树的场景浏览模式,设计了基于此模型的双向两级外存数据调度算法,通过水平、高度两个方向的预测和两级数据预取实现数据页的动态更新,实现了三维地形场景的快速构建和实时浏览.实验表明,该算法能够快速处理大规模多分辨率数据源并且能够充分发挥CPU、GPU与I/O的效率,从而在有限环境下进行快速实时绘制.     

Cacheap: Portable and Collaborative I/O Optimization for Graph Processing

Journal of Computer Science and Technology - Increasingly there is a need to process graphs that are larger than the available memory on today’s machines. Many systems have been developed...     

集群下Cholesky分解的核外预取算法

核外计算中,由于I/O操作速度比较慢,所以对文件的访阿时间占的比例较大.如果使文件操作和计算重叠则可以大幅度地提高运行效率.软件数据预取是一种有效的隐藏存储延迟的技术,通过预取使数据在实际使用之前从硬盘读到缓存中,提高了缓存(cache)的命中率,降低了读取数据的时间.通过设置两个缓冲区来轮流存放本次和下一次读入的数据块,实现访存完全命中cache的效果,使Cholesky分解并行程序执行核外计算的效率得到了大幅度的提高.同时,I/O操作的时间与CPU的执行时间的比例也是影响效率的主要因素.     

基于核外计算的Datalog引擎设计与实现

随着新兴技术的迅速发展,领域软件对开发效率提出了新的要求. Datalog语言作为一门具有简洁语法和良好语义的声明式编程语言,能帮助开发人员快速开发和解决问题,近年来越来越受到重视与欢迎.但解决真实场景问题时,现有的单机Datalog引擎计算规模往往受限于内存容量大小,不具有可扩展性.为解决上述问题,设计并实现基于核外计算的Datalog引擎.方法首先设计一系列计算Datalog程序所需的支持核外计算的操作算子,然后将Datalog程序转换合成带核外计算算子的C++程序,接着方法设计基于Hash的分区策略和基于搜索树剪枝的最少置换调度策略,将相应的分区文件调度执行计算并得到最终结果.基于该方法,实现原型工具DDL (disk-based Datalog engine),并选取广泛应用的真实Datalog程序,在合成数据集以及真实数据集上进行实验,实验结果体现了DDL良好性能以及高可扩展性.     

海量医学数据处理框架及快速体绘制算法

设计并实现了一套针对海量数据的处理和分析算法框架,并将其融入实验室早先开发完成的医学影像算法研发平台MITK(medical imaging toolkit)中,真正建立起一个海量医学影像数据的处理平台,并在此基础上研究了针对海量数据的基于光线投射和三维纹理的快速体绘制算法,提出了一种半自适应分块的方法对原始数据进行分块,在不对分块速度产生太大影响的基础上得到了更好的分块结果,同时使用图形硬件来进一步加速整个算法的绘制流程.实验结果表明了该平台和算法对于海量医学数据处理和可视化的有效性.