集群计算系统中并行I/O模拟器的研究与设计

论文对集群计算系统中的并行I／O技术作了分析，在理论研究基础上提出并行I／O模拟器的框架模型及研究、设计该模拟器的思路，并开发了一个并行I／O模拟器CLU—PIO—SIM的部分功能。     

Trace生成对大规模并行性能模拟的影响及其改进策略

Trace生成是trace驱动体系结构模拟中不可或缺的步骤。Trace不仅需要占用大量存储空间,其生成过程还可能对目标应用程序的模拟执行产生一定程度的干扰,导致性能数据误差。Trace驱动并行性能模拟器由于其设计实现特点和所运行的宿主并行平台的多样性,使得trace生成的影响具有其独特性。本文选取典型并行模拟器BigSim和若干具有不同计算通信比的目标并行程序,在三个支持不同traceI/O方式的宿主机平台上设计实验评估了trace生成对并行性能模拟的影响,结果表明trace生成对模拟效率和精度均有较大的影响,并分析了这种影响与并行模拟器实现和宿主机平台I/O方式的关系,进而讨论了几种可行的改进方案,对trace驱动并行模拟器设计、实现和使用具有一定的指导意义。     

使用MPI的并行I/O实现及性能分析

论文讨论了并行环境中I/O的基本方法——串行I/O方法和并行I/O方法,并使用MPI-1及MPI-2对这两种方法进行了实现。分析了不同的实现方法对I/O带宽产生的影响。通过理论分析和实验表明,基于MPI-2的并行I/O实现方法与其它I/O实现方法相比,可得到更高的I/O带宽,是解决I/O性能问题的有效途径。     

并行文件系统I/O特征

并行文件系统是并行计算系统的存储子系统,I/O性能是并行计算系统研究的重要方面.本文分析了并行文件系统I/O研究的难点,研究了并行文件系统的I/O特征和关键技术,指出了并行文件系统I/O性能研究未来的研究方向,为并行计算系统的设计和优化提供重要参考.     

集群环境下I/O文件传输调度器的设计与实现

近年来研究人员对高性能计算中的并行I/O问题进行了深入研究,然而这些研究主要针对MPP问题,而对集群计算机系统中并行I/O问题的研究不多。因此,对于集群计算中的并行I/O系统进行研究是一个重要的研究课题。对集群计算中的并行I/O传输调度效率进行研究,设计了一个文件传输调度器,可以实现文件传输最快捷,节点资源最大利用,显著提高I/O节点吞吐率和反应时间。经过大量数据的测试和实验证明该调度器的有效性和适用性。     

并行文件系统研究综述

对于运行在机群上的一类I/O密集型应用,I/O成为整个系统的瓶颈,并行文件系统是解决I/O瓶颈问题的重要方法.但如何实现高性价比且高可用的并行文件系统,目前还没有一个成形完整的解决方案.本文阐述了并行文件系统的功能和模型,对现存的并行文件系统从三个不同的角度进行了分类,详细分析了设计并行文件系统的5个关键技术,分析评价了具有代表性的并行文件系统优缺点,最后讨论了进一步的研究工作.     

基于直接数据访问的并行文件系统

并行文件系统是高性能计算机为提高I／O带宽在软件方面采用的主要并行I/O技术之一。该文介绍了一种基于直接数据访问的并行文 件系统的设计和实现,阐明了该并行文件系统具备的主要功能及解决的关键技术问题。     

大规模并行操作系统研究

通过对大规模并行超级计算机模拟器上运行的操作系统进行分析,发现超级计算机内部计算节点、I/O节点和服务节点对操作系统各模块的需求是不同的,一个通用的操作系统无法满足不同类型节点的需求。提出了一种轻核心结构的操作系统并在模拟器上实现了原型系统SandOS,它包括计算节点轻核心SandPOS、I/O节点操作系统FileServer和服务节点操作系统MonitorServer。对计算节点轻核心SandPOS与通用的操作系统在内存开销、调度效率、运行效率、页表管理等方面的性能进行了分析对比,结果显示出超大规模并行系统中,SandOS比通用的操作系统具有更好的执行效率。     

基于HDF5的结构网格计算流体动力学程序并行I/O技术

大规模计算流体动力学(CFD)计算对数据I/O能力提出了很高需求。层次式文件格式(HDF5)可有效管理大规模科学数据,并对并行I/O具有良好的支持。针对结构网格CFD并行程序,设计了其数据文件的HDF5存储模式,并基于HDF5并行I/O编程接口实现了其数据文件的并行I/O,在并行计算机系统上进行了性能测试与分析。结果表明,在使用4~32个进程时,基于HDF5并行I/O方式的写文件性能比每进程独立写普通文件的方式高6.9~16.1倍;基于HDF5并行I/O方式的读文件性能不及后者,为后者的20%~70%,但是读文件的时间开销远小于写文件的时间开销,因此对总体性能的影响较小。     

多模式并行I/O测试程序Jetter的研究与实现

并行I/O系统有多种存取模式,它们有各自的存取特点和适用范围。为了获得不同模式下的系统性能,并行I/O测试中往往要综合使用多种微测试程序。这不仅要求用户深入了解并行I/O的特点,而且要求他们熟悉各种并行I/O微测试程序的输入与输出。提出并实现了一个并行I/O测试Jetter,它从接口类型、存取模式和进程－文件关系的角度划分了并行I/O接口,不仅能够测试I/O系统在上述模式下的性能,而且简化了测试工作。实际应用Jetter表明,并行I/O系统对不同模式的支持效果不同,最高差异可以达到两个数量级以上,这些测试结论有助于用户开发高质量的并行程序。     

基于HD F5实现多区结构网格CFD程序的并行I/O

计算流体动力学（computational fluid dynamics ,CFD）是高性能计算重要应用领域之一,其计算涉及大量数据访问．在大规模并行计算情况下,串行I/O的性能与计算能力不匹配,I/O成为性能瓶颈．并行I/O 是解决这一问题的主要途径之一．针对一个真实多区结构网格CFD 并行程序 HOSTA （high‐order simulator for aerodynamics）,基于HDF5（hierarchical data format v5）数据存储格式及其并行I/O编程接口,实现了其主要数据的并行I/O．在一套有6个I/O服务器结点的高性能计算机系统上,采用实际C FD算例进行了性能测试．对一个三角翼算例,并行I/O相对于串行I/O的性能加速比达到21．27,最高获得5．81 GBps的I/O吞吐率,并使程序整体性能提高10％以上;对一个网格规模更大的简单翼型算例,并行I/O最高获得了6．72 GBps的I/O吞吐率．     

分布式I/O日志收集系统的设计与实现

随着存储系统的快速发展,以及实际应用中对存储系统的要求日益苛刻,为了研究存储系统I/O子系统的运行形态,设计并实现了一种分布式I/O日志收集系统,该系统能够通过总控制台同时控制分布式系统的多个节点并行收集分布式系统的I/O日志,为分析和回放分布式系统的I/O日志提供有效的数据,且详细描述了系统的设计与实现。     

并行科学计算应用中采样数据的聚集I/O

采样数据的并行I/O制约一些并行应用的运行效率。设计、实现了采样数据的聚集并行I/O方法。该方法在客户端部署采样数据缓存,然后合并数据到输出进程,再存储到文件。为了保障并行程序长时间运行过程中采样数据的存储一致性,该方法在JASMIN框架中监测应用程序的运行状态,当并行程序发生负载平衡或者重启动时刷新或者恢复数据。I/O过程中,进一步使用HDF5的分块I/O提高列存储数据的读写效率。测试表明,新方法不仅具有较好的可扩展性,还能在具有负载平衡与重启动等复杂功能的并行应用中提高采样数据的并行 I/O 效率7.5倍以上。     

基于Linux的SMP机群环境中并行I/O模型研究

提出了一个基于数据通路的波浪推进式并行I/O模型框架,并在基于Linux的SMP机群系统中,根据波浪推进式并行I/O模型框架对各个数据通路进行建模,具体分析了这个波浪推进式并行I/O模型,从思路上解决了刻画并行I/O性能的并行I/O模型问题。     

基于MPI的并行I/O方法

基于MPI-2规范的并行I/O方法,以并行矩阵乘法问题为例,比较了并行I/O和串行I/O的性能,给出了并行I/O方法的应用实例。     

地理栅格数据的并行访问方法研究

在海量地理栅格数据处理中,数据I/O性能是影响处理算法程序整体性能的关键。目前针对地理栅格数据 I/O优化问题的研究成果还很有限,通过对并行程序中的数据I/O模式进行深入分析,结合栅格数据逻辑模型和物理 模型的特点,提出了面向地理栅格数据的并行I/O框架;基于消息传递模型,实现了4种并行访问方法。实验证明,并 行访问方法优于传统的串行访问方法和分时多进程访问方法。该研究成果可以提高并行栅格处理程序的I/()访问效 率,进而提高其整体并行性能。     

国防科大计算机学院工学博士学位论文摘要

面向并行科学计算应用的并行文件系统作者:卢凯(1999.10)导师:金士尧教授　　本文针对并行科学计算应用,集中研究了在大规模并行处理系统上实现高性能并行文件系统的若干关键技术。本文深入研究了当前国际上的各种并行文件系统技术,分析归纳了其优缺点。在此基础上,我们从并行科学计算应用的I/O访问模式、面向并行科学计算应用的并行I/O服务模型及相关界面、并行I/O服务算法和cache预取算法等方面提出了提高其服务性能的若干技术。本文通过动、静态相结合的分析技术分析了若干典型并行科学计算应用的I/O访问特性,提取了并行科学计算应用…     

基干MPI的并行I/0方法

基于MPI-2规范的并行I/O方法,以并行矩阵乘法问题为例,比较了并行I/O和串行I/O的性能,给出了并行I/O方法的应用实例.     

SNFS并行文件系统负载均衡技术的研究与实现

在大规模集群系统的并行运算环境中,I/O效率一直是影响系统整体性能的关键因素,并行文件系统技术是目前解决I/O性能瓶颈的有效途径之一。介绍当前并行文件系统的发展现状以及并行文件系统的类型,阐述SNFS并行文件系统的架构以及负载均衡DLC(分布式LAN客户端)技术的实现原理,并给出大规模集群系统环境中SNFS文件系统负载均衡技术的实现方法,最后,通过实际应用分析说明该技术在提升I/O性能上的优势。     

I/O受限的并行加速比模型与可扩展I/O体系结构

为了缓解I/O瓶颈问题,可以从应用程序、可扩展算法、编译器和语言、运行时库、操作系统和体系结构六方面展开研究。其中,I/O体系结构是所有技术途径的关键支撑。当前并行I/O性能分析缺乏科学的理论模型为I/O体系结构设计提供理论依据。本文针对并行计算机系统的可扩展性问题,研究了I/O负载对并行计算机系统可扩展性的影响,建立了I/O受限的并行加速比性能模型,对目前大规模并行计算机系统中三种常用I/O体系结构的可扩展性进行了分析;以此为理论依据,提出了一种面向高性能计算的可扩展并行I/O系统结构。同时,还提出了几种有效降低I/O操作服务时间的策略,从而达到增强系统可扩展性的目的,为后续研究奠定了基础。