Lustre文件系统元数据服务恢复机制的改进

Lustre的重启恢复算法需要集群中所有客户端在指定的恢复时间窗口内与服务器重新建立连接,客户端重传未提交的事务请求,服务器严格按照事务序列号重放所有未提交的事务,要求过于严格。针对Lustre可恢复性不强的缺点,提出了基于版本的恢复和共享时提交算法,它们分别对Lustre现有的元数据更新和恢复机制进行了改进和扩展,根据事务之间的依赖关系,允许客户端在更为宽松的条件下进行恢复并加入到集群而不被驱逐,提高了Lustre文件系统的可用性和可恢复性。最后通过一系列实验对改进后的算法的性能进行了评估。     

面向对象存储的文件系统Lustre

针对Lustre文件系统主要运用在高性能计算集群系统上的情况,分析Lustre文件系统的系统结构及其内部实现机制,测试系统在不同参数影响下的性能,认为Lustre可以运用在高性能集群系统上,也能运用在由普通计算机和 TCP／IP网络构建的集群系统上。实验结果表明,在TCP／IP协议和千兆交换机下, Lustre的并发性很难发挥,但设置合适的客户端数和系统参数可以优化其性能,相对本地磁盘系统, Lustre系统仍有较大的性能提高和实用价值。     

Lustre文件系统的性能优化研究

为了进一步推动Lustre在海量存储系统中的应用,在分析其系统结构和数据存储分发机制的基础上,研究如何更全面的优化配置Lustre。结合具体实验环境,首先对比不同网络传输性能对Lustre文件系统的影响;其次深入剖析Lustre自身结构的特点,制定优化策略,同时针对不同的客户端配置也进行了测试优化研究。最后,根据实验结果进一步明确并扩充了影响Lustre文件系统性能的因素,提出一种整体优化Lustre的方案。     

Lustre设置优化分析

在影响Lustre文件系统读写性能的因素中,Lustre文件系统的自身设置是非常重要的,所以研究Lustre文件系统的性能就需要在这个方面进行详细的实验测试,并根据实验结果进行分析,才能提出更符合应用需求的Lustre文件系统读写优化方案。     

基于Lustre文件系统的MPI-IO编程接口改进

针对传统MPI集群并行I/O效率不高的问题,通过分析Lustre并行文件系统的特点和MPI-IO集中式I/O操作的算法,提出了一种基于MPI-IO编程接口的改进方案,用以改善集群I/O瓶颈,提高I/O并行效率,并通过实验验证了该方案的可行性。     

Lustre文件系统I/O锁的应用与优化

分布式文件系统需要有一种机制对来自各个客户端的并发访问进行控制,维护文件数据的一致性。锁是实现并发控制最流行的机制。研究了Lustre文件系统的分布式I/O范围锁的模型,并对它的各种应用进行了优化。介绍了Lustre分布式锁的基本概念,对基于锁实现数据客户端写回缓冲以及多写者文件大小的动态获取的算法进行了分析;提出自适应I/O锁策略,基于区间树的范围锁冲突检测优化策略以及客户端锁淘汰策略来增强Lustre锁服务的性能和扩展性。     

面向Lustre集群存储的错误日志分析及系统优化

集群存储系统的错误日志信息有助于优化存储系统的可用性和稳定性。现有存储系统错误探究主要针对单机存储系统或集群存储系统的部分功能进行分析评估,缺乏在实际应用场景下,同一生产环境中,长时间、多视角的探究工作。新型功能模块的不断融入,使得集群存储系统日益庞杂,集群存储系统自身引发的错误层出不穷,给各类研发人员带来了困扰与挑战。针对以上问题,提出了面向Lustre集群存储的错误日志分析及系统优化策略,通过收集连续1 673天的错误日志,研究了近2.26 GB的Lustre错误日志,分析了多个版本Lustre错误的特点与问题,揭示了集群存储系统各方面的不足与错误,研究了不同Lustre版本错误的影响因素,总结了Lustre集群在实际生产环境中的常见错误,并给出了相应的解决方案。对Lustre系统研发有了许多新的见解,并总结了14个发现,最后通过采集333天的新增错误记录对14个发现进行了相关验证,给出了一些系统错误优化实例。相关测试表明,优化实例可以显著减少错误数量,提高系统的可用性和稳定性,研究结果和建议对集群存储系统本身的发展以及集群存储系统的运行和维护都有一定的参考价值。     

基于Linux集群环境下的虚拟实验室的研究与设计

虚拟实验室是依赖于计算机网络环境下的实验环境,其设计与应用有助于教学创新.虚拟实验室的实现,最需要解决的是实现大量数据的高速计算,对计算机性能有很高的要求.集群系统有良好的性能可扩展性,随着CPU个数的增加,其性能几乎是线性变化的.MPI并行环境是一个廉价、开放、高效的并行计算系统,在Linux集群中利用MPI并行环境可以很好地实现虚拟实验室所需要的高效数据处理.本文主要介绍MPICH的构建方法,提供软件的配置过程,并进行性能测试,本系统可用于图形计算、数值计算等.     

并行文件系统Lustre细粒度I/O性能优化

并行文件系统Lustre粗粒度I/O性能良好,细粒度I/O性能相对粗粒度I/O比较低下,因此优化细粒度I/O性能成为提高系统整体I/O性能的关键问题。在研究和分析了Lustre的I/O访问模式、细粒度I/O服务流程和页面替换算法等方面后,提出了细粒度优先（Fine Grained First,FGF）LRU算法。在OST端及Client端的页高速缓存中最大程度地保留细粒度I/O的页面,降低细粒度I/O引起的页面下沉速度,延长细粒度I/O页面在主存中的时间,进而减少对磁盘的访问次数,降低磁盘访问开销。通过对实验数据的对比和分析,验证了FGF-LRU算法的有效性。在不影响粗粒度I/O性能的情况下,提高了细粒度I/O性能,最终实现提高系统整体I/O性能。     

基于Lustre文件系统的MPI检查点系统实现技术与性能测试

基于协同式检查点的回卷恢复是在大规模并行计算机系统中得到采用的一项重要容错技术,其性能开销主要为协同协议和检查点映像存储所决定.描述了一个在MPICH2中实现的应用透明的并行检查点系统,相比已有的技术,该系统有以下特点：1）协同协议操作利用了并行应用的近邻通信特性,通过虚连接方法减少协议的处理开销;2）采用Lustre文件系统简化检查点映像文件管理的复杂性;3）通过并行I/O操作提高性能,优化检查点映像的存储过程.实际应用的测试表明,该检查点系统具有较小的运行时间开销和良好的可扩展性.     

面向Lustre集群存储的应用日志分析及系统自动优化框架

在科学计算、大数据处理和人工智能等领域,对相关应用负载进行研究,分析负载I/O模式,揭示应用负载变迁规律等,对指导集群存储系统性能优化十分重要。当前应用种类繁多并且应用快速迭代更新,复杂的环境使得对应用负载的特性挖掘充满挑战。针对以上问题,在生产环境中收集了5个Lustre集群存储共计326天的应用日志信息,对应用负载的访问、负载特性进行了深入的探究与分析,并对已有观察进行了验证和补充。通过对应用日志信息横向、纵向和多维度对比分析与信息挖掘,总结了4个发现,并研究相关发现与以往工作的关联性,结合实际生产环境,给出了相应的系统优化策略与切实可行的实施方案,为用户、维护人员、上层应用开发者和多层存储系统设计等人员提供了相关参考与建议。同时,针对实际应用环境复杂、系统优化工作耗时费力等问题,设计并实现了一种系统自动优化框架(SAOF),SAOF可为指定应用负载提供资源预留、带宽限定等功能,初步测试表明,SAOF能根据系统资源与任务负载需求为不同任务提供自动化的QoS保障。     

浅析Linux集群技术

随着网络应用的进一步深入,越来越多的服务器采用Linux操作系统提供邮件、Web、文件存储、数据库等服务。该文主要介绍Linux集群技术的概念、类型、解决方案及各种方案的说明。     

NFS over Lustre性能评测与分析

传统的网络文件系统难以满足高性能计算系统的I/O 需求，基于对象存储的全局并行文件系统Lustre可以有效地解决传统文件系统在可扩展性、可用性和性能上存在的问题。该文介绍了Lustre文件系统的结构及其优势，对NFS over Lustre 进行了性能测试，并将测试结果与Lustre文件系统、NFS网络文件系统及本地磁盘Ext3文件系统的性能进行了比较分析，给出了性能差异的原因，提出了一种可行的解决方法。     

Filter Cache:一种提高Lustre I/O性能的方法

高性能计算系统需要一个可靠高效的并行文件系统.Lustre集群文件系统是典型的基于对象存储的集群文件系统,它适合大数据量聚合I/O操作.大文件I/O操作能够达到很高的带宽,但是小文件I/O性能低下.针对导致Lustre的设计中不利于小文件I/O操作的两个方面,提出了Filter Cache方法.在Lustre的OST组件中设计一个存放小文件I/O数据的Cache,让OST端的小文件I/O操作异步进行,以此来减少用户感知的小文件I/O操作完成的时间,提高小文件I/O操作的性能.     

基于集群技术的Linux虚拟服务器及其配置实例

随着计算机网络的发展，集群作为一种前沿技术越来越被广泛的应用于各个领域，如天气预报、数据挖掘、图像处理、网络负载等。文章首先介绍了集群技术，然后重点阐述了Linux虚拟服务器（LVS）工作原理，最后通过一个LVS配置实例说明集群在负载均衡网络流量中的应用。     

高性能集群文件系统的研究

从解决高性能计算机I/O瓶颈面临的问题着手,详细分析了并行文件系统(PVFS)的结构、存取机制、管理机制和工作机制,为高 性能集群文件系统的建立提供了一种行之有效的解决方法。     

Lustre分布式锁管理器的分析与改进

分布式文件系统一般使用分布式锁管理器技术为系统中的共享资源提供协同访问和一致性视图,并且保证数据并发访问的安全性,避免潜在的数据破坏的危险。本文首先分析了分布式文件系统Lustre分布式锁管理器的基本原理和实现,并针对发生冲突时锁请求的延迟存在的问题提出了改进的方案,它不仅提高了I/O性能,降低访问延迟,而且提高了文件锁服务的可靠性。     

一种新的集群文件系统模型研究

集群作为成本低、高性能并行或分布式计算平台已经成熟,同时提供许多关键服务(高效通信、负载平衡等)的软件包也已经出现,然而对于集群文件系统的可扩展性和高可用性仍然缺乏有效的支持。为此,介绍了一种基于可扩展性和高可用性的集群文件系统模型,并从可用性角度与集群文件系统(CFS,Cluster File System)进行了比较分析。     

集群高效通信机制分析*

集群是当今高性能计算领域的重要发展方向,随着高速互联网络硬件的发展,低效的通信方式成为制约集群整体性能的关键因素。高效的通信机制能够更好地利用互联网络硬件为高性能计算提供更高性能的通信支持,通信性能通常都远高于传统的IP协议。     

Linux集群服务器系统LVS的分析与研究

LVS（Linux vintual Server）是实现集群服务器的一种开放源代码软件,它提供了一个基本框架和几种简单的负载均衡算法。文章通过分析其实现原理、系统组成及代码结构,得出LVS集群服务器三种不同工作模式的架构和数据调度策略的实现机制,从而提出从LVS出发建立一个新的待研究系统时的详细改造方法与步骤,以及所涉及的函数和数据结构等,并据此时不同的应用做出相应的优化和改进。