面向云计算的集群文件系统性能对比测试

虚拟机使用集群文件系统是云计算主要架构模式之一,主要分为共享式集群文件系统和分布式集群文件系统两大类.其中,后者是近年来学术界关注的热点,在产业界也逐渐得到深入应用.采用测试法,选取fio作为测试工具,以IOPS作为度量指标,对比两类集群文件系统的性能优劣.实验结果显示,在单物理机节点配置下进行单台虚拟机IOPS写性能测试,共享式文件系统要好于分布式集群文件系统大约40%,但读性能要差1.5倍;对于多台虚拟机并发测试,则当支持虚拟机运行的共享式/分布式集群文件系统规模小于16台时,前者和后者性能基本一致.否则,后者会明显好于前者.     

DCFS2的元数据一致性策略

随着集群应用对机群文件系统的性能、容量和规模等需求的日益增长,采用多元数据服务器是机群文件系统发展的必然趋势．基于多元数据服务器的分布式元数据处理是文件系统研究的一个重要问题．机群文件系统DCFS2采用分布式日志技术和改进的两阶段提交协议解决了分布式元数据处理下元数据的一致性问题．性能测试结果表明,DCFS2所采用的基于分布式日志的元数据处理策略能够提供高的I／O性能,并能够保证在元数据服务器失效后文件系统快速恢复．     

一种适用于集群文件系统分级存储的分布式锁设计与分析

随着集群存储系统的规模越来越大,在一些系统搭建中出现分级存储的需求.目前集群文件系统的分布式锁管理器对于分级存储管理的数据迁移时,可能无法保证数据的一致性.参考传统分级存储系统的设计中,这里提出了集群文件系统布局锁的概念,通过布局锁来维护文件迁移时数据的一致性.通过分析目前的分布式锁机制在应用于集群文件系统分级功能时的不足,针对性地阐述了适用于集群文件系统分级存储的分布式布局锁,并对分布式布局锁的实现进行了分析.     

大规模集群文件系统LCFS的元数据管理与访问机制

文件系统的元数据包括文件基本属性信息和目录结构信息。在基于集群技术的大规模文件系统中,有效的元数据管理是系统实现的核心。本文在设计了与元数据管理相关的三类协议的基础上,提出了集群化的元数据服务器实现模型,并分析和比较了各种实现方式的优缺点。     

HANDY:一种具有动态扩展性的集群文件系统

针对当前集群文件系统只支持静态扩展、不提供高可用性等问题，提出一种基于全局哈希表的动态扩展协议-GHT．利用该协议实现一种支持节点动态扩展的集群文件系统HANDY，重点阐述了协议的设计、算法和理论分析．实验数据证明．HANDY集群文件系统具有良好的动态扩展性和可用性，减小系统的管理和维护开销．     

蓝鲸文件系统中元数据与数据隔离技术

针对文件系统中元数据访问对应用数据访问的干扰问题,基于资源分配分离及访问路由分发技术,在蓝鲸文件系统中实现元数据和数据存储及I/O时的隔离。测试结果表明,将元数据从数据中隔离并将其独立配置到高速存储后,应用I/O带宽提高了2.6倍~2.8倍,操作吞吐率提高了2倍~5倍。     

用户心中的误区

用户对存储集群产品名称仍存在误解,误以为集群文件系统是只在计算集群环境下使用的文件系统,虽然两者在应用中确实是经典搭配,但却没有必然联系。     

基于SSH和LDAP的分布式安全文件系统*

如何为文件系统提供更完备和更强伸缩性的安全保障是安全文件系统研究的重要方面。基于LDAP技术和SSH协议设计了一个分布式安全文件系统,为文件系统提供了灵活而强大的安全策略保护,介绍了分布式安全文件系统的框架、原理以及安全设计以及分析。     

ENBD：扩展的网络磁盘设备

网络磁盘设备(Network Block Device,NBD)是一种稳定、高效的开源网络存储软件,可被用于构建基于Linux平台的网络存储系统.网络存储系统一般较为复杂,包含的模块通常要兼有多种功能,而NBD只能完成普通数据的网络传输,缺少网络存储系统要求的集群化、扩展性、元数据操作等功能.该文描述如何扩展NBD,使之成为适合蓝鲸集群文件系统的网络存储软件.     

集群流媒体文件系统MFS设计与实现

文章描述了WanLan集群视频服务器上的集群流媒体文件系统(MFS)的设计与实现。MFS是一种支持MPEG文件格式的分布式流媒体文件系统，它由MFS的客户端、管理节点、数据节点以及元数据服务节点组成。MFS流媒体集群文件系统实现了单一系统的逻辑映像、数据和元数据的高可用以及系统自动配置。     

蓝鲸分布式文件系统网络容错的软件技术

蓝鲸分布式文件系统（BWFS）克服了传统存储模式在性能、容量、共享、可扩展性、可管理性等方面的局限性，通过采用连接复制、通道切换、请求重构等网络容错软件技术，在无须额外硬件支持的前提下提高可用性。文章针对系统可用性，分析了BWFS所面临的网络相关故障，从系统软件角度阐述了BWFS所采用的网络容错技术，并对其效能进行了相应的测试比较。     

大容量、高性能、高扩展能力的蓝鲸分布式文件系统

应用需求和计算机技术的发展使网络化存储系统成为网络服务器系统中I／O子系统研究的热点．作为网络存储系统关键部件,分布式文件系统的研究具有非常重要的意义．蓝鲸分布式文件系统(BWFS)是国家高性能计算机工程技术研究中心基于对国内外现有研究成果的分析和研究,自主设计实现的分布式文件系统．它着重于大容量、高I／O吞吐率和高扩展能力等方面特性．BWFS已经用到BW1K网络存储系统中,并通过BW1K的初步评测数据验证了这些特性．     

蓝鲸分布式文件系统网络容错的软件技术

蓝鲸分布式文件系统(BWFS)克服了传统存储模式在性能、容量、共享、可扩展性、可管理性等方面的局限性，通过采用连接复制、通道切换、请求重构等网络容错软件技术，在无须额外硬件支持的前提下提高可用性。文章针对系统可用性，分析了BWFS所面临的网络相关故障，从系统软件角度阐述了BWFS所采用的网络容错技术，并对其效能进行了相应的测试比较。     

BWMMS元数据分布信息缓存管理

BWMMS是BWFS的分布式文件系统元数据服务子系统。它充分利用系统访问负载的动态性和局部性特征，通过简单的集中决策机制管理元数据请求负载在多个元数据服务器的分布。为降低集中决策点可能的瓶颈限制，集中决策点位于元数据请求处理路径的末端。本文介绍各个元数据服务器上用来降低对后端集中决策点的压力，提高元数据访问效率的元数据分布信息缓存，并通过测试数据评估缓存命中率对后端集中决策点和元数据访问效率的影响。     

一种多维度存储文件系统的测试指标体系

现有的文件系统测试工具不能准确、全面地反映文件系统的整体状况。针对该问题,提出一种多维度存储文件系统的测试指标体系,从多个角度探索影响文件系统的因素,阐述存储系统的各项技术指标,为评测和优化存储系统提供支持。介绍自主研发的专用测试工具,并对蓝鲸文件系统和CAPFS文件系统进行测试,结果表明,该文件系统指标体系有效实用。     

Synthesizing Code for Resource Controllers

A distributed system is viewed as a set of objects and processes utilizing the objects. If a shared object, known as a resource, is accessed concurrently, some mechanism is necessary to control use of the resource in order to satisfy the consistency and fairness requirements associated with the resource. These mechanisms are termed resource controllers.     

基于环境一致性的分布式并行数据更新协议

为了保证服务器节点完全对等的分布式并行数据库系统更新结果一致性,提出基于数据环境一致性的分布式并行更新协议DEC-DP2PC(Distributed and Parallel 2PC Based on Data-Environment-Consistency),对经典2PC(two phase commit)在执行条件、表决内容和次数、全局提交和撤销定义等方面进行了针对性改进。性能分析和测试表明,DEC-DP2PC可有效过滤数据副本分布和版本号等数据环境信息不一致情况下事务的执行,减少全局数据环境一致性维护开销和降低系统平均响应时间。     

Development of a distributed collaborative design framework within peer-to-peer environment

Distributed collaborative design and manufacture enables manufacturing organizations to maintain competitiveness in the fiercely competitive global industry. This requires that the distributed system not only maintains data consistency across globally-distributed locations seamlessly, but also allows team members to access the storage system and computing resources transparently and securely. Current grid applications mainly based on client-server architecture are inflexible and rigid for fast changing collaborations among manufacturers, especially for small and medium enterprises. In this paper, a distributed collaborative design framework is presented with a hybrid of grid and peer-to-peer technology. In order to access computational resources for design, analysis and process simulation, a meta-scheduler is designed and implemented. It helps in resource discovery and optimal utilization of resources. A test bed is established, based on the framework proposed to demonstrate a distributed collaborative design and manufacturing environment.     

分布式虚拟环境中的信息服务和资源定位

在分布式虚拟环境系统中,存在多种不同的资源,如场景中的实体、用户化身、ＣＰＵ、内存、网络等,而在碰撞检测、动态负载平衡、场景数据的一致性维护、系统的安全服务等操作中都要求对系统中的资料进行查找、定位。将资料作为对象来解决分布式虚拟环境系统的信息服务和资源定位,提供对分布的不同机器上的各种不同资源动态信息的有效、可靠访问。