一种机群文件系统的缓存模型

提出了一种新的机群文件系统缓存模型，它充分利用机群系统累积的系统资源和高速的互联网络，将文件系统元数据和内容数据分离，分别使用分布式元数据缓存和统一缓存模型进行管理。元数据缓存使用改进的广播一致性协议和LRU替换算法。内容数据统一缓存则将磁盘缓存整个文件和内存缓存文件块相结合组成一个单一映像的多层次分布协作缓存，并使用单拷贝优先LRU和向前传递调度缓存块替换算法以及一种贪心的数据预取方法。实验结果表明，这两种缓存机制结合使用能极大地提高机群文件系统的性能。     

NVMMDS——一种面向非易失存储器的元数据管理方法

元数据管理方法是影响文件系统性能的重要因素.针对现有元数据管理方法存在的查找性能低、适应性差和丢失元数据等问题,设计了面向非易失存储器的元数据管理方法(NVMMDS).首先针对元数据的访问特性和管理要求,给出了NVMMDS的结构和元数据管理流程,混合使用非易失存储器和DRAM存储元数据,为提高元数据查找性能和避免丢失元数据奠定了基础;设计了基于NVBB树的元数据查找算法和基于主动写回的元数据缓存算法,提高了元数据的查找性能,增强了元数据管理方法的适应能力,避免了元数据丢失问题.与现有元数据管理方法进行了分析和比较,在单机文件系统ReiserFs和分布式文件系统pNFS中实现了NVMMDS原型,使用FileBench和多个标准数据集进行了测试与分析,验证了NVMMDS能提高文件系统最大35％的操作处理速度和I/O性能.     

BWMMS元数据分布信息缓存管理

BWMMS是BWFS的分布式文件系统元数据服务子系统。它充分利用系统访问负载的动态性和局部性特征，通过简单的集中决策机制管理元数据请求负载在多个元数据服务器的分布。为降低集中决策点可能的瓶颈限制，集中决策点位于元数据请求处理路径的末端。本文介绍各个元数据服务器上用来降低对后端集中决策点的压力，提高元数据访问效率的元数据分布信息缓存，并通过测试数据评估缓存命中率对后端集中决策点和元数据访问效率的影响。     

基于Ceph文件系统的元数据缓存备份

针对Ceph文件系统元数据写操作响应时间较长的问题,提出一种对元数据缓存进行备份的方案。该方案采用多个元数据服务器之间互相备份写缓存数据的方法,保证元数据的可靠性,并设计基于元数据热度的多队列缓存组织结构,以及相应的缓存预取与倒盘算法。实验结果表明,与原始的Ceph系统相比,该方案的元数据访问性能提升15.7%。     

PVFS客户端目录缓存设计与实现

缓存技术是提高并行文件系统性能的关键性技术。在并行文件系统中实现客户端目录缓存，不仅可以减轻目录服务器的压力，避免目录服务器成为系统瓶颈，而且可以简化客户端操作过程，提高并行文件系统的性能。该文对PVFS并行文件系统进行了分析，建立了客户端目录缓存模型；就客户端目录缓存实现的一些关键性问题，如缓存池开辟位置、一致性等问题进行了研究，给出了解决方法，并在此基础上实现了一个客户端目录缓存的原型系统。测试结果表明，加入缓存后，PVFS系统性能有所提高。     

一个基于类型元数据的轻量级ORM框架设计

关系对象映射框架为消除对象和关系数据库之间的阻抗提供了有效的解决方案，目前虽有很多优秀的ORM框架已得到广泛的应用，但ORM的一些固有缺陷，如繁琐的配置文件和关联域模型、过度复杂的持久层API和性能低下的缓存结构，对项目开发产生了一定的负面影响，也增加了学习成本。该文针对ORM的上述缺陷，设计并实现了基于类型元数据的轻量级ORM框架Speed，它使用约定规则和类型元数据反射技术完全消除了ORM映射文件，采用简单高效的对象标识缓存和查询缓存，有效地提高了系统性能，并结合实际系统阐述了如何使用Speed的简单API实现ORM的快速开发。     

一种SAN环境下集群文件系统的元数据缓存研究

为了发挥SAN环境的存储访问优势,阐明了一种以CIFS协议为原型的集群文件系统,通过考察此架构下数据和元数据相互独立又彼此制约的特殊关系,提出了一种元数据缓存方法;为了减少因元数据获取而给数据读写带来的性能损失,对元数据缓存舍弃了原有的管理方法,尽可能地保证其在客户端是可缓冲的;针对可能引起客户端与服务器端元数据不一致的情况进行了分析,并提出了解决方法;最后通过测试进行了初步验证.     

PVFS寄生式元数据管理的设计与实现

针对PVFS的元数据管理方法中，存在着系统效率低下的问题，提出了一种寄生式的元数据管理方法。在LinuxOs文件系统cxt2的内核基础上实现了该方法，提供了元数据操作功能。通过测试，并与原来的基于文件操作的管理方法进行了比较分析，结果表明，元数据操作的性能提高了4～8倍。     

分布式文件系统元数据服务的负载均衡框架

请求负载均衡,是分布式文件系统元数据管理需要面对的核心问题.以最大化元数据服务器集群吞吐量为目标,在已有元数据管理层之上设计实现了一种分布式缓存框架,专门管理热点元数据,均衡不断变化的负载.与已有的元数据负载均衡架构相比,这种两层的负载均衡架构灵活度更高,对负载的感知能力更强,并且避免了热点元数据重新分布、迁移引起的元数据命名空间结构被破坏的情况.经观察分析,元数据尺寸小、数量大,预取错误元数据带来的代价远远小于预取错误数据带来的代价.针对元数据的以上鲜明特点,提出一种元数据预取策略和基于预取机制的元数据缓存替换算法,加强了上述分布式缓存层的性能,这种两层的元数据负载均衡框架同时考虑了缓存一致性的问题.最后,在一个真实的分布式文件系统中验证了框架及方法的有效性.     

一种基于授权机制的分布式文件系统小文件访问优化策略

针对分布式文件系统应用于海量小文件访问模式时, 元数据请求过多导致系统性能下降的问题, 提出了客户端元数据缓存授权机制的解决方案. 客户端从服务器读取元数据时, 申请相应类型的授权, 服务器分析请求并决定是否授予此客户端所访问的元数据的授权. 若客户端成功获取授权, 则将其与本地缓存的元数据相关联, 作为缓冲有效性的凭证. 当再次访问本地缓存的元数据时, 若有相关授权, 则可以直接从本地获取元数据, 无需向服务器发送缓存数据的有效性验证RPC. 仿真实验表明, 文中的方法有效的降低了客户端发送元数据请求RPC的数量, 节省了宝贵的网络带宽资源, 降低了元数据服务器的负载.     

加快分布式文件系统元数据访问的研究与实现

元数据操作是影响分布式文件系统性能的一个关键因素。笔者深入研究了分布式文件系统Lustre的元数据存储方式及其访问特点,针对提高元数据的服务效率提出了一种改进方案。该方案将指定的扩展属性(系统元数据)在扩展属性块中的地址偏移存放到元数据文件索引节点的数据区域中,减少了扩展属性遍历的开销。系统测试和分析表明,改进后的系统有更高元的数据访问效率。     

数据网格中高效的元数据管理策略

在数据网格中,提出了采用完全分布方式、基于智能Cache和语义的元数据管理策略,在管理策略中设计一个元数据管理系统的体系结构SMICC.该体系结构引入了智能Cache和语义信息的方式来对元数据系统进行管理,减少远程访问时间和增加查询的准确度.SMICC可以利用智能Cache和语义信息处理不同的情况,可以根据本地可用的元数据进行查询的分解形成子查询,用户可以从本地Cache中获得元数据查询结果的一部分,剩下的部分可以从远程位置获得.通过语义信息和已有元数据,不仅可以使系统达到更好的扩展性和可用性,而且在保证用户访问质量的同时也提高了访问效率.     

基于模型驱动元数据管理策略的研究

目前,元数据管理存在这样的问题,各开发商使用不同的元模型来设计自己的数据仓库工具,而且对元数据的描述往往不一致,这样给数据集成带来很大的问题。使用一种基于模型驱动的方式,将元数据描述规范化,并运用基于模型驱动的公共仓库模型CWM(Common Warehouse Metamodel)来实现这一过程。该模型可以充分发挥软件的复用性,使系统有良好的通用性,从而提高系统开发效率。     

数据仓库系统中的元数据管理

人们对数据分析的要求的不断提高导致了数据仓库的发展,而在建设数据仓库的过程中元数据管理起着至关重要的作用。详细而准确的元数据对于数据仓库的创建、数据加载、运行维护、清理脏数据等工作都必不可少。文章在对数据仓库系统中的元数据以及元数据管理进行全面分析的基础上,较为详细地介绍了笔者自行开发的数据仓库系统SEUwarehouse中的元数据及其管理的设计与实现。     

Improving Metadata Caching Efficiency for Data Deduplication via In-RAM Metadata Utilization

We describe a data deduplication system for backup storage of PC disk images, named in-RAM metadata utilizing deduplication (IR-MUD). In-RAM hash granularity adaptation and miniLZO based data compression are firstly proposed to reduce the in-RAM metadata size and thereby reduce the space overheads required by the in-RAM metadata caches. Secondly, an in-RAM metadata write cache, as opposed to the traditional metadata read cache, is proposed for further reducing metadata-related disk I/O operations and improving deduplication throughput. During deduplication, the metadata write cache is managed following the LRU caching policy. For each manifest that is hit in the metadata write cache, an expensive manifest reloading operation from the disk is avoided. After deduplication, all the manifests in the metadata write cache are cleared and stored on the disk. Our experimental results using 1.5 TB real-world disk image dataset show that 1) IR-MUD achieved about 95% size reduction for the deduplication metadata, with a small time overhead introduced, 2) when the metadata write cache was not utilized, with the same RAM space size for the metadata read cache, IR-MUD achieved a 400% higher RAM hit ratio and a 50% higher deduplication throughput, as compared with the classic Sparse Indexing deduplication system where no metadata utilization approaches are utilized, and 3) when the metadata write cache was utilized and enough RAM space was available, IR-MUD achieved a 500% higher RAM hit ratio compared with Sparse Indexing and a 70% higher deduplication throughput compared with IR-MUD with only a single metadata read cache. The in-RAM metadata harnessing and metadata write caching approaches of IR-MUD can be applied in most parallel deduplication systems for improving metadata caching efficiency.     

数据网格中一种基于副本和缓存的元数据管理系统

元数据管理是数据网格的关键技术之一．对全局分布式存储系统GDSS(global distributed storage system)中的元数据管理进行了改进，提出了一种基于副本和缓存的分布式元数据管理系统RCMMS(replication and cache based distributed metadata management system)，缓存设置在GDSS系统中的存储服务点SSP(storage senice point)端．还讨论了RCMMS的设计、实现以及测试．RCMMS提供了动态管理元数据副本的有效算法．分析和测试表明，副本结合缓存的元数据管理方案在性能上超过了GDSS现有的元数据管理系统，有着较好的可靠性．     

MHS: A distributed metadata management strategy

This paper proposes a novel distributed metadata management strategy to efficiently handle different metadata workloads. It can deliver high performance and scalable metadata service through four techniques, including directory conversion metadata, mimic hierarchical directory structure, flexible partition methods targeted different kinds of metadata of diverse characteristics, and the application of database to metadata backend. Using micro-benchmarks and a prototype system, we firstly demonstrate the performance superiority of our strategy compared to Lazy Hybrid, and then present the detailed performance results and analysis of our strategy on different MDS scales.     

基于规则的HTML文档元数据提取

提出了一种基于规则提取HTML文档元数据的方法，介绍了规则的语法、语义和规则库的设计，研制了一个原型系统MEDES(MEtaData Extracting System)，实现HTML文档元数据的自动提取。文章的最后给出了实验结果和评价，并指出进一步的工作。