共查询到19条相似文献,搜索用时 62 毫秒
1.
2.
一种SAN环境下集群文件系统的元数据缓存研究 总被引:1,自引:0,他引:1
为了发挥SAN环境的存储访问优势,阐明了一种以CIFS协议为原型的集群文件系统,通过考察此架构下数据和元数据相互独立又彼此制约的特殊关系,提出了一种元数据缓存方法;为了减少因元数据获取而给数据读写带来的性能损失,对元数据缓存舍弃了原有的管理方法,尽可能地保证其在客户端是可缓冲的;针对可能引起客户端与服务器端元数据不一致的情况进行了分析,并提出了解决方法;最后通过测试进行了初步验证. 相似文献
3.
并行文件系统与并行I/O研究 总被引:1,自引:0,他引:1
集群计算系统中并行文件系统的研究是当前计算机与网络技术中的一个热点问题,而并行I/O是缓解系统数据输入输出瓶颈的一个技术途径。论文对当前集群系统中的并行文件系统与并行I/O做了研究,阐述了研究发展的现状、关键问题等,指出了在集群计算系统中的文件组织、分布以及其在磁盘上的实现、数据的访问特性、高性能网络文件系统、系统的负载平衡与缓冲和预取策略。 相似文献
4.
集群计算系统中并行文件系统的研究是当前计算机与网络技术中的一个热点问题,而并行I/O是缓解系统数据输入输出瓶颈的一个技术途径.论文对当前集群系统中的并行文件系统与并行I/O做了研究,阐述了研究发展的现状、关键问题等,指出了在集群计算系统中的文件组织、分布以及其在磁盘上的实现、数据的访问特性、高性能网络文件系统、系统的负载平衡与缓冲和预取策略. 相似文献
5.
6.
智能分布式并行文件系统的研究与实现 总被引:1,自引:0,他引:1
信息时代大量数据安全可靠、高效合理的存储面临着新的问题,它对数据管理系统提出了更高要求。由多台高档Pc机构建分布式并行服务器使这问题能得到很好的解决。以下从文件系统的角度分析、研究了这些新的问题中急需解决的数据存储的智能化管理问题;提出了数据分布式存储后的智能化管理模型;介绍了该模型在分布式并行服务器上的设计与实现. 相似文献
7.
8.
9.
并行文件系统已作为超级计算机提高I/O带宽最常用的方法之一,鉴于超级计算机之间体系结构的差异,其设计和实现方法也不同。本文就IntelTFLOPS的并行文件系统(PFS)作一介绍。 相似文献
10.
针对集群缓存系统的特点,对其内部各代理缓存进行了详细的研究.在缓存副本的存储方面,采用了面向网站的存储方案,更好的实现个性化服务的功能;在缓存副本的管理方面,采用了将替换和一致性结合在一起的RCA算法,使得整个系统有较高的命中陈旧率;在代理协作方面,通过重定向的方法将请求从未命中的代理转发给缓存了请求的代理,避免了代理之间复制对象,有效地减少了缓存对象的冗余度.通过理论分析推导,证明了它能大大减少访问延迟、有效地减轻了Web服务器的负担.实验证明,本协作方案有较高的命中率. 相似文献
11.
PVFS并行文件系统采用集中式的元数据服务器,这使得元数据服务器在大量的文件操作情况下成为I/O瓶颈。该文通过增强PVFS的客户端和元数据服务器的相关功能,使得客户的文件请求按照文件名的Hash变换转向不同的元数据服务器,在保留原来的用户访问方式和系统配置不变的情况下实现元数据服务器的并行化,达到明显提高元数据服务器的总吞吐量和可扩展性。 相似文献
12.
罗秋明 《计算机工程与应用》2006,42(19):115-118
并行文件系统PVFS的数据服务器负载分配缺少均衡机制,因此无法减轻热点数据服务器负荷。通过文件数据备份的方式将任务迁移,同时解决在迁移过程中的数据服务器与元数据服务器上的数据一致性,将热点数据服务任务转移到较空闲的服务结点上,可以提高整个系统的数据吞吐率。主要涉及了热点监测与报告、迁移源-目的的选取以及数据备份与任务迁移过程三个部分的工作。由于采用了机制与策略分离的设计思想,在该框架下可以采用不同的均衡策略(算法)以适应不同的应用。 相似文献
13.
14.
PVFS(ParallelVirtualFileSystem)广泛应用于PC集群并行计算环境中,通过ROMIO形式的MPI-IO接口与MPICH结合,用于提高数据文件的访问性能,通过对PVFS的源代码分析,得出PVFS的系统架构、运行机制与采用的策略,并在这个基础上找出元数据服务器并行化的可行性,以设计出并行元数据服务方案来提高元数据访问的吞吐率。 相似文献
15.
PVFS文件系统吞吐率分析和改进 总被引:1,自引:0,他引:1
1.引言近年来工作站机群系统以其低成本、高性能而日益成为高性能计算的潮流。尽管机群系统为许多应用提供丁高性能的计算平台,但是其相对低速的文件系统成为了系统的瓶颈,因此提高机群文件系统的性能具有重要的意义。吞吐率是指在单位时间内所处理的作业数,它是评价系统性能的一个重要指标。PVFS是一个机群文件系统,目前在大规模并行计算 相似文献
16.
分析PVFS并行文件系统的构成,得出客户机软件、元数据服务器软件和数据服务器软件之间的接口关系,然后研究一种由PC客户机、PC元数据服务器和低价数据服务器共同构成的PVFS系统,其中客户及与元数据服务器不做重要改变,数据服务器软件需要开发修改以适应新的硬件平台,使得以更低的成本实现相同的系统或者以相同的硬件成本实现更高的性能。 相似文献
17.
随着工作站机群系统的迅猛发展,I/O瓶颈问题也日益严重。性能优良的机群文件系统对机群系统而言至关重要。吞吐率是指在单位时间内所处理的作业数,它是评价系统性能的一个重要指标。该文首先简要介绍了NFS和PVFS这两个比较有代表性的文件系统,然后比较了NFS和PVFS的吞吐率,给出了详细的测试数据。最后对NFS、PVFS吞吐率差异的产生原因和影响吞吐率的关键因素进行了较详细的分析,并给出了自己的结论。 相似文献
18.
在移动计算环境中,移动性和断接性是它的最主要的两个特点.为了支持断接操作,数据时常需要先存储到移动客户机中.缓存技术成为移动计算环境中的重要技术.本文研究了基于广播技术中客户机端缓存的管理技术,讨论了缓存管理的粒度问题、缓存一致性策略和缓存替换策略三个关键问题. 相似文献