高效的自适应文件系统的原型设计

为了改进文件系统的性能,提出的文件系统既具有自适应的RAlD3和RAID5混合结构,又能根据缓存数据在缓冲区的活动性不同而分类缓存,数据被延迟刷新到磁盘来减少、合并写磁盘的次数,进一步采用自适应的文件条带策略来优化文件访问性能.研究结果表明,该文件系统能按需自适应地读写多媒体数据和事务处理数据,当文件系统负载低时,可以尽量积极地将文件分布到所有磁盘来最小化I/O的反馈时间;反之,在系统负载高时,将文件分布的范围小一些以便最大化文件系统整体的吞吐量.     

可重构云计算领域的小文件系统设计与实现

借助ASIC系统的高效性和软件的可编程性,可重构概念使计算机的性能获得了进一步的提升空间。但在云计算应用背景下,需要一个文件系统对互联网上的海量小文件进行高效处理。为此,阐述和分析现有的小文件系统,设计一个基于现场可编程门阵列(FPGA)的小文件系统(FPGASmallFS)。该系统通过简化文件系统结构和动态划分磁盘卷,提高文件系统的速度和磁盘空间利用率,同时借助FPGA的并行加速实现文件系统挂载过程的加速,从而提高磁盘空间利用率。测试结果表明,与ReiserFS和Ext2系统相比,FPGASmallFS具有更好的系统性能。     

基于分布式共享共存储系统的并行文件子系统DPFS

为了改进软件DSM系统中对文件的存取性能以获得更好的应用程序性能，基于软件DSM系统JIAJIA的并行文件子系统DPFS被开发出来，DPFS系统采用文件映射接口作为编程接口，使得文件存取界面简单，并且能充分利用软件DSM系统的大量特性，系统设计相对简单，在曙光2000并行机上进行的应用测试表明，采用DPFS文件系统后，应用程序的整体性能有了很大提高。     

并行网络文件系统PNFS性能评测与分析

传统的网络文件系统难以满足高性能计算系统的I/O 需求,并行网络文件系统——PNFS可以有效地解决传统网络文件系统在可扩展性、可用性和性能上存在的问题。首先对PNFS的体系结构进行了设计,实现了元数据服务器与存储服务器的分离,消除了由于集中服务器结构引发的I/O瓶颈问题。然后,对PNFS的原型系统进行了性能测试,并与相同环境下NFS的测试结果进行比较与分析,结果表明PNFS能够为客户端提供并行访问文件数据的能力,有着较高的I/O读写带宽和较低的访问延迟,同时实现了客户端I/O带宽与存储服务器规模之间的线性可扩展关系,能较好地满足高性能计算中的I/O需求。     

有源RFID标签安全文件系统的设计

针对有源RFID标签应用中对微型文件系统的需求,围绕标签内存小和大量标签盘点过程中要求文件读写速度快的特点,展开对有源RFID标签安全文件系统的研究。最终通过选用高速存储器件和对FAT文件系统进行改进（实现灵活的数据缓冲层、精简文件目录项、增加文件访问控制）,实现了简洁高效安全的文件系统设计,并在实验中展现了文件系统良好的性能。     

基于机器学习的动态分区并行文件系统性能优化

近年来,随着大数据、云计算技术的发展,应用系统越来越集中,规模亦越来越大,使得存 储系统的性能问题越来越突出。为应对其性能要求,并行文件系统得到了大量的应用。然而现有的并 行文件系统优化方法,大多只考虑应用系统或并行文件系统本身,较少考虑两者之间的协同。该文基 于应用系统在并行文件系统上的访问模式对存储系统的性能有显著影响这一特点,提出基于动态分区 的并行文件系统优化方法。首先,利用机器学习技术来分析挖掘各个性能影响因素和性能指标之间的 关系和规律,生成优化模型。其次,以优化模型为基础,辅助并行文件系统的参数调优工作。最后, 基于 Ceph 存储系统进行原型实现,并设计了三层架构应用系统进行了性能测试,最终达到优化并行 文件系统访问性能的目的。实验结果表明,所提出方法可以达到 85% 的预测优化准确率;在所提出模 型的辅助优化下,并行文件系统的吞吐量性能得到约 3.6 倍的提升。     

基于策略机制的分布式文件保护系统PFICS

根据基于策略机制的文件保护模型，实现了一个文件保护系统PFICS。该系统能够根据用户制定的文件保护策略检查文件系统中违反策略的行为，采取相应的保护措施进行文件的实时恢复，进而维护文件系统的完整性。PFICS采用一个服务器保护多个主机的文件系统，构成了一个分布式的实时文件保护系统。该文介绍了系统的体系结构和实现方法，并对系统性能进行了分析。     

一种高性能I／O方法

并存文伴系统是解决I／O瓶颈问题的重要途径。研究表明，科学应用中跨越式的文件访问模式与现存并行文件系统访问这些数据的方法的结合，对于大型数据集的访问其I／O性能是难以接受的。为了提高并行文件系统中对不连续数据的I／O性能，创建了一种新型高性能I／O方法：用户自定义文件视图结合合并I／O请求。并且在WPFS并行文件系统中实现了该方法。研究和实验结果表明，该方法具有增强科学应用性能的潜力。     

一种非阻塞读文件系统的实现方法

针对现有文件系统在容错性及读性能远低于数据库系统的情况,运用数据库系统中数据的多版本技术实现数据的快速闪回及非阻塞读原理,通过改进文件系统元数据结构及结合写时复制技术的方法,在文件系统中增加文件瞬时恢复功能及非阻塞读功能,解决现有文件系统在容错性不足的问题,提高文件系统的读性能。通过该方法制作MVFS文件系统,测试结果表明,应用该方法生成的文件系统具有优越的读性能、容错性和可靠性。     

基于HDFS的小文件存储与读取优化策略

本文对HDFS分布式文件系统进行了深入的研究,在HDFS中以流式的方式访问大文件时效率很高但是对海量小文件的存取效率比较低. 本文针对这个问题提出了一个基于关系数据库的小文件合并策略,首先为每个用户建立一个用户文件,其次当用户上传小文件时把文件的元数据信息存入到关系数据库中并将文件追加写入到用户文件中,最后用户读取小文件时通过元数据信息直接以流式方式进行读取. 此外当用户读取小于一个文件块大小的文件时还采取了数据节点负载均衡策略,直接由存储数据的DataNode传送给客户端从而减轻主服务器压力提高文件传送效率. 实验结果表明通过此方案很好地解决了HDFS对大量小文件存取支持不足的缺点,提高了HDFS文件系统对海量小文件的读写性能,此方案适用于具有海量小文件的云存储系统,可以降低NameNode内存消耗提高文件读写效率.     

Embedded software debugging using virtual filesystem abstractions

We present a scalable technique to simplify the software debugging process for embedded systems that is based on the use of distributed filesystem abstractions. In this technique, the principal building blocks within embedded systems comprising “system-on-chip” (SoC) devices export debugging interfaces realized with filesystem abstractions. These filesystem interfaces are composed in a manner consistent with the hardware hierarchy and provide a portable interface to concurrently debug software executing in the various processing elements within the embedded system. We illustrate application of the model to support the various software debugging requirements unique to SoCs, many of which traditional methods are ill-equipped to deal with. We also present an architecture that may be used to realize distributed filesystem abstractions within resource constrained embedded architectures.     

曙光机群文件系统DCFS负载平衡策略

目前机群文件系统(ClusterFileSystem)已经成为打破I/O瓶颈的重要工具。文章着重研究了曙光机群文件系统多服务器间的负载平衡策略,并介绍了其实现机制,其中着重介绍了DCFS中优化文件分布FLO(FileLayoutOpti-mization)基于环的负载平衡维护结构RLA(RingbasedLoadbalanceArchitecture)。     

Operating system support for the management of hard real-time disk traffic

Emerging applications like C³I systems, real-time databases, data acquisition systems and multimedia servers require access to secondary storage devices under timing constraints. In this paper, we focus on operating system support needed for managing real-time disk traffic with hard deadlines. We present the design and implementation of a preemptive deadline-driven disk I/O subsystem suitable for real-time disk traffic management. Preemptibility is achieved with a granularity that is automatically controlled by the I/O subsystem according to current workload and filesystem data layout. An admission control test checks the current resource availability for a given workload. We show that contiguous layout is necessary to maintain hard real-time guarantees and a reasonable level of disk throughput. Finally, we show how buffering can be used to obtain utilization factors close to the maximum disk bandwidth possible.     

消费级混合式固态存储分析与研究

混合式固态存储已成为当前消费级终端领域的主流存储设备。然而在学术领域,关于混合式固态存储设计和问题的讨论与分析仍不够充分。该文针对现有的混合式存储设备,结合相关领域前沿研究,从混合式闪存架构介绍、亟待解决的痛点问题和相关研究进展 3 个方面进行讨论和分析。文章介绍和分析了混合式闪存的主流架构及其特点,展示了在真实设备平台上测试的实验数据结果,揭露了混合式闪存中亟待解决的问题,重点介绍了读特征、写特征、读写冲突和容量特征相关问题。同时 介绍了相应问题的最新研究进展,并分析了各个技术的优劣和未来的发展方向。     

异构环境中统一用户管理的研究与规划

大型企业中存在多种目录服务系统,当员工等信息需变更时,使用传统手工方式同步维护的管理方法,必须在各个目录服务系统中分别修改,往往造成成本的增加、数据一致性难以保证等问题。另外,企业的各应用系统都基于各自的用户身份数据来做认证服务的,每一位员工每天都需要登录各应用系统,须记住各个应用系统的不同的用户名、密码,那自然是极不方便的,必然会大大影响工作效率。如何解决各目录服务系统中用户数据同步管理的问题,及如何解决使各应用系统都基于统一的用户数据来做认证服务的问题,就迫在眉睫。文章提出了基于目录服务的统一用户身份管理的解决方案,其中使用一种即插即用的动态目录服务集成技术,和对目录服务操作的事务监视技术,有效地解决了上述问题。     

分布式异构数据库数据同步工具

一般而言,读写分离技术可以解决当前大数据环境下的读写速度失配的部分问题,但是现有的读写分离技术主要是针对同构数据库的解决方案.由于存储结构的不一致,由行式存储数据库和列式存储数据库构成的异构分布式数据库系统相较于同构分布式数据库系统在数据同步的过程中就会面临格式转换、同步速度不匹配等诸多难题.提出了基于MySQL二进制日志（Binlog）进行SQL还原的方法TD-Reduction,设计并实现了Binlog解析器BinParser和Binlog还原器BinReducer,它们可以基于Mixed格式的Binlog,针对不同的事件（event）进行日志的解析,并依据相应的规则进行还原,生成可执行的SQL语句.综合以上技术,实现了一款分布式数据库数据同步工具Cynomys.在实验环境中,Cynomys表现出较好的性能.该方法适用于所有具有类似Binlog机制的其他异构数据库之间进行数据同步.     

基于S0cket的双机系统控制程序设计

可热切换的双机系统广泛用于大型计算机系统的主机，双机切换可通过硬件或软件实现，软件切换的双机在硬件上是独立的，通过控制程序实现任务的切换，双机控制软件可以从服务器供应商或软件公司购买，也可由应用的设计者来开发，讨论了一个采用Socket的双机控制程序的设计。     

Java Web开发中对Excel文件的读写实现

在企业级的Java Web应用开发中会频繁地遇到各种各样的数据处理需求,对于大量同质数据的导入导出,以及各种特殊报表、单据的生成等情况,可以运用一些优秀的开源工具来实现,既满足了业务需求,也节约了开发成本。     

一种基于特权分级的quorum系统构造方案*

为解决现有的quorum系统节点没有差异、数据读取延迟较大、存储利用率低等缺陷,提出了一种新的基于特权分级的quorum系统。该系统借助代理动态调整各quorum,并按数据存储时段将各节点划分为不同的等级,此外还设计了相应的数据读写协议。通过系统性能分析表明,该方案具有读写高效性、存储可靠性及易于扩展等优点。     

数据库系统应用分片中间件

随着国家电网信息化系统一级部署的陆续实施, 业务数据库的表越来越多, 表中的数据量越来越大. 海量数据的存储与访问对数据库造成了相当大的负载, 数据处理能力和访问能力均遭遇瓶颈. 本文针对国家电网一级部署数据量快速增长的特点, 提出了数据分片中间件UAPDS(UAP DB Sharding). UAPDS以集群、分区、分片三层拆分模式, 通过读写分离、单库分表、多库分表等多种解决方案将数据按照一定的规则切分到不同的库或表中, 有效的缓解了对数据库的压力, 提高了数据访问效率, 在实际应用中取得了较好的效果.