基于NAND闪存的固态盘技术研究

基于NAND闪存的固态盘具有非易失、访问速度快、体积小、抗震性好以及功耗低等诸多优点,能较好缓解I/O性能瓶颈问题,已经成为学术界和产业界关注的一个研究热点.对基于NAND闪存固态盘的主要热点问题予以研究,介绍了基于闪存固态盘的技术特性,分析了其内部结构,对其关键实现技术着重进行了研究分析.     

硬盘机,软盘机及固态盘技术发展状况

在电子计算机外存储设备中,硬盘机、软盘机一直占据着重要地位,其产量和销量不断稳步增长。固态盘是近几年迅速发展起来的以半导体存储器为基础的新型外存储设备。因其具有速度快、体积小、功耗低、无机械运动部件、抗恶劣环境能力强等优点而得到了越来越广泛的应用,正逐渐成为主要的外存储设备之一。     

异构多固态盘的吞吐量优化

固态盘具有低访问延迟、抗震性、内部并行性等诸多优良特性,已被广泛使用。如何利用固态盘提高系统性能是当前研究议题之一。首先通过一系列不同读写比例的负载实验来探索固态盘的特性,发现在较大I/O请求粒度场景下,较高的读请求比例有利于提升各类固态盘的吞吐量。基于实验结论,提出了一种I/O只读负载分离方法RODI,通过合理放置只读数据来分离只读负载到合适的固态盘上,以提升异构多盘阵列整体的吞吐量。大量实验表明,在较大I/O粒度的异构多盘环境中,相比传统的RAID技术, RODI方法对于改善多盘总体吞吐量更具优势。     

固态盘模拟器现状分析

通过使用固态盘模拟器对SSD的架构与控制算法进行设计与优化,能够节省大量的时间与经济成本。为评估固态盘模拟器功能与性能,在研究固态盘模拟器架构组成与延迟模型等模型的基础上,选取固态盘随机读写场景,对4种典型开源固态盘模拟器与实际固态盘进行比对实验。实验结果表明,模拟器能够在不同层面模拟固态盘行为,降低固件开发对硬件依赖,减少固态盘设计迭代次数。     

用NiosII搭建的固态盘设备系统

使用NAND型闪存(Flash)作为存储介质,而使用与硬盘完全一致的ATA接口作为设备接口的固态盘(SolidState Disk, SSD)是一种全新的存储设备.本文介绍一种基于NiosII的SOPC系统的固态盘设备系统实现方法,给出一种可行的系统结构,包括硬件系统以及软件中内部数据缓存策略、闪存擦写/存储策略的模块化实现方式,并给出具体的实现细节.     

关于Ceph分布式存储系统性能优化技术的研究

由于现代信息技术快速发展,人们的网络活动数据急速增加,对计算机的储存和处理能力提出了更高的要求。文章基于Ceph分布式存储系统的架构,分析其性能优化技术,包括可扩展哈希下的受控复制（Controlled Replication Under Scalable Hashing,CRUSH）算法、对象存储设备（Object-based Storage Device,OSD）参数优化、使用异构硬件配置、基于固态盘的缓存性能优化、基于固态盘的元数据管理优化,从而扩大系统的吞吐量、缩短系统响应时间,提升系统的可伸缩性。     

固态盘测试系统的设计与实现

固态盘(solid-state disk,SSD)以其高性能、高可靠性等优点在存储系统中快速发展,与此同时人们对固态盘性能的关注度也大大提高,如何准确地测试和评估固态盘开始成为固态盘制造厂商和消费人群共同关心的问题.在这种需求环境下,设计并实现了一个高效、可靠、自动化、操作方便的固态盘测试系统.测试系统分为测试机和服务器2部分,测试人员通过登录服务器来操作测试机并对测试机上批量的固态盘进行测试.测试系统支持对固态盘进行4种类型的测试:性能测试、MBI测试、掉电测试、功耗测试,全面评估固态盘性能,并生成评估报告.     

面向Lustre文件系统的固态盘存储加速技术研究

磁盘的随机I/O延时制约了存储系统的性能提高,具备高性能随机I/O特性的固态盘(solid state disk,SSD)逐渐成为关注的热点.分析了磁盘、Flash型SSD以及DRAM型SSD三类设备不同的性能特点,讨论了SSD存储加速技术的研究现状,提出了一种面向Lustre文件系统的固态盘存储加速系统架构,介绍和分析了各模块的构成与原理,提出了对象迁移策略.     

多租户固态盘服务质量保障技术综述

得益于高密度闪存技术发展、高并行存储架构以及良好的接口技术支持，多个租户共享使用一个固态盘已经成为提高存储资源利用率和降低运营成本的常见方式.然而，多个租户竞争使用固态盘内有限的存储资源，产生相互干扰，因此如何保障多租户固态盘服务质量成为近年来的研究热点.首先，分析多租户固态盘服务质量保障面临性能干扰、性能不公平及总体性能损失三大问题；然后，从如何保障性能隔离、如何保障性能公平及如何优化总体性能3类目标，对现有工作进行全面分类介绍，并梳理它们的技术演进方向；最后，对多租户固态盘服务质量保障技术的研究现状进行总结，并展望潜在的未来研究方向.     

基于可信存储的固态盘安全机制研究

为了解决固态盘的存储安全问题,研究了可信存储技术,并将其应用于固态盘的安全保护设计中.提出了一种基于固件程序的安全保护方法,利用ATA协议可信计算和安全命令集下的安全命令,在固件设计中定义了专用的安全命令处理流程,实现了固态盘与主机的双向认证和对固态盘存储区的访问控制两种安全功能,增强了固态盘的安全性,有效地限制了对固态盘的随意访问.     

基于Linux的USB存储设备访问控制机制研究

USB存储设备所造成的数据泄漏问题日益严重。对USB存储设备进行访问控制,可以有效阻止USB存储设备的数据泄漏。文中主要研究基于Linux操作系统的USB存储设备访问控制机制,并且从用户态、内核Lsm框架以及驱动这三个不同层次分别提出了三种可行的USB存储设备访问控制机制。在这基础上,结合这三种访问控制机制各自的特点以及关键技术对它们的有效性、可用性进行了分析。作为验证,在Linux平台上实现了这三种机制。三种方法均可以有效地进行USB存储设备访问控制。     

基于Hi3510和Linux2.6内核嵌入式系统的存储研究与应用

视频信息存储是网络视频监控的关键技术之一.随着视频存储需求的快速增长,人们也更加关注存储的实时、高效、可靠性.以海思的通用媒体嵌入式处理平台为基础,分析、讨论了在嵌入式Linux2.6内核上设计视频存储系统的基本问题.在不干扰编码视频实时传输的前提下,实现建立在移动存储设备上的编码视频存储方法.特别针对USB存储设备的热插拔特性,利用Unix的proc机制,使得视频存储具备即插即用的能力.     

气象卫星资料虚拟存储系统设计与实现

利用服务器连接（SAS）技术和存储局域网（SAN）技术构建气象卫星资料存储系统。实现群集环境中计算机系统间的存储资源共享，设计虚拟存储管理软件对不同的物理存储设备进行逻辑管理，可以简化存储设备的使用，可以提高系统运行效率，国家卫星气象中心的气象卫星资料存储系统的运行结果表明，虚拟存储是解决群体环境中不同物理存储设备有效使用的一条切实可行的技术路线。     

计算机网络存储技术

在计算机网络系统中,由于信息存储的应用领域不断扩展,网络的信息资源迅速增加,通过网络传输的信息量持续增长.网络存储技术变得越来越重要,已成为企业信息化建设的关键.主要分析了三种网络存储技术,即SAN引导启动技术、存储虚拟化技术、应用性能扩展技术,重点讨论了固态盘技术和云存储技术.在企业信息化建设中,对于网络存储技术的选择具有较高参考价值.     

基于磁盘和固态硬盘的混合存储系统研究综述

大数据和云计算环境下海量增长的数据对存储系统的超高容量和体系结构带来了极大的挑战。目前存储系统的发展趋向于大容量、低成本和高性能,然而任何单一的存储器件如传统的机械磁盘（HDD）、固态硬盘（SSD）、非易失型性随机存储器等由于其固有的物理特性的限制,并不能满足以上的需求。将不同的存储介质混合组合成高效的存储系统是一个好的解决方法,固态硬盘作为一种高可靠性、低能耗、高性能的存储器被越来越广泛地运用到混合存储系统。通过将固态硬盘与传统磁盘进行组合,利用固态硬盘的高性能和传统磁盘低成本大容量的特点,能够为用户提供大容量的存储空间,保证系统的高性能,同时还能降低成本。通过阐述SSD与HDD混合存储系统的研究现状,对不同的SSD与HDD混合存储系统进行分类总结;然后针对缓存架构和设备同层架构这两种目前最流行的存储架构中涉及到的关键技术和不足进行讨论;最后对基于SSD和HDD的混合存储技术进行概括总结,并对今后该领域的研究重点和方向进行展望。     

Recovering disk storage metrics from low‐level trace events

Block devices such as magnetic disks are nonvolatile data storage devices that transfer data in fixed‐size chunks. They are the main nonvolatile memory that holds the file system, and they are also used in virtual memory mechanisms such swapping and page fault handling. Investigating storage performance issues requires a full insight into the operating system internals. Kernel tracing offers an efficient mechanism to gather information about the storage subsystem at runtime. Still, the tracing output is often huge and difficult to analyze manually. In this paper, we introduce a framework to compute meaningful storage performance metrics from low‐level trace events generated by LTTng. A stateful approach is used to model the state of the storage subsystem. Efficient data structures and algorithms are proposed to offer a reasonable response time, allowing the user to navigate throughout the trace and to retrieve metrics from any time range. The framework includes a visualization system that provides different graphical views that represent the collected information in a convenient way. These views are synchronized together, forming a comprehensive perspective that makes storage performance investigation a much more comfortable task. Different use cases are presented to show the usefulness of the framework in real‐world applications.     

Massive Storage Systems

To accommodate the explosively increasing amount of data in many areas such as scientific computing and e-Business, physical storage devices and control components have been separated from traditional computing systems to become a scalable, intelligent storage subsystem that, when appropriately designed, should provide transparent storage interface, effective data allocation, flexible and efficient storage management, and other impressive features. The design goals and desirable features of such a storage subsystem include high performance, high scalability, high availability, high reliability and high security. Extensive research has been conducted in this field by researchers all over the world, yet many issues still remain open and challenging. This paper studies five different online massive storage systems and one offline storage system that we have developed with the research grant support from China. The storage pool with multiple network-attached RAIDs avoids expensive store-and-forward data copying between the server and storage system, improving data transfer rate by a factor of 2-3 over a traditional disk array. Two types of high performance distributed storage systems for local-area network storage are introduced in the paper. One of them is the Virtual Interface Storage Architecture (VISA) where VI as a communication protocol replaces the TCP/IP protocol in the system. VISA's performance is shown to achieve better than that of IP SAN by designing and implementing the vSCSI (Vl-attached SCSI) protocol to support SCSI commands in the VI network. The other is a fault-tolerant parallel virtual file system that is designed and implemented to provide high I/O performance and high reliability. A global distributed storage system for wide-area network storage is discussed in detail in the paper, where a Storage Service Provider is added to provide storage service and plays the role of user agent for the storage system. Object based Storage Systems not only store data but also adopt the attributes and methods of objects that encapsulate the data. The adaptive policy triggering mechanism (APTM), which borrows proven machine learning techniques to improve the scalability of object storage systems, is the embodiment of the idea about smart storage device and facilitates the self-management of massive storage systems. A typical offline massive storage system is used to backup data or store documents, for which the tape virtualization technology is discussed. Finally, a domain-based storage management framework for different types of storage systems is presented in the paper.     

基于RS码的错误容忍存储方案

在分布式存储系统存储数据时,如果一个或几个设备出现故障,不仅该设备中的数据不能使用,而且会导致用户无法完整地访问资源。针对该问题,提出一种基于RS码的错误容忍存储方案,当系统中错误设备的数量不超过m时,就可以对其进行恢复,实现容错。该方案具有较高的安全性与执行效率,能满足存储系统容错的要求,可以利用其构造对可靠性要求较高的存储系统。     

HDFS存储和优化技术研究综述

HDFS(Hadoop distributed file system)作为面向数据追加和读取优化的开源分布式文件系统,具备可移植、高容错和可大规模水平扩展的特性.经过10余年的发展,HDFS已经广泛应用于大数据的存储.作为存储海量数据的底层平台,HDFS存储了海量的结构化和非结构化数据,支撑着复杂查询分析、交互式分析、详单查询、Key-Value读写和迭代计算等丰富的应用场景.HDFS的性能问题将影响其上所有大数据系统和应用,因此,对HDFS存储性能的优化至关重要.介绍了HDFS的原理和特性,对已有HDFS的存储及优化技术,从文件逻辑结构、硬件设备和应用负载这3个维度进行了归纳和总结.综述了近年来HDFS存储和优化相关研究.未来,随着HDFS上层应用的日益丰富和底层硬件平台的发展,基于异构平台的数据存储、面向应用负载的自适应存储优化以及结合机器学习的存储优化技术将成为未来研究的主要方向.     

SAN存储技术研究

SAN是通过专用高速网将一个或多个网络存储设备和服务器连接起来的专用存储系统，未来的信息存储将以SAN存储方式为主。可采用光纤通道、IP／Ethernet、InfiniBand互联技术分别组建FC-SAN、iSCSI-SAN和InfiniBand-SAN。对SAN这一最具发展潜力的网络存储技术进行了较为全面的介绍，重点研究了iSCSI-SAN和InfiniBand-SAN这两种新的存储技术。