虚拟存储从虚到实

随着存储在企业信息化应用中重要地位的提升,许多企业用户都纷纷引进存储方案,但很多企业又面临着新的问题:企业存储设备往往是来自不同供应商的存储系统,如何实现对异构存储环境的整合和管理?如何在不增加人员或运营成本的情况下管理日益增加的存储容量?如何进一步提高存储设备的使用效率?如何对存储容量实现无缝扩展以满足应用需求?这些问题的答案就是存储虚拟化技术。其实虚拟存储并不是一个新概念,StorageTek 公司很早就推出了 Lceberg 虚拟磁盘的虚拟存储技术;IBM 公司通过虚拟磁带将虚拟存储的概念实施到磁带库上;Compaq 的 SAN-Wide 泛存储网络存储虚拟化方案也引导出了 VersaStor 技术。而4月11日惠普在虚拟存储领域从策略到技术、产品、方案的完整虚拟存储解决方案的发布,又为虚拟存储掀起了新一轮热潮,同时也使虚拟存储从“虚”到“实”逐渐揭开了神秘的面纱。     

基于以太网的存储虚拟化研究

存储区域网络（SAN）是新一代网络存储应用技术之一。为了解决IP网络同存储区域网络（SAN）的和互操作的问题，IETF特别成立了IPS（IPStorage）小组，提出了几种基于IP的网络虚拟存储解决方案和相关协议。存储虚拟化是存储系统的主要发展趋势之一，它极大的方便了用户对存储资源的使用．减少存储系统管理开销，优化存储系统性能，提高存储资源利用率。     

一种基于集群环境的虚拟存储系统研究与实现

虚拟存储管理系统能够根据用户的需要随时在线调整存储卷的容量，而且能够提供快照、在线数据备份等功能，成为存储系统中重要的功能中间件．然而传统的服务器存储管理系统不能适应集群环境下的数据管理，尤其是随着SANs（Storage Area Networks）技术的日益发展与普及，研究集群环境下的虚拟存储系统成为迫切任务．本文通过对虚拟存储技术的研究，提出了集群环境下虚拟存储系统的模型CVM．分析了其中的关键技术．并且给出了一个具体的实现方案和测试结果，结果表明，CVM系统能够有效实现共享存储环境下的虚拟存储管理．同时提供了在线数据备份、数据镜像等功能，具有很好的容错特性，较好实现了集群环境下的共享存储管理．     

海量存储系统中基于BUFFER的虚拟存储池的构造

网络磁盘阵列通过实行命令与数据的分离极大地提高了系统的吞吐能力和服务器的平均响应速度 .本文基于原有的网络磁盘阵列的研究成果 ,采用虚拟技术 ,在服务器端构造了一个虚拟存储池 ,使得构成虚拟存储池的多台异构接口的物理存储设备 (这里为网络磁盘阵列 )可以通过其网络通道并行传输数据 ,实现扩容和增速同步 ,文件集中管理与数据分布存储 ,从而构造了一种新型海量存储系统     

使用率提至九成

在虚拟存储环境下,存储对用户来说将变得透明,用户可以不必关心存储设备的功能差别、容量大小、设备类型和制造商如何,所有设备将被统一管理。IBM推出的虚拟存储软件产品家族,可以实现对不同存储设备的集中统一管理,该产品不仅可以节省客户的IT     

虚拟存储技术研究

介绍了由三个层次组成的虚拟存储系统结构及与之对应的三种虚拟存储技术：基于主机的、基于网络的、基于存储设备的虚拟存储技术，其中重点介绍了基于网络的虚拟存储技术。     

提高存储资源利用率的存储虚拟化技术研究

随着存储数据的爆炸式增长,存储空间的迫切需求,虚拟存储技术已经广泛应用到存储系统中.根据操作系统中内存管理的虚拟内存机制,将其扩展引入到整个存储系统的管理中,并与传统的存储虚拟化技术相结合,提出了双层次存储虚拟化的结构,实现了逻辑层和虚拟层的双层虚拟,以屏蔽存储设备的异构性,极大提升存储资源利用率.     

交园建存储：一步？多步？——清华大学、河北农业大学存储系统建设方案对比

存储设备发展到今天，已经不再是金融、电信这些大行业所专有的应用系统了。随着近年来虚拟存储、iSCSI等存储技术的不断创新，以及SAN、NAS等存储网络架构的成熟，存储系统的实现成本也随之迅速降低。     

让虚拟化消失

这里所说的“消失”,并不是让“虚拟化”这项技术本身消失,而是把“虚假化”加载到产品载体上,让用户通过产品,在不知不觉中使用虚拟化的技术,而不单独把虚拟化拿出来体验。所谓虚拟存储是指架构和产品被仿真设计成一个物理设备,如磁带机。其特性被镜像到另一个物理设备上,通常是一个磁盘或磁盘子系统。逻辑设备和虚拟设备的特性可以完全不同,应用系统操作的是虚拟设备,而不必关心真正的物理设备是什么。虚拟存储的定义也可以从两个方面来理解:从专业角度看,虚拟存储实际上是逻辑存储,是一种智能、有效地管理存储数据的方式;从用户角度看,虚拟存储将使用户使用存储空间,     

异构存储感知的Ceph存储系统数据放置方法

Ceph分布式存储系统正成为广泛使用的开源云环境存储解决方案。异构存储如果应用有效的数据管理策略,则能够在保持低成本的同时提供大容量和高性能存储。在Ceph中使用异构存储设备不能有效发挥异构存储设备的性能,由于数据的多个副本可以存放到不同的存储介质中,因此不同的副本组合的性能和成本都不一样。针对Ceph提出一种面向异构存储的数据放置方法,通过划分多种不同的副本组合,根据数据热度和读写比例将不同的数据放到不同的副本组合上,在提升系统性能的同时有效地控制了系统容量成本。     

Massive Storage Systems

To accommodate the explosively increasing amount of data in many areas such as scientific computing and e-Business, physical storage devices and control components have been separated from traditional computing systems to become a scalable, intelligent storage subsystem that, when appropriately designed, should provide transparent storage interface, effective data allocation, flexible and efficient storage management, and other impressive features. The design goals and desirable features of such a storage subsystem include high performance, high scalability, high availability, high reliability and high security. Extensive research has been conducted in this field by researchers all over the world, yet many issues still remain open and challenging. This paper studies five different online massive storage systems and one offline storage system that we have developed with the research grant support from China. The storage pool with multiple network-attached RAIDs avoids expensive store-and-forward data copying between the server and storage system, improving data transfer rate by a factor of 2-3 over a traditional disk array. Two types of high performance distributed storage systems for local-area network storage are introduced in the paper. One of them is the Virtual Interface Storage Architecture (VISA) where VI as a communication protocol replaces the TCP/IP protocol in the system. VISA's performance is shown to achieve better than that of IP SAN by designing and implementing the vSCSI (Vl-attached SCSI) protocol to support SCSI commands in the VI network. The other is a fault-tolerant parallel virtual file system that is designed and implemented to provide high I/O performance and high reliability. A global distributed storage system for wide-area network storage is discussed in detail in the paper, where a Storage Service Provider is added to provide storage service and plays the role of user agent for the storage system. Object based Storage Systems not only store data but also adopt the attributes and methods of objects that encapsulate the data. The adaptive policy triggering mechanism (APTM), which borrows proven machine learning techniques to improve the scalability of object storage systems, is the embodiment of the idea about smart storage device and facilitates the self-management of massive storage systems. A typical offline massive storage system is used to backup data or store documents, for which the tape virtualization technology is discussed. Finally, a domain-based storage management framework for different types of storage systems is presented in the paper.     

一种云存储服务客户端增量同步算法

随着云计算技术的飞速发展,越来越多的用户选择使用云存储服务来保存个人文件。云存储共享与协作技术允许用户之间共享云端文件,支持其他用户通过各种智能终端上的客户端对文件进行读写操作。云存储共享与协作技术带来了文件历史版本大规模共享场景的需求,这对云存储系统的并发I/O性能是极大的考验。针对云存储服务共享场景的特点,挖掘文件历史版本之间的关系,采用基于增量传输的优化技术来提升云存储系统的传输性能。在此基础上,优化算法中强弱校验过程的内存占用和磁盘读写,利用文件历史版本数据优化同步流程,有效的减少数据传输量,并且提高系统的存储性能,适用于带宽有限和网络不稳定和大规模共享同步等极端场景。     

一种基于网络磁盘阵列的高性能海量存储系统

网络磁盘阵列将传统的以服务器为中心的存储转发改变为以数据为中心的直接传输，从而消除了传统模式下的服务器I／O瓶颈．本文基于网络磁盘阵列构建出一种高性能的海量存储系统，其文件集中管理和数据分布存储的体系结构不仅加快了数据传输速度、降低了存储管理开销，同时也实现了命令与数据分流、扩容与增速同步的目标，从而大大提高的整个存储系统的性能．     

基于随机森林的高能物理数据放置策略

随着LHAASO高海拔宇宙线等高能物理实验规模的不断扩大,每年需要存储PB级的海量物理数据。高能物理海量存储系统一般采用随机的数据放置策略,没有考虑数据访问场景和服务器节点、存储设备的差异性。针对以上问题,提出一种异构存储环境下基于随机森林算法的数据放置策略,根据存储设备性能差异划分快慢存储池,同时对后期文件的读写访问场景进行预测和识别,综合考虑当前设备负载为数据找到最佳的放置位置。使用真实物理实验数据验证了算法的有效性。     

Distributed Storage Cluster Design for Remote Mirroring Based on Storage Area Network

With the explosion of information nowadays, applying data storage safety requirements has become a new challenge, especially in high data available cluster environments. With the emergence of Storage Area Networks （SANs）, storage can be network-based and consolidated, and mass data movements via Fiber Channels （FCs） can be of very high speed. Based on these features, this paper introduces a dual-node storage cluster designed for remote mirroring as a concurrent data replication method to protect data during system failures. This design takes full advantage of a SAN system＇s benefits, and it adopts a synchronous protocol to guarantee a fully up-to-date data copy on the remote site. By developing a Linux kernel module to control the I/O flow and by using the technologies of software Logic Unit Number （LUN） masking, background online resynchronization and a self-management daemon, we have achieved a reliable mirroring system with the characteristics of server-free data replication, fault tolerance, online disaster recovery and high performance. In this study, we implemented the design in a remote mirror subsystem built on a software Fiber Channel Storage Area Network （FC-SAN） system.     

基于对象的进化存储系统研究

存储管理的成本目前已经超过了硬件成本。本文给出了一种新的存储结构,其中包含了自动化管理的功能以简化存储管理。进化存储系统的概念是指实现动态平衡和优化的基于磁盘的存储,其失效部件将会被热备份部件立即更换（物理进化）,其数据布局和分布会根据新部件的特性进行自动重组（逻辑进化）。同时,我们还描述了称为SMART的实现分散进化存储系统的目标和可行技术方案,包括自安全、自维护、自适应、自恢复和自测试。我们认为进化存储系统应该是基于对象的,通过智能存储设备达到更好的可用性和可维护性。     

海量存储系统的性能管理与监测方法研究

海量存储系统是一个大规模分布式的集群存储系统,拥有着PB级的存储容量,存在着数以千计的并发访问。为实现对海量存储系统的监控和管理,采用以ganglia为基础并且辅以各种改进和优化的监控模型,以满足海量存储系统的要求。从性能、功能、可靠性以及资源优化等多方面入手,使模型不断完善,最终达到一个比较好的性能,为集群的监控和管理提供一个可靠的保障。     

连续媒体存储技术的研究

分析了连续媒体存储面临的问题和技术现状，提出了一种创新的存储软件/硬件架构－虚拟分级存储架构(VHSA)。VHSA是分级存储技术和存储虚拟化技术的结合，支持异构的存储系统结构，可提高复杂存储系统的性能和效率，针对巨大的视听内容进行数字归档，并可与媒体资产管理系统实现无缝集成。     

网络存储的统一与虚拟化

存储资源共享是网络存储的最基本的任务，为了给用户提供有效的存储资源共享，网络存储的统一化和虚拟化采取了不同的方法：统一化的侧重点在于存储技术、存储资源的整合和存储管理的研究，虚拟化侧重于如何为用户提供更方便的应用环境。统一虚拟存储体系结构则结合了两者的优点，代表着网络存储的将采。本文对网络存储的统一化和虚拟化的现状和存在问题进行了探讨，分析了阻碍统一虚拟存储体系结构实现的不利因素，针对这些存在的问题，本文给出了一个基于自主式存储中介的网络存储系统，该系统结合了网络存储的统一化和存储虚拟化技术，可以看作统一的虚拟存储网络的一个实现。