基于RAID技术实现网络数据存储的研究

随着Internet技术飞速发展,人们进行信息的交流和共享越来越方便,同时数据的大规模毁灭也变得容易了。如何确保数据的一致性、安全性和可靠性,如何实现不同数据的集中管理,如何实现网络上的数据集中访问等,这些问题必须需要新网络存储技术确立。用RAID技术的方式,实现网络数据存储来完成上述提出问题的选择值得研究。     

嵌入式Linux下高速数据存储的实现

为解决高帧频、大面阵CCD数据实时存储的问题,介绍Linux下的块设备驱动架构,提出一种在嵌入式Linux操作系统基础上实现高速数据存储的技术。通过编写基于SCSI的驱动模块,实现将PCI总线上采集到的图像数据直接存储到SCSI硬盘的目的。分析影响数据存储速度的因素。该技术已经通过系统测试,数据存储速度可达到190 MB/s。     

基于FPGA与FFD的RAID结构存储设计

在工业以及军用大容量抗恶劣环境数据采集系统中，作为固态盘(solid—state disk)中容量较大的一种，FFD(Fast F1ash Disk)的使用十分普遍。但FFD存在着吞吐率小的缺点，不利于高速场合的应用。针对此情况，本文提出了由FPGA控制多块FFD构成RAID(Redundant Array of Inexpensive Disks)结构存储阵列的方案，以提高存储系统的数据吞吐能力并进一步提高可靠性。方案以RAID 0为例，应用以Xilinx Vertex E系列FPGA和M—SYSTEM FFD基础，设计采用硬件描述语言VHDL描述。     

网络存储……——磁盘存储——离不开RAID

当你的企业发展到一定规模，如何妥善保存好数据资源是必须面对的事情。     

一种高效存储解决方案的分析与研究

企业的关键信息以几何级速度增长,更多的数据需要保存更长的时间,面对TB甚至是PB级海量数据如何进行高效存储成为研究的重点.伴随着云计算和云存储的发展,对后端的高效存储和管理成为存储方面的重点研究问题,高效存储和管理不仅为用户提供更高质量的服务,而且还可以降低用户成本,实现高效低碳的环保型存储,这其中主要用到了多协议访问、存储虚拟化、自动精简配置、重复数据删除等关键技术.     

存储市场新闻

存储软件 NetApp发布A-SiS重复数据删除技术；赛门铁克推出整合式安全归档套件；新品上市 Data Domain推出全新DD580重复数据删除系统；SUN在京发布ST2500存储系列产品；Xiotech推出专注电子发现一揽子方案……     

煤矿安全监控系统历史数据存储压缩算法研究

通过深入分析煤矿安全监控系统中历史数据对象及监测参数的特点,提出了基于误差带的历史数据存储压缩算法,详细分析了该算法的性能,并通过Matlab进行了仿真,结果令人满意。     

子阵列数据布局方法在网络存储中的应用

RAID的高性能源于无差异磁盘组的并行工作。但受网络等因素的影响,网络存储阵列系统中各个磁盘的性能是有差异的,这直接导致系统并行度的降低。现有的研究大都是通过改变RAID中数据单元和校验单元的布局方式来平衡磁盘间的差异。该文根据不同存储应用的特点,提出了子阵列数据布局方法来解决这一问题,显著提高了网络存储系统的性能。     

一种基于重复数据删除的镜像文件存储方法研究

在云计算环境中,基础设施即服务的日益发展导致虚拟机和虚拟机镜像的急剧增加,例如,Amazon Elastic Compute Cloud(EC2)有6521个公共虚拟机镜像文件,这给云环境的管理带来了极大的挑战,特别是大量镜像文件带来的重复数据的空间存储问题。为解决这一问题,提出一种基于固定分块的镜像文件重复数据删除的存储方案。当存储一个镜像文件时,先计算该镜像文件的指纹,并与指纹库的指纹比较,若存在则用指针替代,否则采用固定分块对镜像文件分割存储。为此,可以设计镜像文件元数据格式和镜像文件MD5索引表来解决上述问题。实验结果表明,内容相同的镜像文件只是元数据的开销并实现秒传,而相同版本、相同系统、不同软件的镜像组的重删率约达到58%。因此,本方案是非常有效的。     

一种基于用户分级的高效云存储策略

针对云存储中运营成本高和服务器利用率低等问题,本文提出一种基于用户分级的高效云存储策略。①通过对用户的偏好进行分析,采用优序判定法对用户分级。②在存储区将若干个存储服务器组合为集群的形式,并增加一个轻量的临时存储节点。③数据块将按等级标签排队进行处理。该策略能够降低运营成本并提高存储利用率。     

基于预读策略的节能数据访问技术

传统节能策略通过控制组件状态切换来节省能耗,但状态切换本身需要耗费一定能量。为此,提出一种基于预读策略的节能数据访问技术。引入文件系统数据访问中的预读方式,读取数据并将其聚合到一起进行访问,减少设备组件的状态切换,从而实现降低能耗的目的。实验结果表明,在多媒体数据访问方式下使用该技术能节省70%以上的磁盘能耗。     

数据压缩算法在储能电站中的应用研究

针对储能系统中海量的存储数据,采用旋转门压缩算法,对数据进行处理和压缩,节省数据的存储空间,选取系统中某电池簇12小时的运行数据进行模拟仿真.实验结果表明,使用该方法可大大节约数据的存储空间,在满足系统精度的需求上能够最大化压缩数据,合理减少数据的存储量.     

连续数据存储中面向RAID5的写操作优化设计

针对连续数据存储应用,如视频监控、连续数据保护(CDP)、虚拟磁带库(VTL)等,提出一种面向RAID5的写操作优化方法：首先进行基于区间映射(area mapping)的地址转换(AT),把非连续的I/O请求虚拟地址转换为连续的物理地址,以实现对磁盘阵列的连续写;然后,在缓冲区内保存应用程序发出的写数据块,并构造一个与RAID5的完整条带长度相等的对齐数据块,对齐数据块在RAID5上恰好占满整个条带,再发送给RAID5,以实现对RAID5的完全写.这样写入的数据块恰好占满RAID5的整个条带,不仅避免了因生成校验数据而产生重构写、读改写等额外I/O开销,而且数据块的连续写入有效降低了磁头的寻道时间,提高了RAID5的吞吐能力.实验表明,该写优化方法在有限降低RAID5读性能的同时,可大幅提高RAID5的写性能,在80%连续的负载下,使RAID5的数据传输率接近其最大值.在连续数据存储中该方法同样适用于RAID4和RAID6.     

SAN存储技术研究

SAN是通过专用高速网将一个或多个网络存储设备和服务器连接起来的专用存储系统，未来的信息存储将以SAN存储方式为主。可采用光纤通道、IP／Ethernet、InfiniBand互联技术分别组建FC-SAN、iSCSI-SAN和InfiniBand-SAN。对SAN这一最具发展潜力的网络存储技术进行了较为全面的介绍，重点研究了iSCSI-SAN和InfiniBand-SAN这两种新的存储技术。     

一类高效的数据库系统安全存储策略研究

针对云存储环境下多副本方案存储效率低下的问题,设计了一种高效的数据安全存储策略;该策略采用了并行思想,设计了高效的数据同步存储算法;该算法将用户的存储请求同时转发给多个工作者,由这多个工作者同时向每个副本服务器写入数据;该策略将云端设计为整体协调、并行处理模式,即多个工作者由管理者统一分配调度,各个工作者独立地服务于对应的副本存储服务器,由管理者与用户进行交互处理,并且这多个工作者对用户来说是透明的,该设计模式并没有增加用户使用云存储的复杂度;实验结果表明,提出的数据安全存储策略在保证副本冗余的情况下可以有效地降低额外的时间损耗,保证用户读写云端数据的效率不低于单副本情况下的效率;该方案用于云存储环境下高效的数据安全存储是可行的、有效的。     

无线传感器网络中一种能量有效的数据存储方法

如何有效地对传感器在过去历史时间段内采集的大量感知数据进行存储,以备将来的信息查询和数据分析已经成为无线传感器网络应用面临的一个难题.介绍了一种基于树型路由的分布式数据存储方法,通过采用动态规划方法选择存储节点,使存储节点能量均衡和所有节点能耗之和最小,从而达到整个无线传感器网络能量有效.仿真实验结果表明,这种数据存储方法能够获得较好的能量均衡和总能耗较小,从而有效地延长整个无线传感器网络的生命周期.     

进化存储系统的研究

介绍了一种能够根据当前运行环境自动调整存储方案的存储系统——进化存储系统。该系统能在进化过程中根据存储系统环境及自身状态的变化,自动选择最适合当前环境的系统组织方案,保持系统的动态平衡,系统不会因为存储设备的过时而导致系统不能适应当前应用的需求,从而呈现给用户的外在特征是系统越用越好,性能不会随着时间的推移而下降,反而在不断地提升。     

通用存储网络系统的能耗研究

针对存储网络系统的能耗问题,提出一种与系统扩展和负载相关的能耗模型。采用对系统各个组成模块的能耗进行分析的方法,研究存储网络系统的能耗结构,测试该系统各个模块的基础能耗以及各个模块与负载相关的能耗。实验结果表明,该模型能够反映真实系统的能耗状况。     

Ripple-RAID:一种面向连续数据存储的高效能盘阵

视频监控、备份、归档等应用具有独特的负载特性和I/O访问模式,需研究特定的存储节能方法.磁盘阵列的局部并行策略有利于实现该类存储系统的节能,但通常会导致RAID执行小写操作而严重影响性能.为此,提出一种面向该类存储系统的高效能盘阵——Ripple-RAID,采用新的局部并行数据布局,通过综合运用地址转换、异地更新、基于流水技术渐进生成校验、分段数据恢复等策略,在单盘容错条件下,保持了局部并行的节能性,又有效解决了局部并行带来的小写问题.Ripple-RAID具有突出的性能和节能效率,在80%顺序写负载情况下,请求长度为512KB时,写性能为S-RAID 5的3.9倍,Hibernator、MAID写性能的1.9倍,PARAID、eRAID 5写性能的0.49倍;而比S-RAID 5节能20%,比Hibernator、MAID节能33%,比eRAID 5节能70%,比PARAID节能72%.