动态盘阵D/H分布与基于控制理论的在线重构

由于能够提供高性能I/O,盘阵被广泛采用.但以往的盘阵扩展性不足.而用户或应用程序对外存容量和I/O性能需求是变化的,盘阵系统本身必须有很强的扩展性,以适应系统的I/O需求.因此,由于既具有盘阵的高性能I/O,又能通过增加或减去设备后进行数据重构实现性能的扩展,动态盘阵具有广泛的前景.动态盘阵的技术热点是数据分布算法和在线自适应数据重构技术,使得盘阵的性能和容量能够随着系统的扩展而伸缩,同时使得盘阵动态扩展时的数据重构对系统的影响非常小.主要工作是:第1,对动态盘阵的数据分布展开研究,并提出一种新的数据分布算法(D/H分布).在D/H分布中,盘阵扩展时始终保持各设备上空间和负载的平衡性,同时扩展时重构的数据最少;第2,针对D/H分布,提出基于控制理论的数据重构技术,使得盘阵动态扩展时的在线数据重构对请求QoS的影响非常小,同时使得数据重构能够尽快完成;第3,研究中针对Sperite trace和合成负载进行了大量模拟实验,结果表明,提出的基于控制理论的数据重构技术行之有效.     

Ceph云存储中基于强化学习的QoS优化

针对Ceph云存储的数据分布算法CRUSH存在数据在各存储节点上分布不均衡而影响读写QoS性能问题,提出一种基于强化学习的数据分布方法.从算法本身的数据分布过程分析得出PG在OSD间分布不够均衡是造成数据分布不均的原因;在此基础上建立强化学习模型,训练调整PG在分布过程中的OSD权重,使PG更加均衡分布到各个OSD节点,数据在各设备上分布得更加均衡.实验结果表明,该算法与原有CRUSH算法相比,能使数据在各存储设备上分布更加均衡,消除系统"热点"和瓶颈,提高云存储系统的Qo S性能.     

一种应用于大规模存储系统的数据分布算法

随着大数据时代的到来,PB级、EB级甚至ZB级数据集出现,存储系统的建设需要根据业务的发展,逐渐进行扩展。不同性能存储设备的加入、旧设备的退出以及多设备同时失效等问题的出现对传统存储系统数据分布算法提出严峻挑战。设计了一种新的hash映射算法,该算法引入节点权重和多副本,并考虑节点失效和节点过载情况,能够适应存储系统扩容、节点失效、节点过载的动态环境。该算法能从概率上保证系统伸缩时,数据对象及其副本分布在不同的节点上,以及在节点间保持概率上分布的均衡性和迁移数据量最优;针对系统运行过程中节点失效和节点过载,该算法也进行了有效处理,提高了系统的可用性和性能。通过数学分析和实验验证了该分布算法自动适应存储系统的伸缩变化,保证了数据分布均匀性和对节点失效和过载的有效处理。     

高性能动态虚拟盘阵系统结构

尽管外存储设备的容量增加很快,但是仍无法满足用户应用程序的需要;性能上,外存储设备已成为计算机系统的瓶颈;在集群环境下,将分布式的外设构成一种动态虚拟存储系统能够较好地解决这个问题。通过很好地组织数据,动态存储系统能够随用户的需求而动态扩容和收缩,并且具有高并发性和高可靠性等特点。论文从当今的应用需求出发,分析了用户存储特点及提出动态虚拟盘阵存储系统的原理,介绍了动态虚拟盘阵存储的体系结构和特性。     

改进的云存储系统数据分布策略

针对当前云存储系统海量数据应用环境中数据分布策略可扩展性以及灵活性的不足,提出一种高效的数据分布策略。一方面,该策略基于一致性哈希数据分布算法,引入了虚拟化的设计思路,采用虚拟节点进行存储资源分配;另一方面,该策略采用了一种基于节点容量感知的负载均衡方法,有效地优化了系统性能,提高了系统可扩展性。通过实验分析,不管在同构还是异构的云存储架构中,该策略改善了存储资源负载均衡程度,有效优化了系统整体性能。     

PostgreSQL闪存缓冲区置换算法扩展与性能验证

针对闪存缓冲区置换算法的性能验证基本采用仿真模拟的现状,提出了一种基于PostgreSQL的有说服力的性能验证方法,重点讨论了在PostgreSQL上扩展闪存缓冲区置换算法的方法和实现技术,并以CFLRU(clean first least recently used)和CCFLRU(cold clean first least recently used)算法为例,给出了具体的扩展过程。然后以一块固态硬盘作为数据存储设备进行性能测试,测试结果证明了基于PostgreSQL的扩展方法在缓冲区置换算法性能验证上的有效性。     

一种用于高密度只读光盘的新型DPD循迹伺服方法

一、引言和其他存储设备领域一样,在光存储领域中对于更大存储容量的需求从未停止过,对于更高容量光存储系统的研究也在一直继续着。最近报道了一种基于蓝光光盘(Blu-ray Disc,BD)扩展的光盘系统,其容量达到了200GB。另外,研究人员还提出了单层容量     

三级存储系统中一种高效的连接算法

第3级存储器的联机使用为海量数据管理提供了一种廉价可行的方案.为了使数据库管理系统能够联机使用第3级存储设备,第3级存储设备上的关系操作算法,特别是连接操作算法是必须解决的关键问题之一.提出一种高效的连接算法.实验结果表明,该算法无论在性能方面还是在扩展性方面都优于以往算法,极大地减少了I/O代价.当数据量较大时,算法的性能不低于基于磁盘的连接算法.结果表明,第3级存储器可以像磁盘一样在海量数据库系统中联机使用,解决海量数据库存储和联机查询等关键问题.     

一种并行数据库的动态多维数据分布方法

并行数据库系统的性能与数据库在多处理机之间的分布密切相关.目前已经出现一些并行数据库的数据分布方法.但是,这些方法都不能有效地支持动态数据库.文章提出了一种并行数据库的动态多维数据分布方法.该方法不仅能够有效地支持动态数据库的分布,还具有多维数据分布的诸多优点.此方法由初始数据分布机构和启发式动态数据分布调整机构组成.初始分布机构完成给定数据库文件的初始分布.动态数据分布调整机构实现动态数据库数据分布的动态调整.理论分析和实验结果表明,这种方法十分有效,并且能够有力地支持动态数据库上的各种并行数据操作算法.     

DVD刻录中的“＋”与“-”

随着CD-R／RW刻录机价格的迅速下降，我们几乎已经获得无限的容量扩展空间，更令人热血沸腾的是，新一代超大容量存储设备DVD也得到了飞快进步。DVD光盘已经代替录像带而被广泛应用于卫星广播电视录像和市售影视软件等领域。在个人用途方面利用4.7～4.9GB的大容量光盘已经用于保存个人电脑的大容量文件和数据备份。因此DVD录机正在进入市场，     

Resource scheduling in a high-performance multimedia server

Supporting continuous media data-such as video and audio-imposes stringent demands on the retrieval performance of a multimedia server. In this paper, we propose and evaluate a set of data placement and retrieval algorithms to exploit the full capacity of the disks in a multimedia server. The data placement algorithm declusters every object over all of the disks in the server-using a time-based declustering unit-with the aim of balancing the disk load. As for runtime retrieval, the quintessence of the algorithm is to give each disk advance notification of the blocks that have to be fetched in the impending time periods, so that the disk can optimize its service schedule accordingly. Moreover, in processing a block request for a replicated object, the server will dynamically channel the retrieval operation to the most lightly loaded disk that holds a copy of the required block. We have implemented a multimedia server based on these algorithms. Performance tests reveal that the server achieves very high disk efficiency. Specifically, each disk is able to support up to 25 MPEG-1 streams. Moreover, experiments suggest that the aggregate retrieval capacity of the server scales almost linearly with the number of disks     

异构磁盘阵列RAID5结构数据布局研究

由于应用需求的快速发展以及网络存储系统的出现,因此异构磁盘阵列的变得越来越常见。RAID5由于较高的性能和可靠性以及较低的代价,是应用最为广泛的RAID结构。目前对异构磁盘阵列RAID5结构的研究,重点主要放在充分利磁盘存储空间以及对性能的定性研究。论文提出了一种异构磁盘阵列RAID5结构数据布局优化方法,该方法充分考虑异构磁盘的相对容量和性能,以及校验单元的散布对RAID5小数据写性能的影响,可以生成负载均匀分布或接近均匀分布的布局。仿真实验结果表明,对于多用户小数据访问模式,优化布局的性能明显优于简单RAID5布局,且具有更高的伸缩性。     

分布式同步系统Zookeeper的优化

针对分布式同步系统Zookeeper在大规模计算机集群上运行效率低下的问题,在研究手动设定响应节点方法的基础上,提出一种基于成员节点选举的自动设定响应节点算法。在一个大规模Zookeeper系统中,采用选举因子可配置的选举算法(包括计算能力、磁盘读写速度、请求率、失效率和网络延迟的测试),挑选出适合完成Zookeeper响应工作的一个或数个节点,进行数据更新请求的应答,降低系统的响应时间,提高系统的性能。实验结果证明,与目前手动设定响应节点相比,自动选举算法能够选举出最合适的节点,并且效率高,性能稳定。在对系统访问延迟的测试中,自动选举算法比手动设定响应节点的平均值减少了11%,且比手动设定响应节点的最大值减少了17%。     

基于奇偶校验的三容错数据布局研究

基于单容错编码的数据布局已经不能满足存储系统对可靠性越来越高的要求。对基于多容错编码的数据布局的研究受到了广泛的关注,并且出现了一些三容错的布局算法,如HDD1,HDD2等。但这些布局算法普遍存在冗余度较差、计算负载大等缺点。提出了一种基于三重奇偶校验的多容错数据布局算法TP-RAID(Triple Parity RAID)。该算法只需要在RAID5阵列系统中增加两个校验磁盘,通过水平、正向对角和反向对角三重奇偶校验,可容许同时发生的三个磁盘故障。该算法编码、解码简单,三重校验条纹长度相等,计算负载小,易于实现。此外,由于该算法中尽量减少了三重校验之间逻辑关联,使得该算法的小写性能比其他的三容错算法相比有了大幅度的提高。     

基于磁盘冗余空间的数据隐藏

为保护计算机磁盘上的敏感数据, 提出基于磁盘冗余空间的数据隐藏方法。该方法在分析磁盘分区策略和簇式文件系统的文件管理机制的基础上, 将分散的文件簇冗余空间有机组合以存储敏感数据, 并利用存储于分区策略冗余空间的数据结构来维护恢复原始数据所需数据。实验结果表明, 基于磁盘冗余空间的数据隐藏方法不占用文件系统有效空间, 具有隐蔽性高、系统开销小、隐藏容量与文件系统内部文件总量正相关, 以及抗干扰性易受到宿主文件稳定性影响等特点。此外, 当文件总量较大时, 隐藏容量将十分可观, 而通过选取稳定性强的文件作为宿主文件, 可提高该方法的抗干扰性。     

Stripped mirroring RAID architecture

Redundant arrays of independent disks (RAID) provide an efficient stable storage system for parallel access and fault tolerance. The most common fault tolerant RAID architecture is RAID-1 or RAID-5. The disadvantage of RAID-1 lies in excessive redundancy, while the write performance of RAID-5 is only 1/4 of that of RAID-0. In this paper, we propose a high performance and highly reliable disk array architecture, called stripped mirroring disk array (SMDA). It is a new solution to the small-write problem for disk array. SMDA stores the original data in two ways, one on a single disk and the other on a plurality of disks in RAID-0 by stripping. The reliability of the system is as good as RAID-1, but with a high throughput approaching that of RAID-0. Because SMDA omits the parity generation procedure when writing new data, it avoids the write performance loss often experienced in RAID-5.     

Efficient disk-based K-means clustering for relational databases

K-means is one of the most popular clustering algorithms. We introduce an efficient disk-based implementation of K-means. The proposed algorithm is designed to work inside a relational database management system. It can cluster large data sets having very high dimensionality. In general, it only requires three scans over the data set. It is optimized to perform heavy disk I/O and its memory requirements are low. Its parameters are easy to set. An extensive experimental section evaluates quality of results and performance. The proposed algorithm is compared against the Standard K-means algorithm as well as the Scalable K-means algorithm.     

VBR视频在MZR磁盘上的比例安置

文章在分析了变位率（VBR）视频和多区记录（MZR）磁盘特性的基础上,提出了一种比例安置算法：视频数据块按尺寸、分比例安置到相应的记录区上。这种算法和其它算法相比简洁、更有效地利用了磁盘带宽和能支持更多视频流的同时检索。     

Evolutionary design and implementation of a hard disk drive servo control system

The ever increasing demand for higher storage capacity and smaller magnetic hard disk drives have driven the need of developing a high performance head positioning servo control system. To meet the challenge, this paper presents the design and real-time implementation of a robust two-degree-of-freedom servo system for physical 3.5-in. hard disk drive with single voice-coil-motor actuator using a multi-objective evolutionary algorithm toolbox. Besides the simplicity in controller structure, such an evolutionary servo control system is capable of meeting various performance specifications of hard disk drives in both the time and frequency domains. It is shown that the servo system optimally moves the magnetic head onto the desired track with minimal control effort, and keeps it on the track robustly against plant uncertainties or runout disturbances. Validation results of the evolutionary servo control system are compared with classical PID and RPT controllers, which show excellent closed-loop response and robustness in the face of practical perturbations in HDD.