面向多虚拟机的分布式存储系统

通过分析虚拟桌面系统对存储系统的要求,设计并实现了面向多虚拟机的分布式存储系统——虚拟机存储系统(virtual machine storage,VMStore)。分布式技术具有灵活性和可扩展性,因此采用分布式技术提高多虚拟机存储系统的吞吐率。在元数据管理中采用直接块索引结构以获得更好的快照性能,并采用去冗余技术减少多虚拟机镜像之间的冗余数据。实验结果显示存储系统具有较好的吞吐能力,且快照和去冗余的开销对整个系统的影响较小。     

基于对象分组的集群存储系统可靠性分析模型

可靠性问题是研究大规模集群存储系统的一个重要方面。借鉴RAID的方法,提出基于对象分组在算法一级实现数据冗余分布的高可靠数据对象布局算法。在数据对象和存储节点失效时,利用冗余数据重构数据对象和存储节点,有效保证存储系统的高可用性。采用马尔可夫激励模型对存储系统进行定量的可用性分析,计算结果表明该方法是有效的。     

从本地到远程 实现异地容灾的三步走——上海浦东国际集装箱码头构建异地容灾存储系统

上海浦东国际集装箱码头有限公司(以下简称浦东集装箱码头)码头全长900米,拥有集装箱泊位3个,可停靠第五、第六代集装箱船舶。堆场平面集装箱箱位8200个,可同时堆放30000个标箱。目前拥有国际集装箱干线18条,每月挂靠集装箱班轮80艘次,2004年的实际完成箱量突破230万标准箱。业务量的快速增长对数据存储系统的安全性提出了更高的要求,为了进一步提高存储系统的安全性能,保证业务系统的7×24小时不间断,浦东集装箱码头分三步实现了整个存储系统的安全备份以及异地数据镜像冗余,提高了整个系统的抗灾能力。     

减少重建数据量的冗余编码技术研究

为防止硬件故障或机器宕机导致的数据丢失,冗余编码技术被广泛应用于分布式存储系统中来保证数据的可靠性。然而,传统的冗余编码技术,如里德-所罗门码,存在着重建数据量大的问题。副本技术在重建丢失数据时只需要读取和传输丢失的数据,而冗余编码需要读取和传输更大的数据量,从而消耗更多的磁盘I/O带宽和网络带宽。因此,基于冗余编码的分布式存储系统在重建数据时将消耗更长的时间,从而将整个系统长时间暴露在一种降级的模式下,进而增加了发生永久性数据丢失的风险。为解决这个问题,减少重建数据量的冗余编码技术不断被提出,然而只有这些冗余编码与传统的里德-所罗门码的比较,缺少它们在存储系统的综合比较。系统地从减少重建数据量等几个重要方面研究了这些减少重建数据量的冗余编码技术,从而为实际系统中采用合适的编码提供重要参考和依据。     

一种基于聚类分组的虚拟机镜像去冗余方法

随着云计算的兴起,虚拟化技术使用也越来越广泛,虚拟机正逐步取代物理机,成为应用服务的部署环境.出于灵活性、可靠性等方面的需求,虚拟机镜像急剧增长,如何高效地、经济地管理这些镜像文件已成为一个很有挑战性的研究热点.由于虚拟机镜像之间存在大量重复性的数据块,高效的去冗余方法对于虚拟机镜像管理至关重要.然而,传统的去冗余方法由于需要巨大的资源开销,会对平台中托管的虚拟机性能造成干扰,因而并不适用于云环境.提出了一种局部去冗余的方法,旨在优化镜像去冗余过程.其核心思想是:将全局去冗余变成局部去冗余,从而降低去冗余算法的空间复杂度,以达到减少操作时间的目的.该方法利用虚拟机镜像相似性作为启发式规则对虚拟机镜像进行分组,当一个新的镜像到来时,通过统计抽样的方法为镜像选取最为相似的分组进行去冗余.实验结果表明:该方法可以通过牺牲1%左右的存储空间,缩短50%以上的去冗余操作时间.     

高可靠磁盘阵列的设计

可靠性是网络存储系统最重要的指标之一，冗余磁盘阵列(RAID)是网络存储系统的基础和关键部件，RAID一方面通过冗余数据或校验信息增强容错能力；另一方面通过硬件部件冗余来提高系统可靠性。重点研究提高RAID可靠性的关键技术。分析降低磁盘阵列可靠性的几种主要因素：系统故障、不可纠位错误和相关联的磁盘故障，研究相应的防御措施，对双重校验信息冗余技术、硬件部件冗余技术、快速故障盘重建等关键容错技术进行研究与探讨。     

ZFS在基于HDFS的近线存储系统中性能分析与实现

通过将云计算技术应用于近线存储领域,设计实现了基于Hadoop分布式文件系统(Hadoop distributed file system,HDFS)的海量近线存储系统,用以扩展TH-1A超级计算机在线存储系统空间,提高系统利用率.该系统采用胖存储节点(大型的存储服务器)构建基于HDFS的近线存储集群,通过ZFS文件系统来解决HDFS存在的低效和空间利用率低的问题,采用双副本冗余、虚拟存储、动态管理等方法优化存储服务器存储和管理效率,提高了近线存储系统性能.实验结果表明,与传统HDFS集群存储系统相比,该系统在可靠性、经济性及灵活性上均具有一定的优势.     

基于对象的存储系统对象迁移策略

对象存储系统是下一代网络存储重要组织模式,对象管理是对象存储系统的关键技术之一。本文对对象存储系统中的对象迁移策略进行了系统的研究,提出了可变阈值和域长的动态反馈调整模型,以此来确定存储对象迁移的时机和目标对象存储设备的选取。另外,本文还利用Petri网工具对对象存储系统存储对象的迁移进行建模分析,给出了存储对象迁移控制的Petri网模型。但是随着存储系统存储节点的无限增加,Petri网模型将会无限复杂和庞大。为了减少Petri网模型控制模型的复杂度,又引入有色Petri网理论,实现了对存储对象迁移控制Petri网模型的简化。该模型同样很好地实现了对象存储系统中对象迁移控制的建模分析。这些研究对我们在建立对象存储系统时起到了很好的帮助作用。     

基于OBD的汽车远程监测系统设计

汽车OBD(车载自诊断)系统是判定汽车排放是否超标的主要工具,也是用来进行汽车故障诊断的重要渠道。对OBD系统做了介绍,利用搭建的硬件平台及对数据库的存取,实现了对CAN线汽车的远程实时监测。实验证明,系统的易用性、实时性和可靠性较传统方法均有较大提高。     

一种面向高性能计算的分布式对象存储系统

现有分布式文件存储系统存在数据组织低效和访问语义冗余等问题,严重限制了系统性能。为此,借鉴对象存储思想,设计面向高性能计算的分布式对象存储系统。分离数据访问和数据管理,实现更精简高效的访问语义,同时采用分布式全局对象数据组织方式,运用基于内存的元数据管理方法提升系统性能。实验结果表明,在大规模并发访问时,该系统的读/写聚合带宽相比Lustre系统分别提升22.5%和50.4%,文件创建、删除性能分别达到Lustre系统的2.15倍和5.13倍。此外,该系统还具有拟线性的数据读/写和元数据管理功能,可扩展性较好。     

基于MooseFS的纠错码存储方法设计和实现

在云存储技术中,云存储系统的数据容错十分重要,直接关系到整个系统的可用性。当前多数分布式存储系统通过多副本来保证数据的可用性,然而,多副本存储方式也使得数据存储空间翻倍增加,为了降低存储空间,提高数据可用性,有些分布式存储系统开始采用纠错码技术来提高数据可用性和降低数据存储空间占用。通过对MooseFS分布式文件系统进行分析,提出了一种基于MooseFS的纠错码实现方法。通过数据存储效率测试,该方法能够保证常用的“热数据”按照多副本存储,不常用的“冷数据”按照纠错码方式存储,在保证可靠性的同时极大地降低了多副本方式空间占用量。     

对象存储系统形式化研究

对象存储系统是近来兴起的存储领域研究热点,它改变了传统的存储模式,用对象接口取代了传统的块接口。作为下一代互联网存储模式的关键技术——对象存储,它的出现使得海量信息存储、数据异构灵活共享、存储系统的可扩性、信息安全等问题迎刃而解。对象作为对象存储系统的基本单位,它的管理将是系统管理的关键。为了更好地研究对象存储系统对象的管理,本文对对象的形式化做了系统的研究。首先根据对象存储系统的实际给出了对象存储系统中对象的形式化描述;接着我们给出了对象存储系统的形式化描述;最后讨论了对象存储系统中对象间的关系,并通过这些对象间的关系推导出一种对象存储系统模式。对象存储系统的形式化研究将有助于我们对对象管理做进一步研究。     

一种面向运动目标的关键帧自动选择算法

为了避免变电站现场监控不到位引发的误作业、误入现场等事故,通常基于场景重构技术对现场目标状态进行实时监控。本文分析研究运行状态下变电站设备的实景建模,并提出一种运动目标关键帧自动选择方法。首先基于金字塔结构的KLT算法来跟踪特征点,然后利用两步分解法计算目标姿态的变化,并通过短时间内的目标姿态变化来预测目标的实时状态。为了评估提出方法的有效性,从相对误差（RE）、均方根误差（RMSE）和绝对轨迹误差（ATE）方面与参考轨迹进行定性和定量的比较评估。实验结果表明,提出算法的数据冗余率减少约40％~60％,位置定位和场景构建的实时性和鲁棒性得到显著提高。     

基于对象存储的负载均衡存储策略

对象存储文件系统中将大数据文件分片存储到多个存储节点上,以获取更好的并行I/O性能,提高系统吞吐率.现有对象存储文件系统的存储策略并未充分考虑存储对象本身负载的动态变化,不利于提高系统资源利用率.针对此问题,考虑存储对象的空间及I/O等负载实时变化,提出了一种简单、灵活、高效的负载均衡存储策略,并对该策略进行了实现.实验结果表明,该策略能有效提高对象存储系统资源的利用率和吞吐率,保证对象存储文件系统高效的读写性能.     

时间相位解包裹算法仿真与实验研究

为提高基于编码光栅的物体三维轮廓重构的精度,消除多频时间相位解包裹算法的相位跳跃性误差。采用一种改进的三频相位解包裹算法,通过相位与光栅节距的关系,实现了精准的相位解包裹。相比于传统方法和已提出的方法,提出的方法解相精度更高。通过仿真分析可得,改进方法展开相位无跳跃性误差,无需相位矫正,且在外加较大干扰的情况下也不会产生2π周期性误差,减小了相位解包裹的非线性误差。通过实验分析可得该方法实现了较高精度的物体三维轮廓重构。     

基于轮廓提取与深度筛选的双目三维重构技术

针对基于深度图融合三维重构方法获取的三维重构模型,易受到深度信息误差影响的情况,提出一种基于轮廓提取与深度筛选的双目立体视觉三维重构方法。采用标准棋盘校准双目三维重构系统,利用Canny算子对目标物体进行边界检测,综合采用形态学腐蚀与膨胀方法提取指定方向上的连续边界,用连续边界提取目标物体。在此基础上,对目标物体深度信息进行筛选、拟合插值以获取连续深度信息。结果表明,相对于常规三维重构算法,由本算法三维重构的目标物体表面完整度更高,且目标物体周围的背景环境噪声被去除。     

OFFS：基于对象模型的闪存文件系统研究*

提出了一种基于对象的存储系统管理框架,它使用统一的对象接口来访问flash或者磁盘。重点对基于对象模型的闪存文件系统进行了研究设计,在系统中引入了段的层次来进行对象管理,通过分析能够显著减少徘徊树问题引起的大量数据更新次数,并避免了垃圾回收时多余的I/O操作,缓解了垃圾回收过程中的数据锁定问题。     

基于虚存映射的对象存储系统的设计与实现

多媒体智能数据库系统ＭＩＤＳ（ＭｕｌｔｉｍｅｄｉａＩｎｔｅｌｌｉｇｅｎｔＤａｔａｂａｓｅＳｙｓｔｅｍ）的存储系统是一个强大的，高性能的对象存储系统，该存储系统是ＭＩＤＳ引擎的核心，它是基于虚存映身的存储系统，在Ｃｌｉｅｎｔ／Ｓｅｒｖｅｒ的体系结构下，为数据库提供了大容量，复杂的，共享的，多革体数据存取，然而又不失面的对象数据模型的种种优点，在本文中，我们将介绍基于虚存映射的对象存储系统的基本原理以     

SOFS:用于OSD中的智能化的对象文件系统

为了优化基于对象的存储设备(OSD)内对象的存储,该文提出了一种用于OSD中的智能化的对象文件系统SOFS,它是一个文件系统容器,可以包含多种基于不同应用的文件系统,目前包含了两种文件系统：通用对象文件系统和媒体对象文件系统,分别用于存储文档、网页等小对象和大的媒体对象。SOFS在Linux内核中的实现与ext2比较,结果显示,读写普通文档等小对象时,SOFS的性能高出ext2 大约10％,而读写大的媒体对象时,效率高出ext2 30％左右。