面向云存储的非结构化数据存取

非结构化数据呈爆炸态势增长,现有存储技术在I/O吞吐能力、可扩展性及易管理性等方面亟待改进。存储系统以云存储和可靠性理论为基础,建立了非结构化数据的分布式存储模型,并设计了可靠度函数。采用分布式关系数据库管理系统(RDBMS)作为存储底层,将非结构化数据直接存储于数据表中,实现了非结构化数据和元数据的分离式存储和统一管理,进而提升了存储系统性能。相对于集中式存储,新系统具有较高的可用性。仿真结果显示,存储系统可靠度高且易于扩展。该分布式存储系统可应用于动态开放计算环境,提供效能较高的云存储服务。     

KingCloud:智能对象归档系统

随着信息化进程的不断推进,生产系统积累了大量的数据,形成了归档需求;与此同时,数据信息类型不断丰富,非结构化数据的处理是挖掘数据价值的关键。设计并实现了KingCloud智能对象归档系统,通过文档分类技术实现了文本文件的分类,并提供了文档逻辑视图;利用图像识别、视频关键帧提取等技术实现图片和视频文件的内容元数据获取,在整体存储结构上结合文件系统语义研究对文件预取、存储缓存、数据布局和策略感知等方面进行优化,能够对数据进行智能的分类、归纳总结、智能的发现和预测及智能的分析,有效提升了存储系统的服务能力、服务质量和服务性能。     

ArchDB:一个高可靠高性能海量归档流数据库

当前,在科学实验、网站安全、内网审计等诸多领域,监视在线事务或跟踪用户行为会产生大规模归档流数据.这些归档系统规模可达PB级(10~(15)B).在如此规模下存储和分析这些结构化数据至少带来3个挑战;1)数据可靠性问题;2)高效存储和分析高速持续的流数据问题;3)高性能和高可靠目标之间的冲突问题.在分析归档流数据特征的基础上,提出了一种新的高可靠数据库体系结构ArchDB.ArchDB由两部分组成:其一负责加载和查询较小规模的当前数据;其二负责存储和查询大规模的历史归档数据.通过优化设计ArchDB中的数据分布策略、数据块尺寸和归档时机、数据存储和归档流水化机制来高效可靠管理大规模数据.实验结果表明ArchDB既能加倍数据加栽性能,又能加速恢复过程,其加速效果取决于恢复并发度.     

基于HBase的交通流数据实时存储系统

交通流数据具有多来源、高速率、体量大等特征,传统数据存储方法和系统暴露出扩展性弱和存储实时性低等问题.针对上述问题,设计并实现了一套基于HBase交通流数据实时存储系统.该系统采用分布式存储架构,通过前端的预处理操作对数据进行规范化整理,利用多源缓冲区结构对不同类型的流数据进行队列划分,并结合一致性哈希算法、多线程技术、行键优化设计等策略将数据并行存储到HBase集群服务器中.实验结果表明:该系统与基于Oracle的实时存储系统相比,其存储性能提升了3~5倍;与原生的HBase方法相比,其存储性能提升了2~3倍,并且具有良好的扩展性能.     

支持分布式存储删冗的相似文件元数据集合索引

分布式存储技术因其良好的可扩展性、高性价比在当前云存储系统和企业存储中心得到广泛应用.在分布式存储系统中进行内嵌删冗可以有效降低系统存储开销,提高数据存取效率,实现内嵌删冗的关键在于高性能和可扩展的元数据索引方法.该方法应确保删冗操作不影响存储性能.通过分析影响索引性能的关键因素,提出一种分布式相似文件元数据集合索引的构建方法.该方法使用位置敏感Hash函数,将具有相同数据片的相似文件元数据组成集合并建立索引,使一个文件所有数据片元数据检索只需要访问一次外存,有效提高元数据检索效率.并且所生成的索引具有良好可扩展性和很小的内存开销,适合在采用分布式存储结构的云存储系统或者企业存储系统中进行应用.     

基于Hadoop云存储系统在设计院的应用研究

近年来,三维设计、协同设计在设计院中逐渐推广使用,设计院面临着文件和数据量的快速增长,现有的文件存储设施已不能适应业务增长的需求。本文首先描述了云计算和云存储的概念,分析了云存储的体系结构和技术优势,提出了基于Hadoop构建的云存储系统模型,并应用于数据备份、归档及数据共享等领域,满足了设计院对海量数据存储、数据共享和数据挖掘等要求。     

海量信息分级存储数据迁移策略研究

以数据为中心的计算模式对存储系统的性能和可靠性提出了新的更高的要求。目前,PB量级的存储系统需要数千甚至上万块磁盘,高并行性、高可靠性和高性价比是海量磁盘存储系统的三项关键要求。本文提出由性能和可靠性不同的两级磁盘阵列组成二级海量存储系统,通过数据自动迁移,可在保证存储系统高性价比的条件下,获得更高的并行访问速率和可靠性。本文基于分级存储管理的思想,提出了FC—SAS和SATAII两级存储模型,设计了FV数据价值评定模型和迁移过程控制策略,实现对数据价值的精确判定,在尽量减小对系统访问性能影响的基础上,实现数据在两级设备间的高效迁移和用户的透明访问。     

基于ZYNQ的eMMC雷达数据存储系统设计

为了满足机载雷达数据存储系统对数据存储器大容量、读写速度快的需求,提出一种基于ZYNQ的eMMC雷达数据存储系统设计方案。该系统以ZYNQ-7000系列芯片为主控芯片,通过PL端对接收的雷达数据和GPS数据进行解析和组帧,将乒乓缓存技术与AXI4总线结合后把组帧后的数据传输到PS端的DDR中缓存,然后写入eMMC存储单元,存储完成后进行回读验证数据。实验结果表明,存储数据速度可达到60 MB/s,系统运行稳定,存储数据完整。相比于其他雷达数据存储系统,该系统具有高容量、集成度高、存储速度快的优点。     

云际存储系统性能优化研究现状与展望

云际存储系统提供了一个云存储资源管理平台,该平台被广泛地部署到了不同的在线应用场景中。通过将用户数据加密分发到多个云,云际存储系统可以保证存储数据的安全性和可靠性。为了高效地管理云际存储系统的各种资源,云际存储系统设计了不同数据分发方案来满足应用需求。从存储性能优化的角度出发,综述了当前云际存储的主要应用场景、系统功能及对应的实现方案。首先,介绍了云际存储系统的背景及当前主要的数据分发方案。其次,比较了当前主流云际存储系统网络传输及资源管理方案。其中,包括分析云际存储系统数据读写和修复操作中主要网络传输方案及当前云际存储系统对于用户端设备及云端资源策略。最后,总结了当前云际存储的主要应用场景和相应系统实现方案。在此基础上,分析了当前云际存储系统中亟待解决的问题及其带来的挑战,并给出了可能的系统解决方案。     

基于税务行业大数据应用的存储系统设计

介绍了在大集中环境下税务行业大数据的应用价值,结合税务行业对大数据的需求提出税务行业大数据存储系统设计目标。通过使用海量非结构化数据存储、虚拟机镜像数据存储等技术,规划出大数据存储系统,并描述大数据存储系统的存储方式和应用效果。     

基于数据生命周期管理的ARP系统优化设计

随着管理信息化系统中业务数据量的日益增加,使得系统性能下降和物理磁盘空间的增长。本文介绍了一种数据生命周期管理解决方案ADLM(Academia Resource Planning System Data Lifecycle Manage,简称ADLM),在不增加硬件成本情况下,使用程序控制方法,达到系统性能优化和实现历史数据归档保存的目的。主要解决了具有时间周期特性的业务数据的分类管理、在线归档、离线存储等问题,对业务数据归档策略、分级存储实现和归档数据查询等关键问题进行了分析,最后通过实际应用,证明本技术方案可以方便快捷地实现业务处理性能的提升和对磁盘空间使用需求无限增长的有效控制。     

无线传感器网络中对等数据存储策略研究

在无线传感器网络中,除了基于基站的数据传输和管理模式以外,对等数据传输以及网内数据管理同样具有非常重要的现实意义。本文论述了传感器网络中对等数据传输的应用特点和研究挑战,以及数据存储策略与对等数据传输的关系。如何设计有效的数据存储策略是对等数据传输和网内数据管理、查询的关键技术和重要研究课题。本文分析了无线传感器网络中对等数据存储策略的分类、负载平衡和查询成功率等相关问题。本文采取基于位置的分类方法,根据策略是否依赖节点的位置信息,将节点间的对等数据存储分为基于位置的策略和无位置策略。本文综述了目前的相关研究,比较了各种策略适用的网络环境和数据查询成功率、网络负载平衡等性能指标。     

改进的云存储系统数据分布策略

针对当前云存储系统海量数据应用环境中数据分布策略可扩展性以及灵活性的不足,提出一种高效的数据分布策略。一方面,该策略基于一致性哈希数据分布算法,引入了虚拟化的设计思路,采用虚拟节点进行存储资源分配;另一方面,该策略采用了一种基于节点容量感知的负载均衡方法,有效地优化了系统性能,提高了系统可扩展性。通过实验分析,不管在同构还是异构的云存储架构中,该策略改善了存储资源负载均衡程度,有效优化了系统整体性能。     

RFID与MongoDB融合的分布式云仓储管理系统

利用非关系型数据库具有数据存储不需要固定表结构、不存在连接操作的特性,建立起来的非关系型分布式云存储数据管理,具有比关系型数据库存储管理更好的性能优势。通过基于MongoDB建立的分布式云存储架构,结合底层的Angular和RFID技术,设计实现一种分布式云存储智能仓储管理系统,以解决现代商品仓储管理存在的数据规模大、异地数据不同步、数据共享度低、管理成本高等问题。针对MongoDB为了加速对查询或修改过的数据访问速度而采取记忆并缓存至本地的策略,以及对某节点数据的高密度访问可能造成数据拥堵的问题,设计了基于数据操作频率统计技术的节点均衡访问算法,并对算法的均衡关系参数进行优化验证。系统包括商品的进出库管理、查询统计等基本功能,可应用于数量、地域不断扩大的分散型仓储智能管理。     

基于热点数据块的动态副本调整策略

副本管理策略对于分布式存储系统的可用性、可靠性和系统整体性能有至关重要的作用。本文针对基于文件的动态副本调整策略的不足,提出了一种基于热点数据块的动态副本调整策略。根据时间局部性原理和数据访问规律,通过对历史访问周期和当前周期赋予不同的权重,数据块下一周期的预测进行访问频率计算,接下来基于计算出的预测访问频率对数据块进行热点判定。结合HDFS中数据访问规律近似二八定律的特点和热点数据块的判定结果,来确定数据块的调整阈值。最后,分3个步骤对基于热点数据块的动态副本调整策略进行性详细设计。实验结果表明,本文提出的基于热点数据块的动态副本调整策略在数据访问效率和集群存储资源利用率两方面有了明显提升。     

大数据分析的分布式MOLAP技术

大数据的规模效应给数据存储、管理以及数据分析带来了极大的挑战,学界和业界广泛采用分布式文件系统和MapReduce编程模型来应对这一挑战.提出了大数据环境中一种基于Hadoop分布式文件系统（HDFS）和MapReduce编程模型的分布式MOLAP技术,称为DOLAP（distributed OLAP）.DOLAP采用一种特殊的多维模型完成维和度量的映射;采用维编码和遍历算法实现维层次上的上卷下钻操作;采用数据分块和线性化算法将维和度量保存在分布式文件系统中;采用数据块选择算法优化OLAP的性能;采用MapReduce编程模型实现OLAP操作.描述了DOLAP在科学数据分析的应用案例,并与主流的非关系数据库系统进行性能对比.实验结果表明,尽管数据装载性能略显不足,但DOLAP的性能要优于基于HBase,Hive,HadoopDB,OLAP4Cloud等主流非关系数据库系统实现的OLAP性能.     

基于Alluxio远程场景下缓存策略的优化*

当今时代数据呈现出指数级增长效应,更多的组织采用多数据中心和分布式来存储数据,Alluxio作为以内存为中心的虚拟分布式存储系统,整合了底层大数据生态系统。在Alluxio与底层存储结合的远程场景中,由于网络的延迟,使得I/O速度成为影响对外服务的重要因素之一。针对以上研究提出一种基于Alluxio远程场景下的缓存策略CPR,利用存储系统中数据块之间的关联性指导数据预取与替换,采用分组思想提高关联规则的利用率,启用后台线程实时更新规则集,并通过仿真实验验证策略的有效性。仿真结果表明,CPR策略指导下的I/O性能要优于Alluxio现有的缓存策略和一些基于数据块间关联规则的缓存策略。     

一种面向下一代互联网的广域网智能存储系统

广域网智能存储系统针对下一代互联网数据急剧增长、网络资源难以管理和使用的问题,采用多层次、可扩展的分布式存储模式,从改进体系结构着手来提高网络存储系统的性能。其存储管理遵循存储管理计划规范(SMIS),并针对复杂网络环境下的元数据管理和数据传输问题,提出了有效的负载均衡策略和高速安全的存储中间件解决方案,不仅降低了存储管理开销,加快了数据传输速度,同时也实现了命令与数据分流、扩容与增速同步的目标,从而大大提高了整个存储系统的性能。