面向异构DHT存储的数据与位置解耦算法

分布式哈希表(distributed hash table, DHT)由于其高效的数据寻址方式而被广泛应用于分布式存储.传统DHT必须将数据存放在指定节点中才能实现高效的数据分布式寻址,极大地限制了DHT技术的应用范围.例如,在异构存储网络中,节点的存储空间、带宽、稳定性等均有较大差异,结合数据特征和节点性能差异选择合适的数据存放节点可以很大程度上提高数据的访问效率,而传统DHT数据和存储位置紧耦合的特征导致其难以应用于异构的存储网络中.针对此问题,提出了vRoute算法以实现DHT中数据标识与其存储位置的解耦.通过构建基于Bloom Filter的分布式数据索引, vRoute算法可以在不降低数据寻址效率的基础上允许数据存储在网络中的任意节点.通过扩展Kademlia算法实现了vRoute,并从理论上证明了vRoute算法的有有效性.最后,模拟实验表明vRoute以较低的存储、网络开销实现了和传统的DHT算法接近的数据寻址效率.     

基于模糊处理的医疗信息数据存储系统的设计

为了提高医疗技术水平,加快医务人员对医疗信息数据的分析,使医疗信息数据运行更加顺畅,减少数据存储所占空间,需要对医疗信息数据存储系统进行设计;当前的医疗信息数据存储系统对医疗信息数据进行存储时,利用FPGA构建系统硬件,以硬件为基础将医疗信息数据存储,但在存储过程中,没有将冗余数据清除,导致存储空间易满,容量变小,存在正常医疗信息数据无处安放的问题;为此,提出一种基于模糊处理的医疗信息数据存储系统设计方法;该方法首先对医疗信息数据的来源进行统计,根据数据来源实现医疗数据的硬件构造,然后利用医疗信息数据中特征相似数据间的中介点实现数据聚类,完成对医疗信息数据的聚类存储,最后采用高斯混合模型对冗余医疗数据进行特征分析,以分析结果为基础,利用分数阶Fourier变换对冗余医疗信息数据进行删除操作,由此完成了基于模糊处理的医疗信息数据存储;实验结果证明,所提方法增加数据存储空间容量,减少对冗余数据的存储,加快医疗信息数据的存储速度,提高数据存储精度,为该领域研究发展提供强有力的依据。     

基于分布结构自适应筛选的数据库存储优化设计

通过对数据库的存储结构优化设计,提高数据库的吞吐量。传统方法采用存储节点校验数据适应度分区的数据库存储模型,数据库中存在重复冗余数据,不能自适应滤除,导致数据存储开销较大。提出了一种基于分布结构自适应筛选的数据库存储优化模型,首先进行数据库的存储机制和分布式数据结构分析,采用相空间重构方法进行存储空间的结构分布重组,采用分布结构自适应筛选方法对提取的数据信息流进行重复冗余数据滤波处理,改善数据在数据库存储空间中的结构分布,实现数据库存储优化。仿真结果表明,采用改进的方法进行数据库构建,能提高数据库存储吞吐量,降低数据存储开销,提高数据库的访问和调度性能,展示较好的应用价值。     

网络计算机模型下海量大数据存储系统设计

对网络计算机模型下海量大数据进行安全稳定的存储,可以提高网络计算机的使用价值,增加其使用周期。但目前的海量大数据存储方法在存储过程中,无法做到对其进行灵活高效的存储,存在大数据存储分布密度较低,存储开销较大等问题。为此,以网络计算机模型体系结构为基础,提出了一种基于ARM的海量大数据存储系统设计方法。该设计方法先利用ARM芯片对网络计算机模型下海量大数据存储系统进行硬件构造,将网络海量大数据中的可利用与不可利用数据进行分类处理,采用VISA结构根据数据分类结果对大数据存储系统软件部分进行设计,依据大数据调度模型和存储相似度特征对大数据存储的时间,质量等方面进行计算,利用计算结果对大数据传输的阈值以及分布密度进行记录,最后根据循环分段的计算方式进行冗余大数据特性压缩,并对海量大数据的常规数据和冗余数据进行存储。实验仿真证明,所提方法提高了海量大数据存储的兼容性,增强了大数据存储的精确性和灵活性。     

基于融合存储系统的数据容灾

为了应对信息时代巨量数据的存储要求．多种网络存储技术和理论先后出现．同样也给数据容灾带来新的挑战。简单介绍数据容灾的意义．提出在融合存储系统上实现的容灾的体系结果研究及基于融合存储系统的容灾实现．通过在融合存储系统上的相关数据论证基于融合存储系统的数据容灾的可行性和正确性．研究工作将对今后基于融合存储系统的数据容灾研究有较好的理论借鉴意义和实际参考价值。     

分级存储技术及其在水利大数据处理中的应用

随着水利信息化的快速发展,水利大数据应用日益广泛,通常的存储技术已经无法满足需要,存储容量及数据读写速率已成为大数据处理发展过程中的瓶颈。与全国山洪灾害防治管理平台中的分级存储数据集群建设实践相结合,根据信息生命周期理论,应用分级存储技术与方法,再结合水利数据特性制定迁移策略,搭建分级存储集群,有效地满足对海量数据存储和处理速率的需求,打破存储对大数据处理的制约。最终,该分级存储集群能够在节省存储成本的同时有效增加存储容量并提高对数据的读写速率,从而使集群的综合性能趋于平衡。     

面向去中心化存储的数据流行度去重模型

数据流行度去重方案中存在检测机构不诚实、数据存储不可靠等问题,提出一种面向去中心化存储的数据流行度去重模型。针对检测机构不诚实,模型结合区块链的不可篡改性与智能合约的不可抵赖性,将智能合约作为检测机构执行数据的重复性检测和流行度检测,保障了检测结果的真实性。针对数据存储不可靠问题,提出一种文件链存储结构,该结构满足数据流行度去重的要求,并通过添加辅助信息的方式,建立分布在不同存储节点中实现物理/逻辑上传的分片之间的逻辑关系,为流行度数据去中心化网络存储提供基础;同时,在数据块信息中添加备份标识,借助备份标识将存储网络划分为两个虚拟存储空间,分别实现数据和备份数据的检测与存储,满足了用户备份需求。安全性分析和性能分析表明,该方案具有可行性,保障了检测结果的真实性,并提高了数据存储的可靠性。     

监控视频云存储系统

非结构化数据呈爆炸态势增长, 传统存储技术在吞吐能力可扩展性及易管理性等方面急需改进, 通过分析安保视频数据存储的问题, 设计一种云计算架构下的安保视频监控存储系统, 基于框架技术搭建了对等架构的云计算环境, 并对其中的云存储策略进行了设计和建模. 实现在廉价不可信节点上存储海量私有化只读视频数据, 并提供高效可靠地访问. 仿真结果显示, 系统的存储性能可靠度高且易于扩展, 可提供效能较高的视频云存储服务.     

New multiplexing method of holographic data storage system

Data storage related with writing and retrieving requires high storage capacity, fast transfer rate and less access time. Today any data storage system cannot satisfy all of these conditions, however holographic data storage system can perform faster data transfer rate because it is a page oriented memory system using volume hologram in writing and retrieving data. System can be constructed without mechanically actuating part therefore fast data transfer rate and high storage capacity about 1Tb/cm3 can be realized. In this research, to record and retrieve binary data by a new hologram multiplexing in our holographic data storage system, we propose a new multiplexing method that is cyclone multiplexing method. Also, three algorithms were integrated in our holographic data storage system.     

ISCSI磁盘数据双控制器存储完整性测试技术研究

传统的ISCSI磁盘数据双控制器在存储数据时存在响应速度慢、数据丢帧等问题,为了改善传统方法在数据存储时遇到的这些问题,提出一种ISCSI磁盘数据双控制器存储完整性测试技术,在原始的磁盘数据双控制器存储系统中增加一种对数据完整性进行测试的技术,以达到提高存储响应时间,减小存储数据误差的目的;数据双控制器存储系统分为:数据采集、中心控制、动态存储、预警输出、网络接口及电源六大模块,通过采集模块获取存储信息,将采集到的数据经由中心控制模块进行去噪除杂等处理,将处理数据信息进行存储,当磁盘内存不够时,可由预警模块给出相应警告,通过网络接口扩展磁盘空间同时清除缓存,获得存储空间,电源模块为整个系统供电;实验结果表明,所提算法能够有效降低系统响应时间,获得完整的存储数据,同时数据丢帧率在0.05%以内。     

FC-SAN中的数据放置和访问路径选择的代价模型

网络化存储通过引入网络的概念将存储独立于服务器甚至通信网络,已经成为传统存储方式的有力替代者.然而,FC-SAN虚拟存储方式的存储性能依赖于存储对象的某些属性,在某些情况下,其性能甚至不如传统的LAN数据共享方式.就FC-SAN虚拟存储方式中的数据放置和访问路径选择对这一问题进行了研究.首先通过分析虚拟存储原理提出了一个数据访问耗时的线性模型;然后,就数据放置和访问路径选择提出了一个决策方法;并在进一步探讨这一方法的过程中，定义了“虚拟存储代价当量”的概念，用以评价FC-SAN虚拟存储环境中的数据放置的代价，从而为评价以及如何选择数据放置和访问路径提供了一种定量的手段.最后，在数字图书馆的一个海量存储原型系统中对上述的理论分析、各种条件进行了实验验证，并结合实际给出了“虚拟存储代价当量”的计算方法，验证了所提出的方法的有效性.     

基于区块链的分布式离链存储框架设计

随着分布式存储技术的不断发展,越来越多的企业、政府机构用户将数据保存在云端,实现大数据的分布式存储和数据资源共享。区块链技术的去中心化、可追溯、不可篡改、数据一致性等特点,为解决云存储存在的隐私和安全挑战问题带来了新的契机。文章提出了一种基于区块链的分布式离链存储框架。在区块链中部署区块节点和存储节点,其中区块节点用于执行底层区块链运行机制,存储节点用于存储数据和文件,通过将区块和存储功能区分开实现了离链存储,保证了区块链的运行效率。此外,文章还提出了一个使用基于经典数据占有机制的全局交互验证方法,以确保数据文件的分布、可靠和可证明的存储。用户向区块链中添加区块(存储文件)时会触发公平挑战机制的审核机制,从而隐式验证离链存储的所有文件是否完整。     

Generation of fuzzy rules and learning algorithm for servo control in holographic data storage system

Today many media of information storage device are formed as disks. Hence, next generation removable data storage media are shaped as disk types too. The holographic data storage system also uses a disk type photopolymer media. And then, holographic data storage system is most advanced optical memory system. Tracking servo and tilt servo control are very important research in holographic data storage system. In this paper, we propose intelligent servo control by fuzzy rules in holographic data storage system. Hence, we have found pattern of tilt servo control in holographic data storage system through fuzzy system and genetic algorithm. Fuzzy rules were generated by genetic algorithm for controlling tilt servo. Therefore, we control tilt servo using fuzzy rules in holographic data storage system. Consequently, Image input–output patterns of tilt servo control was found by intelligence algorithm in holographic data storage system.     

柔性网络化数据存储中心

网络存储技术的应用使存储系统和存储结构发生了显著的变化。柔性网络化数据存储中心(数据中心)采用基于IP的存储技术，使主机可以绕过服务器直接访问存储设备。该文分析了数据中心的体系结构，实验结果表明，数据中心相对于服务器存储，其性能有了大幅提高。应用于数据中心的“网络化光盘库”丰富了数据中心的存储层次，大容量磁盘缓存和光盘镜像技术提高了光盘库的性能。基于生物免疫思想的安全机制能有效地阻止对数据中心存储节点的异常访问和操作。     

源结构无关的远程备份数据共享存储方法

针对远程容灾系统中备份数据的存储依赖数据源的结构特征和备份中心资源浪费严重的现状,提出一种远程备份数据存储方法。通过数据封装、存储空间动态分配等技术实现多备份任务的备份数据在共享的存储空间内存储,备份中心与备份数据源的存储结构无关。实验证明,该方法不仅提高系统资源的使用效率,而且能提供较好的存储性能。     

基于Hadoop的高速公路OD数据存储模型和计算方法

高速公路OD数据是高速公路运营管理和状况分析的一类重要数据,如何利用海量的收费数据快速生成并有效管理高速公路OD数据是当前高速公路智能化建设中的一个重要问题.针对高速公路OD数据的种类多、周期长等问题,提出一种基于Hadoop的高速公路OD矩阵存储模型和相应的计算方法.建立统计高速公路车辆旅行时间、统计高速公路车流量两类OD矩阵作为存储模型.通过基于海量真实的高速公路收费数据的实验和传统的存储高速公路收费数据对比表明本文的存储方法相对于传统的关系数据存储,拥有更高效的存储效率并节省了存储空间.     

2-SLIDS: A two-stage linked storage structure with link-dependent data capabilities

The 2-stage linked storage structure (2-SLIDS) is a physical organization which combines the data definition flexibility as provided by the storage structure used in the ASP data manipulation package with the physical compactness of a storage structure as found in the IDS or APL data management systems. Further, 2-SLIDS allows defined data and pointer fields of a record to be assigned multiple values and permits intrarelationships to be specified among such values. An analytical comparison of the storage consumption of an ASP-like storage structure, an APL-like storage structure, and 2-SLIDS is provided in the appendix.     

A real-time distributed cluster storage optimization for massive data in internet of multimedia things

With the rapid growth of massive data in the Internet of Multimedia Things, there are some problems of insufficient storage space and unbalanced load in the current methods. For the problem of massive real-time data storage, a distributed cluster storage optimization method is proposed. Considering the impact of replica cost and the generation of intermediate data on the replica layout, a replica generation and storage strategy is given with consideration of cost and storage space. In the data center, the data sensitivity and data access frequency is used as migration factors to achieve massive data migration. The improved collaborative evolution method is used to code the task scheduling particle swarm in massive data storage to obtain the optimal solution, and achieve massive real-time data distributed cluster storage for the Internet of things. The experimental results showed that the cost of data management by this method was only between 10 and 15, which showed that this method can effectively improve data access speed, reduce storage space, lower cost and better load balancing.

     

Linux下高效存储优化的研究

随着数据的指数性增长,存储技术成为信息产业发展的核心动力,存储系统在一定程度上比计算系统和通信系统更加重要。如何高效地存储和优化存储空间,是存储系统急需解决的问题。本文介绍高效存储技术中的RAID技术、重复数据删除技术、数据压缩技术等,并在Linux环境下设计与实现具有高效存储优化特点的应用程序。试验表明该应用程序实现了软件RAID,删除了重复性数据,提高了存储空间利用率,降低了存储能耗。     

基于混合云的安全数据存储架构

云计算技术为数据存储与计算提供了一个非常有效的方法,当前研究工作的重点集中在云中的数据安全。基于混合云,提出一个安全数据存储架构,将数据存储过程划分为两部分。数据的机密性、完整性和可追踪性的相关操作在私有云中实现,公共云实现数据的存储与查询。该架构在保障云端数据安全存储的同时,降低企业在保证云数据安全存储方面的成本。