混合云存储中网络稀疏大数据渗透迁移算法

当前方法没有考虑到特殊样本数据筛查的问题,导致数据渗透迁移完整度不高,所用时间较长,为此提出一种混合云存储中网络稀疏大数据渗透迁移算法.在主成分分析算法中引入信息熵的思想,对网络稀疏大数据进行降维处理,将降维结果与信息熵进行结合;筛选网络稀疏大数据的特征,将网络稀疏大数据中存在的无用特征进行剔除;计算网络稀疏大数据的敏感度、时间长度和访问频率,通过以上3个迁移因子构建网络稀疏大数据重组模型,实现混合云存储中网络稀疏大数据的渗透迁移.实验结果表明,提出算法在数据迁移完整性与效率方面明显优于传统方法,说明所提算法能够实现对网络稀疏大数据的有效迁移,为相关研究提供一定参考价值.     

内存云分级存储架构下的数据迁移模型

为了实现在线海量数据的高效存储与访问,在内存云分级存储架构下,提出一种基于数据重要性的迁移模型(MMDS)。首先,通过数据本身的大小、时间重要性、用户访问总量等因素对数据本身的重要性进行计算;其次,采用推荐系统中相似用户和PageRank算法中的重要性排名思想对数据的潜在价值进行评估,数据重要性和潜在价值共同决定了数据的重要程度;然后基于数据的重要性,设计了数据迁移机制。实验结果表明:该模型能够识别出数据的重要程度并分级放置数据,相比最近最少使用(LRU)、最近最不常用(LFU)、基于价值评估的数据迁移(MSDV)等算法,提高了存储系统的数据访问命中率。该模型能够缓解部分存储压力,数据访问性能也有了一定的提高。     

面向智能交通系统的大数据分布式存储算法

针对智能交通系统中的大数据分布式存储过程中分布均衡度较低、安全性差等问题,提出面向智能交通系统的大数据分布式存储算法.利用云存储架构构建大数据分布式存储模型及三层数据存储层次,通过上层的数据高度访问、中层数据连接以及下层的数据归档,依据设定的已知数据粒度、机率以及弹性,计算数据存储强度以及层次,实现大数据存储.通过超混...     

海洋大数据分级存储中迁移模型的研究

海洋数据具有规模庞大、种类繁多、结构复杂、时空特性明显等特征,如何高效地对海洋中的大数据进行存储是实现我国海洋数字化以及管理的科学化的关键。传统的数据存储系统面临着高扩展性、高可靠性、高安全性和低成本的挑战。阐述海洋数据的特征,制定海洋中大数据的生命周期;根据海洋中大数据的生命周期图,设计出一种适合于海洋大数据特征的迁移模型,解决了海洋中大数据在分级存储中的数据迁移问题,实现了海洋大数据的高效存储。     

大数据云存储的技术优化的仿真分析北大核心CSCD

在对大数据云存储的关键技术优化的研究过程中,云数据数量呈现几何指数增长,数据的多样性引起存储过程存储率下降。当前的存储过程以云端随机存储为主,没有考虑海量随机数据存储与后期访问的关联性。导致传统的存储过程在后期访问时,效率低。提出改进随机游走算法的大数据云存储的方法,把存储过程融合于定向随机游走规则,将云存储系统抽象为一个二维随机图,并将系统中的各节点表述为图中的各个顶点,促使汇聚节点收集到的源数据包传递至云存储系统中的部分节点上,将云存储数据流中的历史大数据依据时间的先后排列为时间戳序列,并对历史大数据进行多层递阶抽样存储,通过设置不同的大数据抽样比例保证了大数据存储新样本的随机性,有效地完成了大数据云存储的关键技术优化。仿真结果证明,改进随机游走算法使大数据云存储访问效率增加。     

视频访问负载的分级存储及迁移算法研究

为了使分布式分级混合存储系统高效、快速响应的工作,达到优化系统性能和减少系统资源消耗的目标,通过研究负载的模式,同时考虑数据访问局部性和系统响应时间,提出了相应于负载识别、以及基于频率策略和带宽策略的分级存储迁移算法,提出了一种目标函数为(带宽节省率/命中率)的新评价标准。频率策略是根据访问的周期频率特性来进行数据分级存储迁移,带宽策略是根据在访问中考虑迁移带宽消耗特性来进行数据分级存储迁移。结合实例,模拟仿真实验结果表明,两种策略都能有效地到达目标。频率策略带来的访问次数及命中率较高,而带宽策略可以减少分级存储并发瓶颈数量。     

基于海量数据存储系统多级存储介质的热点数据区分方法

海量数据的应用导致文件读写压力变大,必然需要考虑文件I/O带来的系统性能瓶颈.考虑到不同存储设备性能和成本不同,而且数据访问具有时间和空间局部性,因此需要进行分级存储.考虑到数据存在着周期性的变化规律,数据访问的热度是变化的,海量存储系统中相当大比例的数据静止不动,而且高性能存储设备有限,因此基于分级存储技术进行数据迁移,并且对常规价值评定模型进行改进后提出它所适用的基于文件级的数据迁移算法.针对并发访问读写压力变大之后对数据进行迁移的场景,用Web并发访问测试工具来对数据迁移之后的硬件读写进行评估,经过对Web服务器并发访问响应时间的测试验证,与常规迁移方法相比该算法的确改进了系统的性能.     

基于迭代MapReduce的混合云大数据分析

现有混合云平台运行大数据分析等数据密集型工作负载存在数据迁移开销大、执行时间长等问题,提出基于迭代MapReduce的大数据分析方法.提出一种数据存储和数据迁移机制,迭代时将初始不变量从私有云迁移至公有云,无需修改MapReduce框架或底层存储层;利用随机森林估计所提迭代MapReduce应用程序所需的计算时间.OpenStack混合云实验结果表明,相比传统方案,提出方法仅增加了初始迭代的运行时间,最终完成时间比传统方法节约12.6％以上.此外,提出的性能预测方法的误差率可保持在19.54％以内.     

基于固态硬盘的云存储分布式缓存策略

为满足海量数据存储的需求,提出一种基于低功耗、高性能固态硬盘的云存储系统分布式缓存策略.该策略对不同存储介质的硬盘虚拟化,将热点访问数据的缓存与存储相结合,实现在不同存储介质之间的热点数据迁移,解决热点元数据的访问一致性与存储服务器的动态负载均衡问题.工作负载压力测试结果表明,该策略可使云存储系统的读峰值速率最高提升约86％,并且能提高存储服务器的吞吐量.     

关于计算机云存储中数据迁移的分析

数据迁移问题是企业选择云存储方式最为重要的环节,文章从多个方面分析云存储中如何有效地进行数据迁移并提出一些自己的看法,旨在共同研究数据迁移的实施方案。     

计算机云存储的数据迁移研究

云存储技术是计算机发展过程中的一项重要技术,其中数字迁移是从完全虚拟化的场景中走出来实现高度动态存储的必然条件,因此就必须对计算机云存储数据迁移进行详细的研究.     

基于多属性度量的数据分级访问模型研究

随着云计算的迅速发展,云存储已成为企业关键信息服务的重要途径。但是,受限于存储资源性能以及大数据等影响,用户往往需要忍受较长的访问延时。为了缓解这种情况,人们提出了智能数据管理技术,用于有效管理大量数据以及降低用户的访问延迟,提高云计算的服务质量。提出一种基于多属性分析的存储端数据分级访问模型。模型通过对被管理数据对象的动态、静态属性进行统计分析来提取属性中的关键信息,并依此进行数据管理决策,将冷/热数据迁移至对应层级,以便能够在合理规划存储资源的同时提高存储系统的访问性能。性能测试实验的结果表明,该模型具有较好的整体性能。     

浅析计算机云存储的数据迁移

计算机云存储的数据迁移,是计算机发展过程中的一项重要技术,其可以准确的实现数据间的有效传输和存储,满足人们对信息和数据的交流需求。下面本文就对计算机云存储数据迁移进行分析。     

自治的云服务模型中动态数据迁移设计

在自治的云系统服务模型基础上提出了动态数据迁移算法.在充分了解目前数据迁移技术的前提下,在系统中的每个节点设立自动监控模块,对数据迁移算法进行分析和比较.针对云环境的特点,通过实验验证动态迁数据迁移算法的合理性和可行性.实验结果表明,动态数据迁移技术体现了系统处理和计算能力方面的平衡.     

面向金融行业的大数据迁移的研究与实现

现有的金融行业的数据管理模式主要依赖于传统关系型数据库,然而传统架构受到拓展能力和存储性能的限制,难以满足大数据时代快速增长的海量数据量处理的需要。针对金融数据规模大、跨地域、跨系统存储、数据多样化等特点,提出了HiETL大数据迁移管理平台,实现了异构关系型数据库业务系统向Hadoop大数据平台的统一迁移,以及海量数据的集中整合、拓展存储、高效分析查询等一站式管理平台,在保证迁移准确的情况下,其速度可达到3?MB/s。     

基于混合云的安全数据存储架构

云计算技术为数据存储与计算提供了一个非常有效的方法,当前研究工作的重点集中在云中的数据安全。基于混合云,提出一个安全数据存储架构,将数据存储过程划分为两部分。数据的机密性、完整性和可追踪性的相关操作在私有云中实现,公共云实现数据的存储与查询。该架构在保障云端数据安全存储的同时,降低企业在保证云数据安全存储方面的成本。     

数据迁移在SAN中性能优化的研究和应用

数据密集性应用要求长时间高性能的存储访问,而且对于性能、容量等的要求会随着时间发生变化。该文通过为存储区域网络建立访问模型来分析影响存储性能的因素,进而提出了一种使用数据迁移技术重新配置数据分布的方法来优化存储性能。而且研究了在优化过程中提供不间断的高性能存储服务的解决方案。     

存储系统数据迁移技术与实现

通过对存储系统数据迁移常用技术的分析,结合云铜数据迁移实际案例,综合阐述了存储系统数据迁移的技术实现、迁移策略、风险分析与规避、数据完整性与一致性验证方法,对类似系统架构的存储数据迁移具有良好的借鉴意义。     

基于Hadoop的访问热点副本迁移技术

提出一种云环境下的访问热点负载均衡模型：基于节点的吞吐量与响应时间等主要参考指标,构建节点负载判定模块;文件在HDFS存储的过程中,将文件对应的数据块编号与存储路径相结合,设计存放在数据节点中的数据块到文件目录映射表;提出一种基于节点负载以及节点的存储空间的迁移源节点和目标节点选择方法;基于机架感知的机制,制定一种动态副本迁移方案。最后利用执行器下发指令给相应的数据节点,执行具体的迁移任务以及完善迁移后副本因子等参数信息的调整。通过迅速扩散副本的方式,来增加热点文件的副本数量,使得系统能够对外提供更大的吞吐量,缩短系统反应时间。      

非均质性海量复杂异构数据的混合云存储技术

在信息技术背景下,针对非均质性的海量复杂异构数据繁多、处理和存储困难等问题,提出了新型混合云存储系统架构.采用的方法是在该系统中设置数据管理中心、客户端、云端数据接口、网络数据融合算法模型、负载均衡器和多协议转换器,实现复杂数据的处理和计算,并采用网络数据融合算法实现非均质性的海量复杂异构数据的融合和计算,使系统具有较好的兼容性,提高了数据的存储能力.本研究还采用了加权最少连接调度算法,能够将接收到的数据请求分配到最合适的服务器中,提高了数据分配能力.