Hadoop平台下的数据迁移设计与实现

为解决持续增长的海量数据的存储压力,提出了由在线存储平台和大数据存储平台组成的分层存储系统,并对分层存储系统中结构化、非结构化数据迁移的设计和实现进行了详细描述,同时介绍了系统实际使用情况及优缺点。     

基于HBase的分布式海量小型文件存储系统

随着互联网公司的业务不断发展,企业的大量数据以非结构化的形式存在,非结构化数据常常以小型文件为主,不仅体量大,而且分散性高,因此海量小型文件存储面临着存储性能和访问效率较低等问题。分布式小型文件存储系统是指在集群服务器的硬件存储资源环境下,对小型文件保存、读取和修改进行统一管理的系统。文章基于HBase实现了一个分布式小型文件存储系统,该文件系统有超强的处理海量小型文件的能力,同时有着良好的扩展性、容错性和稳定性,可以更好地支撑互联网企业的业务发展。     

云计算下大数据非结构的稳定性检索方法

传统的云计算Hadoop分布式多层体系架构数据检索模块难以满足云计算下大数据非结构的稳定性检索需求,因此采用需要结合存储非结构化大数据的特点,塑造新的集群的基础环境,通过云、端并重的形式,实现大数据非结构的稳定性检索。引入一种非结构大数据索引框架,作为非结构化数据库,当成数据检索引擎,改进云计算下大数据非结构的检索服务,给出检索技术在检索非结构化大数据过程中的关键代码。实验结果表明,所设计系统在检索云计算下非结构大数据的过程中,具有较高的查准率和较低的检索时间,可实现非结构云数据的稳定性检索。     

云平台下的NoSQL分布式大数据存储技术与应用

随着移动互联网云计算、大数据的快速发展,以图片、视频等组成的数据存储急剧增加,目前已有存储方式无法满足系统需要,而No SQL分布式大数据存储技术因其具有可扩展、快速读取、海量处理等特点,其在云计算领域如雨后春笋般被广泛应用。采用基于Hadoop平台和No SQL的Mongo DB数据库技术设计非结构化数据云存储架构,证明云存储的非结构化数据存储技术可缓解当前非结构化数据存储面临的难题,提升非结构化数据存储服务质量。     

基于云计算环境的大数据兼容性存储系统设计

为了更好地适应环境的发展、推动科技的进步,针对网络数据实时与异构的特点进行研究,结合云计算方法对网络数据检测储存系统进行创新和优化,提出大数据存储系统的创新设计方案,并设计基于云计算的大数据储存处理模型。通过云计算方法对网络数据信息的特点进行分析,对数据模型的扩展、存储以及并行处理问题进行研究,从而对数据存储系统进行优化创新,以便提高系统的实用价值。最后通过实验对系统性能进行检测,实验结果证实,该系统相比传统系统信息储存效果具有较高的优越性,有效达到了设计目标。     

云数据安全存储技术初探

基于互联网与云计算技术快速发展下,大量信息数据应用网络存储于云存储系统中,而云存储系统主要是利用网络环境完成存储,其中用户十分重视信息数据的云存储安全性。因而,加强云数据安全存储技术具有深远意义。     

分布式大数据管理系统的设计与实现研究

社会高速发展的同时,数据也呈现爆炸式的增长,传统的数据库管理系统已经无法满足海量数据的存储需求。云存储技术成为一种新的数据存储方案,在Hadoop分布式系统的基础个,提出了一种基于云计算环境下的分布式大数据管理系统,为海量的文件存储与处理提供平台。对云计算大数据存储系统进行功能分析,同时还对大数据管理系统的框架进行设计,最后通过实验的方式验证了分布式大数据管理系统相比于其他方式的管理系统,处理的速度更快,存储时间更短,存储效率更高。     

Isilon的集群存储之道

很多企业试图通过扩展现有的传统存储系统,来满足非结构数据在制作、管理和归档方面的需求,但是往往却大失所望。因为这些传统系统只是为结构化处理数据或基于文本格式的数据存储而设计的,根本就不适用非结构化数据。即使运用最新的NAS（网络附加存储）和SAN（存储区域网络）系统架构,也存在一定的内在缺陷——“存储孤岛”、受限的延展性、性能的瓶颈、缺乏可用性以及高昂的成本,将极大的增加管理复杂性。     

基于递归神经网络的非结构化数据加密存储

为实现非结构化大数据的安全存储并提高其抗攻击能力，提出了基于递归神经网络的非结构化数据加密存储方法。通过分块处理医院非结构化大数据，获得输入、输出张量，构建基于LSTM的递归神经网络，生成医院大数据序列；通过向前反馈和向后反馈获得加密数据，将加密后数据包用加密后源数据包的线性组合代替；再设计基于列不满秩概率存储算法，通过加密存储子节点控制器分配加密存储任务。实验结果表明：该方法具有较强的抗攻击能力，存储效率优势更显著。     

大数据环境下基于NoSQL数据库的存储技术研究

文章通过研究和分析了典型的NoSQL数据库技术,基于该平台和Hadoop云架构,完成了非结构化的数据云存储架构的设计,可以很好的解决传统的关系型数据库在应对非结构化数据存储过程中的效率低下等问题。