2019年度大数据产业分荐

数据为基大数据是社会信息化的产物,多大才算大数据?根据维基百科的定义,大数据的大小是从TB级别到PB级别,1PB=1024TB,1TB=1024GB。也就是说,我们现在常规使用的电子设备,像智能手机、平板电脑的顶级配置(512G)的2048倍才刚刚达到大数据的入门级别。而大数据不止于"大",更在于数据结构的多样。     

基于分布式存储技术的高校集群存储系统实践与研究

随着文件大小和数据规模逐步达到TB和PB级,大数据与大文件在群体中的共享出现了困难,为解决此问题集群存储系统出现。笔者深入研究了集群存储系统,并通过将其与传统的存储区域网(SAN)和网络附加存储(NAS)的比较[1],分析高校集群储存系统的七大功能特点。     

存贮构架BI核心

6月7日,惠普公司推出了 XP 存储系统家族的第三代产品——Surestore xp1024和 xp128。HP Surestorexp1024、xp128存储系统不仅存储容量和存储速度更上层楼,可以为用户解决在数据存储整合管理、远程备份和恢复,满足用户确保业务连续性、远程灾难恢复等方面的需求;同时xp1024和 xp128作为商业智能(BI)、数据仓库等的核心存储动力引擎还将推动和引领商业智能、数据仓库的应用。客户对存储的需求覆盖从存储数据的整合、业务连续性解决方案到商业智能各个层面。随着存储市场的不断成熟,目前客户对存储系统的需求主要体现在以下几个方面:首先是对存储整合方面的需求,信息时代一个显著的特点就     

海量存储系统的层次化体系结构

分析目前各种海量存储系统的体系结构研究重点,提出一种海量存储系统的5层体系结构,分别是存储物理层、存储连接层、存储网络层、存储表示层和存储应用层.通过各个层次之间相互提供/调用服务的方式,使用多种存储技术构建海量存储系统.在此基础上,设计并实现了一种基于智能网络磁盘及其文件系统的层次化海量存储系统,通过实验验证了层次化体系结构的海量存储系统的可行性和正确性.     

DIY存储系统 每GB仅2美元

十年前,PC发烧友学会了自己组装PC。现在,我们能够在起居室中组装出令五角大楼感到紧张的存储系统。位于旧金山的Capricorn科技公司已经设计、发布了开放源代码的设计图,使人们能以相对低廉的成本建成容量为数TB、数PB的存储系统。它还推出了名为PetaBox的存储系统,并因其低价格与数家大学和研究机构达成了交易。该公司的首席执行官塞克利说,Capricorn系统的价格只有2美元/GB,其中的65美分用于存储容量,1.35美元则用于机架、软件、网络、管理工具和其它组件。这意味着存储容量为1TB的Capricorn系统的价格约为2000美元,1PB(可以存储4…     

未来数据中心和云计算的十二大趋势

伴随着IT世界进入到另外一个崭新的平台,客户端／服务器到按需云服务的转变．众多企业用户纷纷在思索如何调整或者升级他们的系统以满足互联网时代的处理需求。目前．大多数大型企业已经能够应付PB级别的（1PB=1024TB）数据处理和存储事务要求。大量的数据负载也逐渐过渡到越来越多的中小型企业用户业务中来。他们在实际应用中逐渐发现．带有前瞻性的商业数据能够帮助他们预测未来市场的走向,帮助他们了解新客户的具体分布。     

基于随机森林的高能物理数据放置策略

随着LHAASO高海拔宇宙线等高能物理实验规模的不断扩大,每年需要存储PB级的海量物理数据。高能物理海量存储系统一般采用随机的数据放置策略,没有考虑数据访问场景和服务器节点、存储设备的差异性。针对以上问题,提出一种异构存储环境下基于随机森林算法的数据放置策略,根据存储设备性能差异划分快慢存储池,同时对后期文件的读写访问场景进行预测和识别,综合考虑当前设备负载为数据找到最佳的放置位置。使用真实物理实验数据验证了算法的有效性。     

网络化光盘库在海量存储系统中的应用研究

1.引言在存储容量需求不断增长的同时,由于越来越多的关键信息转变为数据,数据对个人和企业的价值也就越来越高,人们对存储系统的存取性能、7×24小时数据可用性、存储低成本、系统可扩展性、高可靠性和安全性等方面提出了迫切的存储需求。针对这些存储需求,设计具有高数据传输率、可靠数据存储和备份、智能数据组织和管理等特点的海量数据存储系统逐渐成为存储系统设计的热点问题。     

ZFS在基于HDFS的近线存储系统中性能分析与实现

通过将云计算技术应用于近线存储领域,设计实现了基于Hadoop分布式文件系统(Hadoop distributed file system,HDFS)的海量近线存储系统,用以扩展TH-1A超级计算机在线存储系统空间,提高系统利用率.该系统采用胖存储节点(大型的存储服务器)构建基于HDFS的近线存储集群,通过ZFS文件系统来解决HDFS存在的低效和空间利用率低的问题,采用双副本冗余、虚拟存储、动态管理等方法优化存储服务器存储和管理效率,提高了近线存储系统性能.实验结果表明,与传统HDFS集群存储系统相比,该系统在可靠性、经济性及灵活性上均具有一定的优势.     

海量存储系统的发展与展望

从存储网络技术、系统架构、数据保护、绿色存储等方面综合分析了海量存储系统的发展趋势,并对新一代海量存储-并行海量存储系统的相关理论和关键技术做了分析。并行海量存储系统应具有自动负载均衡、高可用、支持重复数据删除、自动分层存储、绿色节能等先进特性。     

一种NAS集群存储系统及其在动漫渲染行业中的应用

针对动漫渲染行业等中高端存储系统需求,为保证海量数据和高并发访问的应用,设计了具有高可靠性、高可扩展性、高性能的NAS集群存储系统.该NAS集群存储系统具有支持十亿级文件数量,PB级存储容量,数十GB的聚合带宽,可以满足动漫渲染、高性能计算等领域的应用.     

存储系统 电信行业服务满意奖

电信行业是应用存储方案最成熟、最广泛而且要求最高的行业之一。目前从电信行业对存储方案的要求来看,关键行业应用如数据中心、计费中心等,要求存储系统具有最高的可用性、强大的性能、存储容量利用率、可管理性以及容灾等功能。正是基于电信行业用户对存储方案要求的深刻理解,惠普提供了包括StorageWorksXP系列磁盘阵列、StorageWorksEVA系列产品以及存储管理软件在内的解决方案。HPStorageWorksXP磁盘阵列x p1024采用纵横交错的冗余架构(Cross-Bar),并针对各种应用程序优化了性能。xp1024最大容量为146TB,能够满足电信行业的任…     

进入Petabyte海量存储时代

人类信息存储的容量空间越来越大,从几十到上百GB的硬盘已经随处可见,1 Terabyte（1TB等于1024GB）的大硬盘也可以买到,Petabyte（1 Petabyte等于1024 TB）存储容量时代正在向我们走来。     

邦诺SMI-NVR视频监控专用网络存储

SMI—NVR是邦诺针对安防行业应用特点推出的专用监控类海量存储系统，提供2-10Gbps的传输带宽和单模块高达24TB（可扩充）的存储空间。     

基于税务行业大数据应用的存储系统设计

介绍了在大集中环境下税务行业大数据的应用价值,结合税务行业对大数据的需求提出税务行业大数据存储系统设计目标。通过使用海量非结构化数据存储、虚拟机镜像数据存储等技术,规划出大数据存储系统,并描述大数据存储系统的存储方式和应用效果。     

探析HDFS在区域医学影像存储上的应用

区域医学影像的存储是指将来自区域内的大型医院、医疗服务站等各种医疗机构的影像资料保存,并为其提供服务的过程,随着时间的增长,其存储的数据总量积增,将达到PB级以上.针对如此海量的数据以及临床应用的实时性要求,HDFS能否胜任,又将如何调整,针对区域医学医学影像存储,研究了分布式存储系统结构在其存储过程中的应用,并有针对性地进行了改进,使其在满足临床应用的同时完成对海量数据的存储.     

基于Agent的自适应存储服务系统

大规模海量存储系统中存储资源的结构、协议和I／O模式的复杂性等远远超过了传统存储系统,面向这种复杂存储环境的I／O服务和存储管理还缺乏高效智能的自适应模型。该文根据存储网络的特性建立基于Agent的自适应存储服务模型,实现用户需求和最佳存储设备的自动匹配。提出多Agent的系统结构和组成要素,建立服务感知和存储环境感知的参数体系,研究多Agent协同工作的自适应匹配模块和服务调度算法。仿真实验证明,该方法可以为应用服务和最佳存储系统的自动匹配提供一种智能方法,提高了存储服务质量。     

海量存储系统的性能管理与监测方法研究

海量存储系统是一个大规模分布式的集群存储系统,拥有着PB级的存储容量,存在着数以千计的并发访问。为实现对海量存储系统的监控和管理,采用以ganglia为基础并且辅以各种改进和优化的监控模型,以满足海量存储系统的要求。从性能、功能、可靠性以及资源优化等多方面入手,使模型不断完善,最终达到一个比较好的性能,为集群的监控和管理提供一个可靠的保障。     

海量气象数据实时解析与存储系统的设计与实现

气象数据是一种典型的非结构化数据,在实际应用中其日增量达数十TB,基于关系数据库和传统文件系统的解析、存储与访问模式已成为制约天气预报系统信息化发展的瓶颈之一。为满足全国天气预报平台MICAPS用户对实时数据的及时、快速查询,介绍了能够7*24小时稳定工作、支撑数十TB/天的数据实时解析系统。根据气象数据的多维模型和用户行为,采用非关系型分布式Key-Value数据库,设计实现了高性能海量数据存储系统。实践证明,数据实时解析系统和基于分布式非关系型KeyValue数据库的存储系统能有效满足海量实时气象数据存储、查询和应用需求。该系统已成为中国天气预报业务流程中的核心系统,体现了优异的功能和性能。     

一种基于模块化设计的NAS集群存储系统

针对信息中心等中高端存储系统需求,为保证海量数据和高并发访问的应用,设计具有高可靠性、高可扩展性、高性能的NAS集群存储系统。该NAS集群存储系统具有支持十亿级文件数量,PB级存储容量,数十GB的聚合带宽,可以满足高性能计算、网站、文件服务、流媒体、数字化视频监控、文件备份等领域的应用。并针对不同的客户需求,可以提供不同的主机接口,具有较强的适应性。