共查询到20条相似文献,搜索用时 0 毫秒
1.
基于Hadoop开发的海量数据存储平台优势显著,使用者无需掌握架构底层的搭建细节,只需根据应用层的功能指引便可以开展分布式程序的开发工作。文章提出的存储平台的最底层即为HDFS系统,可用于存储Hadoop集群中所有存储节点对应的文件。HDFS上一层是MapReduce引擎,主要由Job Trackers和Task Trackers组成。基于Hadoop的海量数据存储平台能大幅度提升数据录入、查找、调用的效率。 相似文献
2.
目前研究的物联网大数据同步存储系统,对于海量物联网数据的存储效率低、同步性差,不利于数据安全、稳定且高效的存储,难以满足动态存储需求,为了解决上述问题,基于Hadoop技术设计了一种新的物联网大数据同步存储系统。集合采集单元、处理器、存储器构建硬件平台,完善系统接口设计,合理设计软件程序,进一步提升系统的实际应用性能,并采用加密算法对存储数据进行加密处理,保证数据存储的安全性。实验结果表明,针对海量物联网数据,基于Hadoop技术的物联网大数据同步存储系统能够有效提高数据存储的同步性和存储效率,减少数据存储时延。 相似文献
3.
4.
在油气产业快速发展进程中,大数据平台的建立和完善发挥着重要作用.文中针对油田工作现场的相关数据本身具有数据规模大、每个个体数据之间关联性强、结构多样等特点,利用Hadoop这一技术对石油产业大数据平台进行设计和完善.新型大数据平台可以针对复杂多样的数据进行整合,并且每个层面的数据可以互相共享和联系.构建出的大数据平台经... 相似文献
5.
6.
7.
8.
Hadoop是一个免费、可靠、高效、可扩展的开源云平台,允许在分布式集群上处理大数据的软件框架。本文以Hadoop为基础,详细介绍了虚拟机VMware、JDK、CentOS、Hadoop等技术。在伪分布式环境下搭建虚拟云平台,经过测试,本系统能正常运行MapReduce化的分布式程序,本文还针对用户权限、路径配置和使用SSH服务程序等问题进行了详细的阐述,为基于Hadoop的云平台研究和应用程序开发提供了基础。 相似文献
9.
针对密集型数据设计的云存储系统多是利用Sqlite技术,因云数据复杂性,导致存储性能和查询性能较差.MongoDB是NoSQL数据库的一种,具有容错性高、性能灵活的特点,基于MongoDB设计了一种新的数据密集型云存储系统,系统硬件由3个层次构成,分别是数据层、业务层和表现层,选择MongoDB—Hadoop作为适配器... 相似文献
10.
随着现代化经济的发展,城市的道路交通流量也在迅速的增长,相应的车辆的道路交通违规事件也在增加,这给我国的道路交通管理系统增加了很大的压力,海量的数据存储如果不能得到及时有效的处理,就无法实时的监控道路交通状况,一旦数据存储无法满足,交通管理部门的道路交通管理就会出现严重的失误.所以目前对于交通管理部门来说,需要一个更加先进的系统来进行对海量数据的存储和处理.本篇文章就是基于一个这样的平台——云平台,基于Hadoop技术来进行对城市道路交通流量数据的分布式存储和挖掘分析的研究,旨在可以实现高效的存储和处理道路交通流量的数据,方便进行交通管理. 相似文献
11.
12.
随着信息化教学的推进,高校在信息化教学的发展和进步,已积累大量课程资源和课程数据,如何在这些课程资源数据进行有效存储管理,并在此基础上挖掘出有意义的数据,对课程资源进行关联归类,形成课程体系智慧学习,成为目前高校课程大数据的主要研究对象。文章以高校计算机类课程为基础,搭建Hadoop集群环境,研究基于Hadoop平台的课程云平台,为高校课程信息化建设提供方案。 相似文献
13.
14.
15.
16.
据IDC统计,2011年全球处理的数据量达到1.8 ZB,预计到2020年达到40 ZB.如何对海量数据进行高效分析和有效管理已成为大数据时代亟需解决的问题之一.商业数据、科学数据和网页数据这3类海量数据的异构性(充满着非结构化、半结构化和结构化数据)进一步增加了海量数据的处理难度.海量数据排序是海量数据处理的基本内容之一.Hadoop曾利用3 658个节点的集群在16.25小时内完成1PB数据的排序,获得Daytona类GraySort和MinuteSort级别的冠军.本文在设计层面上对Hadoop平台上海量数据排序策略进行分析. 相似文献
17.
随着大数据技术在各行业中的应用和推广,建设医疗大数据平台成为加强医疗行业核心竞争力的重要手段。文中分析了医疗大数据特点、设计和研究了医疗大数据平台的应用实践,利用科学设置和布置集群、互联网和服务器等,最大程度地保证了医疗大数据平台环境的安全性和稳定性,希望能为相关工作人员提供一定的技术参考。 相似文献
18.
19.
本文通过构建大数据场景下基于HDFS的云存储服务系统,能够有效地存储海量数据,实现用户的文件数据进行分布式存储,并达到降低分布式文件系统成本的目的。 相似文献