基于Hadoop的详单云查询系统设计

基于Hadoop的分布式系统架构能有效提升详单查询的吞吐量和可靠性,较传统的小型机+磁盘阵列方式,能显著地降低成本,保护投资。     

基于Hadoop架构的医疗大数据平台的应用

随着大数据技术在各行业中的应用和推广,建设医疗大数据平台成为加强医疗行业核心竞争力的重要手段。文中分析了医疗大数据特点、设计和研究了医疗大数据平台的应用实践,利用科学设置和布置集群、互联网和服务器等,最大程度地保证了医疗大数据平台环境的安全性和稳定性,希望能为相关工作人员提供一定的技术参考。     

Hadoop大数据计算平台搭建实践

无线电监测工作者在日常工作中积累了海量的监测数据文件,如何快速解析处理这些监测数据成为亟待解决的问题.本文首先介绍了 Hadoop大数据分析框架,其次详细介绍了 Hadoop大数据分析平台的分布式部署方法,最后对平台进行验证测试,为高效处理海量无线电监测数据奠定基础.     

基于Hadoop平台的电信大数据入库及查询性能优化研究

随着移动互联网的快速发展,电信运营商内部各种IT系统中的数据出现了"大数据"的特征,既有的技术架构和路线已无法高效处理如此海量的数据。针对流量经营大数据管理和大数据服务中海量DPI数据的数据入库和数据查询场景,提出了一种基于Hadoop的分布式数据服务架构,并设计出在该架构下的数据入库和查询性能的优化算法,通过模拟数据的实验对性能优化算法进行了验证。     

基于Hadoop技术的电信大数据平台设计

本文以电信大数据平台出发,针对Hadoop技术基础下的平台研究内容以及其特点进行总结和研究。     

基于Hadoop的信令详单实时查询平台构建方法

随着电信行业4G通信网络技术的普及,移动端互联网应用正蓬勃发展,随之带来的数据流量呈爆炸式增长,传统的处理方法难以支撑海量信令数据的实时查询需求,为此,提出了一种基于Hadoop的大数据实时查询平台,以支撑超大规模的信令详单的处理.通过数据采集、数据建模、rowkey设计、数据入库、二级索引、数据压缩与存储等实现方法,提供了实时数据查询服务.最后,在现网实验环境进行了验证,能够取得非常好的收益.     

Hadoop 3.0大数据平台性能

针对发布的Hadoop3.0,本文研究了Hadoop3.0大数据平台性能。首先,采用华为云服务器搭建大数据平台;其次,利用Hadoop框架提供的基准性能测试程序进行性能验证,测试指标包括TestDFSIO、MRBench和TeraSort。最后,对比分析不同负载、不同数据量对平台性能的影响。实验结果表明,Hadoop3.0在HDFS读写能力、MapReduce计算能力上均表现出较优的性能。     

基于Hadoop的高校大数据计算平台构建研究

为了有效帮助学校实现对校内数据的集中管理和高效运用,可以通过利用Hadoop技术搭建起相应的大数据计算平台。文章将在此背景下,通过简单介绍Hadoop的构造模块以及具体组件,尝试对基于Hadoop的高校大数据计算平台构建进行简要分析研究。     

基于Hadoop的石油大数据平台设计

在油气产业快速发展进程中,大数据平台的建立和完善发挥着重要作用.文中针对油田工作现场的相关数据本身具有数据规模大、每个个体数据之间关联性强、结构多样等特点,利用Hadoop这一技术对石油产业大数据平台进行设计和完善.新型大数据平台可以针对复杂多样的数据进行整合,并且每个层面的数据可以互相共享和联系.构建出的大数据平台经...     

基于Hadoop的交通信息物理系统大数据架构平台

CPS深度融合了计算、通信、控制技术,实现了对物理世界实体感知、通信、计算和控制过程.TCPS是CPS在交通领域的应用,是新一代智能化交通管理的解决方案.TCPS大数据是交通物理世界实体的感知信息,是所有后续决策制定的基础,是交通智能化管理的关键.本文研究了CPS、TCP以及Hadoop平台的技术原理,分析了TCPS大数据处理的关键问题,提出一种基于Hadoop的交通信息物理系统大数据架构平台的解决方案,设计了基于Hadoop的TCPS大数据平台架构,讨论了基于MapReduce的TCPS大数据挖掘方法和流程,为下一阶段的智能化交通管理系统建设提供技术支持.     

Hadoop平台下的数据迁移设计与实现

为解决持续增长的海量数据的存储压力,提出了由在线存储平台和大数据存储平台组成的分层存储系统,并对分层存储系统中结构化、非结构化数据迁移的设计和实现进行了详细描述,同时介绍了系统实际使用情况及优缺点。     

基于Hadoop的大数据的处理与挖掘

在对Hadoop的大数据的研究挖掘和处理的基础上,设计了基于Hadoop的大量数据的处理方案,并运用HDFS分布式文件系统来有效保存其相关数据,同时还对索引文件的快速查找和定位进行了设计。通过使用Map/Reduce对数据进行高效的并行处理,快速地返回统计结果。     

基于Hadoop技术的挖泥船大数据平台架构研究

基于大数据背景下对海量疏浚历史数据进行高效存储、提取和处理的目的,采用了Hadoop技术,通过建立挖泥船大数据平台并结合数据挖掘算法,完成了对疏浚大数据的采集、存储和分析.以挖泥船疏浚实例为应用背景,通过使用Hadoop平台的数据挖掘工具Mahout对疏浚工艺点进行了聚类研究,并根据聚类结果给出了初步的疏浚性能评估.结...     

基于Hadoop生态系统的大数据解决方案综述

大数据解决方案必须面对三个核心的问题,即大数据的存储、分析以及管理.文章主要论述了Hadoop生态系统是怎样处理的,大数据的定义以及Hadoop生态系统的含义.     

基于Hadoop的高校大数据平台的设计与实现

随着信息化的推进,高校已经建设了很多信息系统,积累了大量数据。如何从海量数据中,挖掘有价值的信息,支撑智慧校园的建设,成为需要迫切解决的问题。文中就高校大数据平台的关键技术和架构进行阐述,结合高校实际情况,设计高校大数据平台架构,通过搭建Hadoop集群环境,以业务系统和平台之间的数据交互验证平台设计的可行性和优势。通过研究,文中为高校建设大数据平台提出一种设计方案,为高校信息化建设提供一种新思路。     

基于Hadoop的海量数据存储平台设计

基于Hadoop开发的海量数据存储平台优势显著,使用者无需掌握架构底层的搭建细节,只需根据应用层的功能指引便可以开展分布式程序的开发工作。文章提出的存储平台的最底层即为HDFS系统,可用于存储Hadoop集群中所有存储节点对应的文件。HDFS上一层是MapReduce引擎,主要由Job Trackers和Task Trackers组成。基于Hadoop的海量数据存储平台能大幅度提升数据录入、查找、调用的效率。     

基于大数据技术的数据共享平台方案研究

借助大数据相关技术,基于Hadoop架构体系提出一套数据共享平台方案,并提供详细的软件功能方案和硬件部署方案,以期指导运营商IT支撑系统后续类似平台的落地建设。     

基于Hadoop的大数据网络安全实体识别方法

本文主要针对Hadoop的大数据网络安全实体识别方法展开研究,希望能够为相关工作者提供理论帮助。     

基于Hadoop技术的物联网大数据同步存储系统设计

目前研究的物联网大数据同步存储系统,对于海量物联网数据的存储效率低、同步性差,不利于数据安全、稳定且高效的存储,难以满足动态存储需求,为了解决上述问题,基于Hadoop技术设计了一种新的物联网大数据同步存储系统。集合采集单元、处理器、存储器构建硬件平台,完善系统接口设计,合理设计软件程序,进一步提升系统的实际应用性能,并采用加密算法对存储数据进行加密处理,保证数据存储的安全性。实验结果表明,针对海量物联网数据,基于Hadoop技术的物联网大数据同步存储系统能够有效提高数据存储的同步性和存储效率,减少数据存储时延。     

浅谈基于Hadoop平台的大规模数据排序

据IDC统计,2011年全球处理的数据量达到1.8 ZB,预计到2020年达到40 ZB.如何对海量数据进行高效分析和有效管理已成为大数据时代亟需解决的问题之一.商业数据、科学数据和网页数据这3类海量数据的异构性(充满着非结构化、半结构化和结构化数据)进一步增加了海量数据的处理难度.海量数据排序是海量数据处理的基本内容之一.Hadoop曾利用3 658个节点的集群在16.25小时内完成1PB数据的排序,获得Daytona类GraySort和MinuteSort级别的冠军.本文在设计层面上对Hadoop平台上海量数据排序策略进行分析.