基于Hadoop技术的电信大数据平台设计

本文以电信大数据平台出发,针对Hadoop技术基础下的平台研究内容以及其特点进行总结和研究。     

基于Hadoop的石油大数据平台设计

在油气产业快速发展进程中,大数据平台的建立和完善发挥着重要作用.文中针对油田工作现场的相关数据本身具有数据规模大、每个个体数据之间关联性强、结构多样等特点,利用Hadoop这一技术对石油产业大数据平台进行设计和完善.新型大数据平台可以针对复杂多样的数据进行整合,并且每个层面的数据可以互相共享和联系.构建出的大数据平台经...     

基于Hadoop云计算平台的数据挖掘分析

通过阐述Hadoop平台下的HDFS分布式文件系统数据存储及处理功能和MapReduce核心架构的数据处理模式,结合Hadoop云平台数据操作机制,探讨与分析了基于云计算平台的数据挖掘设计。     

基于Hadoop的高校大数据计算平台构建研究

为了有效帮助学校实现对校内数据的集中管理和高效运用,可以通过利用Hadoop技术搭建起相应的大数据计算平台。文章将在此背景下,通过简单介绍Hadoop的构造模块以及具体组件,尝试对基于Hadoop的高校大数据计算平台构建进行简要分析研究。     

基于Hadoop的分布式预算管理平台系统研究

随着企业规模发展,企业的预算管理成为促进企业健康成长的重要基础.现代企业的预算管理涉及各个业务的复杂数据处理,需要能够跟踪预算的执行过程,通过对预算执行数据的监控,实现一定程度的预测,因此对预算管理平台具有较高的要求.传统的预算管理平台功能较为单一,数据处理功能较弱,无法应对日益复杂的企业业务发展.随着大数据技术的发展...     

基于Hadoop的实验平台构建

本文就基于Hadoop的实验教学平台的构建,对于多学科的科研和教学所具有的重要意义做了详细阐述。文中还详细描述了基于Hadoop的分布式云计算实验教学平台的构建过程,具体包括硬件安装、开发环境的搭建、Hadoop的安装与部署,对于实验平台建设具有较好的指导作用。     

基于Hadoop技术的挖泥船大数据平台架构研究

基于大数据背景下对海量疏浚历史数据进行高效存储、提取和处理的目的,采用了Hadoop技术,通过建立挖泥船大数据平台并结合数据挖掘算法,完成了对疏浚大数据的采集、存储和分析.以挖泥船疏浚实例为应用背景,通过使用Hadoop平台的数据挖掘工具Mahout对疏浚工艺点进行了聚类研究,并根据聚类结果给出了初步的疏浚性能评估.结...     

基于Hadoop平台的大数据可视化分析实现与应用

本文着重探讨如何使大数据的智能可视化,从而促进大数据的智能化持续发展。从大量数据中抽取有用信息、分析信息、智能化处理和可视化处理等方面,是目前大数据领域亟待解决的一系列问题。     

基于Hadoop技术的云存储平台的构建

随着企业用户所需存储的临时文件数量不断增加,目前所有的文件存储设备已经没有办法满足企业业务的需求。针对这个问题,笔者提出了以Hadoop技术为基础,构建企业云存储平台的概念,并通过Linex集群技术与云计算框架等技术来最终完成大量数据的存储。云存储平台主要适合应用在关键业务中以及企业事务的在案处理。云存储平台能够满足企业随着业务增长而不断变化的需求,数据规模更加容易扩展。     

基于Hadoop架构的医疗大数据平台的应用

随着大数据技术在各行业中的应用和推广,建设医疗大数据平台成为加强医疗行业核心竞争力的重要手段。文中分析了医疗大数据特点、设计和研究了医疗大数据平台的应用实践,利用科学设置和布置集群、互联网和服务器等,最大程度地保证了医疗大数据平台环境的安全性和稳定性,希望能为相关工作人员提供一定的技术参考。     

基于Hadoop云存储架构的教育资源管理优化技术研究

为了解决现有教育资源管理技术存在吞吐量差、存储效率低等缺陷,设计Hadoop云存储架构对教育资源管理技术进行优化。采用Hadoop云存储架构对教育资源进行管理,得到教育资源云结构;在此基础上,采用云计算技术构建教育资源数据中心,以教育数据中心为基础,以Hadoop云存储架构为平台对教育资源进行上传与下载,实现了教育资源的管理与优化。仿真实验结果表明,与现有的教育资源管理技术相比较,提出的教育资源管理优化技术极大地提升了教育资源的吞吐量与存储效率,充分说明提出的教育资源管理优化技术具备更好的性能。     

基于Hadoop平台下SVM的图像识别技术

针对海量图像的识别技术进行研究,使用SVM算法作为图像识别模型,考虑到随着图像训练样本数据量逐步增大,训练样本呈现指数上升这一问题,在此对基于Hadoop云平台的并行运算SVM方法进行研究,缩短训练时间,加快图像识别效率。使用Corel图像库中图像进行实验研究,结果表明,常规单机SVM图像识别系统以及基于Hadoop平台SVM的图像识别系统的识别准确率相差不大。当Hadoop平台中拥有超过2个节点时,加速比明显上升,训练时间下降,Hadoop平台中使用SVM进行图像识别的效率优势体现出来。     

浅谈基于Hadoop平台的大规模数据排序

据IDC统计,2011年全球处理的数据量达到1.8 ZB,预计到2020年达到40 ZB.如何对海量数据进行高效分析和有效管理已成为大数据时代亟需解决的问题之一.商业数据、科学数据和网页数据这3类海量数据的异构性(充满着非结构化、半结构化和结构化数据)进一步增加了海量数据的处理难度.海量数据排序是海量数据处理的基本内容之一.Hadoop曾利用3 658个节点的集群在16.25小时内完成1PB数据的排序,获得Daytona类GraySort和MinuteSort级别的冠军.本文在设计层面上对Hadoop平台上海量数据排序策略进行分析.     

基于Hadoop平台的图像识别

基于Hadoop平台以字符识别为例建立图像识别系统。所设计的系统在借鉴云平台高扩展性以及高效性等优势的基础上,有效地解决了传统字符识别系统在计算效率以及数据处理方面所存在的不足。通过实例验证了基于Hadoop平台进行图像识别相比单机图像识别系统具有更高的效率:在仅具有2个节点的Hadoop图像识别平台上进行字符图像的识别时,由于节点数较少,在2台计算机中消耗的数据交换时间使得Hadoop图像识别平台进行图像识别的总时间甚至超过了单台计算机所使用的时间,而在具有4个节点、6个节点和8个节点的Hadoop图像识别平台上,处理相同图像所使用的时间随着节点数量增多而降低。     

基于Hadoop的云平台设计与实现

Hadoop是一个免费、可靠、高效、可扩展的开源云平台,允许在分布式集群上处理大数据的软件框架。本文以Hadoop为基础,详细介绍了虚拟机VMware、JDK、CentOS、Hadoop等技术。在伪分布式环境下搭建虚拟云平台,经过测试,本系统能正常运行MapReduce化的分布式程序,本文还针对用户权限、路径配置和使用SSH服务程序等问题进行了详细的阐述,为基于Hadoop的云平台研究和应用程序开发提供了基础。     

基于Hadoop的气象数据分布式存储技术研究

针对目前气象数据存储所面临的海量扩张、高并发读写、结构化和非结构化数据并存以及长时间序列和大数据集检索效率低下等问题,提出了以Hadoop开源框架为基础的气象数据分布式存储方案.通过对气象数据自身属性和特点进行分析,得出了气象数据在经过充分优化的基础上,在分布式存储框架中具有很强的适应性和规模化应用的潜力;并在HBas...     

基于Hadoop平台的岗位推荐系统设计

针对当前学生择业难而学校人才培养无法满足当前社会实际需求的问题,提出基于Hadoop平台的大数据就业岗位推荐系统。该系统利用爬虫技术爬取互联网招聘网站上的海量岗位信息,并对岗位信息进行整理、清洗、分析,HBase作为数据存储,将数据制作成图表,给用户直观体验;根据用户提供的用户技能为用户筛选出合适的岗位,实现岗位的精确推荐。     

基于Hadoop平台下日志分析系统的研究

在信息系统当中,日志数据也就是用户对系统的操作记录以及系统自身的运行状况记录,对日志数据的有效分析,有利于排除系统故障、明确用户访问规律等。基于此,文章就Hadoop平台下日志分析系统展开研究,首先介绍了系统的总体框架,进一步对其设计与实现过程中,日志分析处理流程设计、日志数据预处理两个操作环节进行了重点介绍,并进一步提出了针对此类系统的检测方法。     

基于SOA的科技资源共享平台建设研究

针对当前科技资源共享性差的现状,文中提出一种基于SOA的科技资源共享平台建设方案。并在资源分类、数据集成共享、Web服务查找优化等关键问题上进行研究,根据实际开发情况,将科技资源分为六类,使用XML对分布式异构数据库数据进行集成,建立Web服务cache库提高Web服务查询效率。