基于Hadoop平台的MapReduce的技术研究

随着移动互联网、物联网及云计算技术的迅速发展,大数据应运而生,给海量信息处理技术带来了全新的挑战。文章重点讲述了大数据的关键技术之一——Map Reduce,对Map Reduce的国内外发展现状,对Map Reduce的技术特征、架构设计、工作流程和主要应用进行了介绍与分析,最后还对Map Reduce未来的发展趋势进行了展望。     

基于改进的Map/Reduce及模式空间划分的数据挖掘

为通过Map/Reduce基于键/值对以处理数据集与模式集的多对多的对应关系的方式实现数据挖掘,解决在较复杂的类型的模式的挖掘中存在的由组合爆炸导致的模式集过大的问题,提出了通过模式空间划分实现将处理数据集与模式集的对应关系的问题转化为处理数据集与子模式集的集合的对应关系的问题的方法,并对Map/Reduce集群的调度机制及组织、处理键/值对的方式进行了改进,增强了Map/Reduce执行模式挖掘任务的能力.在Map/Reduce集群上采用该思路实现某些较复杂类型的模式的挖掘算法时的并行度高于Map/Reduce化的传统算法.     

Hadoop平台下基于内容的医学图像检索

针对海量医学图像存储及检索效率低的问题,该文提出利用Hadoop平台分别实现大量医学图像的分布式存储以及并行处理模式下的基于内容的医学图像检索。利用HIPI图像处理接口将医学图像上传到分布式文件系统(HDFS)中;然后,分别提取图像的形状以及纹理特征,并将其特征向量存储到HDFS中;最后,利用Map Reduce模型实现并行式检索并将图像检索结果按照相似度大小进行排序及显示。实验结果表明,在Hadoop云平台下大量医学图像的存储效率以及检索效率较高,且图像数量越多效率优势越明显。     

Hadoop云计算环境下海量图像检索研究

Hadoop实现了云计算模型的一个开源,也就是用Java语言实现的软件框架,能够支持Map Reduce分布式调度模型的运作,以实现虚拟管理、调度并共享资源。文章将用Hadoop云计算平台实现对海量图像检索研究。     

采用云计算技术的网络流量检测

为了实现对现网大数据网络流量的实时、有效检测,提出了一种基于云计算的网络流量检测方案。该方案充分利用Hadoop平台Map/Reduce编程模型在海量数据处理方面的优势,采用分层化的设计思想,克服了传统检测方案在海量数据应用环境中效率低下、可扩展性与安全性不足的缺点。重庆移动DPI平台应用表明,该方案较为有效,流量检测效果良好,在大数据处理时效率较普通分布式处理有明显提高。     

基于Map/Reduce的海量视频图像检索系统设计

【】针对齐齐哈尔市公安视频监控系统中每天所产生的大量视频数据,这对视频图像的检索、管理及安全产生了迫切的需求,视频图像的检索存在两个急需解决的问题,一个是视频检索的准确度的问题,另一个是检索效率的问题。面对海量的视频数据库,本文提出了基于Map/Reduce分布式计算模型与关键帧算法的结合。既提高检索效率,又提高了检索的准确率。     

云计算关键技术之编程模型认知研究

编程模型是云计算的关键技术之一。云计算环境下的编程模型必须设计得简单、便捷,以满足用户利用云计算的编程模型编写个性化程序。目前的云计算编程工具,都是基于Map Reduce的编程模型,它适用于大规模数据集的并行运算。其基本思想是将问题分解成Map(映射)和Reduce(化简),Map程序将数据分割独立区块,利用计算机群实现分布式处理,最后通过Reduce程序将结果汇总整合输出。Map Reduce的作业流程是任务的分解与集合的汇总。     

基于云平台的海量数字图像数据挖掘探讨

本文借助云平台Hadoop的分布式文件系统(HDFS)和分布式并行计算框架(Map Reduce),来进行海量数字图像的数据挖掘。构建了基于Hadoop云平台的海量数字图像数据挖掘系统,实现海量数字图像信息数据挖掘。     

基于Map Reduce的云数据挖掘模型的设计与实现

道路交通事故现场路面三维点云的数据量庞大,后期处理涉及三维识别等运算,如何提高运算效率,课题组选用了大数据架构。大数据的出现对传统的简单的数据挖掘算法提出挑战,新型的基于Map Reduce的云数据挖掘正在茁壮的发展。Map Reduce是当前最流行的分布式计算模型,在云数据数据挖掘当中作为一个佼佼者迅速发展。     

基于云计算的图像分类算法

针对单一单板机的图像分类效率低的缺陷,提出一种基于云计算的图像分类算法。首先通过特征提取算法提取图像的多种特征,然后采用Map/Reduce模型对图像进行匹配和分类,根据匹配结果得到图像的最优分类结果,最后采用Matlab软件实现图像分类的仿真实验。结果表明,相比于其他图像分类算法,该算法减少了图像的分类时间,提高了图像的分类速度,尤其对大规模图像分类优势更加明显。     

Information extraction from massive Web pages based on node property and text content

To address the problem of extracting valuable information from massive Web pages in big data environments,a novel information extraction method based on node property and text content for massive Web pages was put forward.Web pages were converted into a document object model (DOM) tree,and a pruning and fusion algorithm was introduced to simplify the DOM tree.For each node in the DOM tree,both density property and vision property was defined and Web pages were pretreated based on these property values.A MapReduce framework was employed to realize parallel information extraction from massive Web pages.Simulation and experimental results demonstrate that the proposed extraction method can not only achieve better performance but also have higher scalability compared with other methods.     

云计算后台大规模数据处理技术探讨

云计算的后台处理技术是云计算系统的总体保障。本文主要介绍当前云计算中的后台大规模数据处理技术。大规模数据处理技术对于云计算的后台数据收集与整理起着关键的作用。在云计算中的大规模数据处理技术主要解决三个问题,即可靠性,可扩展性以及易编程性。本文结合Google的MapReduce编程方式,以及微软的Dryad编程方式,着重介绍在实践中,如何达到上述的目标。     

基于大数据分析的分布式MOLAP技术研究

在计算机系统运行以及研究环节中,会存在大量的规模效应,此类状况难以避免,要想有效解决此类问题,就需要利用分布式的处理方式,开展对文件系统的分析。文章对分布式多维联机分析过程(MOLAP)的数据模型进行了分析,从维编码的算法、映射归约(MapReduce)算法的实现、分析维的遍历算法等方面作深入探讨。     

一种基于Map/Reduce的并行化敌我识别信号关联方法

随着敌我识别侦察装备的广泛部署,其侦察数据呈现爆炸式增长,多源且复杂的海量信号侦察数据对后端数据分析提出了较高要求.针对传统敌我识别信号关联分析方法速度慢、效率低的问题,通过研究其关联流程的可拆分特性,提出了一种基于Map/Reduce的敌我识别信号聚类和关联分析方法,将传统敌我识别信号关联分析流程进行方位和时间拆解,在大数据平台上进行分布式并行计算,大幅提升了大数据量情况下的关联分析效率.实验结果表明,在数据量达到108条以上时,所提方法比传统方法计算效率高10倍以上.     

基于云计算的海量图片存储管理系统研究

随着网络信息容量的膨胀,如何高效地存储和管理海量图片数据,传统的数据管理技术难以满足这些应用所提出的对数据管理的需求。针对云计算应用的特点和需求,借鉴传统数据管理技术的理念,提出了一种基于CouchDB的高可扩展、高可靠的海量图片存储管理系统。系统采用分布式文件系统、分布式数据库等技术,支持海量数据存储、资源目录和交换体系以及并行程序处理,可提供从数据到处理功能的一体化服务。实验证明,本系统具有可行性,能满足空间信息服务的多种需求。     

邻域图像处理机中的新型邻域功能流水线结构

本文介绍了邻域图像处理机原理,提出了邻域图像处理中新型的收缩型和级联型邻域功能流水线结构.这两种邻域功能流水线的流水线作业是以独立的图像处理算法为基础进行的,可以实时(甚至超实时)地完成多个独立的图像处理算法,高度体现了并行处理机数据并行、处理并行的原则,体现了多个算法的有机集成,因此特别适合于实际问题对综合算法的需求.这种邻域功能流水线结构不仅大大提高了图像处理的速度,而且增强了系统的灵活性.本文论述了收缩型和级联型邻域功能流水线的结构,给出了多个图像处理功能的组合.     

基于Google Earth Engine的海量舰船目标SAR图像处理应用研究

传统基于单机的合成孔径雷达(Synthetic Aperture Radar,SAR)图像舰船目标检测需要在本地计算机上进行数据下载、处理和分析,这极大受限于本地计算机的性能,只能对少量SAR图像进行检测。本文利用Google Earth Engine(GEE)遥感云计算平台的海量数据存储和强大运算能力,通过在云端部署SAR卫星数据、模型算法和计算机算力,在GEE平台上进行了大范围海域的海量舰船目标SAR图像处理应用研究,实现了舰船目标检测同时还可以获取舰船目标信息、统计舰船目标数量、批量下载目标检测结果图像等。通过在Sentinel-1 SAR数据上进行相关实验,结果表明本文研究可在线对海量SAR数据进行实时、高效、快速地处理,对海上舰船监视具有较高的实际应用价值。      

基于Hadoop的分布式ETL系统研究

针对传统数据抽取、转换及加载(ETL)工具集中式执行的不足,设计实现了一种基于Hadoop平台的分布式ETL系统。该系统采用分布式文件系统存储和映射-规约并行处理海量数据架构,实现了ETL作业的分布式执行,提高了ETL效率,为大数据环境下的基础数据加工提供了解决方案。     

一个灰度图像的并行分布式识别系统模型

将稀疏分布存贮（ＳＤＭ）概念与单层自适应模式识别系统有机结合所构成的双层通用自适应模式识别系统（ＤＡＰＲＳ），在大维数或非确定性模式数据识别方面有着明显优势。但由于仅具有处理二位模式（图像）的能力，系统的应用受到一定的限制。本文提出了一个新颖的、基于ＤＡＰＲＳ的灰度图像并行分布式识别系统模型，该系统把灰度图像分解成若干子图像并且二值化后，分别提供给对应的ＤＡＰＲＳ进行处理，对图像信息采用了分布式存贮和大规模并行处理技术，最终通过响应综合实现对原始灰度图像的识别。由于系统具有非算法、实时通用的特点，且具有硬件实现的潜力，因而更加接近于工程应用。