基于Map Reduce的云数据挖掘模型的设计与实现

道路交通事故现场路面三维点云的数据量庞大,后期处理涉及三维识别等运算,如何提高运算效率,课题组选用了大数据架构。大数据的出现对传统的简单的数据挖掘算法提出挑战,新型的基于Map Reduce的云数据挖掘正在茁壮的发展。Map Reduce是当前最流行的分布式计算模型,在云数据数据挖掘当中作为一个佼佼者迅速发展。     

基于MapReduce的海量图像处理模型的研究

针对目前图像的格式和数量都在不断增加,传统的串行处理方法无法满足海量的图像数据处理的问题,提出一种基于MapReduce并行框架的海量图像数据处理模型.模型中取消了Reduce处理函数,在Map函数处理完成后直接输出处理结果,不仅避免了Reduce函数和Re-duce任务处理所需的时间,同时减少了Map与Reduce阶段之间操作所消耗的时间.实验基于Hadoop伪分布式云平台,实现了文中提出的并行处理模型.     

基于云计算与非负矩阵分解的数据分级聚类

为了提高传统数据聚类算法在大数据挖掘应用中的性能,借助云计算的相关技术,并结合非负矩阵分解方法设计并实现了一种并行的数据层次聚类算法。该算法采用Map Reduce编程平台,利用Hadoop的HDFS存储大容量的电信运营商数据;描述了Map Reduce的数据分级聚类并行处理的工作机制与流程;通过Map和Reduce这种主-从编程模式很方便地使数据分级聚类的子任务在Hadoop的PC集群上运行。实验结果表明,该方法比传统用于数据聚类的非负矩阵方法具有更好的运行时间与加速比,能够在可以接受的时间范围内完成电信运营商的大数据处理。     

云计算关键技术之编程模型认知研究

编程模型是云计算的关键技术之一。云计算环境下的编程模型必须设计得简单、便捷,以满足用户利用云计算的编程模型编写个性化程序。目前的云计算编程工具,都是基于Map Reduce的编程模型,它适用于大规模数据集的并行运算。其基本思想是将问题分解成Map(映射)和Reduce(化简),Map程序将数据分割独立区块,利用计算机群实现分布式处理,最后通过Reduce程序将结果汇总整合输出。Map Reduce的作业流程是任务的分解与集合的汇总。     

基于云计算技术的电力大数据预处理属性约简方法

基于云计算技术的电力大数据预处理属性约简是当前电力企业数据处理的主要发展方向。文中对其发展进行了简单介绍,并对Map Reduce在电力大数据预处理属性约简中的应用以及基于Map Reduce技术的电力大数据预处理属性约简进行详细分析。     

基于改进的Map/Reduce及模式空间划分的数据挖掘

为通过Map/Reduce基于键/值对以处理数据集与模式集的多对多的对应关系的方式实现数据挖掘,解决在较复杂的类型的模式的挖掘中存在的由组合爆炸导致的模式集过大的问题,提出了通过模式空间划分实现将处理数据集与模式集的对应关系的问题转化为处理数据集与子模式集的集合的对应关系的问题的方法,并对Map/Reduce集群的调度机制及组织、处理键/值对的方式进行了改进,增强了Map/Reduce执行模式挖掘任务的能力.在Map/Reduce集群上采用该思路实现某些较复杂类型的模式的挖掘算法时的并行度高于Map/Reduce化的传统算法.     

CBTC系统下的两列车追踪运行过程研究

CBTC（基于通信的列车运行控制）系统是一种利用高精度的、不依赖于轨道电路的列车定位技术，实现连续式的、大容量的双向车．地数据通信。文章主要对CBTC系统下两列车追踪运行的相互影响关系作了简单的分析，以及CBTC系统下两列车运行过程仿真模型和算法的建立进行了研究。     

一种Hadoop异构集群下提高数据本地性的分发算法

Hadoop异构集群由于不同slave节点的硬件配置不同(例如CPU、内存、磁盘等),每个节点的Map任务和Reduce任务的slot也不同。文章通过研究当前Hadoop系统上实现数据本地性的算法,提出一种基于异构节点的性能来分发Map任务的输入数据的算法,该算法评估每个slave节点的Map任务执行速度,将输入数据放在运行更快的节点上,以达到更好的数据本地性。     

基于反馈调度的MapReduce负载均衡分区算法研究

Map Reduce是一种处理大规模数据的并行计算模型,针对传统模型中reduce阶段各结点负载不均衡的问题,提出reduce阶段负载均衡分区算法。算法将map阶段产生的中间数据划分为更多的分区,减少了每个分区的工作量,引入了反馈机制来进一步提高调度策略的性能,每次给reducetask分配都是基于反馈信息选择最优的分区,reducetask完成工作之后会继续获得新的分区,直到所有的分区都被分配完毕,实现了动态调节各reducetask的负载。通过重写Hadoop平台内核实现了算法并进行了实验分析,结果表明,该算法在不影响Map Reduce模型的情况下显著地缩短了任务的处理时间。     

大数据分析的分布式MOLAP技术

计算机设备在进行信息数据的存储、管理以及分析的过程中,会受到大数据规模效应的极大影响,而对于这一问题,当前的学术界选择了利用计算机分布式文件系统以及Map Reduce来进行应对。在大数据的环境下,存在一种分布式MOLAP技术,其是在计算机分布式文件系统中的Map Reduc模式下得以构建,又可以将其称之为分布式联机分析处理(Distributed On-Line Analytical Processing,DOLAP)。本文将针对分布式MOLAP技术进行大数据前提下的分析,以期能够为今后的分布式MOLAP技术发展提供有效理论参考依据。