基于Hadoop的交通大数据的可视化Web GIS平台的设计与实现

在智慧城市建设日益加快的背景下,公众出行产生的数据量也呈指数性增长,而在爆炸增长的数据量之中,蕴含的是海量的信息,将这些信息从巨量的数据中挖掘出来并进行可视化展示,对于智能交通乃至智慧城市的建设有着十分积极的社会意义.基于北京市的公交车IC卡刷卡数据、公租自行车刷卡数据、地铁客流数据以及部分出租车轨迹数据,依托于Hadoop开源大数据处理平台,利用Java Web的编程框架,辅助以各种可视化工具,构建了交通大数据的可视化Web GIS平台,实现了多源公众出行大数据的可视化分析与展示,为政府职能部门的决策提供参考信息.     

Hadoop平台公平调度算法研究与优化

Hadoop Map Reduce框架的公平调度算法以统一的固定配置文件管理计算节点上计算槽的数量,这不能保障集群负载均衡,亦不能满足不同用户的资源需求。针对公平调度算法配置方式的不足,提出一种动态反馈的调度算法。该算法结合公平调度算法预先分配的特性,能够对计算节点上的计算槽进行动态调整。实验结果表明,基于动态反馈的改进算法有效地提高了集群的执行效率。     

基于 Hadoop 的电站数据中心云计算模型磁

针对云计算中的虚拟化、分布式存储与并行编程模型等问题,提出基于云计算的多电站计算平台的体系结构,实现电站数据中心的可靠存储与快速并行处理。详细讨论了传统的电站计算平台在数据存储和数据处理过程中的不足,设计了基于 Hadoop 的电站数据中心云计算平台,并利用 Hadoop 云计算平台对数据检索的效率进行实验比较分析。     

基于Hadoop的水文时间序列相似性研究与应用

传统DTW算法复杂度高,特别当处理海量数据时,耗时长.为了从算法和实现手段两方面同时入手,提高DTW运算效率,提出基于Hadoop平台,以FastDTW方法实现的水文时间序列相似性查找方法.首先利用小波变换对数据去噪,接着对水文时间序列进行语义化,然后在Hadoop的MapReduce过程中调用FastDTW方法实现DTW距离的云计算,得出与查询序列最相似的匹配序列.通过实验与串行查找进行对比,验证该方法用时短,匹配效果好,能够满足实际应用需求.     

基于云计算的大数据分析

数据爆炸的年代多元化数据大量涌现,大数据的技术和市场正在快速发展,应充分利用现有的云计算技术对大数据进行管理分析,挖掘出数据的潜在价值,从而促进企业的生产经营活动。     

分布式文件系统HDFS处理小文件的优化方案

Hadoop分布式文件系统(HDFS)是为可靠地存储和管理海量文件而设计。在HDFS中,所有的文件由单一的服务器NameNode来管理。因此,随着小文件数量的增加,会使HDFS系统性能下降。为了提高存储和访问HDFS上小文件的效率,本文提出了一个解决方案,即:扩展的Hadoop分布式文件系统(EHDFS)。这种方法把一组相关文件组合成一个大文件来减少文件的数量,然后建立一种索引机制,从这个组合文件中识别并访问客户所要的单个文件。实验结果表明EHDFS提高了存储和访问大量小文件的效率。     

基于Hadoop的协同过滤推荐算法

在电子商务推荐系统中,协同过滤算法技术是主要的采用技术,而推荐系统的准确率受相似度方法的直接影响。本文通过对用户共同评分项的流行度和用户的特征之间的相关性的分析,给出了改进的相似度度量方法及相应的协同过滤推荐算法,设计并实现了基于Hadoop的协同过滤推荐系统。利用MAE分别对原始协同过滤推荐效果和改进后的推荐算法进行测评,结果表明,该算法在一定程度上提高了推荐的准确度。同时,对分布式推荐平台的整体性能实验表明,随着虚拟机节点的适度增加,协同过滤推荐引擎的计算时间不断减少,这表明推荐引擎的总体性能较传
　　统单机推荐引擎得到提升。     

基于Hadoop的智能医疗分析系统的设计研究

现代智能医疗需要操作简单、反应快速和能够智能诊断的信息化平台。针对该特点,运用物联网、云计算等多种技术开发了智能医疗分析系统。系统使用B/S架构开发,可为用户提供方便简洁的交互平台。同时,系统还可利用云计算来高效处理海量数据,并使用基于Hadoop的分布式存储计算系统来分析处理数据,从而做到智能诊断。     

海量数据离散化算法的并行设计与实现

连续属性的离散化是机器学习和数据挖掘的重要预处理步骤,如何高效处理海量数据连续属性离散化已成为急需要解决的问题。近年来兴起的Hadoop技术能够有效处理基于海量数据的应用。为此,设计和实现一种基于MapReduce编程模型的连续属性离散化并行算法,并给出算法设计的方法和策略。在保证离散效果的情况下,使用不同大小数据集在不同节点的集群环境下的实验结果表明,所设计的并行离散化算法具有较高的执行效率和较好的可扩展性,适合用于海量数据的快速离散化处理。     

Hadoop平台下的分形图像压缩编码

借助Hadoop平台实现了分形图像压缩编码,并将其应用于云渲染中对渲染后的图像进行压缩并传至用户阶段。采用4台PC机搭建Hadoop平台,并在此基础上进行分形图像压缩编码,实验结果表明,采用4台PC机的Hadoop平台并行压缩时间不到单台PC机压缩时间的30%,证实了该方案的现实有效性。采用分形压缩编码将云渲染后的图像传给用户具有压缩比大、传输时间短、解压缩快等特点,对改善云渲染用户体验具有重要意义。