基于Hadoop云计算平台的分布式转码方案

在新媒体视频业务快速发展的今天,传统单机视频转码能力已经出现瓶颈. 在Hadoop云计算平台的研究基础上,结合当前主流的音视频处理工具FFmpeg,提出了一种新的视频转码方案. 该方案通过使用Hadoop两大核心：HDFS（Hadoop Distributed File System）和MapReduce编程思想,进行分布式转码. 同时,还详细地介绍和设计了分布式转码的具体流程. 最后实验结果表明,该分布式转码方案在效率上有较大提高. 在实验中,视频的分段大小也影响着视频转码的时间. 随着分段大小从小到大,同样的视频转码时间变化却是由高降低再升高. 从实验数据来看,相对于其他的分段,分段大小为32M的时候,转码时间最佳.     

Hadoop平台分布式SVM算法分类研究

随着大数据的发展,分布式支持向量机（SVM）成为该领域研究热点.传统层级分布式SVM算法（Cascade SVM）,在Hadoop平台下寻找全局最优支持向量的过程十分缓慢.本文提出了一种改进方法,先将传统的网格法与粒子群（PSO）算法结合,改进了单机PSO算法,再将单机PSO算法与Hadoop平台结合实现了一种新型卫星并行PSO算法（NPP-PSO）.实验结果表明,相比于单机SVM算法,本文的分布式SVM算法,在保证了准确率的前提下大幅提高了计算速度;而使用NPP-PSO参数寻优后的分布式SVM,分类准确率相比于分布式SVM算法又有了明显提高.     

基于Hadoop的超像素分割算法

针对高分辨率图像像素分割时间复杂度高的问题,提出了超像素分割算法。采用超像素代替原始的像素作为分割的处理基元,将Hadoop分布式的特点与超像素的分块相结合。在分片过程中提出了基于多任务的静态与动态结合的适应性算法,使得Hadoop分布式文件系统（HDFS）的分块与任务分发的基元解耦;在每一个Map节点任务中,基于超像素分块的边界性对超像素的形成在距离和梯度上进行约束,提出了基于分水岭的并行化分割算法。在Shuffle过程的超像素块间合并中提出了两种合并策略,并进行了比较。在Reduce节点任务中优化了超像素块内合并,完成最终的分割。实验结果表明.所提算法在边缘查全率（BR）和欠分割错误率（UR）等分割质量指标上优于简单线性迭代聚类（SLIC）算法和标准分割（Ncut）算法,在高分辨率图像的分割时间上有显著降低。     

基于Hadoop 的分布式朴素贝叶斯文本分类

云计算的诞生,有效地解决了海量数据集的存储和分析处理。在云计算实现的开源Hadoop分布式系统集群上,使用MapReduce并行编程模型,设计并实现了一种对TFIDF改进的分布式朴素贝叶斯文本分类算法。实验结果表明,基于Hadoop框架的分布式朴素贝叶斯文本自动分类器不仅能处理节点失效,同时具有高效性和易扩展性的优势。     

一种基于MapReduce的分布式索引方法

海量文本快速索引是云检索系统的一个难点,而分布式索引程序的开发难度较大。文中提出了一种基于MapReduce的分布式索引方法,通过在Map函数中执行文档的解析及索引,以及在Reduce函数中合并索引数据,以减少文档排序的工作量,提高索引效率。实验结果表明,该方法适用于海量数据的并行处理。     

分形图像编码的四叉树方法

提出了一种分形图像编码的方法－基于四叉树的分形图像编码（FICBQ）方法。这种方法采用二值图像的四叉树表示方法实现图像分割,图像块的尺寸可以动态调整。与基本自动分形图像编码（BAFIC）相比,它克服了图像分割时图像块尺寸固定的主要缺陷。FICBQ方法简单且易于实现,压缩比和编码速度得到明显提高。实验结果表明,该方法的RPSN和压缩率分别是29．37dB和11．09时,编码时间约是BAFIC方法的1／22。     

基于四叉树分割的分形图像编码的改进方法

针对在分形图像压缩中,为寻找最佳匹配块需要花费相当长的时间的问题,在四叉树进行图像分割的基础上提出了一种基于分类函数和γ函数的分形图像编码方法。通过该方法,可以将图像子块分成24类,并有效地确定一种变换,而不需将每一定义域块进行各种变换,节省了搜索空间。实验结果证明,该方法可使编码速度有较大提高,而解码图像质量无明显下降。     

基于 Hadoop 的分布式视频处理

中国科学院计算机网络信息中心与青海湖保护区管理局合作,共同建设了青海湖野外网络视频监控。如何高效地处理每天产出的超过 100GB 的视频数据成为了一个难题。现在的视频处理系统采用计算和存储相分离的架构,这需要配置较高的专门服务器进行支撑,本文基于廉价扩展性能较好的 Hadoop 平台对视频处理做出了分布式的实现,并对单个视频文件做出了分布式转码的实现。同时,本文将基于 Hadoop 的分布式视频处理的实现和基于 HTCondor 的分布式视频的批处理实现进行了对比,实验证明,在不损失视频处理效率的条件下,基于 Hadoop 的分布式视频处理的实现拥有分布式文件系统支撑、完善的任务监控等优势。     

基于Hadoop MapReduce模型的应用研究

MapReduce是一种简化并行计算的分布式编程模型,是Google的一项重要技术,通常被用于数据密集型的分布式并行计算.探讨了来自Apache开源的分布式计算平台Hadoop的核心设计MapReduce编程模型,并通过算法实验分析和研究了MapReduce模型的工作方式和应用方法.     

基于MapReduce的分布式AP聚类算法

随着网络的普遍应用,网络中产生的数据急剧增长,大规模数据处理面临严峻挑战。本文在对AP聚类算法进行研究的基础上,利用MapReduce编程模型思想对AP聚类算法进行改进,设计在云平台Hadoop环境下运行的基于MapReduce的分布式AP聚类算法,并在实验中对不同规模的图数据进行聚类测试,实验结果表明分布式的AP聚类算法具有很好的时间效率和加速比。      

基于Hadoop的公共建筑能耗数据挖掘方法

针对建筑能耗数据无法有效利用这一问题,提出利用Hadoop分布式架构,结合建筑基本信息对公共建筑能耗数据进行数据挖掘的方法.对基于Hadoop的公共建筑能耗数据挖掘系统进行了初步设计,并对系统的基本架构和各模块的功能进行了设计和说明.同时,对Apriori算法和C4.5算法实现MapReduce分布式设计.以山东省100栋办公建筑制冷期的空调系统耗电量为例进行实验分析,得到6类建筑信息属性对空调系统能耗的影响规律,并生成空调系统耗电量判定树,可判别建筑空调系统耗电量等级,并对样本建筑的节能改造提供具有针对性的建议.     

基于Hadoop平台的分布式SVM参数寻优

参数的选择对算法分类与预测的正确率有直接影响。在参数选择中全局网格搜索有着计算可靠、简单、优化效果明显的优势,适合应用于可靠性要求高的工程运算,如在复杂系统的故障诊断中对故障模式识别算法进行参数寻优等。但是,全局网格搜索在寻优过程中耗时过长,仍然是一个制约其使用的问题,尤其对于实时性要求较高的系统。以支持向量机的参数全局寻优问题为例,针对网格搜索寻优时间长的缺点,利用Hadoop平台进行分布式参数寻优,借助HDFS将参数自动划分到计算节点上,并运用MapReduce计算框架建立分布式参数寻优模型,完成模型训练预测及参数优化。实验结果表明,在不降低算法性能的前提下提高了寻优效率。     

基于Hadoop的K-means聚类算法的实现

文中针对传统并行K-means聚类算法时间复杂度比较高的问题,结合Hadoop平台以及MapReduce编程模型的优势,提出了利用Hadoop及MapReduce编程模型实现大数据量下的K-means聚类算法.其中,Map函数完成每条记录到各个质心距离的计算并标记其所属类别,Reduce函数完成质心的更新,同时计算每条数据到其所属中心点的距离,并累计求和.通过实验,验证了K-means算法部署在Hadoop集群上并行化运行,在处理大数据时,同传统的串行算法相比,确实能够降低时间复杂度,而且表现出很好的稳定性和扩展性.     

基于Hadoop的Apriori算法研究与优化

为解决传统数据挖掘算法在大量数据处理时面临的内存占用、计算性能等方面的问题,基于Hadoop平台,应用HBase文件存储系统对海量数据分布式存储以及Map Reduce框架进行分布式计算,实现Apriori经典数据挖掘算法。通过对已实现的Apriori算法进行优化,引入FIS-IS算法思想,从数据库扫描次数和容量消减方向进行改进。提出针对数据本身进行频繁预选项生成方法与对于频繁预选项剪枝步骤进行分组检索的优化方法。实验结果验证了改进算法对算法运行具有良好的优化效果。