云环境下的高效K-Medoids并行算法

传统聚类算法K-Medoids对初始点的选择具有随机性,容易产生局部最优解;替换聚类中心时采用的全局顺序替换策略降低了算法的执行效率;同时难以适应海量数据的运算。针对上述问题,提出了一种云环境下的改进K-Medoids算法,该改进算法结合密度法和最大最小原则得到优化的聚类中心,并在Canopy区域内对中心点进行替换,再采用优化的准则函数,最后利用顺序组合MapReduce编程模型的思想实现了算法的并行化扩展。实验结果表明,该改进算法与传统算法相比对初始中心的依赖降低,提高了聚类的准确性,减少了聚类的迭代次数,降低了聚类的时间。     

ABC_Kmeans聚类算法的MapReduce并行化研究

随着数据的海量增长,数据聚类算法的研究面临着海量数据挖掘和处理的挑战。针对K-means聚类算法对初始聚类中心的依赖性太强、全局搜索能力也差等缺点,将一种改进的人工蜂群算法与K-means算法相结合,提出了ABC_Kmeans聚类算法,以提高聚类的性能。为了提高聚类算法处理海量数据的能力,采用MapReduce模型对ABC_Kmeans进行并行化处理,分别设计了Map、Combine和Reduce函数。通过在多个海量数据集上进行实验,表明ABC_Kmeans算法的并行化设计具有良好的加速比和扩展性,适用于当今海量数据的挖掘和处理。     

基于云计算的并行K-means聚类算法研究

目前数据呈爆炸式增长,海量存储状态,给聚类研究带来了诸如计算复杂性和计算能力不足都很多问题;而云计算平台通过负载均衡,动态配置大量的虚拟计算资源,有效地突破了耗时耗能的瓶颈,在海量数据挖掘中体现出了其独特的优势;文章深入研究了基于云计算平台Hadoop的并行K-means算法,并结合MapReduce分布式计算模型,给出了算法设计的方法和策略,包括MapReduce处理的map、shuffle和Reduce 3个过程,仿真结果表明K-means并行算法的效率较高。     

基于改进粒子群和自适应滤波的快速模糊聚类图像分割

为改进传统模糊C均值聚类(FCM)算法对初始聚类中心敏感、易陷入局部收敛、抗噪性差、计算量大的问题,提出一种新的基于改进粒子群算法的快速模糊聚类图像分割方法(PSOFFCM);方法首先利用自适应中值滤波对图像进行滤波处理,增强算法的鲁棒性;然后,将图像像素灰度值映射到二维直方图特征空间,作为聚类样本,优化FCM的目标函数,减少图像分割的计算量;最后,利用PSO算法代替FCM的梯度迭代过程,减弱了算法对初始聚类中心的依赖,同时增强全局搜索能力;实验结果表明,该方法不仅克服了FCM算法对初始聚类中心的依赖,而且抗噪能力强,收敛速度快,分割精度明显优于传统FCM。     

中医按摩机器人专家控制系统的研究

为改进传统模糊C均值聚类(FCM)算法对初始聚类中心敏感、易陷入局部收敛、抗噪性差、计算量大的问题,提出一种新的基于改进粒子群算法的快速模糊聚类图像分割方法(PSOFFCM)。方法首先利用自适应中值滤波对图像进行滤波处理,增强算法的鲁棒性;然后,将图像像素灰度值映射到二维直方图特征空间,作为聚类样本,优化FCM的目标函数,减少图像分割的计算量;最后,利用PSO算法代替FCM的梯度迭代过程,减弱了算法对初始聚类中心的依赖,同时增强全局搜索能力。实验结果表明,该方法不仅克服了FCM算法对初始聚类中心的依赖,而且抗噪能力强,收敛速度快,分割精度明显优于传统FCM。     

基于迭代式MapReduce的FCM算法实现

针对模糊C均值聚类(Fuzzy c-Means Clustering, FCM)算法聚类过程迭代的特点,采用迭代式MapReduce模型对FCM算法进行了优化实现。Map函数计算每个样本到聚类中心的隶属度,Reduce函数接收Map函数的中间输出计算新的聚类中心,传递模块将最新聚类中心传送给原Map任务所在节点,供新一轮MapReduce job使用。迭代式MapReduce模型在MapReduce基本模型上添加了传递模块,有效解决了基本模型在处理迭代问题上存在的不足。在Hadoop平台中,分别使用基于迭代式MapReduce和MapReduce基本模型的FCM算法对变压器进行故障诊断。实验结果表明,基于迭代式MapReduce的FCM算法诊断速度达到了基于MapReduce基本模型算法诊断速度的12倍以上,误判率降低了12%~15%,有效提升了FCM算法的诊断效率。     

基于云计算的Apriori挖掘算法

MapReduce是云计算技术主流的分布式计算模型,它充分利用计算机集群的处理能力;能对大规模数据进行高效的挖掘分析;在研究MapReduce模型架构的基础上,将云计算技术与数据挖掘技术结合在一起,提出了基于MapReduce模型的Apriori算法;该算法对事务集和项集进行双重二进制编码,只需"与"运算和"或"运算,提高了模式匹配和连接的效率;试验结果表明,该算法执行效率比传统集中式Apriori算法有很大幅度的提高。     

基于改进K均值聚类的机械故障智能检测

针对传统的K均值聚类算法在机械故障检测的过程中,由于对于K值的选择具有较强的主观性,最后极易得到局部最优解,而非全局最优解,降低了机械故障检测的准确性。提出一种改进K均值聚类的机械故障智能检测方法。将K均值聚类算法与粒子群算法相结合,在迭代处理的过程中,结合K均值进行优化,即将粒子群算法中的子代个体利用K均值聚类进行运算获取局部最优解,并使用这些个体继续参与迭代处理,这样能够提高算法的收敛速度,避免陷入局部最优解,获得准确的机械故障信号特征。实验结果表明,利用K均值倾斜特征提取的机械故障智能检测算法进行机械故障检测,能够有效提高故障检测的准确性,取得了令人满意的效果。     

基于聚类和最佳指数的快速高光谱波段选择方法

最佳指数法是常用的高光谱图像数据波段选择方法,但存在运算时间过长的问题。运用K-means聚类算法,对最佳指数方法进行了改进,提出了聚类最佳指数法,并进行了一系列伪装目标识别的对比实验。实验结果表明,与最佳指数法相比,改进后的方法在保证目标分类精度的前提下,运算速度提高了数十倍;与单纯使用K-means聚类运算相比,不仅运算时间缩短,而且分类精度有所提高。利用改进算法能够在伪装环境下更加快速有效地识别目标。     

并行MapReduce PLS算法及其在光谱分析中的应用

偏最小二乘(PLS)算法是常用的光谱建模算法,然而对于海量光谱处理情形,在单台计算机上建模及优化时间开销很大。基于MapReduce编程模式,提出了并行MapReduce PLS回归算法,包括并行数据标准化和并行主成分提取两个过程。在多台普通计算机上搭建Hadoop云计算集群平台,以近红外光谱处理为例,开展了算法验证实验。实验结果表明,基于MapReduce编程模式的并行PLS算法对海量近红外光谱数据集进行回归建模时,能有效提高建模速度,随计算机台数的增多可得到接近线性的加速比,并具有良好的扩展性。