双重高斯混合模型的EM算法的聚类问题研究

EM算法是参数估计的重要方法,其算法核心是根据已有的数据来迭代计算似然函数,使之收敛于某个最优值.半监督聚类是利用少部分标签的数据辅助大量未标签的数据进行的聚类分析.文章介绍了一种基于双重高斯混合模型的EM算法,在无监督学习中增加一些已标记的样本,利用已标记的样本得到初始参数,研究了半监督条件下的双重高斯混合模型的EM聚类算法.实验表明,该算法较无监督学习而言,提升了样本的识别率,有良好的聚类性能.这种算法模型也可以作为一种基础模型,具有一定的应用领域.     

基于密度峰值聚类的高斯混合模型算法

由于存在大量服从高斯分布的样本数据,采用高斯混合模型(Gaussian Mixture Models,GMM)对这些样本数据进行聚类分析,可以得到比较准确的聚类结果.通常采用EM算法(Expectation Maximization Algorithm)对GMM的参数进行迭代式估计.但传统EM算法存在两点不足:对初始聚类中心的取值比较敏感;迭代式参数估计的迭代终止条件是相邻两次估计参数的距离小于给定的阈值,这不能保证算法收敛于参数的最优值.为了弥补上述不足,提出采用密度峰值聚类(Density Peaks Clustering,DPC)来初始化EM算法,以提高算法的鲁棒性,采用相对熵作为EM算法的迭代终止条件,实现对GMM算法参数值的优化选取.在人工数据集及UCI数据集上的对比实验表明,所提算法不但提高了EM算法的鲁棒性,而且其聚类结果优于传统算法.尤其在服从高斯分布的数据集上的实验结果显示,所提算法大幅提高了聚类精度.     

融合密度峰值的高斯混合模型聚类算法

针对高斯混合模型（GMM）聚类算法对初始值敏感且容易陷入局部极小值的问题,利用密度峰值（DP）算法全局搜索能力强的优势,对GMM算法的初始聚类中心进行优化,提出了一种融合DP的GMM聚类算法（DP-GMMC）。首先,基于DP算法寻找聚类中心,得到混合模型的初始参数;其次,采用最大期望（EM）算法迭代估计混合模型的参数;最后,根据贝叶斯后验概率准则实现数据点的聚类。在Iris数据集下,DP-GMMC聚类准确率可达到96.67%,与传统GMM算法相比提高了33.6个百分点,解决了对初始聚类中心依赖的问题。实验结果表明,DP-GMMC对低维数据集有较好的聚类效果。     

基于快速求解高斯混合模型的流量聚类算法

基于聚类算法可以对多个属性聚类的特点,提出一种基于快速求解高斯混合模型的聚类算法,用于研究网络流量的分类,使其达到更佳的聚类效果。通过与其他算法比较,讨论了该种方法在流量聚类中的适用性。仿真结果表明,该方法聚类精度高,经过初始聚类中心后的EM算法用于求解GMM有较高的估算准确性,有效地提高了EM算法的收敛速度。     

一种基于递增估计GMM的连续优化算法

目前的分布估计算法(estimation of distribution algorithms)中概率模型的学习或多或少存在着对先验知识的依赖,而这些先验知识往往是不可预知的.针对这一问题,文中提出采用集成学习(ensemble learning)的思想实现EDAs中概率模型结构和参数的自动学习,并提出了一种基于递增学习策略的连续域分布估计算法,该算法采用贪心EM算法来实现高斯混合模型(GMM)的递增学习,在不需要任何先验知识的情况下,实现模型结构和参数的自动学习.通过一组函数优化实验对该算法的性能进行了考查,并与其它同类算法进行了比较.实验结果表明该方法是有效的,并且,相比其它同类EDAs,该算法用相对少的迭代,可以得到同样或者更好的结果.     

高斯混合模型聚类中EM算法及初始化的研究

EM算法是参数估计的重要方法,其算法核心是根据已有的数据来迭代计算似然函数,使之收敛于某个最优值。EM算法收敛的优劣很大程度上取决于其初始参数。运用EM算法来实现高斯混合模型聚类,如何初始化EM参数便成为一个关键的问题。在比较其他的初始化方法的基础上,引入“binning”法来初始化EM。实验结果表明,应用binning法来初始化EM的高斯混合模型聚类优于其它传统的初始化方法。     

一种快速、贪心的高斯混合模型EM算法研究

针对传统EM算法存在初始模型成分数目需要预先指定以及收敛速度随样本数目的增长而急剧减慢等问题,提出了一种快速、贪心的高斯混合模型EM算法。该算法采用贪心的策略以及对隐含参数设置适当阈值的方法,使算法能够快速收敛,从而在很少的迭代次数内获取高斯混合模型的模型成分数。该算法通过与传统EM算法、无监督EM算法和鲁棒EM算法的聚类结果进行比较,实验结果证明该算法具有很强的鲁棒性,并且能够提高算法的效率以及模型成分数的准确性。     

一种基于概率密度的数据流聚类算法

数据流具有数据量无限且流速快等特点，使得传统的聚类算法不能直接应用于数据流聚类问题。针对该问题，提出了一种基于概率密度的数据流聚类算法。此方法不需要存储全部的历史数据，只需要存储新到达的数据并对其应用EM算法，利用高斯混合模型增量式地更新概率密度函数。实验表明，该算法对于解决数据流聚类问题非常有效。     

基于摘要技术的混合模型流数据聚类算法

传统的数据库管理系统和数据查询算法不能很好地支持对流数据的查询已经被广泛认识,因而需要研究新的流数据模式查询算法.提出了一种基于摘要技术的在线快速混合模型流数据聚类算法,该算法为分阶段混合模型聚类过程.算法首先时最初到达的流数据用多维网格结构进行划分,对划分形成的每一个单元进行数据摘要,提取足够的统计信息.对该摘要运行基于模型的贪心聚类算法,聚类形成的混合模型的摘要信息存储在永久摘要数据库中,从而形成初始聚类混合模型;在聚类模型的维持过程中,当不断有流数据到达时,对到达的数据块用多维网格结构进行划分,对划分形成的每一个单元提取足够的摘要信息.对该摘要运行基于模型的贪心聚类算法形成聚类混合模型.在判断是否可以把新到达的模型合并到现有的混合模型中去时,提出了三种合并标准.实验表明,该算法减少了分类误差,其速度也比传统的基于模型的贪心聚类算法大大加快.     

二元数据子空间聚类算法的初始化研究*

针对二元数据空间高维稀疏性的特点而提出的有限混合伯努利模型,能够快速寻找映射簇的模型框架;EM算法是数学模型进行参数迭代的重要方法,其算法的优劣很大程度上取决于其初始参数。对于运用EM算法来实现有限混合伯努利模型聚类算法已有许多研究, EM算法中参数的选取直接影响聚类算法的性能。引入 Binning法和改变数据之间相似度测量方式、中心点的选取方式来进行初始化,从而大大减少聚类结果对初始参数的依赖,实验证明该算法是高效的、正确的。     

基于欺负算法的优化算法

分布式算法中的欺负算法在选举协调者的过程中由于传输了大量信包而导致性能降低。该文在分析原有算法及其数学模型的基础上,提出一种优化算法并建立了相应的数学模型,对2种算法进行比较可以得出,优化算法在避免了选举失败或选举错误的基础上有效降低了选举过程中信包的传输数量,提高了通信性能,避免了网络延迟和网络拥塞。     

递归算法与高效算法

文章通过实例给出了采用母函数法同时解决递归算法的两个问题:复杂递归算法的时间复杂度的求解问题和递归算法到高效算法的转化问題,并由此设计出高效的组合算法.     

一种基于DES,RSA的随机加密算法

随着Internet的快速发展,对网络中信息传输的安全性要求越来越高。加密技术是网络安全技术的基石。目前典型的加密算法各有优缺点,如DES算法速度快,但安全性较低且密钥长度固定;RSA算法安全性高,密钥长度不固定,但运算速度较慢。文中提出基于DES,RSA的随机加密算法,可根据选取规则来选择DES或RSA算法来加密信息,然后将算法标记、密钥长度、密钥及密文信息组织成新的信息进行传输。这样既能快速地对数据进行加解密,又能很好地解决密钥分配问题,在保证安全性的前提下,也提高了算法效率。     

遗传算法与蚂蚁算法的融合

遗传算法具有快速随机的全局搜索能力，但对于系统中的反馈信息利用却无能为力，当求解到一定范围时往往做大量无为的冗余迭代，求精确解效率低．蚂蚁算法是通过信息素的累积和更新收敛于最优路径上，具有分布式并行全局搜索能力，但初期信息素匮乏，求解速度慢，算法是将遗传算法与蚂蚁算法融合，采用遗传算法生成信息素分布，利用蚂蚁算法求精确解，优势互补，仿真表明取得了非常好的效果。     

一种基于蚁群聚类的快速算法

从模仿蚂蚁堆积的尸体的基本模型出发，引入了相似因子和相异因子的概念，通过重新定义接受分数的计算公式，能够使聚类结果更纯，聚类速度更快。实验结果表明新算法明显改善了聚类质量。     

一种基于GAAA算法的决策树优化算法

决策树是一种比较有效的数据挖掘方法,缺点是当训练集数据属性很多时,构建的决策树的规模会随着属性个数增加而增长。论文从GAAA算法的角度,提出一种动态融合的方法,确定最佳融合时刻。实验结果表明该算法可以有效克服停滞,提高搜索效率,有效地挖掘出最优的分类规则集。     

蚂蚁算法与免疫算法结合求解TSP问题

针对传统蚂蚁算法存在的加速收敛与早熟、停滞现象之间的矛盾,通过接种疫苗和免疫选择两个步骤完成免疫过程,并与蚂蚁算法相结合,设计出新颖的免疫蚂蚁算法,并将其应用于求解复杂的TSP问题.数值模拟表明,该算法可以有效地克服基本蚁群算法容易出现停滞现象的缺陷,具有更好的全局搜索能力和稳定性.     

基于模因算法的多模盲均衡算法

由于常模盲均衡算法(Constant modulus blind equalization,CMA)收敛速度和均方误差都不甚理想,且对多模信号均衡时会发生相位旋转,本文提出了基于模因算法的多模盲均衡算法(Multi-modulus blind equalization algorithm based on memetic algorithm,MA-MMA)。该算法将多模盲均衡算法(Multi-modulus blind equalization algorithm,MMA)代价函数的倒数作为模因算法(Memetic algorithm,MA)的适应度函数,利用MA全局优化机制和局部深度搜索能力,在每次全局搜索后对全部新产生的个体进行局部深度搜索,将全局和局部搜索得到的最优个体解向量作为MMA的初始最优权向量。仿真结果表明,与传统的CMA,MMA以及基于遗传算法的多模盲均衡算法相比,MA-MMA 的收敛速度最快,稳态误差最小,输出信号星座图最清晰。     

ICA:一种基于混合智能算法的移动Agent路由算法

遗传算法具有快速随机的全局搜索能力,但对于系统中反馈信息利用却无能为力,求精确解效率低.改进型ACS(antcolony system)算法不仅具有分布式并行全局搜索能力,而且在很大程度上避免了候选解陷入局部极小并导致系统收敛到这一伪最优解从而停止进化的可能性,但存在初期信息匮乏,求解速度慢的缺点.为了改善移动Agent系统的迁移性能和执行效率,本文提出一种基于由遗传算法和改进型ACS算法组成的混合智能算法的移动Agent路由算法.该路由算法是汲取两种智能算法的优点,克服各自的缺陷.通过对TAP问题的仿真实验表明该算法取得了较好的效果.     

融合了K近邻与密度峰值算法的K-means算法

初始聚类中心的随机选择,根据主观经验确定类簇数等问题时常伴随着原始K-means算法。为了攻克以上问题,改进算法采用峰值法以及融合了K近邻算法的密度峰值算法逐一调整。通过在UCI数据集上测试及与原始K-means算法、最大最小距离距离算法在准确率、稳定性和处理数据速率方面的比较,其中最为突出的是,改进算法的准确率达到了96%以上。