基于有效距离的谱聚类算法

在现有多种距离度量和传统谱聚类算法的基础上,提出了一种新的基于有效距离的谱聚类算法(spectral clustering based on effective distance,SCED)。SCED算法通过稀疏重构系数来构建样本与样本之间的有效距离,从而代替传统谱聚类算法中的欧氏距离,进行样本之间的相似度评估。与传统距离度量相比,有效距离不仅利用了样本对之间的距离信息,同时考虑了目标样本与其他所有相关样本之间的距离信息,因而该距离度量具有全局特性。在UCI标准数据集上的实验结果表明,SCED算法能有效提高聚类效果。     

参数字典稀疏表示的完全无监督域适应

无监督域适应(unsupervised domain adaptation,UDA)针对的是源域有标记而目标域无标记的学习问题,其目的是利用从标记大样本源域中所学"知识"来促进无标记小样本目标域的学习性能。但现实中也往往存在样本无标记的源域,形成了所谓的完全无监督域适应。该问题给域适应学习带来了严峻的挑战。受先前提出的软大间隔聚类学习(soft large margin clustering,SLMC)启发,提出了一种参数迁移方法——参数字典稀疏表示的完全无监督的域适应方法(whole UDA,WUDA)。SLMC采用分类学习思想在输出(标记)空间中实现给定数据的聚类,在这种实现原理的启发下,从参数(决策函数的权重矩阵)公共字典的角度,在源域和目标域的权重间进行互适应参数字典学习实现知识迁移,同时引入l_(2,1)范数来约束字典系数矩阵,使得各域权重可从公共字典中自适应地选择,从而实现域适应学习。最后,在相关数据集上的实验显示了WUDA在聚类性能上的显著有效性。     

基于极大熵的知识迁移模糊聚类算法

针对传统的聚类算法在样本数据量不足或样本受到污染情况下的聚类性能下降问题,在经典的极大熵聚类算法（MEKTFCA）的基础上,提出了一种新的融合历史聚类中心点和历史隶属度这两种知识的基于极大熵的知识迁移模糊聚类算法。该算法通过学习由源域总结出来的有益历史聚类中心和历史隶属度知识来指导数据量不足或受污染的目标域数据的聚类任务,从而提高了聚类性能。通过一组模拟数据集和两组真实数据集构造的迁移场景上的实验,证明了该算法的有效性。     

具备跨源域学习能力的模糊聚类算法研究

针对传统迁移学习聚类算法因单一源域到单一目标域且两者类别数必须一致的约束而达不到良好的聚类效果的问题,本文提出了一种跨源域学习的聚类算法,该算法具有三大优点：1) 该算法不仅扩大源域数目且取消了源域类别数的限定,算法可以自适应选择源域进行学习,因此算法的迁移学习能够得到较大的提升;2)由于算法所利用的源域知识不会暴露原数据,因此算法具有良好的源域数据隐私保护性;3)通过调节平衡参数可以使算法退化为传统的聚类算法,因此该算法的聚类性能是有所保障的。通过在模拟数据集和真实数据集上的实验,验证了文中算法较之现有迁移学习聚类算法具有更好的迁移能力,且聚类性能及鲁棒性也有较大的提升。     

可能性匹配知识迁移原型聚类算法

针对迁移原型聚类的优化问题,本文以模糊知识匹配迁移原型聚类为基础,介绍了聚类场景中从源域到目标域的迁移学习机制,明确了源域聚类中心辅助目标域得到更好的聚类效果。但目前此类迁移机制依然面临如下的挑战:1）如何克服已有迁移原型聚类方法中不同类别间的知识强制性匹配带来的负作用。2）当源域与目标域相似度较低时,如何避免模糊强制性匹配的不合理性以及过于依赖源域知识的缺陷被放大。为此,研究了一种新的迁移原型聚类机制,即可能性匹配知识迁移原型机制,并基于此实现了2个具体的迁移聚类算法。借鉴可能性匹配的思想,该算法可以自动选择和偏重有用的源域知识,克服了源域和目标域之间的强制性匹配限制,具有较好的可调节性。研究结果表明:在不同迁移场景下模拟数据集和真实NG20groups数据集上的实验研究表明,提出的算法较已有的相关算法展现了更好的性能。     

一种基于ELM-AE特征表示的谱聚类算法

在实际应用中,数据点中包含的冗余特征和异常值(噪声)严重影响了聚类中更显著的特征的发现,大大降低了聚类性能。本文提出了一种基于ELM-AE (extreme learning machine as autoencoder)特征表示的谱聚类算法(spectral clustering via extreme learning machine as autoencoder, SC-ELM-AE)。ELM-AE通过奇异值分解学习源数据主要特征表示,使用输出权值实现从特征空间到原输入数据的重构;再将该特征表示空间作为输入进行谱聚类。实验表明,在5个UCI数据集验证中,SC-ELM-AE算法性能优于传统的K-Means、谱聚类等现有算法,特别是在复杂高维数据集PEMS-SF和TDT2_10上,聚类平均精确度均提高30%以上。     

面向超大规模数据的自适应谱聚类算法

针对超大规模数据聚类过程中人为设定邻域参数及计算量庞大等问题,提出了一种基于近似自然近邻的自适应超大规模谱聚类算法(approximate natural nearest neighbor based self-adaptive ultra-scalable spectral clustering algorithm, AN³-SUSC)。该算法首先通过混合代表选取缩小数据规模,在此基础上利用近似自然近邻自适应地确定局部邻域参数并构建相似矩阵,最后运用二部图进行迁移分割将数据空间映射到原超大规模数据空间中并完成谱聚类分析。超大规模数据集实验结果表明,该算法对超大规模数据集聚类效果有所提升,并且降低计算规模同时具有较高的鲁棒性和较强的自适应性。     

L1范数正则化SVM聚类算法

提出L1范数正则化支持向量机(SVM)聚类算法。该算法能够同时实现聚类和特征选择功能。给出L1范数正则化SVM聚类原问题和对偶问题形式,采用类似迭代坐标下降的方法求解困难的混合整数规划问题。在多组数据集上的实验结果表明,L1范数正则化SVM聚类算法聚类准确率与L2范数正则化SVM聚类算法相近,而且能够实现特征选择。     

Ll-norm Regularized SVM Clustering Algorithm

提出L1范数正则化支持向量机(SVM)聚类算法.该算法能够同时实现聚类和特征选择功能.给出LI范数正则化SVM聚类原问题和对偶问题形式,采用类似迭代坐标下降的方法求解困难的混合整数规划问题.在多组数据集上的实验结果表明,L1范数正则化SVM聚类算法聚类准确率与L2范数正则化SVM聚类算法相近,而且能够实现特征选择.     

迁移近邻传播聚类算法

在目标域可利用数据匮乏的场景下,传统聚类算法的性能往往会下降.在该场景下,通过抽取源域中的有用知识用于指导目标域学习以得到更为合适的类别信息和聚类性能,是一种有效的学习策略.借此提出一种基于近邻传播的迁移聚类（transfer affinity propagation,简称TAP）算法,在源域和目标域数据分布相似的情况下,通过引入迁移学习机制来改善近邻传播聚类（affinity propagation,简称AP）算法在数据匮乏场景下的聚类性能.为保证迁移的有效性,TAP在综合考虑源域和目标域的统计特性及几何特征的基础上改进AP算法中的消息传递机制使其具备迁移能力,从而达到辅助目标域学习的目的.此外,通过TAP对应的因子图,亦可说明TAP可以以类似AP的消息传递机制,在目标域数据匮乏的情况下进行高效的知识迁移,为最终所获得的聚类结果提供了保证.在模拟数据集和真实数据集上的仿真实验结果显示,所提出的算法较之经典AP算法在处理非充分数据聚类任务时具有更佳的性能.