基于子空间聚类的高维数据可视分析方法综述

随着信息技术的飞速发展和大数据时代的来临,数据呈现出高维性、非线性等复杂特征。对于高维数据来说,在全维空间上往往很难找到反映分布模式的特征区域,而大多数传统聚类算法仅对低维数据具有良好的扩展性。因此,传统聚类算法在处理高维数据的时候,产生的聚类结果可能无法满足现阶段的需求。而子空间聚类算法搜索存在于高维数据子空间中的簇,将数据的原始特征空间分为不同的特征子集,减少不相关特征的影响,保留原数据中的主要特征。通过子空间聚类方法可以发现高维数据中不易展现的信息,并通过可视化技术展现数据属性和维度的内在结构,为高维数据可视分析提供了有效手段。总结了近年来基于子空间聚类的高维数据可视分析方法研究进展,从基于特征选择、基于子空间探索、基于子空间聚类的3种不同方法进行阐述,并对其交互分析方法和应用进行分析,同时对高维数据可视分析方法的未来发展趋势进行了展望。     

基于二进制灰狼优化的特征选择及文本聚类

提出基于二进制灰狼优化的特征选择与文本聚类算法.为得到最佳聚类结果,将文本数据表达为矢量空间模型;利用二进制灰狼优化算法对文本特征进行选择,得到初选特征子集;对前一阶段中不同特征相关分值计算方法得到的初选特征子集进行合并与交叉操作,进一步计算最优特征子集;在新特征子集基础上,利用同步考虑余弦相似度和欧氏距离指标的多目标优化K均值算法完成文本聚类,得到最优文本聚类解.实验结果表明,在多数数据集上,该算法可以有效降低特征维度,聚类指标表现更好.     

局部样条嵌入的正交半监督子空间学习算法

为了更加准确地对图像进行聚类与分类,提出一种基于局部样条嵌入的正交半监督子空间学习算法.通过学习一个正交投影矩阵,使得训练样本中的标注数据经过投影矩阵降维后类间离散度尽量大,类内离散度尽量小;采用局部样条回归将局部低维嵌入坐标映射成全局低维嵌入坐标,使得被投影数据保持原有流形结构,并有效地利用有标注训练样本和未标注训练样本得到优化的图像表达方式.图像聚类与分类实验的结果表明了文中算法的有效性.     

基于中心距离比值准则的无监督特征选择算法

特征选择是模式识别中的一个重要组成部分。针对未知类标号的样本集,提出基于中心距离比值准则的无监督特征选择算法。该算法利用爬山法确定聚类数目范围和估计初始聚类中心,再通过K-均值聚类算法确定特征子集的最佳分类数,然后用中心距离比值准则来评价特征子集的分类性能,并通过特征间的相关性分析,从中选择出分类效果好,相关程度低的特征组成特征子集。     

一种深度自监督聚类集成算法

针对聚类集成中一致性函数设计问题,本文提出一种深度自监督聚类集成算法。该算法首先根据基聚类划分结果采用加权连通三元组算法计算样本之间的相似度矩阵,基于相似度矩阵表达邻接关系,将基聚类由特征空间中的数据表示变换至图数据表示;在此基础上,基聚类的一致性集成问题被转化为对基聚类图数据表示的图聚类问题。为此,本文利用图神经网络构造自监督聚类集成模型,一方面采用图自动编码器学习图的低维嵌入,依据低维嵌入似然分布估计聚类集成的目标分布;另一方面利用聚类集成目标对低维嵌入过程进行指导,确保模型获得的图低维嵌入与聚类集成结果是一致最优的。在大量数据集上进行了仿真实验,结果表明本文算法相比HGPA、CSPA和MCLA等算法可以进一步提高聚类集成结果的准确性。     

引入低秩约束先验的深度子空间聚类

大多数子空间聚类算法将高维数据映射到低维子空间时不能较好捕获数据间几何结构.针对上述问题,文中提出引入低秩约束先验的深度子空间聚类算法,兼顾数据全局和局部结构信息.算法结合低秩表示与深度自编码器,利用低秩约束捕获数据全局结构,并将约束神经网络的潜在特征表示为低秩.自编码通过最小化重构误差进行非线性低维子空间映射,保留数据的局部特性.以多元逻辑回归函数作为判别模型,预测子空间分割.整个算法在无监督联合学习框架下进行优化.在5个数据集上的实验验证文中方法的有效性.     

MD-RBM神经网络模型及其在材料微结构中聚类研究

在传统的RBM神经网络的基础上提出一种新颖的MD-RBM神经网络模型用于超高碳钢微结构高维图像数据的特征学习。该模型利用新的乘法距离(MD)取代欧式距离以计算高维图像数据之间的距离关系,有效缓解欧式距离在高维数据中的不稳定性问题。MD-RBM神经网络模型利用少量的成对约束监督信息引导其编码过程,使得一部分图像数据的隐藏层特征更加聚集在一起,而且同时使得一部分图像数据的隐藏层特征更加分散,由此得到高维图像数据的隐藏层特征表现出很好的聚类性能。实验选择两种经典聚类算法Affinity Propagation(AP)和Spectral Clustering(SC)作为对比,结果显示,基于MD-RBM模型的聚类识别算法比原始聚类算法、半监督算法以及基于RBM模型的聚类算法都表现出更优的聚类性能。     

基于半监督算法的高光谱影像特征提取仿真

高光谱影像包括待测物的空间、光谱和辐射三重信息,且图像信息具有维度高、空间相关性弱、特征非线性强的特点,导致其空间特征序列混乱,特征提取难度大。于是提出基于半监督算法的高光谱影像特征提取方法。应用半监督算法对高光谱图像中的高维数据降维处理,并基于降维结果完成高光谱图像的去模糊。高光谱图像完成降维去模糊后,根据特征学习模型学习高光谱影像数据,获取图像深层特征。在像元空间内对深度特征以及空间信息完成空、谱的联合,实现高光谱影像特征的提取。实验结果表明,所提方法应用下影像特征点在特征空间内聚类效果好,查全率和查准率均能达到95%以上,说明上述方法的应用性能更优。     

基于ACCA-FCM和SVM-RFE的蓄电池SOH特征选择算法

由于铅酸蓄电池老化程度受诸多因素影响,且蓄电池老化实验受完全充放电时间和样本数量限制,使得基于小样本的具有代表性的特征集的选择在蓄电池健康状态（SOH）预测中显得尤为重要。因此在对蓄电池进行特性分析的基础上,提出基于无监督的ACCA-FCM和有监督的SVM-RFE相结合的蓄电池SOH特征选择算法。该算法利用改进的蚁群聚类算法（ACCA）从全局特征集中选取有效的特征值聚类中心,克服模糊C均值聚类算法（FCM）聚类中心敏感和局部最优问题,并根据特征之间相关性排除冗余特征;再通过SVM-RFE特征排序算法剔除非关键干扰（低预测性）特征,最终得到与待测结果最大相关最小冗余的低维特征子集,且在保证精度的前提下,避开了完全放电过程。经基于支持向量机（SVM）的蓄电池SOH预测模型验证,放电初期特征构成的最优特征子集可准确预测铅酸蓄电池的健康状态。     

遥感图像变化区域的无监督压缩感知

传统的基于结构特征的遥感图像变化检测方法,易受成像稳定性的影响而误差很大。针对图像内在的稀疏性结构信息,提出基于压缩感知(CS)的遥感图像变化检测方法。通过自适应构造超完备字典将图像局部信息投影到高维空间中,实现图像的稀疏表示,并运用随机矩阵得到了数据在高维空间中的低维特征子空间。最后利用模糊C均值(FCM)聚类算法进行无监督聚类,实现遥感图像变化区域信息的重构。实验结果表明,本文方法不仅能够很好的检测出图像的轮廓变化和图像的区域变化,而且对噪声具有很好的鲁棒性。     

基于遗传算法的无监督分形属性规约技术

属性规约是应对“维数灾难”的有效技术,分形属性规约FDR（Fractal Dimensionality Reduction）是近年来出现的一种无监督属性选择技术,令人遗憾的是其需要多遍扫描数据集,因而难于应对高维数据集情况;基于遗传算法的属性规约技术对于高维数据而言优越于传统属性选择技术,但其无法应用于无监督学习领域。为此,结合遗传算法内在随机并行寻优机制及分形属性选择的无监督特点,设计并实现了基于遗传算法的无监督分形属性子集选择算法GABUFSS（Genetic Algorithm Based Unsupervised Feature Subset Selection）。基于合成与实际数据集的实验对比分析了GABUFSS算法与FDR算法的性能,结果表明GABUFSS相对优于FDR算法,并具有发现等价结果属性子集的特点。     

Unsupervised image retrieval framework based on rule base system

This paper introduces unsupervised image retrieval framework based on a rule base system. The proposed framework makes use of geometric moments (GMs) for features extraction. The main advantage with the GMs is that image coordinate transformations can be easily expressed and analyzed in terms of the corresponding transformations in the moment space. These features are used to perform the image mining for acquiring clustering knowledge from a large empirical images database. Irrelevance between images of the same cluster is precisely considered in the proposed framework through a relevant feedback phase followed by a novel clustering refinement model. The images and their corresponding classes pass to a rule base algorithm for extracting a set of accurate rules. These rules are pruning and may reduce the dimensionality of the extracted features. The advantage of the proposed framework is reflected in the retrieval process, which is limited to the images in the class of rule matched with the query image features. Experiments show that the proposed model achieves a very good performance in terms of the average precision, recall and retrieval time compared with other models.     

多层次降维的头颈癌图像特征选择方法

针对原始病理图像经软件提取形态学特征后存在高维度,以及医学领域上样本的少量性问题,提出ReliefF-HEPSO头颈癌病理图像特征选择算法。该算法构建了多层次降维框架,首先根据特征和类别的相关性,利用ReliefF算法确定不同的特征权重,实现初步降维。其次利用进化神经策略(ENS)丰富二进制粒子群算法(BPSO)的种群的多样性,提出混合二进制进化粒子群算法(HEPSO)对候选特征子集完成最佳特征子集的自动寻找。与7种特征选择算法的实验对比结果证明,该算法能更有效筛选出高相关性的病理图像形态学特征,实现快速降维,以较少特征获得较高分类性能。     

面向高维特征缺失数据的K最近邻插补子空间聚类算法

针对高维特征缺失数据在聚类过程中面临的因数据高维引发的维度灾难问题和数据特征缺失导致的样本间有效距离计算失效问题,提出一种面向高维特征缺失数据的K最近邻（KNN）插补子空间聚类算法KISC。首先,利用高维特征缺失数据的子空间下的近邻关系对原始空间下的特征缺失数据进行KNN插补;然后,利用多次迭代矩阵分解和KNN插补获得数据最终可靠的子空间结构,并在该子空间结构进行聚类分析。在6个图像数据集原始空间的聚类结果表明,相较于经过插补后直接进行聚类的对比算法,KISC算法聚类效果更好,说明子空间结构能够更加容易且有效地识别数据的潜在聚类结构;在6个高维数据集子空间下的聚类结果显示,KISC算法在各个数据集的聚类性能均优于对比算法,且在大多数据集上取得了最优的聚类精确度（ACC）和标准互信息（NMI）。KISC算法能够更加有效地处理高维特征缺失数据,提高算法的聚类性能。     

新的降维标准下的高维数据聚类算法

为了解决主成分分析(PCA)算法无法处理高维数据降维后再聚类精确度下降的问题,提出了一种新的属性空间概念,通过属性空间与信息熵的结合构建了基于特征相似度的降维标准,提出了新的降维算法ENPCA。针对降维后特征是原特征的线性组合而导致可解释性变差以及输入不够灵活的问题,提出了基于岭回归的稀疏主成分算法(ESPCA)。ESPCA算法的输入为主成分降维结果,不需要迭代获得稀疏结果,增加了灵活性和求解速度。最后在降维数据的基础上,针对遗传算法聚类收敛速度慢等问题,对遗传算法的初始化、选择、交叉、变异等操作进行改进,提出了新的聚类算法GKA++。实验分析表明EN-PCA算法表现稳定,GKA++算法在聚类有效性和效率方面表现良好。     

子空间结构保持的多层极限学习机自编码器

处理高维复杂数据的聚类问题,通常需先降维后聚类,但常用的降维方法未考虑数据的同类聚集性和样本间相关关系,难以保证降维方法与聚类算法相匹配,从而导致聚类信息损失.非线性无监督降维方法极限学习机自编码器(Ex-treme learning machine,ELM-AE)因其学习速度快、泛化性能好,近年来被广泛应用于降维及去...     

An extended EM algorithm for subspace clustering

Clustering high dimensional data has become a challenge in data mining due to the curse of dimensionality. To solve this problem, subspace clustering has been defined as an extension of traditional clustering that seeks to find clusters in subspaces spanned by different combinations of dimensions within a dataset. This paper presents a new subspace clustering algorithm that calculates the local feature weights automatically in an EM-based clustering process. In the algorithm, the features are locally weighted by using a new unsupervised weighting method, as a means to minimize a proposed clustering criterion that takes into account both the average intra-clusters compactness and the average inter-clusters separation for subspace clustering. For the purposes of capturing accurate subspace information, an additional outlier detection process is presented to identify the possible local outliers of subspace clusters, and is embedded between the E-step and M-step of the algorithm. The method has been evaluated in clustering real-world gene expression data and high dimensional artificial data with outliers, and the experimental results have shown its effectiveness.     

一种快速鲁棒核空间图形模糊聚类分割算法

针对现有鲁棒图形模糊聚类算法难以满足强噪声干扰下大幅面图像快速分割的需要，提出一种快速鲁棒核空间图形模糊聚类分割算法。该算法将欧氏空间样本通过核函数映射至高维空间；采用待分割图像中像素邻域的灰度和空间等信息构建线性加权滤波图像，对其进行鲁棒核空间图形模糊聚类；并引入当前聚类像素与其邻域像素均值所对应的二维直方图信息，获得鲁棒核空间图形模糊聚类快速迭代表达式。对大幅面图像添加高斯和椒盐噪声进行分割测试，实验结果表明:本文算法相比基于图形模糊聚类等分割算法的分割性能、抗噪鲁棒性和实时性有了显著提高。     

基于特征散度的自适应FCM图像分割算法

图像分割是模式识别、图像理解、计算机视觉等领域的重要研究内容。基于模糊C均值聚类(FCM)的图像分割是应用较为广泛的方法之一,但其存在距离测度鲁棒性差、需预先给出初始聚类数目、未考虑图像局部相关特性等问题。为克服上述缺点,通过引入特征散度进行距离测度,并结合聚类有效性指数自适应确定初始聚类数目和根据Laws纹理测度提取图像特征等措施,提出了一种新的FCM图像分割算法。实验结果表明,该新算法可以有效地提高图像的分割效果(特别是纹理图像),其分割结果优于现有FCM图像分割方案。