非负子空间聚类指导下的非负矩阵分解

非负矩阵分解作为一种有效的数据表示方法被广泛应用于模式识别和机器学习领域。为了得到原始数据紧致有效的低维数据表示,无监督非负矩阵分解方法在特征降维的过程中通常需要同时发掘数据内部隐含的几何结构信息。通过合理建模数据样本间的相似性关系而构建的相似度图,通常被用来捕获数据样本的空间分布结构信息。子空间聚类可以有效发掘数据内部的子空间结构信息,其获得的自表达系数矩阵可用于构建相似度图。该文提出了一种非负子空间聚类算法来发掘数据的子空间结构信息,同时利用该信息指导非负矩阵分解,从而得到原始数据有效的非负低维表示。同时,该文还提出了一种有效的迭代求解方法来求解非负子空间聚类问题。在两个图像数据集上的聚类实验结果表明,利用数据的子空间结构信息可以有效改善非负矩阵分解的性能。     

基于超图正则化非负Tucker分解的图像聚类算法

针对非负张量分解应用于图像聚类时忽略了高维数据内部几何结构的问题,在经典的张量非负Tucker分解的基础上,添加超图正则项以尽可能多地保留原始数据的内在几何结构信息,提出一种基于超图正则化非负Tucker分解模型HGNTD。通过构造超图刻画数据内部样本间的高阶关系,提高几何结构描述的准确性,针对超图正则化非负张量分解模型,基于交替非负最小二乘法,设计快速有效的超图正则化非负Tucker分解算法求解所给模型,证明算法在非负的条件下是收敛的,最终将算法应用于图像聚类。在Yale和COIL两个常用公开数据集上的实验结果表明,相对于k-means、非负矩阵分解、图正则化非负矩阵分解、非负Tucker分解和图正则化非负Tucker分解等算法,超图正则化非负Tucker分解算法聚类准确度提升了8.6%~11.4%,归一化互信息提升了2.0%~7.5%,具有更好的聚类效果。     

图嵌入投影非负矩阵分解图像特征提取方法

针对投影非负矩阵分解(PNMF)不能揭示数据流形几何结构和判别信息的问题,提出了一种图嵌入投影非负矩阵分解(GEPNMF)特征提取方法。首先分别构建了描述数据流形几何结构和类间分离度的近邻图,然后采用它们的拉普拉斯矩阵设计了一个图嵌入正则项,并将其与PNMF的目标函数融合,以构造GEPNMF的目标函数。在GEPNMF目标函数中引入了图嵌入正则项,使求得的子空间能够在保持数据流形几何结构的同时,类间间距也最大。另外,还在目标函数中引入了一个正交正则项,以确保GEPNMF子空间基向量具有数据局部表示能力。对求解GEPNMF目标函数的累乘更新规则(MUR)进行了详细的推导。在Yale和CMU PIE人脸数据库上的实验结果表明,提出的图嵌入投影非负矩阵分解特征提取方法比PNMF更适用于解决分类问题。     

基于稀疏子空间聚类的多层网络社团检测

现有的子空间聚类方法大多只适用于单层网络,或者仅对多层网络中每层的聚类结果简单地进行平均,未考虑每层网络中包含信息量不同的特点,致使聚类性能受限。针对该问题,提出一种面向多层网络的稀疏子空间聚类方法。将距离正则项和非负约束条件集成到稀疏子空间聚类框架中,从而在聚类时能够同时利用数据的全局信息和局部信息进行图学习。此外,通过引入稀疏约束使学习到的图具有更清晰的聚类结构,并设计迭代算法进行优化求解。在多个真实数据集上的实验结果表明,该方法能够挖掘网络不同层的互补信息,得到准确的一致性联合稀疏表示,有效提高社团聚类性能。     

基于核技巧和超图正则的稀疏非负矩阵分解

针对传统的非负矩阵分解（NMF）应用于聚类时,没有同时考虑到鲁棒性和稀疏性,导致聚类性能较低的问题,提出了基于核技巧和超图正则的稀疏非负矩阵分解算法（KHGNMF）。首先,在继承核技巧的良好性能的基础上,用L_2,1范数改进标准非负矩阵分解中的F范数,并添加超图正则项以尽可能多地保留原始数据间的内在几何结构信息;其次,引入L_2,1/2伪范数和L_1/2正则项作为稀疏约束合并到NMF模型中;最后,提出新算法并将新算法应用于图像聚类。在6个标准的数据集上进行验证,实验结果表明,相对于非线性正交图正则非负矩阵分解方法,KHGNMF使聚类性能（精度和归一化互信息）成功地提升了39%~54%,有效地改善和提高了算法的稀疏性和鲁棒性,聚类效果更好。     

图嵌入正则化投影非负矩阵分解人脸图像特征提取

目的 针对投影非负矩阵分解（PNMF）不能揭示数据空间的流形几何结构和判别信息的缺点,提出一种图嵌入正则化投影非负矩阵分解（GEPNMF）人脸图像特征提取方法。 方法 首先构建了描述数据空间的流形几何结构和类间分离度的两个近邻图,然后采用它们的拉普拉斯矩阵设计了一个图嵌入正则项,并将该图嵌入正则项与PNMF的目标函数融合以建立GEPNMF的目标函数。由于引入了图嵌入正则项,GEPNMF求得的子空间能在保持数据空间的流形几何结构的同时,类间间距最大。此外,在GEPNMF目标函数中引入了一个正交正则项,以确保GEPNMF子空间基向量具有数据局部表示能力。最后,对求解GEPNMF目标函数的累乘更新规则（MUR）进行了详细推导,并从理论上证明了其收敛性。结果 在ORL、Yale和CMU PIE人脸图像数据库上分别进行了人脸识别实验,识别率分别达到了94.00%、64.33%和98.58%。结论 实验结果表明,GEPNMF提取的人脸图像特征用于人脸识别时,具有较高的识别率。     

基于图正则化和稀疏约束的半监督非负矩阵分解

非负矩阵分解是在矩阵非负约束下的分解算法。为了提高识别率,提出了一种基于稀疏约束和图正则化的半监督非负矩阵分解方法。该方法对样本数据进行低维非负分解时,既保持数据的几何结构,又利用已知样本的标签信息进行半监督学习,而且对基矩阵施加稀疏性约束,最后将它们整合于单个目标函数中。构造了一个有效的更新算法,并且在理论上证明了该算法的收敛性。在多个人脸数据库上的仿真结果表明,相对于NMF、GNMF、CNMF等算法,GCNMFS具有更好的聚类精度和稀疏性。     

基于Hessian正则化的多视图联合非负矩阵分解算法

非负矩阵在表征多视图数据时没有考虑数据本身的流型结构,不能有效表达数据内部信息。为此,提出一种基于Hessian正则化的非负矩阵分解算法。利用Hessian泛函的L2模,保持样本局部拓扑结构,并扩展成基于Hessian正则化的联合非负矩阵分解算法,以对多视图数据进行变换。实验结果表明,基于Hessian正则化的非负矩阵分解算法和基于Hessian正则化的联合非负矩阵分解算法的聚类精度以及互信息值都有较大提高,2种算法的数据变化性能都优于传统非负矩阵分解算法。     

一种潜在信息约束的非负矩阵分解方法

传统的非负矩阵分解方法没有充分利用数据间的内在相似性,从而影响了算法的性能。为此,本文提出一种潜在信息约束的非负矩阵分解方法。该方法首先利用迭代最近邻方法挖掘原始数据的潜在信息,然后利用潜在信息构造数据之间的相似图,最后将相似图作为约束项求得非负矩阵的最优分解。相似图的约束使得非负矩阵分解在降维过程中保持了原始数据之间的相似性关系,进而提高了非负矩阵分解的判别能力。图像聚类实验结果表明了该方法的有效性。     

基于图正则化的半监督非负矩阵分解

提出了一种基于图正则化的半监督非负矩阵分解算法（GSNMF）,克服了非负矩阵分解（NMF）、约束非负矩阵分解（CNMF）和图正则化非负矩阵分解（GNMF）方法忽略样本数据的局部几何结构或标签信息不足的缺陷,且NMF、CNMF和GNMF均为GSNMF的特例。也从理论上证明了GSNMF算法的收敛性。该算法对样本数据进行低维非负分解时,在图框架下既保持数据的几何结构,又利用已知样本的标签信息,在进行半监督学习时,同类样本能更好地聚集而类间距离尽可能大。在人脸数据库ORL、FERET和手写体数据库USPS上的仿真结果表明,相对于NMF及其一些改进算法,GSNMF均具有更高的聚类精度。     

Non-negative and sparse spectral clustering

Spectral clustering aims to partition a data set into several groups by using the Laplacian of the graph such that data points in the same group are similar while data points in different groups are dissimilar to each other. Spectral clustering is very simple to implement and has many advantages over the traditional clustering algorithms such as k-means. Non-negative matrix factorization (NMF) factorizes a non-negative data matrix into a product of two non-negative (lower rank) matrices so as to achieve dimension reduction and part-based data representation. In this work, we proved that the spectral clustering under some conditions is equivalent to NMF. Unlike the previous work, we formulate the spectral clustering as a factorization of data matrix (or scaled data matrix) rather than the symmetrical factorization of the symmetrical pairwise similarity matrix as the previous study did. Under the NMF framework, where regularization can be easily incorporated into the spectral clustering, we propose several non-negative and sparse spectral clustering algorithms. Empirical studies on real world data show much better clustering accuracy of the proposed algorithms than some state-of-the-art methods such as ratio cut and normalized cut spectral clustering and non-negative Laplacian embedding.     

一种基于极大熵的快速无监督线性降维方法

现实世界中高维数据无处不在,然而在高维数据中往往存在大量的冗余和噪声信息,这导致很多传统聚类算法在对高维数据聚类时不能获得很好的性能.实践中发现高维数据的类簇结构往往嵌入在较低维的子空间中.因而,降维成为挖掘高维数据类簇结构的关键技术.在众多降维方法中,基于图的降维方法是研究的热点.然而,大部分基于图的降维算法存在以下两个问题:(1)需要计算或者学习邻接图,计算复杂度高;(2)降维的过程中没有考虑降维后的用途.针对这两个问题,提出一种基于极大熵的快速无监督降维算法MEDR. MEDR算法融合线性投影和极大熵聚类模型,通过一种有效的迭代优化算法寻找高维数据嵌入在低维子空间的潜在最优类簇结构. MEDR算法不需事先输入邻接图,具有样本个数的线性时间复杂度.在真实数据集上的实验结果表明,与传统的降维方法相比, MEDR算法能够找到更好地将高维数据投影到低维子空间的投影矩阵,使投影后的数据有利于聚类.     

面向高维特征缺失数据的K最近邻插补子空间聚类算法

针对高维特征缺失数据在聚类过程中面临的因数据高维引发的维度灾难问题和数据特征缺失导致的样本间有效距离计算失效问题,提出一种面向高维特征缺失数据的K最近邻（KNN）插补子空间聚类算法KISC。首先,利用高维特征缺失数据的子空间下的近邻关系对原始空间下的特征缺失数据进行KNN插补;然后,利用多次迭代矩阵分解和KNN插补获得数据最终可靠的子空间结构,并在该子空间结构进行聚类分析。在6个图像数据集原始空间的聚类结果表明,相较于经过插补后直接进行聚类的对比算法,KISC算法聚类效果更好,说明子空间结构能够更加容易且有效地识别数据的潜在聚类结构;在6个高维数据集子空间下的聚类结果显示,KISC算法在各个数据集的聚类性能均优于对比算法,且在大多数据集上取得了最优的聚类精确度（ACC）和标准互信息（NMI）。KISC算法能够更加有效地处理高维特征缺失数据,提高算法的聚类性能。     

使用深度对抗子空间聚类实现高光谱波段选择

高光谱图像（HSI）由数百个波段组成,波段之间的相关性强且具有较高的冗余度,导致出现维度灾难并且分类的复杂性很高。为此,使用深度对抗子空间聚类（DASC）网络进行高光谱的波段选择,并引入拉普拉斯正则化使网络更优,在保证分类精度的前提下降低分类的复杂度。该网络通过在编码器和解码器中引入自表达层来模仿传统子空间聚类的“自表达”属性,充分运用光谱信息和非线性特征转换得到波段之间的相互关系,解决传统波段选择方法无法同时考虑光谱和空间信息的问题。同时,引入对抗学习来监督自编码器的样本表示和子空间聚类,使得子空间聚类具有更好的自表达性能。为了使网络性能更优,加入拉普拉斯正则化来考虑反映图像几何信息的局部流形结构。实验在两个公开的高光谱数据集上进行,所提出的方法和几种主流的波段选择方法进行对比的结果表明,DASC方法在分类精度上优于对比方法,其选出的波段子集可以满足应用需求。     

非负局部约束低秩子空间聚类算法

在低秩表示算法的基础上,提出了一个新模型。新模型构建了揭示数据内在特征联系的亲和度图以实现聚类任务。首先,根据矩阵分解原理对原始数据重新生成数据字典,在算法初始输入时筛除部分噪声。其次,利用数据间的稀疏性加强局部约束,为给定的数据向量构建非负低秩亲和度图。亲和度图中边的权重由非负低秩稀疏系数矩阵获得,系数矩阵通过每个数据样本作为其他数据样本的线性组合完成构建,如此获得的亲和度图显示了数据的子空间结构,同时表现局部线性结构。与现存的子空间算法相比,非负局部约束低秩子空间算法在聚类效果上有明显的提升。     

基于Krylov子空间方法的网络入侵数据聚类

网络信息安全中的数据具有维数高、规模复杂等特性。网络入侵检测需要对网络入侵信息进行合理的分析,筛选出危险的带有攻击性的行为。随着数据维数的不断升高,传统的基于距离的聚类分析方法不再适用。针对此,本文提出一种基于Krylov子空间方法的高维数据聚类分析算法,首先将高维数据投影到低维空间,实现数据的降维,再用基于遗传算法的K-means算法在低维空间中进行数据的聚类,避免了数据属性的丢失,同时也提高了高维数据聚类分析的效率。最后,使用KDD Cup 99数据进行实验,实验验证了方法的有效性和精确性。     

基于核非负矩阵分解的有向图聚类算法

现有的有向图聚类算法大多基于向量空间中节点间的近似线性关系假设,忽略了节点间存在的非线性相关性。针对该问题,提出一种基于核非负矩阵分解（KNMF）的有向图聚类算法。首先,引入核学习方法将有向图的邻接矩阵投影到核空间,并通过特定的正则项约束原空间及核空间中节点间的相似性。其次,提出了图正则化核非对称NMF算法的目标函数,并在非负约束条件下通过梯度下降方法推导出一个聚类算法。该算法在考虑节点连边的方向性的同时利用核学习方法建模节点间的非线性关系,从而准确地揭示有向图中潜在的结构信息。最后,在专利-引文网络（PCN）数据集上的实验结果表明,簇的数目为2时,和对比算法相比,所提算法将DB值和DQF值分别提高了约0.25和8%,取得了更好的聚类质量。