利用正则化矩阵分解技术的多视图聚类方法

为了解决具有多种特征属性的多媒体数据（多视图数据）挖掘问题,在非负矩阵分解（NMF）算法的基础上,提出了一种多视图正则化矩阵分解算法（MRMF）,该算法使用了多元非负矩阵分解技术,同时使用[L2,1]范数描述矩阵分解的损失函数,并采用多视图流形正则化对矩阵分解进行正则化约束。与现有的一些数据聚类或多视图聚类算法相比,提出的MRMF算法不易受到原始数据中噪声的影响,而且能够充分考虑到不同视图在聚类中所具有不同权重的问题,能够对多视图数据进行较为准确的聚类。MRMF算法的有效性在一些经典的公开数据集上进行了验证,并取得了较好的聚类精度。     

三维非负矩阵因子分解代谢组学数据解析

多维数据解析方法越来越引起人们的重视,非负矩阵因子分解算法已较广泛地用于图像分析。基于PARAFAC模型,将非负矩阵因子分解算法拓展为三维非负矩阵因子分解算法(three dimension non-negative matrix factorization,NMF3)。其原理简明,算法易于执行。与基于向量计算的其他三维化学计量学算法不同,NMF3基于矩阵计算单个元素,所以不必将三维数据平铺处理,就可直接解析,为三维数据解析研究提供了一种全新的思路和方法。应用NMF3解析模拟三维数据和代谢组学数据,结果令人满意。     

基于图正则化的半监督非负矩阵分解

提出了一种基于图正则化的半监督非负矩阵分解算法（GSNMF）,克服了非负矩阵分解（NMF）、约束非负矩阵分解（CNMF）和图正则化非负矩阵分解（GNMF）方法忽略样本数据的局部几何结构或标签信息不足的缺陷,且NMF、CNMF和GNMF均为GSNMF的特例。也从理论上证明了GSNMF算法的收敛性。该算法对样本数据进行低维非负分解时,在图框架下既保持数据的几何结构,又利用已知样本的标签信息,在进行半监督学习时,同类样本能更好地聚集而类间距离尽可能大。在人脸数据库ORL、FERET和手写体数据库USPS上的仿真结果表明,相对于NMF及其一些改进算法,GSNMF均具有更高的聚类精度。     

大规模多视图数据的自降维K-means算法

为了提升传统多视图K-means算法在高维数据中的聚类性能,提出了一种鲁棒性大规模多视图数据的自降维K-means算法RMSKMC（robust multi-view subKmeans clustering）,通过寻找单个视图上的最优子空间实现高维数据的自降维,利用非负矩阵分解（NMF）对损失函数进行重构,使不同视图共享相同的聚类指示矩阵从而实现多视图信息互补,完成大规模多视图数据的聚类。实验结果表明,在大规模多视图数据集上,该算法比其他多视图聚类算法资源消耗更小,并且能够进行更为准确的聚类。     

用于独立特征学习的稀疏非负矩阵分解算法

为了防止特征的共适应性,提出利用余弦相似度来减少潜在特征之间的相关性,从而提高非负矩阵分解（non-negative matrix decomposition,NMF）的独立特征学习能力。此外,为了使得分解后的矩阵具有较好的稀疏性,提出在传统NMF模型中引入◢L◣▼2,1/2▽稀疏约束,增强了算法的局部学习能力和稳健性。因此,潜在特征中的语义信息更加明显,潜在空间的表示更具有判别性。在fetch_20newsgroups数据集上对文档聚类的实验结果表明,提出的INMF算法在一系列评价指标上效果都优于传统的NMF、SNMF等算法模型。     

基于干净数据的流形正则化非负矩阵分解

现有的非负矩阵分解（NMF）算法往往基于欧氏距离来设计目标函数,对噪声比较敏感。为了增强算法的鲁棒性,提出一种基于干净数据的流形正则化非负矩阵分解（MRNMF/CD）算法。在MRNMF/CD算法中,把低秩约束、流形正则化和NMF技术无缝地融为一体,使算法性能较为优异。首先,通过添加低秩约束,MRNMF/CD可以从噪声数据中恢复干净数据,并获得数据的全局结构;其次,为了利用数据的局部几何结构信息,MRNMF/CD把流形正则化融入目标函数中。此外,还提出了一种求解MRNMF/CD的迭代算法,并从理论上分析了该求解算法的收敛性。在ORL、Yale和COIL20数据集上的实验结果表明,MRNMF/CD算法比现有的k-means、主成分分析（PCA）、NMF和图正则化非负矩阵分解（GNMF）算法具有更好的识别准确性。     

基于Hessian正则化的多视图联合非负矩阵分解算法

非负矩阵在表征多视图数据时没有考虑数据本身的流型结构,不能有效表达数据内部信息。为此,提出一种基于Hessian正则化的非负矩阵分解算法。利用Hessian泛函的L2模,保持样本局部拓扑结构,并扩展成基于Hessian正则化的联合非负矩阵分解算法,以对多视图数据进行变换。实验结果表明,基于Hessian正则化的非负矩阵分解算法和基于Hessian正则化的联合非负矩阵分解算法的聚类精度以及互信息值都有较大提高,2种算法的数据变化性能都优于传统非负矩阵分解算法。     

基于标记关系的多标记社团发现算法

真实世界的对象 具有多义性,具有非单一的多种标记。对于多标记的学习,现阶段的工作虽然能够利用标记间的重用评分分析多标记间的关系,但是尚不能直观挖掘出多标记的关系结构,也不能准确掌握多标记的主从关系以及多标记的重要性排名情况。而非负矩阵分解（Nonnegative matrix factorization,NMF）方法能对有关联的节点进行有效的社团划分,发掘关联节点的潜在关系,因此利用NMF方法对多标记关系进行社团结构分解成为有价值的研究内容。本文提出多标记社团发现算法,有效地对多标记进行挖掘,发现其中的社团结构,得到多标记的社团关系,并且能够对多标记节点的重要程度排序,分析多标记的主从结构,验证多标记关系算法的有效性,挖掘出其中隐藏的价值,这对于多标记 的研究具有重要意义。     

基于多视图矩阵分解的聚类分析

在计算机视觉和模式识别领域，随着多源信息越来越多，图像的描述方法也越来越丰富，多视图学习方法能更充分利用这种多源信息，进而提高聚类的准确率.因此，本文提出了两种基于多视图学习的方法:MultiGNMF和MultiGSemiNMF方法.该方法是在矩阵分解的基础之上，结合以往多视图学习的框架准则，并利用了样本的局部结构形成的.MultiGNMF和MultiGSemiNMF算法不仅能学习视图间的互补信息，同时能保持样本的空间结构.但是，MultiGNMF算法只适用于非负的特征矩阵.因此，考虑到SemiNMF算法相对于NMF算法具有更大的扩展性，结合多视图学习的框架，本文又提出了多视图学习的MultiGSemiNMF算法.实验结果证实了这两种方法有较好的性能.     

基于S域NMF的模拟电路故障特征提取新方法

针对提取的模拟电路故障特征向量信息不够充分的问题,提出了一种将S时频变换(ST,S-transform)和非负矩阵分解(NMF,non-negative matrix factorization)相结合的特征选取新方法.该方法先对模拟电路故障响应信号应用S时频变换建立时频图谱矩阵,再用NMF算法构造时频图谱数据集合的子空间基矩阵,有效降低了投影特征向量的维数,保留了足够多的故障隐含特征信息,进而提高模拟电路故障识别率.最后,在Sallen-Key高通滤波器电路中验证了文中方法的有效性.     

基于图正则化的受限非负矩阵分解算法及在图像表示中的应用

非负矩阵分解(NMF)是一种非常有效的图像表示方法,已被广泛应用到模式识别领域.针对NMF算法是无监督学习算法,无法同时考虑样本类别信息和固有几何结构信息的缺点,提出一种基于图正则化的受限非负矩阵分解(GRCNMF)的算法.该算法利用硬约束保持样本的类别信息,增强算法的鉴别能力,同时还利用近邻图来保持样本间固有的几何结构.通过在COIL20和ORL图像库中的聚类实验结果表明GRCNMF优于其它几种算法,说明GRCNMF的有效性.     

基于图正则化和稀疏约束的半监督非负矩阵分解

非负矩阵分解是在矩阵非负约束下的分解算法。为了提高识别率,提出了一种基于稀疏约束和图正则化的半监督非负矩阵分解方法。该方法对样本数据进行低维非负分解时,既保持数据的几何结构,又利用已知样本的标签信息进行半监督学习,而且对基矩阵施加稀疏性约束,最后将它们整合于单个目标函数中。构造了一个有效的更新算法,并且在理论上证明了该算法的收敛性。在多个人脸数据库上的仿真结果表明,相对于NMF、GNMF、CNMF等算法,GCNMFS具有更好的聚类精度和稀疏性。     

基于多视图集成的网络表示学习算法

现有的网络表示学习算法主要为基于浅层神经网络的网络表示学习和基于神经矩阵分解的网络表示学习。基于浅层神经网络的网络表示学习又被证实是分解网络结构的特征矩阵。另外,现有的大多数网络表示学习仅仅从网络的结构学习特征,即单视图的表示学习;然而,网络本身蕴含有多种视图。因此,文中提出了一种基于多视图集成的网络表示学习算法(MVENR)。该算法摈弃了神经网络的训练过程,将矩阵的信息融合和分解思想融入到网络表示学习中。另外,将网络的结构视图、连边权重视图和节点属性视图进行了有效的融合,弥补了现有网络表示学习中忽略了网络连边权重的不足,解决了基于单一视图训练时网络特征稀疏的问题。实验结果表明,所提MVENR算法的性能优于网络表示学习中部分常用的联合学习算法和基于结构的网络表示学习算法,是一种简单且高效的网络表示学习算法。     

基于正交约束的分块不完整多视角聚类

在处理数据特征提取问题时,已有的基于非负矩阵分解的不完整多视角聚类算法对局部特征的提取不够准确.针对此问题,文中提出基于正交约束的分块不完整多视角聚类(CIMVCO).利用非负矩阵分解获得所有视角的潜在特征矩阵,通过加入正交约束得到更好的局部特征.对于各个视角的缺失样本,CIMVCO给予较小的权重以减小缺失数据的影响.为了解决大规模数据的聚类问题,CIMVCO逐块处理数据以减少内存需求和处理时间.在Reuters和Digit数据集上的实验验证CIMVCO的有效性.     

基于深度图正则化矩阵分解的多视图聚类算法

针对现实社会中由多种表示或视图组成的多视图数据广泛存在的问题,深度矩阵分解模型因其能够挖掘数据的层次信息而备受关注,但该模型忽略了数据的几何结构信息.为解决以上问题,本文提出基于深度图正则化矩阵分解的多视图聚类算法,通过获取每个视图的局部结构信息和全局结构信息在逐层分解中加入两个图正则化限制,保护多视图数据的几何结构信...     

基于全局融合的多核概念分解算法

非负矩阵分解（NMF）算法仅能用于对原始非负数据寻找低秩近似，而概念分解（CF）算法将矩阵分解模型扩展到单个非线性核空间，提升了矩阵分解算法的学习能力和普适性。针对无监督环境下概念分解面临的如何设计或选择合适核函数这一问题，提出基于全局融合的多核概念分解（GMKCF）算法。同时输入多种候选核函数，在概念分解框架下基于全局线性权重融合对它们进行学习，以得出质量高稳定性好的聚类结果，并解决概念分解模型面临核函数选择的问题。采用交替迭代的方法对新模型进行求解，证明了算法的收敛性。将该算法与基于核的K-均值（KKM）、谱聚类（SC）、KCF（Kernel Concept Factorization）、Coreg（Co-regularized multi-view spectral clustering）、RMKKM（Robust Multiple KKM）在多个真实数据库上的实验结果表明，该算法在数据聚类方面优于对比算法。     

基于Hessian图正则稀疏NMF的高光谱解混

基于非负矩阵分解(Nonnegative Matrix Factorization, NMF)的高光谱解混(Hyperspectral Unmixing,HU)方法引起了大家的关注,因为可以将一个非负高光谱图像(Hyperspectral Imagery, HSI)数据矩阵分解为两个非负矩阵的乘积,分别对应于端元矩阵和丰度系数矩阵。目前,图约束的NMF算法已经被证明对高光谱解混是有效的,因为它们可以捕获HSI的几何特性。为了挖掘数据在混合过程中的几何结构和稀疏性,提出了一种稀疏的Hessian图正则化NMF(SHGNMF)算法。SHGNMF算法是将丰度矩阵的L1/2正则化器和Hessian图正则化项都添加到每个NMF模型中,同时采用乘法更新规则。最后用模拟数据和真实数据进行实验,验证了所提出的SHGNMF算法相对于其他NMF算法的优越性。     

Total Variation Constrained Non-Negative Matrix Factorization for Medical Image Registration

This paper presents a novel medical image registration algorithm named total variation constrained graphregularization for non-negative matrix factorization(TV-GNMF).The method utilizes non-negative matrix factorization by total variation constraint and graph regularization.The main contributions of our work are the following.First,total variation is incorporated into NMF to control the diffusion speed.The purpose is to denoise in smooth regions and preserve features or details of the data in edge regions by using a diffusion coefficient based on gradient information.Second,we add graph regularization into NMF to reveal intrinsic geometry and structure information of features to enhance the discrimination power.Third,the multiplicative update rules and proof of convergence of the TV-GNMF algorithm are given.Experiments conducted on datasets show that the proposed TV-GNMF method outperforms other state-of-the-art algorithms.     

Manifold-respecting discriminant nonnegative matrix factorization

Nonnegative matrix factorization (NMF) is an unsupervised learning method for low-rank approximation of nonnegative data, where the target matrix is approximated by a product of two nonnegative factor matrices. Two important ingredients are missing in the standard NMF methods: (1) discriminant analysis with label information; (2) geometric structure (manifold) in the data. Most of the existing variants of NMF incorporate one of these ingredients into the factorization. In this paper, we present a variation of NMF which is equipped with both these ingredients, such that the data manifold is respected and label information is incorporated into the NMF. To this end, we regularize NMF by intra-class and inter-class k-nearest neighbor (k-NN) graphs, leading to NMF-kNN, where we minimize the approximation error while contracting intra-class neighborhoods and expanding inter-class neighborhoods in the decomposition. We develop simple multiplicative updates for NMF-kNN and present monotonic convergence results. Experiments on several benchmark face and document datasets confirm the useful behavior of our proposed method in the task of feature extraction.