非负子空间聚类指导下的非负矩阵分解

非负矩阵分解作为一种有效的数据表示方法被广泛应用于模式识别和机器学习领域。为了得到原始数据紧致有效的低维数据表示,无监督非负矩阵分解方法在特征降维的过程中通常需要同时发掘数据内部隐含的几何结构信息。通过合理建模数据样本间的相似性关系而构建的相似度图,通常被用来捕获数据样本的空间分布结构信息。子空间聚类可以有效发掘数据内部的子空间结构信息,其获得的自表达系数矩阵可用于构建相似度图。该文提出了一种非负子空间聚类算法来发掘数据的子空间结构信息,同时利用该信息指导非负矩阵分解,从而得到原始数据有效的非负低维表示。同时,该文还提出了一种有效的迭代求解方法来求解非负子空间聚类问题。在两个图像数据集上的聚类实验结果表明,利用数据的子空间结构信息可以有效改善非负矩阵分解的性能。     

基于核非负矩阵分解的有向图聚类算法

现有的有向图聚类算法大多基于向量空间中节点间的近似线性关系假设,忽略了节点间存在的非线性相关性。针对该问题,提出一种基于核非负矩阵分解（KNMF）的有向图聚类算法。首先,引入核学习方法将有向图的邻接矩阵投影到核空间,并通过特定的正则项约束原空间及核空间中节点间的相似性。其次,提出了图正则化核非对称NMF算法的目标函数,并在非负约束条件下通过梯度下降方法推导出一个聚类算法。该算法在考虑节点连边的方向性的同时利用核学习方法建模节点间的非线性关系,从而准确地揭示有向图中潜在的结构信息。最后,在专利-引文网络（PCN）数据集上的实验结果表明,簇的数目为2时,和对比算法相比,所提算法将DB值和DQF值分别提高了约0.25和8%,取得了更好的聚类质量。     

层次非负矩阵分解及在文本聚类中的应用

文本聚类的目标是把数据集中内容相似的文档归为一类,而使内容不同的文档分开。目前针对不同领域的需求,多种解决聚类问题的算法应运而生。然而,由于文本数据本身固有的复杂特点,如海量、高维、稀疏等,使得对海量文本数据的聚类仍然是一个棘手的问题。提出了层次非负矩阵分解聚类方法,该方法不但保留了非负矩阵分解的优点,如同步识别文档类别和找出类别本质特征,而且能够展现类别间的层次结构。这种类别层次结构在网页预览等应用中是非常有用的。在真实数据集20Newsgroups和Reuters-RCV1上的实验结果表明,层次非负矩阵分解相比已有的方法更有效。     

基于聚类信息和对称非负矩阵分解的链路预测模型研究

现有的大部分基于非负矩阵分解的链路预测方法仅考虑网络拓扑结构信息而忽略节点与链接聚类信息.针对此问题,提出一个融合聚类信息的对称非负矩阵分解的链路预测模型.首先,该模型利用对称非负矩阵分解去捕获网络节点相似度信息;其次,使用基于Jaccard的节点和链接聚类系数去保持网络局部结构信息;最后,启用拉格朗日乘法规则去学习模型参数.在六个真实无向无权和四个加权网络上的实验结果表明,该方法在两种不同类型网络预测精确度分别提升了1.6％和8.9％.     

基于非负矩阵分解的大规模异构数据联合聚类

异构信息网络中包含多类实体和关系.随着数据规模增大时,不同类实体规模增长不平衡,异构关系数据也变得异常稀疏,导致聚类算法的时间复杂度高、准确率低.针对上述问题,提出了一种基于关联矩阵分解的2阶段联合聚类算法FNMTF-CM.第1阶段,抽取规模较小的一类实体中的关联关系构建关联矩阵,通过对称非负矩阵分解得到划分指示矩阵.与原始关系矩阵相比,关联矩阵的稠密度更高,规模更小.第2阶段,将划分指示矩阵作为关系矩阵三分解的输入,进而快速求解另一类实体的划分指示矩阵.在标准测试数据集和异构关系数据集上的实验表明,算法准确率和性能整体优于传统的基于非负矩阵分解的联合聚类算法.     

基于非负矩阵分解和模糊C均值的图像聚类方法

非负矩阵分解(NMF)作为一种新的矩阵分解和特征提取方法,是大数据处理和模式识别中线性分离数据从而聚类的有效方法。提出了一种新的聚类算法FCM-NMF,采用NMF分解提取样本的本质特征,并用模糊C均值(FCM)进行模糊聚类。该算法将NMF目标函数与FCM算法融合,提出了新的目标函数的形式,并生成新的交替迭代公式。最后在两个标准图像数据集GHIM-10k和COREL-10k上与传统的5种聚类方法从三个评价指标进行了对比。实验结果表明,该算法在标准数据集上聚类准确率和标准化互信息值分别达到了84%和77. 21%,达到了预期目标,提高了聚类效果。     

基于加权核非负矩阵分解的短文本聚类算法

对互联网产生的大量短文本进行聚类分析具有重要的应用价值,但由于短文本存在特征稀疏和特征难以提取的问题,导致传统的文本聚类算法难以有效处理该问题。为了解决该问题,利用非负矩阵分解（NMF）模型提出基于加权核非负矩阵分解（WKNMF）的短文本聚类算法。该算法通过核方法的映射关系将稀疏特征空间映射到高维隐性空间,从而可以充分利用短文本中的隐性语义特征进行聚类;另外,利用核技巧简化高维数据的复杂运算,并通过迭代更新规则不断地动态调整短文本的权重向量,从而可以区分不同短文本对聚类的重要性。在真实的微博数据集上进行了相关实验,结果表明WKNMF算法比K均值、隐含狄利克雷分布（LDA）、NMF和自组织神经网络（SOM）具有更好的聚类质量,准确度和归一化互信息分别达到了66.38%和66.91%。     

基于非负矩阵分解的双重约束文本聚类算法

提出一种基于非负矩阵分解(NMF)的双重约束文本聚类算法。在正交三重NMF模型中,加入文本空间的成对约束信息和词空间的类别约束信息,将不同的特征词项进行分类。利用迭代规则对原始的词-文档矩阵进行分解,获得文本聚类结果。与多种传统半监督文本聚类算法的对比结果表明,该算法具有较高的聚类精度,能提供更准确和有效的聚类结果。     

基于模糊聚类和矩阵分解的模糊辨识方法

通过改进模糊聚类方法确定模糊模型的前件结构,然后对模糊推理关系矩阵进行QR分解,通过分析秩的亏损来确定聚类规则的有效性,然后采用基于矩阵UD分解最小二乘确定模糊模型的后件参数,实现模糊模型的结构和参数的优化.该方法成功地应用于Box-Jenkins煤气炉数据系统建模.     

复杂网络交叠团模糊分析与信息挖掘*

针对复杂网络交叠团的聚类与模糊分析方法设计问题,给出一种新的模糊度量及相应的模糊聚类方法,并以新度量为基础,设计出两种挖掘网络模糊拓扑特征的新指标：团间连接紧密程度和模糊点对交叠团的连接贡献度,并将其用于网络交叠模块拓扑结构宏观分析和团间关键点提取。实验结果表明,使用该聚类与分析方法不仅可以获得模糊团结构,而且能够揭示出新的网络特征。该方法为复杂网络聚类后分析提供了新的视角。     

局部敏感非负矩阵分解

非负矩阵分解是一种新的基于部分学习的矩阵分解方法,反映了人类思维中局部构成整体的概念。算法只将非负矩阵近似地分解成两个非负矩阵的积,忽略了数据几何结构和判别信息。提出了一个局部敏感非负矩阵分解降维算法来克服这一缺点。该算法既保持了数据非负性,又保持了数据的几何结构和判别信息。构造了一个有效的乘积更新算法并且在理论上证明了算法的收敛性。ORL和Yale人脸数据库实验表明该算法性能超过许多已存在的方法。     

非负矩阵分解融合高光谱和多光谱数据

由于光谱分辨率和空间分辨率的制约以及物理条件的限制,高光谱数据具有很高的光谱分辨率而其空间分辨率却很低。因此,一般高光谱数据的空间分辨率往往低于仅有几个波段的多光谱数据的空间分辨率。高光谱数据和多光谱数据的融合可以得到同时具有高空间分辨率和高光谱分辨率的数据,进而应用于更高空间分辨率下地物的识别和分类。非负矩阵分解(Nonnegative Matrix Factorization)算法用于实现低空间分辨率高光谱数据和高空间分辨率多光谱数据的融合。首先利用顶点成分分析法VCA(Vertex Component Analysis)分解高光谱数据,得到初始的端元波谱矩阵和端元丰度矩阵;然后用非负矩阵分解算法交替地对高光谱数据和多光谱数据进行分解,得到高光谱分辨率的端元波谱矩阵和高空间分辨率的丰度矩阵;最后两个矩阵相乘得到高空间分辨率和高光谱分辨率的融合结果。在每一步非负矩阵分解过程中,数据之间的传感器观测模型用于分解矩阵的初始化。AVIRIS和HJ-1A数据实验结果分析表明:非负矩阵分解算法有效提高了高光谱数据的所有波长范围内波段数据的空间分辨率,而高精度的融合结果可用于地物的目标识别和分类。     

应用非负矩阵分解模型的社区发现方法综述

非负矩阵分解(nonnegative matrix factorization,NMF)在提取高维数据中隐含模式和结构方面具有良好性能,已成为数据挖掘领域的热点研究之一。NMF作为无监督学习的有效工具,在模式识别、文本处理、多媒体数据分析以及生物信息学等研究领域得到了广泛应用。目前,已有工作将NMF模型应用于网络数据挖掘,发现网络中隐含的社区结构。对基于NMF的社区发现方法进行了总结,包括无监督的社区发现方法和半监督的社区发现方法,通过在实际网络和人工网络进行实验,比较分析了不同算法的性能,进一步研究了当前基于NMF发现社区结构所面临的挑战,并对下一步研究方向进行了展望。     

基于多核学习的投影非负矩阵分解算法

非负矩阵分解(NMF)把给定的数据矩阵分解成低维的非负基矩阵和对应的系数矩阵,两者之间存在必然联系。为此,研究者将基矩阵转换为系数矩阵的投影,进一步提高分解效率。但是该方法无法处理非线性数据,核函数的引入部分解决了此问题,却同时导致核函数参数选择的问题。基于多核学习理论,提出了一种多核学习的投影非负矩阵分解(MKPNMF)算法,该算法有效地避免了核函数参数选择的问题,同时提高了学习性能。在实际人脸数据上的实验结果表明,MKPNMF较已有的NMF类方法具备明显的性能优势。     

基于流形正则化的非光滑非负矩阵分解

经典的非光滑非负矩阵分解方法只能发现数据中的全局统计信息,对于非线性分布数据无能为力,而流形学习方法在探索高维非线性数据集真实几何结构方面具有明显优势。鉴于此,基于流形正则化思想,提出了一种新颖的基于流形正则化的非光滑非负矩阵分解方法。该方法不仅考虑了数据的几何结构,而且对编码系数矩阵和基矩阵同时进行稀疏约束,并将它们整合于单个目标函数中。构造了一个有效的乘积更新算法,并在理论上证明了算法的收敛性。标准数据集上的实验表明了MRnsNMF的有效性。     

一种潜在信息约束的非负矩阵分解方法

传统的非负矩阵分解方法没有充分利用数据间的内在相似性,从而影响了算法的性能。为此,本文提出一种潜在信息约束的非负矩阵分解方法。该方法首先利用迭代最近邻方法挖掘原始数据的潜在信息,然后利用潜在信息构造数据之间的相似图,最后将相似图作为约束项求得非负矩阵的最优分解。相似图的约束使得非负矩阵分解在降维过程中保持了原始数据之间的相似性关系,进而提高了非负矩阵分解的判别能力。图像聚类实验结果表明了该方法的有效性。     

非负矩阵分解的分层最小二乘快速算法研究

非负矩阵分解是对于代价函数近似非线性优化问题,考虑均方误差值作为代价函数,通过对分层交替非负最小二乘算法的迭代运算量进行分析,对运算耗费大的矩阵运算提出利用限制更新的方法对分层交替非负最小二乘算法进行修改,达到加速收敛的目的。通过仿真,与原倍乘更新算法、投射梯度算法比较,验证算法的有效性和稳定性和高效性。     

端元约束下的高光谱混合像元非负矩阵分解

提出一种端元约束条件下的非负矩阵分解方法来自动反演混合像元组分。以端元光谱之间的差距为约束条件,使得目标函数综合了影像的分解误差和端元光谱的影响,并以最大后验概率方法导出了限制性非负矩阵分解的迭代算法。成像光谱数据实验结果表明该方法能够自动提取影像的端元光谱矩阵与组分信息,且分解精度比IEA方法高。     

Efficient Nonnegative Matrix Factorization via projected Newton method

Nonnegative Matrix Factorization (NMF) is a popular decomposition technique in pattern analysis, document clustering, image processing and related fields. In this paper, we propose a fast NMF algorithm via Projected Newton Method (PNM). First, we propose PNM to efficiently solve a nonnegative least squares problem, which achieves a quadratic convergence rate under appropriate assumptions. Second, in the framework of an alternating optimization method, we adopt PNM as an essential subroutine to efficiently solve the NMF problem. Moreover, by exploiting the low rank assumption of NMF, we make PNM very suitable for solving NMF efficiently. Empirical studies on both synthetic and real-world (text and image) data demonstrate that PNM is quite efficient to solve NMF compared with several state of the art algorithms.