一种基于Grassmann流形的图像集分类算法研究

当前基于多模型的图像集分类方法通过对每个图像集进行单次聚类来提取局部模型,与其他图像集进行匹配时使用固定的聚类。然而,如果环境条件不佳,则可能导致两个最近邻聚类表示同一对象的不同特征。针对这一问题,首先,根据重建误差,在Grassmann流形上定义两个子空间间的Frobenius范数距离。然后,通过稀疏表示从画廊图像集中提取局部线性子空间。对每个局部线性子空间,通过联合稀疏表示,利用探测图像集的样本来自适应构建相应的最近邻子空间。基于Honda、ETH-80和Cambridge-Gesture数据集的实验结果表明,与基于仿射包的图像集距离(AHISD)、稀疏近似最近邻点(SANP)和流形判别分析(MDA)等其他算法相比,算法的性能更优。     

流形正则引导的自适应加权多视角子空间聚类

现有多视角子空间聚类方法大多学习多视角数据的一致共享信息,并将每个视角的贡献视为同等重要以集成多个视角的差异信息.然而此思想忽略不同视角间可能存在的噪声或冗余,导致最终聚类性能不佳.为此,文中提出流形正则引导的自适应加权多视角子空间聚类算法.算法采用核范数学习每个视角的一致性全局低秩表示信息并利用组效应刻画不同视角的差异信息.根据流形正则的思想,自适应学习每个视角的权重,自动为每个视角的差异信息分配贡献度.再根据自适应权重集成差异信息并融合一致信息,获得最终的共识表示.最后利用该共识表示实现聚类.在6个公开数据集上的实验表明文中算法能有效提升多视角聚类性能.     

基于自编码器和流形正则的结构保持无监督特征选择

高维数据中存在着大量的冗余和不相关特征,严重影响了数据挖掘的效率、质量以及机器学习算法的泛化性能,因此特征选择成为计算机科学与技术领域的重要研究方向.文中利用自编码器的非线性学习能力提出了一种无监督特征选择算法.首先,基于自编码器的重建误差选择出单个特征对数据重建贡献大的特征子集.其次,利用单层自编码器的特征权重最终选...     

一种基于特征聚类的特征选择方法

特征选择是数据挖掘和机器学习领域中一种常用的数据预处理技术。在无监督学习环境下,定义了一种特征平均相关度的度量方法,并在此基础上提出了一种基于特征聚类的特征选择方法 FSFC。该方法利用聚类算法在不同子空间中搜索簇群,使具有较强依赖关系（存在冗余性）的特征被划分到同一个簇群中,然后从每一个簇群中挑选具有代表性的子集共同构成特征子集,最终达到去除不相关特征和冗余特征的目的。在 UCI 数据集上的实验结果表明,FSFC 方法与几种经典的有监督特征选择方法具有相当的特征约减效果和分类性能。     

基于Grassmann流形的仿射不变形状识别

传统的Kendall形状空间理论仅适用于相似变换, 然而成像过程中目标发生的几何变形在更多情形时应该用仿射变换来刻画. 基于Grassmann流形理论, 本文分析了仿射不变形状空间的非线性几何结构, 提出了基于Grassmann流形的仿射不变形状识别算法. 算法首先对训练集中的每类形状分别计算形状均值和方差, 进而在形状均值附近的切空间构建多变量正态分布; 最后,根据测试形状的观测和先验形状模型求解测试形状的最大似然类, 对形状进行贝叶斯分类. MPEG 7形状数据库的实验结果表明, 与传统Kendall形状分析中的基于Procrustean度量识别算法相比, 本文识别算法具有明显优势; 真实场景中的目标识别结果进一步表明, 本文算法对仿射变形有更好的适应能力, 在复杂场景下能以较高的后验概率辨识出目标类别.     

基于Grassmann流形的半监督图像集鉴别分析

提出了基于Grassmann流形的半监督图像集鉴别分析方法。该方法将子空间表示成Grassmann流形上的点,分别用一组单位正交基表示。通过Grassmann核函数,度量子空间的相似度。不同于其他基于Grassmann流形的图像集鉴别分析,引入图嵌入框架,通过保持数据局部邻域结构的同时,最大化不同类别数据的距离,得到最优投影矩阵,并在投影空间中进行图像集分类。采用半监督学习,对于未标记样本,根据其最近邻类别进行估计。实验表明,该方法取得了优于其他图像集识别算法的效果。     

流形上的非线性判别K均值聚类

为提高具有流形结构的高维数据的聚类性能,提出非线性判别K均值聚类算法(NDisKmeans)。该方法通过引入流形上的谱正则化技术,将数据的低维嵌入表示成数据流形上平滑函数的线性组合,然后通过最大化低维空间中聚类类间的散度与总体散度的比值,来实现对高维数据的聚类。还设计了一种收敛的迭代求解方法来求解最优组合系数矩阵和聚类赋值矩阵。NDisKmeans方法由于考虑了数据的流形结构,克服了判别K均值算法中线性映射的不足,从而提高了对高维数据聚类的性能。最后在数据集上的广泛实验表明,NDisKmeans方法能有效实现对高维数据的聚类。     

基于K-均值聚类的无监督的特征选择方法

模式识别方法首先要解决的一个问题就是特征选择,目前许多方法考虑了有监督学习的特征选择问题,对无监督学习的特征选择问题却涉及得很少。依据特征对分类结果的影响和特征之间相关性分析两个方面提出了一种基于K-均值聚类方法的特征选择算法,用于无监督学习的特征选择问题。     

稀疏回归和流形学习的无监督特征选择算法

针对无标签高维数据的大量出现,对机器学习中无监督特征选择进行了研究。提出了一种结合自表示相似矩阵和流形学习的无监督特征选择算法。首先,通过数据的自表示性质,构建相似矩阵,结合低维流形能够表示高维数据结构这一流形学习思想,建立一种考虑流形学习的无监督特征选择优化模型。其次,为了保证选择更有用及更稀疏的特征,采用◢l◣▼2,1▽范数对优化模型进行约束,使特征之间相互竞争,消除冗余。进而,通过变量交替迭代对优化模型进行求解,并证明了算法的收敛性。最后,通过与其他几个无监督特征算法在四个数据集上的对比实验,表明所给算法的有效性。     

非线性流形上的线性结构聚类挖掘

针对非线性数据流形的线性结构挖掘问题,提出一种基于Grassmann 流形和蚁群方法的聚类算法.为抑制噪声对线性结构探测的影响, 对含噪数据集进行算法处理最小单元提升,利用Grassmann 流形定义提升后单元间相似度,同时设计了一种类测地距离作为簇连通性约束. 为提高蚁群解的线性结构挖掘质量,提出了曲面复杂度最小方向定义,并将其作为信息素更新的启发信息引入. 在多个数据集上的实验和分析表明,与K-means、Geodesic K-means 以及有限混合模型(Finite mixture model, FMM) 等传统算法相比,本文算法具备挖掘非线性流形上线性结构的新特性,并且能够保证线性结构内部的连通性.     

基于谱聚类的无监督特征选择算法

基因表达数据具有高维小样本特点,包含了大量与疾病无关的基因,对该类数据进行分析的首要步骤是特征选择.常见的特征选择方法需要有类标的数据,但样本类标获取往往比较困难.针对基因表达数据的特征选择问题,提出基于谱聚类的无监督特征选择思想FSSC(feature selection by spectral clustering).FSSC对所有特征进行谱聚类,将相似性较高的特征聚成一类,定义特征的区分度与特征独立性,以二者之积度量特征重要性,从各特征簇选取代表性特征,构造特征子集.根据使用的不同谱聚类算法,得到FSSC-SD(FSSC based on standard deviation)、FSSCMD(FSSC based on mean distance)和FSSC-ST(FSSC based on self-tuning)这3种无监督特征选择算法.以SVMs(support vector machines)和KNN(K-nearest neighbours)为分类器,在10个基因表达数据集上进行实验测试.结果表明,FSSC-SD、FSSC-MD和FSSC-ST算法均能选择到具有强分类能...     

基于格拉斯曼流形子空间融合的多视图聚类

现有的多视图聚类算法大多假设多视图数据点之间为线性关系,且在学习过程中无法保留原始特征空间的局部性;而在欧氏空间中进行子空间融合又过于单调,无法将学习到的子空间表示对齐。针对以上问题,提出了基于格拉斯曼流形融合子空间的多视图聚类算法。首先,将核技巧和局部流形结构学习结合以得到不同视图的子空间表示;然后,在格拉斯曼流形上融合这些子空间表示以得到一致性亲和矩阵;最后,对一致性亲和矩阵执行谱聚类来得到最终的聚类结果,并利用交替方向乘子法（ADMM）来优化所提模型。与核多视图低秩稀疏子空间聚类（KMLRSSC）算法相比,所提算法的聚类精度在MSRCV1、Prokaryotic、Not-Hill数据集上分别提高了20.83个百分点、9.47个百分点和7.33个百分点。实验结果验证了基于格拉斯曼流形融合子空间的多视图聚类算法的有效性和良好性能。     

基于自适应邻域嵌入的无监督特征选择算法

无监督特征选择算法可以对高维无标记数据进行有效的降维,从而减少数据处理的时间和空间复杂度,避免算法模型出现过拟合现象.然而,现有的无监督特征选择方法大都运用k近邻法捕捉数据样本的局部几何结构,忽略了数据分布不均的问题.为了解决这个问题,提出了一种基于自适应邻域嵌入的无监督特征选择(adaptive neighborhood embedding based unsupervised feature selection, ANEFS)算法,该算法根据数据集自身的分布特点确定每个样本的近邻数,进而构造样本相似矩阵,同时引入从高维空间映射到低维空间的中间矩阵,利用拉普拉斯乘子法优化目标函数进行求解.6个UCI数据集的实验结果表明：所提出的算法能够选出具有更高聚类精度和互信息的特征子集.     

基于互信息的无监督特征选择

在数据分析中,特征选择可以用来降低特征的冗余,提高分析结果的可理解性和发现高维数据中隐藏的结构.提出了一种基于互信息的无监督的特征选择方法(UFS-MI),在UFS-MI中,使用了一种综合考虑了相关度和冗余度的特征选择标准UmRMR(无监督最小冗余最大相关)来评价特征的重要性.相关度和冗余度分别使用互信息来度量特征与潜在类别变量之间的依赖和特征与特征之间的依赖.UFS-MI同时适用于数值型和非数值型特征.在理论上证明了UFS-MI的有效性,实验结果也表明UFS-MI可以达到与传统的特征选择方法相当甚至更好的性能.     

基于F范数群组效应和谱聚类的无监督特征选择

基于谱聚类的无监督特征选择主要涉及相关系数矩阵和聚类指示矩阵, 在以往的研究中, 学者们主要关注于相关系数矩阵, 并为此设计了一系列约束和改进, 但仅关注相关系数矩阵并不能充分学习到数据内在结构. 考虑群组效应, 本文向聚类指示矩阵施加$F$范数, 并结合谱聚类以使相关系数矩阵学习更为准确的聚类指示信息, 通过交替迭代法求解两个矩阵. 不同类型的真实数据集实验表明文中方法的有效性, 此外, 实验表明$F$范数还可以使方法更加鲁棒.     

格拉斯曼流形降维及应用研究

视频人脸识别的核心问题是如何准确、高效地构建人脸模型并度量模型的相似性,为此提出一种维数约减的格拉斯曼流形鉴别分析方法以提高集合匹配的性能。首先通过子空间建模图像集合,引入投影映射将格拉斯曼流形上的基本元素表示成对应的投影矩阵。然后,为解决高维矩阵计算开销大以及在小样本条件下不能有效描述样本分布的缺陷,引入二维主成分分析方法对子空间的正交基矩阵降维。通过QR分解正则化降维后的矩阵,得到一个低维、紧致的格拉斯曼流形以获得图像集更好的表达。最后将其投影到高维核空间中进行分类。在公开的视频数据库中的实验结果证明,提出的方法在降低计算开销的同时能够获得较高的正确率,是一种有效的基于集合的对象匹配和人脸识别方法。     

结合流形学习与逻辑回归的多标签特征选择

对于多标签特征选择算法,通常假设数据与标签间呈现某种关系,以该关系为基础并通过正则项的约束可解决多标签特征选择问题,但该关系也可能是两种或多种关系的结合。为准确描述数据与标签间的关系并去除不相关的特征和冗余特征,基于logistic回归模型与标签流形结构提出多标签特征选择算法FSML。使用logistic回归模型的损失函数学习回归系数矩阵,利用标签流形结构学习数据特征的权重矩阵,通过L_2,1-范数将系数矩阵和权重矩阵进行柔性结合,约束系数矩阵与权重矩阵的稀疏性并实现多标签特征选择。在经典多标签数据集上的实验结果表明,与CMLS、SCLS等特征选择算法相比,FSML算法在汉明损失、排名损失、1-错误率、覆盖率、平均精度等5个性能评价指标上表现良好,能更准确地描述数据与标签间的关系。     

基于改进ReliefF的无监督特征选择方法

针对特征选择中存在数据缺乏类别信息的问题,提出一种新型的基于改进ReliefF的无监督特征选择方法UFS-IR.由于ReliefF类算法存在小类样本抽样概率低、无法删除冗余特征的缺陷,该方法以DBSCAN聚类算法指导分类,通过改进抽样策略,使用调整的余弦相似度度量特征间的相关性作为去冗余的凭据.实验表明UFS-IR可以有效缩减数据维度的同时保证特征子集的最大相关最小冗余性,具有很好的性能.     

Editorial of the Special Issue on Manifold Learning

In many information analysis tasks, one is often confronted with thousands to millions dimensional data, such as images, documents, videos, web data, bioinformatics data, etc. Conventional statistical and computational tools are severely inadequate for processing and analysing high-dimensional data due to the curse of dimensionality, where we often need to conduct inference with a limited number of samples. On the other hand, naturally occurring data may be generated by structured systems with possibly much fewer degrees of freedom than the ambient dimension would suggest. Recently, various works have considered the case when the data is sampled from a submanifold embedded in the much higher dimensional Euclidean space. Learning with full consideration of the low dimensional manifold structure, or specifically the intrinsic topological and geometrical properties of the data manifold is referred to as manifold learning, which has been receiving growing attention in our community in recent years. This special issue is to attract articles that (a) address the frontier problems in the scientific principles of manifold learning, and (b) report empirical studies and applications of manifold learning algorithms, including but not limited to pattern recognition, computer vision, web mining, image processing and so on. A total of 13 submissions were received. The papers included in this special issue are selected based on the reviews by experts in the subject area according to the journal''s procedure and quality standard. Each paper is reviewed by at least two reviewers and some of the papers were revised for two rounds according to the reviewers'' comments. The special issue includes 6 papers in total: 3 papers on the foundational theories of manifold learning, 2 papers on graph-based methods, and 1 paper on the application of manifold learning to video compression. The papers on the foundational theories of manifold learning cover the topics about the generalization ability of manifold learning, manifold ranking, and multi-manifold factorization. In the paper entitled ``Manifold Learning: Generalizing Ability and Tangential Proximity'', Bernstein and Kuleshov propose a tangential proximity based technique to address the generalized manifold learning problem. The proposed method ensures not only proximity between the points and their reconstructed values but also proximity between the corresponding tangent spaces. The traditional manifold ranking methods are based on the Laplacian regularization, which suffers from the issue that the solution is biased towards constant functions. To overcome this issue, in the paper entitled ``Manifold Ranking using Hessian Energy'', Guan et al. propose to use the second-order Hessian energy as regularization for manifold ranking. In the paper entitled ``Multi-Manifold Concept Factorization for Data Clustering'', Li et al. incorporate the multi-manifold ensemble learning into concept factorization to better preserve the local structure of the data, thus yielding more satisfactory clustering results. The papers on graph-based methods cover the topics about label propagation and graph-based dimensionality reduction. In the paper entitled ``Bidirectional Label Propagation over Graphs'', Liu et al. propose a novel label propagation algorithm to propagate labels along positive and negative edges in the graph. The construction of the graph is novel against the conventional approach by incorporating the dissimilarity among data points into the affinity matrix. In the paper entitled ``Locally Regressive Projections'', Lijun Zhang proposes a novel graph-based dimensionality reduction method that captures the local discriminative structure of the data space. The key idea is to fit a linear model locally around each data point, and then use the fitting error to measure the performance of dimensionality reduction. In the last paper entitled ``Combining Active and Semi-Supervised Learning for Video Compression'', motivated from manifold regularization, Zhang and Ji propose a machine learning approach for video compression. Active learning is used to select the most representative pixels in the encoding process, and semi-supervised learning is used to recover the color video in the decoding process. One remarking property of this approach is that the active learning algorithm shares the same loss function as the semi-supervised learning algorithm, providing a unified framework for video compression. Many people have been involved in making this special issue possible. The guest editor would like to express his gratitude to all the contributing authors for their insightful work on manifold learning. The guest editor would like to thank the reviewers for their comments and useful suggestions in order to improve the quality of the papers. The guest editor would also like to thank Prof. Ruqian Lu, the editor-in-chief of the International Journal of Software and Informatics, for providing the precious opportunity to publish this special issue. Finally, we hope the reader will enjoy this special issue and find it useful.