一种新的基于MSC和ISOMAP的快速流形学习算法

针对等距特征映射(ISOMAP)算法计算复杂度高的问题,提出了一种新的基于最小子集覆盖(MSC)策略的快速等距特征映射算法(Fast-ISOMAP)。与原始的ISOMAP算法相比,Fast-ISOMAP算法在不显著改变原始ISOMAP算法嵌入性能的条件下,大大提高了算法的计算效率,也适用于大规模流形学习问题。在标准数据集上的实验结果验证了该算法的有效性。     

一种用于人脸识别的有监督核化多类多流形ISOMAP算法

在核等测距映射（kernel ISOMAP）和多类多流形ISOMAP算法的基础上,提出一种针对人脸识别任务的有监督核化多类多流形ISOMAP算法.该算法保持了kernel ISOMAP算法的泛化特性,同时又能完成分类任务,解决了ISOMAP-C在对具有高维小样本特性的人脸数据集识别时,所要调整的神经网络权值数目将随输入维度呈指数增长,且易出现过拟合现象的问题.在多种人脸数据集上的实验结果表明了该算法的有效性,且对训练样本集的大小有较好的鲁棒性.     

基于最优密度方向的等距映射降维算法

等距映射算法(ISOMAP)是一种典型的非线性流形降维算法,该算法可在尽量保持高维数据测地距离与低维数据空间距离对等关系的基础上实现降维.但ISOMAP容易受噪声的影响,导致数据降维后不能保持高维拓扑结构.针对这一问题,提出了一种基于最优密度方向的等距映射(ODD–ISOMAP)算法.该算法通过筛选数据的自然邻居确定每个数据沿流形方向的最优密度方向,之后基于与各近邻数据组成的向量相对最优密度方向投影的角度、方向和长度合理缩放局部邻域距离,引导数据沿流形方向计算测地距离,从而降低算法对噪声的敏感度.为验证算法有效性,选取了2类人工合成数据和5类实测数据作为测试数据集,分别使用ISOMAP,LLE,HLLE,LTSA,LEIGS,PCA和ODD–ISOMAP算法对数据集降维,并对降维数据进行K-mediods聚类分析.通过比对聚类正确率以及不同幅度噪声对此正确率的影响程度评价各算法降维效果优劣.结果表明,ODD–ISOMAP算法较其他6种常见算法降维效果提升显著,且对噪声干扰有更强的抵抗能力.     

基于核融合的多信息流形学习算法*

流形学习算法可分为全局流形学习与局部流形学习,它们分别保持了流形上的全局特征信息与局部特征信息。但是实验证明仅基于单一特征信息的流形学习算法不能很好的保持真实的流形结构,影响了学习效果。因此,基于流形学习的核的视角,将全局流形学习算法ISOMAP与局部流形学习算法LTSA的核进行融合,提出了可以同时保持流形结构的全局特征信息与局部特征信息的流形学习算法,在人工数据集和人脸图像集上的仿真实验证明了本文算法的有效性。     

用于多流形分类的核等距映射算法

核等距映射(Kernel ISOMAP)算法具有较好的泛化性能,但不能直接用于多流形的分类。在多流形下,准确判定新数据点所在的流形是其获得良好泛化性能的基础,因此,提出了能够用于多流形分类的核等距映射算法。该算法根据同一流形上邻近局部切空间的相似性能够准确判定新数据点所在的流形,并对目前核等距映射算法中新数据点低维表示的计算过程进行了简化,从而具有良好的泛化性能。实验结果证实,该算法具有较高的分类准确率。     

基于流形结构的多聚类中心近邻传播聚类算法

多聚类中心近邻传播聚类算法（MEAP）,在处理任意形状具有流形分布结构的数据时,往往得不到理想的聚类结果。为此,基于流形学习的思想,设计了一种全新的相似性度量,该相似性度量能够扩大位于同一流形中数据点间的相似性,同时缩小处于不同流形上数据点间的相似性,从而使得相似性矩阵能够准确地反映数据集内在的流形分布结构。将该相似性度量与MEAP相结合,提出基于流形结构的多聚类中心近邻传播聚类算法MS-MEAP（Manifold Structure based Multi-Exemplar Affinity Propagation）,从而有效地拓展了算法处理任意形状具有流形分布结构数据集的能力,同时提高了算法的运行效率。在人工数据集与USPS手写体数据集上进行了实验,仿真实验结果及算法有效性分析证明,MS-MEAP算法相比于原算法在处理任意形状具有流形分布结构的数据时,具有更好的聚类性能。     

融合LLE和ISOMAP的非线性降维方法

局部线性嵌入（LLE）和等距映射（ISOMAP）在降维过程中都只单一地保留数据集的某一种特性结构, 从而使降维后的数据集往往存在顾此失彼的情况。针对这种情况, 借助流形学习的核框架, 提出融合LLE和ISOMAP的非线性降维方法。新的融合方法使降维后的数据集既保持着数据点间的局部邻域关系, 也保持着数据点间的全局距离关系。在仿真数据集和实际数据集上的实验结果证实了该方法的优越性。     

基于改进ISOMAP的飞机识别算法

将流形学习方法应用于飞机图像识别中,提出一种基于改进等距映射(ISOMAP)的飞机识别算法.根据飞机图像数据的高维性质,采用改进的ISOMAP对数据进行降维,在构造近邻图的过程中,利用Procrustes距离取代传统的欧氏距离.仿真实验结果证明,该算法的的识别率较高.     

基于放大因子和延伸方向研究流形学习算法

流形学习是一种新的非监督学习方法,可以有效地发现高维非线性数据集的内在维数和进行维数约简,近年来越来越受到机器学习和认知科学领域研究者的重视．虽然目前已经出现了很多有效的流形学习算法,如等度规映射（ISOMAP）、局部线性嵌套（Locally Linear Embedding,LLE）等,然而,对观测空间的高维数据与降维后的低维数据之间的定量关系,尚难以直观地进行分析．这一方面不利于对数据内在规律的深入探察,一方面也不利于对不同流形学习算法的降维效果进行直观比较．文中提出了一种方法,可以从放大因子和延伸方向这两个方面显示出观测空间的高维数据与降维后的低维数据之间的联系;比较了两种著名的流形学习算法（ISOMAP和LLE）的性能,得出了一些有意义的结论;提出了相应的算法从而实现了以上理论．对几组数据的实验表明了研究的有效性和意义．     

基于小世界模型的流形学习算法

等距特征映射(ISOMAP)不仅计算复杂度很高,而且缺乏对新样本的学习能力。基于标志点的ISOMAP(L-ISOMAP)通过只保持一些标志点之间的测地线距离有效地降低了复杂度,然而标志点集的随机选择常常会导致较差的嵌入结果。为此,提出了一种基于小世界模型的流形学习算法。根据小世界模型的原理,该算法仅仅保持每个样本点与其k个最近邻和一些随机选择的远点之间的测地线距离,采用最速梯度下降法优化来得到数据的低维表示。理论分析表明,该算法的计算复杂度远远低于ISOMAP的复杂度。利用应力函数和剩余方差对3个算法进行了比较。实验结果表明,从该算法得到的结果与从ISOMAP得到的结果相近,且优于从L-ISOMAP得到的结果。同时,该算法可以实现对新样本的学习,对噪声也不太敏感。     

基于密度缩放因子的ISOMAP算法

等度量映射(ISOMAP)算法是一种被广泛应用的非线性无监督降维算法,通过保持各个观测样本间的测地距离进行等距嵌入,从而实现高维空间向低维空间的坐标转换。但在实际应用中,观测数据无可避免地会存在噪声,由于测地距离的计算对噪声比较敏感,并且也没有考虑数据集的密度分布,导致ISOMAP算法降维后低维坐标表示存在几何变形。针对这一缺点,根据局部密度的思想,提出一种基于密度缩放因子的ISOMAP(Density Scaling Factor Based ISOMAP,D-ISOMAP)算法。在传统的ISOMAP算法框架下,首先,针对每个观测样本计算一个局部密度缩放因子;然后,在测地距离的计算过程中,将直接相邻的两个样本之间的测地距离除以这两个样本密度缩放因子的乘积;最后,通过最短路径算法求得改进后的距离矩阵,并对其进行降维处理。改进的测地距离在密度较大的区域被缩小,而在密度较小的区域被放大,这样可以减小噪声对降维效果的影响,提升可视化和聚类效果。人工数据集和UCI数据集上的实验结果表明,在数据集的可视化和聚类效果方面, D-ISOMAP算法较经典的无监督降维算法具有一定的优势。     

The dynamical neighborhood selection based on the sampling density and manifold curvature for isometric data embedding

The construction of the neighborhood is a critical problem of manifold learning. Most of manifold learning algorithms use a stable neighborhood parameter (such as k-NN), but it may not work well for the entire manifold, since manifold curvature and sampling density may vary over the manifold. Although some dynamical neighborhood algorithms have been proposed, they are limited by either another global parameter or an assumption. This paper proposes a new approach to select the dynamical neighborhood for each point while constructing the tangent subspace based on the sampling density and the manifold curvature. And the parameters of the approach can be automatically determined by computing the correlation coefficient of the matrices of geodesic distances between pairs of points in input and output spaces. When we apply it to ISOMAP, the results of experiments on the synthetic data as well as the real world patterns demonstrate that the proposed approach can efficiently maintain an accurate low dimensional representation of the manifold data with less distortion, and give higher average classification rate compared to others.     

基于邻域距离ISOMAP算法的高光谱遥感降维算法

提出一种以邻域距离改进ISOMAP的算法(Neighborhood Distance ISOMAP,ND\|ISOMAP),该方法采用邻域距离逐步逼近流形距离来表达高维数据的流形结构。同时针对ISOMAP算法的计算复杂度高、运算时间长的特点,提出了一种基于矩阵分块和自动调图的ISOMAP算法(Block\|matrix and Auto\|color ISOMAP,BA\|ISOMAP)以提高运算速率。通过对高光谱遥感影像进行分类比较算法优劣性,基于邻域距离的ISOMAP算法较原始的ISOMAP算法降维效果有了较大的提升,最高分类精度达到97.36%,而原始的ISOMAP算法仅能达到75.01%的分类精度,而基于矩阵分块与自动调图ISOMAP与邻域距离相结合降维后精度达到89.61%,但是其计算速率得到了较大提升,为原始ISOMAP算法的近40倍。     

基于流形正则化的文档分类算法研究

基于流形正则化框架提出一种分类算法(MI_I}RI_SC),以解决高维文档分类问题。该算法通过构建训练样 本的最近部图来佑计数据空间的几何结构并将其作为流形正则化项,结合多变量线性回归获得高维文档的低维流形 结构,并采用k近部分类器对低维流形进行分类,得到针对多类问题的分类器。该算法能够充分利用训练样本的类别 信息来帮助学习以提取有效特征。通过在Rcutcrs 21578数据集上的实验,证明该算法的分类性能和运行速度比传统 分类器有较大的提高。     

Learning a hierarchical image manifold for Web image classification

Image classification is an essential task in content-based image retrieval.However,due to the semantic gap between low-level visual features and high-level semantic concepts,and the diversification of Web images,the performance of traditional classification approaches is far from users’ expectations.In an attempt to reduce the semantic gap and satisfy the urgent requirements for dimensionality reduction,high-quality retrieval results,and batch-based processing,we propose a hierarchical image manifold with novel distance measures for calculation.Assuming that the images in an image set describe the same or similar object but have various scenes,we formulate two kinds of manifolds,object manifold and scene manifold,at different levels of semantic granularity.Object manifold is developed for object-level classification using an algorithm named extended locally linear embedding(ELLE) based on intra-and inter-object difference measures.Scene manifold is built for scene-level classification using an algorithm named locally linear submanifold extraction(LLSE) by combining linear perturbation and region growing.Experimental results show that our method is effective in improving the performance of classifying Web images.