图象检索中的ISOMAP算法与LLE算法及其比较

高维数据空间流形中有意义的低维嵌入是一个经典难题。ISOMAP是一种有效的基于流形理论的非线性降维方法,它不仅能够揭示高维数据的内在结构,还能够发现潜在的低维参数空间。ISOMAP的理论基础是假设在高维数据空间和低维参数空间存在等距映射,但并没有给出证明。而LLE算法能够实现高维输入数据点映射到一个全局低维坐标系,同时保留了邻接点之间的关系,这样,固有的几何结构就能够得到保留。LLE算法不仅能够有效地发现数据的非线性结构,同时还具有平移、旋转等不变特性。通过这2种算法的比较得出了结论,并提出了部分问题供后续探讨。     

基于ISOMAP改进算法的人耳识别

针对ISOMAP算法对新增样本泛化能力较差的缺点,通过对LLE算法局部重构思想的深入理解,提出了MRC-ISOMAP(manifold reconstruction-ISOMAP)算法用于样本特征的维数约简.MRC-ISOMAP算法对训练样本采用全局非线性结构保持的思想,利用ISOMAP算法计算训练样本的低维表示;对新增样本利用局部线性的思想,保持局部线性关系不变,从而可以更加快速准确地用低维训练样本重构新增样本的低维表示.USTB3人耳图像库上的实验结果表明,与原始ISOMAP算法相比,MRC-ISOMAP算法可以获得更高的识别率,并在处理新样本时具有更高的效率.     

基于最优密度方向的等距映射降维算法

等距映射算法(ISOMAP)是一种典型的非线性流形降维算法,该算法可在尽量保持高维数据测地距离与低维数据空间距离对等关系的基础上实现降维.但ISOMAP容易受噪声的影响,导致数据降维后不能保持高维拓扑结构.针对这一问题,提出了一种基于最优密度方向的等距映射(ODD–ISOMAP)算法.该算法通过筛选数据的自然邻居确定每个数据沿流形方向的最优密度方向,之后基于与各近邻数据组成的向量相对最优密度方向投影的角度、方向和长度合理缩放局部邻域距离,引导数据沿流形方向计算测地距离,从而降低算法对噪声的敏感度.为验证算法有效性,选取了2类人工合成数据和5类实测数据作为测试数据集,分别使用ISOMAP,LLE,HLLE,LTSA,LEIGS,PCA和ODD–ISOMAP算法对数据集降维,并对降维数据进行K-mediods聚类分析.通过比对聚类正确率以及不同幅度噪声对此正确率的影响程度评价各算法降维效果优劣.结果表明,ODD–ISOMAP算法较其他6种常见算法降维效果提升显著,且对噪声干扰有更强的抵抗能力.     

基于放大因子和延伸方向研究流形学习算法

流形学习是一种新的非监督学习方法,可以有效地发现高维非线性数据集的内在维数和进行维数约简,近年来越来越受到机器学习和认知科学领域研究者的重视．虽然目前已经出现了很多有效的流形学习算法,如等度规映射（ISOMAP）、局部线性嵌套（Locally Linear Embedding,LLE）等,然而,对观测空间的高维数据与降维后的低维数据之间的定量关系,尚难以直观地进行分析．这一方面不利于对数据内在规律的深入探察,一方面也不利于对不同流形学习算法的降维效果进行直观比较．文中提出了一种方法,可以从放大因子和延伸方向这两个方面显示出观测空间的高维数据与降维后的低维数据之间的联系;比较了两种著名的流形学习算法（ISOMAP和LLE）的性能,得出了一些有意义的结论;提出了相应的算法从而实现了以上理论．对几组数据的实验表明了研究的有效性和意义．     

基于邻域距离ISOMAP算法的高光谱遥感降维算法

提出一种以邻域距离改进ISOMAP的算法(Neighborhood Distance ISOMAP,ND\|ISOMAP),该方法采用邻域距离逐步逼近流形距离来表达高维数据的流形结构。同时针对ISOMAP算法的计算复杂度高、运算时间长的特点,提出了一种基于矩阵分块和自动调图的ISOMAP算法(Block\|matrix and Auto\|color ISOMAP,BA\|ISOMAP)以提高运算速率。通过对高光谱遥感影像进行分类比较算法优劣性,基于邻域距离的ISOMAP算法较原始的ISOMAP算法降维效果有了较大的提升,最高分类精度达到97.36%,而原始的ISOMAP算法仅能达到75.01%的分类精度,而基于矩阵分块与自动调图ISOMAP与邻域距离相结合降维后精度达到89.61%,但是其计算速率得到了较大提升,为原始ISOMAP算法的近40倍。     

一种对奇异值不敏感的ISOMAP

ISOMAP是一种经典的非线性降维方法，能够有效地发现高维非线性数据集的低维几何结构，但该算法对奇异值和噪声非常敏感。利用具有鲁棒性的主成分分析（Robust PCA）来探测奇异点，并对奇异点进行适当处理以降低ISOMAP对其的敏感程度。所提出的算法直观且易于理解，实验结果也证明它具有较好的鲁棒性，而且在奇异点较多的情况下仍能保持数据的整体结构。     

一种改进的有间隔流形ISOMAP算法

ISOMAP算法成功应用的潜在条件是要求数据集均匀抽样于单个的内在流形。如果数据集均匀采样于某个内在流形,但内部出现了一个间隔,ISOMAP算法可能失效。提出了G-ISOMAP(ISOMAP with a Gap)算法,该算法充分利用了数据集中的间隔特性。首先检测被间隔的子流形间最短欧氏距离对应的数据点,然后将这些数据点互相设置为邻域点,最后用ISOMAP算法找到低维嵌入结果。对G-ISOMAP与ISOMAP算法的区别与联系进行了详细的理论说明,得出ISOMAP算法是G-ISOMAP算法的一个特例,G-ISOMAP算法是ISOMAP算法扩充的结论。实验结果验证了该算法比其他常用的流形学习算法在有间隔的数据集上更有效。     

基于最小连通邻域图的ISOMAP算法

噪音的干扰和邻域大小的不合适会在ISOMAP算法的邻域图中引入“短路”边,使其不能正确表达数据的邻域结构,从而使该算法具有较差的鲁棒性和拓扑稳定性。为此,根据最小连通邻域图能有效避免“短路”边的特点,提出了一种能有效删除“短路”边因而更具鲁棒性和拓扑稳定性的ISOMAP算法——基于最小连通邻域图的ISOMAP（MCNG-ISOMAP）算法。该算法能在一定程度上避免邻域大小难以有效选取的问题,同时还能在不依赖于邻域大小的情况下发现数据真正的固有维数。     

基于改进ISOMAP的飞机识别算法

将流形学习方法应用于飞机图像识别中,提出一种基于改进等距映射(ISOMAP)的飞机识别算法.根据飞机图像数据的高维性质,采用改进的ISOMAP对数据进行降维,在构造近邻图的过程中,利用Procrustes距离取代传统的欧氏距离.仿真实验结果证明,该算法的的识别率较高.     

融合LLE和ISOMAP的非线性降维方法

局部线性嵌入（LLE）和等距映射（ISOMAP）在降维过程中都只单一地保留数据集的某一种特性结构, 从而使降维后的数据集往往存在顾此失彼的情况。针对这种情况, 借助流形学习的核框架, 提出融合LLE和ISOMAP的非线性降维方法。新的融合方法使降维后的数据集既保持着数据点间的局部邻域关系, 也保持着数据点间的全局距离关系。在仿真数据集和实际数据集上的实验结果证实了该方法的优越性。     

基于LLE-k均值方法的中文文本聚类

文本聚类中,文本特征向量的高维特性使得对样本统计特征的评估十分困难,所以有必要进行有效的维数简约。LLE算法利用线性重构的局部对称性找出高维数据空间中的非线性结构,并在保持各数据点临近位置关系情况下,把高维空间数据点映射为低维空间对应的数据点。文章采用LLE-k均值方法进行中文文本聚类研究。首先利用LLE进行降维处理,然后对得到的线性特征向量用k均值进行聚类分析,与PCAI、SOMAP和LLE算法比较,结果显示LLE-k均值算法能得到更好的可视化效果。     

一种新的基于ISOMAP的数据可视化算法

作为古典MDS算法的一个非线性扩展,ISOMAP算法能较好地对嵌入在高维欧氏空间中的低维非线性流形进行可视化.然而,ISOMAP算法不但要求数据具有良好抽样且位于单一流形之上,而且还依赖于难以有效选取的邻域大小,这极大地限制了该算法的实际应用.为此提出了一种改进算法--GISOMAP,它采用MDS算法的一个变种来减弱长测地距离和"短路"边对距离保持的影响,不但能更好地对具有多聚类结构的数据进行可视化,而且对邻域大小也不再敏感,从而能更容易地得到实际应用.     

改进的多流形LLE学习算法

流形学习已成为机器学习和数据挖掘领域的研究热点。比如,算法LLE（Locally Linear Embedding）作为一种非线性降维算法有很好的泛化性能,被广泛地应用于图像分类和目标识别,但其仅仅假设了数据集处于单流形的情况。MM-LLE（Multiple Manifold Locally Linear Embedding）学习算法作为一种考虑多流形情况的改进算法,依然存在几点不足之处。因此,提出改进的MM-LLE算法,通过任意两类间的局部低维流形组合并构建分类器来提高分类精度;同时改进原算法计算最佳维度的方法。通过与算法ISOMAP、LLE以及MM-LLE比较分类精度,实验结果验证了改进算法的有效性。     

The use of hybrid manifold learning and support vector machines in the prediction of business failure

The prediction of business failure is an important and challenging issue that has served as the impetus for many academic studies over the past three decades. This paper proposes a hybrid manifold learning approach model which combines both isometric feature mapping (ISOMAP) algorithm and support vector machines (SVM) to predict the failure of firms based on past financial performance data. By making use of the ISOMAP algorithm to perform dimension reduction, is then utilized as a preprocessor to improve business failure prediction capability by SVM. To create a benchmark, we further compare principal component analysis (PCA) and SVM with our proposed hybrid approach. Analytic results demonstrate that our hybrid approach not only has the best classification rate, but also produces the lowest incidence of Type II errors, and is capable of achieving an improved predictive accuracy and of providing guidance for decision makers to detect and prevent potential financial crises in the early stages.     

基于小世界模型的流形学习算法

等距特征映射(ISOMAP)不仅计算复杂度很高,而且缺乏对新样本的学习能力。基于标志点的ISOMAP(L-ISOMAP)通过只保持一些标志点之间的测地线距离有效地降低了复杂度,然而标志点集的随机选择常常会导致较差的嵌入结果。为此,提出了一种基于小世界模型的流形学习算法。根据小世界模型的原理,该算法仅仅保持每个样本点与其k个最近邻和一些随机选择的远点之间的测地线距离,采用最速梯度下降法优化来得到数据的低维表示。理论分析表明,该算法的计算复杂度远远低于ISOMAP的复杂度。利用应力函数和剩余方差对3个算法进行了比较。实验结果表明,从该算法得到的结果与从ISOMAP得到的结果相近,且优于从L-ISOMAP得到的结果。同时,该算法可以实现对新样本的学习,对噪声也不太敏感。     

一种新的基于MSC和ISOMAP的快速流形学习算法

针对等距特征映射(ISOMAP)算法计算复杂度高的问题,提出了一种新的基于最小子集覆盖(MSC)策略的快速等距特征映射算法(Fast-ISOMAP)。与原始的ISOMAP算法相比,Fast-ISOMAP算法在不显著改变原始ISOMAP算法嵌入性能的条件下,大大提高了算法的计算效率,也适用于大规模流形学习问题。在标准数据集上的实验结果验证了该算法的有效性。     

基于密度缩放因子的ISOMAP算法

等度量映射(ISOMAP)算法是一种被广泛应用的非线性无监督降维算法,通过保持各个观测样本间的测地距离进行等距嵌入,从而实现高维空间向低维空间的坐标转换。但在实际应用中,观测数据无可避免地会存在噪声,由于测地距离的计算对噪声比较敏感,并且也没有考虑数据集的密度分布,导致ISOMAP算法降维后低维坐标表示存在几何变形。针对这一缺点,根据局部密度的思想,提出一种基于密度缩放因子的ISOMAP(Density Scaling Factor Based ISOMAP,D-ISOMAP)算法。在传统的ISOMAP算法框架下,首先,针对每个观测样本计算一个局部密度缩放因子;然后,在测地距离的计算过程中,将直接相邻的两个样本之间的测地距离除以这两个样本密度缩放因子的乘积;最后,通过最短路径算法求得改进后的距离矩阵,并对其进行降维处理。改进的测地距离在密度较大的区域被缩小,而在密度较小的区域被放大,这样可以减小噪声对降维效果的影响,提升可视化和聚类效果。人工数据集和UCI数据集上的实验结果表明,在数据集的可视化和聚类效果方面, D-ISOMAP算法较经典的无监督降维算法具有一定的优势。