Manifold Ranking using Hessian Energy

In recent years, learning on manifolds has attracted much attention in the academia community. The idea that the distribution of real-life data forms a low dimensional manifold embedded in the ambient space works quite well in practice, with applications such as ranking, dimensionality reduction, semi-supervised learning and clustering. This paper focuses on ranking on manifolds. Traditional manifold ranking methods try to learn a ranking function that varies smoothly along the data manifold by using a Laplacian regularizer. However, the Laplacian regularization suffers from the issue that the solution is biased towards constant functions. In this work, we propose using second-order Hessian energy as regularization for manifold ranking. Hessian energy overcomes the above issue by only penalizing accelerated variation of the ranking function along the geodesics of the data manifold. We also develop a manifold ranking framework for general graphs/hypergraphs for which we do not have an original feature space (i.e. the ambient space). We evaluate our ranking method on the COREL image dataset and a rich media dataset crawled from Last.fm. The experimental results indicate that our manifold ranking method is effective and outperforms traditional graph Laplacian based ranking method.     

局部切空间对齐算法的核主成分分析解释

基于核方法的降维技术和流形学习是两类有效而广泛应用的非线性降维技术,它们有着各自不同的出发点和理论基础,在以往的研究中很少有研究关注两者的联系。LTSA算法利用数据的局部结构构造一种特殊的核矩阵,然后利用该核矩阵进行核主成分分析。本文针对局部切空间对齐这种流形学习算法,重点研究了LTSA算法与核PCA的内在联系。研究表明,LTSA在本质上是一种基于核方法的主成分分析技术。     

基于边界检测的多流形学习算法*

已知流形学习算法都假设数据分布于一个单流形,而现实中大部分数据都分布在多流形上,因此限制算法的实际应用.基于此种情况,文中提出基于边界检测的多流形学习算法,通过检测流形的边界处理分布于多流形的数据,并且可以较好地保持流形内、流形间的测地距离.算法首先检测流形边界,再分别降维处理各流形,最后将各低维坐标重置于一个全局坐标系中.在人工数据集和真实数据集上的对比实验表明文中算法的可行性和有效性.     

一种基于局部线性嵌入的多流形学习算法

针对局部线性嵌入算法在处理多流形数据时失效问题,提出一种新的基于局部线性嵌入的多流形学习算法.采用cam分布寻找数据点的近邻,避免了近邻选取方向的缺失;同时在获取重建权值矩阵的过程中引入一个正则项约束,从而降低了算法对噪声的敏感度.通过对分布在不同流形上的高维数据实验后发现改进算法具有很好的降维效果.为了进一步验证算法的有效性,将改进后的算法对COIL-20数据库进行图像检索,结果表明该算法不仅有较好的降维效果而且在多类别多形状流形学习中有很好的实用价值.     

流形学习中非线性维数约简方法概述

较为详细地回顾了流形学习中非线性维数约简方法,分析了它们各自的优势和不足.与传统的线性维数约简方法相比较,可以发现非线性高维数据的本质维数,有利于进行维数约简和数据分析.最后展望了流形学习中非线性维数方法的未来研究方向,期望进一步拓展流形学习的应用领域.     

流形学习算法综述

流形学习算法作为一种新的维数降维方法工具,其目标是发现嵌入在高维数据空间中的低维流形结构,并给出一个有效的低维表示。目前,流形学习已成为模式识别、机器学习和数据挖掘领域的研究热点问题。介绍了流形学习的基本思想、一些最新研究成果及其算法分析,并提出和分析了有待进一步研究的问题。     

自适应邻域选择的数据可分性降维方法

针对现有基于流形学习的降维方法对局部邻域大小选择的敏感性,且降至低维后的数据不具有很好的可分性,提出一种自适应邻域选择的数据可分性降维方法。该方法通过估计数据的本征维度和局部切方向来自适应地选择每一样本点的邻域大小;同时,使用映射数据时的聚类信息来汇聚相似的样本点,保证降维后的数据具有良好的可分性,使之实现更好的降维效果。实验结果表明,在人工生成的数据集上,新方法获得了较好的嵌入结果;并且在人脸的可视化分类和图像检索中得到了期望的结果。     

基于流形学习的维数约简算法

介绍线性维数约简的主成分分析和多维尺度算法,描述几种经典的能发现嵌入在高维数据空间的低维光滑流形非线性维数约简算法,包括等距映射、局部线性嵌入、拉普拉斯特征映射、局部切空间排列、最大方差展开。与线性维数约简算法相比,非线性维数约简算法通过维数约简能够发现不同类型非线性高维数据的本质特征。     

基于鲁棒的全局流形学习方法

非线性降维在数据挖掘、机器学习、图像分析和计算机视觉等领域应用广泛。等距映射算法(Isomap)是一种全局流形学习方法,能有效地学习等距流形的“低维嵌入”,但它对数据中的离群样本点缺乏鲁棒性。针对这种情况,该文提出一种离群点检测方法,基于Isomap的基本思想,给出一种鲁棒的全局流形学习方法,提高Isomap处理离群样本点的能力。数值实验表明了该方法的有效性。     

基于Nyström 低阶近似的半监督流形排序图像检索

实际图像检索过程中,用户提供的相关反馈有限,但存在大量未标记图像数据. 本文在前期半监督流形图像检索工作的基础上,提出一种基于Nystrm低阶 近似的半监督流形排序图像检索方法.通过采用半监督的流形正则化框架, 将图像数据嵌入到低维流形结构中进行分类排序,以充分利用大量未标记数据, 并兼顾分类误差、数据分布的几何结构以及分类函数的复杂性.针对半监督学习速度缓慢的问题, 基于Nystrm低阶近似对学习过程进行加速.在较大规模的Corel图像数据集上进行了检索实验, 实验结果表明该方法能获得较好的效果.     

流形学习概述

流形学习是一种新的非监督学习方法,近年来引起越来越多机器学习和认知科学工作者的重视.为了加深对流形学习的认识和理解,该文由流形学习的拓扑学概念入手,追溯它的发展过程.在明确流形学习的不同表示方法后,针对几种主要的流形算法,分析它们各自的优势和不足,然后分别引用Isomap和LLE的应用示例.结果表明,流形学习较之于传统的线性降维方法,能够有效地发现非线性高维数据的本质维数,利于进行维数约简和数据分析.最后对流形学习未来的研究方向做出展望,以期进一步拓展流形学习的应用领域.     

基于非线性流形学习的3维人体运动合成

为了实现3维人体运动的有效合成,提出了一种基于非线性流形学习的3维人体运动合成框架及算法,并可应用于方便、快捷、用户可控的3维人体运动合成。该合成算法框架先采用非线性流形降维方法将高维运动样本映射到低维流形上,同时求解其本征运动语义参数空间的表达,然后将用户在低维运动语义参数空间中交互生成的样本通过逆向映射重建得到具有新运动语义特征的3维运动序列。实验结果表明该方法不仅能够对运动物理参数（如特定关节的运动位置、物理运动特征）进行较为精确的控制,还可用于合成具有高层运动语义（运动风格）的新运动数据。与现有运动合成方法比较,该方法具有用户可控、交互性强等优点,能够应用于常见3维人体运动数据的高效生成。     

动态增殖流形学习算法

流形学习的主要目标是发现高维观测数据空间中的低维光滑流形.目前,流形学习已经成为机器学习和数据挖掘领域的研究热点.为了从高维数据流和大规模海量数据集中探索有价值的信息,迫切需要增殖地发现内在低维流形结构.但是,现有流形学习算法不具有增殖能力,并且不能有效处理海量数据集.针对这些问题,系统定义了增殖流形学习的概念,这有利于解释人脑中稳态感知流形的动态形成过程,且可以指导符合人脑增殖学习机理的流形学习算法的研究.以此为指导原则,提出了动态增殖流形学习算法,并在实验中验证了算法的有效性.     

两级邻域采样的孪生网络在流形学习中的应用

流形学习是一类特殊的非线性求解问题,即从高维采样数据中恢复低维流形结构,以达到维数约简的目的,是模式识别与数据可视化中的重要方法。流形学习存在许多基于局部线性假设的数值解法,即显示地定义局部线性映射模型再进行全局优化,这些方法对于流形的形状、采样的方式都比较敏感。另一种非线性求解工具,神经网络,因为不依赖于具体数学模型,理论上具有较好的鲁棒性,但是流形学习的特殊非线性,使得传统神经网络很难达到满意的效果。针对上述问题,改进了一种同质双通道神经网络--孪生网络,并应用于流形学习。针对孪生网络的两条通道,设计了三重结构,即升维层、过滤层和降维层,同时基于两级邻域的概念,提出了包含正、负样本对的损失函数,再经过“样本对”的训练,实现了邻近数据的空间关系在降维后依然得以保持。通过将孪生网络用于仿真数据（Swiss roll）的降维,并与传统方法进行比较,发现孪生网络可以更真实地还原高维流形的内在结构。同时,将孪生网络用于真实数据（handwritten digits）的二维可视化,并与传统方法进行比较,发现孪生网络聚类效果同样明显,并且类别分布更为均匀,边界更易辨识。     

基于改进的多流形算法的人脸图像集识别

一个图像集由大量变化不一的图像组成,而且这些图像都表示同一个人.现实中的图像集数据是非线性的,造成这些现象的因素有人脸的角度不同、光线的明暗等,因此图像集中的每幅图像都是变化的,如果近似的将一个图像集建模为线性子空间,而忽略了集合中数据结构的变化,很显然是不合理的,这也必然会影响到最后的识别率.受流形理论知识的启发,可以将图像集建模为一个流形,这与传统的将图像集建模为子空间的方法有着本质区别.本文在基于流形的人脸图像集识别方法的基础上进行改进,提出新的计算样子空间距离方法,最后采用所有最短子空间距离的平均值作为流形之间的距离,称为改进的多流形方法(Improved multi-manifold method,IMM).IMM方法在CMU PIE数据库上进行实验,结果表明该方法相比其他方法具有更高识别率.     

针对环状流形数据的非线性降维

近年来出现了多种新型的非线性降维方法,且在一些应用中体现出良好的效果.然而,当面对球体、柱体等环状流形产生的非线性流形数据时,这些方法往往会失效.针对这一问题,提出了针对环状流形数据的环结构检测算法与非线性降维方法.理论上,基于目前极受关注的Isomap降维方法的运行原理,给出了一个判断环状流形的充要条件;算法上利用所得的判断定理,制订了基于数据的环状流形检测算法:最后基于所找到的环结构,利用极坐标展开的思想设计了针对环状流形数据的非线性降维策略.针对一系列典型环状流形数据集的仿真实验结果表明,与其他流形学习降维方法相比,该方法对环状流形数据进行降维具有显著优势.     

一种基于切丛的维数约简方法

本文提出了一种基于切丛的维数约简方法。流形上的切丛不但能够刻画流形局部的结构特征,而且对流形整体的结构也能够进行描述。尤其对于聚类比较明显的数据集,在降维后能够更为精确地求得原数据在低维空间中的投影。通过对手写体数据的降维实验和BreastCancer实验表明,基于切丛的维数约简方法是一种有效的降维算法。     

Robust self-tuning semi-supervised learning

We investigate the issue of graph-based semi-supervised learning (SSL). The labeled and unlabeled data points are represented as vertices in an undirected weighted neighborhood graph, with the edge weights encoding the pairwise similarities between data objects in the same neighborhood. The SSL problem can be then formulated as a regularization problem on this graph. In this paper we propose a robust self-tuning graph-based SSL method, which (1) can determine the similarities between pairwise data points automatically; (2) is not sensitive to outliers. Promising experimental results are given for both synthetic and real data sets.     

基于直接估计梯度思想的数据降维算法

高维非线性数据的降维处理对于计算机完成高复杂度的数据源分析是非常重要的。从拓扑学角度分析,维数约简的过程是挖掘嵌入在高维数据中的低维线性或非线性的流形。该文在局部嵌入思想的流形学习算法的基础上,提出直接估计梯度值的方法,从而达到局部线性误差逼近最小化,实现高维非线性数据的维数约简,并在Swiss roll曲线上采样测试取得了良好的降维效果。     

基于拉普拉斯特征映射高光谱遥感影像降维及其分类

在进行高光谱遥感影像监督分类过程中,结合高光谱数据非线性的特点和流形学习强大的非线性处理能力,提出一种基于拉普拉斯特征映射(LE)降维和最佳指数法(OIF)波段组合选择训练样本进行SVM分类的策略,首先对高光谱遥感影像波段进行优化,利用拉普拉斯特征映射法(LE)对波段优选后的影像进行降维,利用OIF选择波段组合叠加进行训练样本选择。在此基础上采用支持向量机(SVM)进行分类处理,取得了优于PCA的效果。实验证明了流形学习是一种行之有效的高光谱遥感数据特征提取方法。