DIMENSION REDUCTION OF HYPERSPECTRAL REMOTE SENSING IMAGERY BASED ON SUPERVISED ISOMETRIC MAPPING

在面向分类的高光谱遥感数据降维过程中,考虑到高光谱遥感数据内在的非线性结构和传统流形学习非监督的特点,提出一种新的监督等距映射方法(S-Isomap).方法基于类间距离大于类内距离的思想,首先利用KMEANS算法对原始数据进行聚类得到样本的初始类别标签,采用新距离搜寻数据点的K近邻,进而实施等距映射降维.实验证明了该方法优于传统Isomap.     

用于多流形分类的核等距映射算法

核等距映射(Kernel ISOMAP)算法具有较好的泛化性能,但不能直接用于多流形的分类。在多流形下,准确判定新数据点所在的流形是其获得良好泛化性能的基础,因此,提出了能够用于多流形分类的核等距映射算法。该算法根据同一流形上邻近局部切空间的相似性能够准确判定新数据点所在的流形,并对目前核等距映射算法中新数据点低维表示的计算过程进行了简化,从而具有良好的泛化性能。实验结果证实,该算法具有较高的分类准确率。     

基于监督等距映射高光谱遥感影像降维

在面向分类的高光谱遥感数据降维过程中,考虑到高光谱遥感数据内在的非线性结构和传统流形学习非监督的特点,提出一种新的监督等距映射方法(S-Isomap)。方法基于类间距离大于类内距离的思想,首先利用KMEANS算法对原始数据进行聚类得到样本的初始类别标签,采用新距离搜寻数据点的K近邻,进而实施等距映射降维。实验证明了该方法优于传统Isomap。     

基于近邻元分析的半监督流形学习算法*

现有的大多数流形学习算法偏重保持流形的几何结构,并未考虑到样本点的标签信息,这在一定程度上限制了流形学习算法在数据分类中的应用.因此文中提出一种基于近邻元分析的半监督流形学习算法,采用近邻元分析学习距离度量矩阵,在距离度量方式下选择样本点的局部邻域点.基于距离度量方式构造样本点和邻域点的局部几何结构,并在样本点的低维嵌入坐标中保持这种局部几何结构不变.3个不同数据集上的分类实验验证了文中算法的有效性.     

一种改进的有间隔流形ISOMAP算法

ISOMAP算法成功应用的潜在条件是要求数据集均匀抽样于单个的内在流形。如果数据集均匀采样于某个内在流形,但内部出现了一个间隔,ISOMAP算法可能失效。提出了G-ISOMAP(ISOMAP with a Gap)算法,该算法充分利用了数据集中的间隔特性。首先检测被间隔的子流形间最短欧氏距离对应的数据点,然后将这些数据点互相设置为邻域点,最后用ISOMAP算法找到低维嵌入结果。对G-ISOMAP与ISOMAP算法的区别与联系进行了详细的理论说明,得出ISOMAP算法是G-ISOMAP算法的一个特例,G-ISOMAP算法是ISOMAP算法扩充的结论。实验结果验证了该算法比其他常用的流形学习算法在有间隔的数据集上更有效。     

基于自组织映射的流形学习与可视化

针对自组织映射(SOM)在学习和可视化高维数据内在的低维流形结构时容易产生“拓扑缺陷”的这一问题,提出了一种新的流形学习算法--动态自组织映射(DSOM)。该算法按照数据的邻域结构逐步扩展训练数据集合,对网络进行渐进训练,以避免局部极值,克服“拓扑缺陷”问题;同时,网络规模也随之动态扩展,以降低算法的时间复杂度。实验表明,该算法能更加真实地学习和可视化高维数据内在的低维流形结构;此外,与传统的流形学习算法相比,该算法对邻域大小和噪声也更加鲁棒。所提算法的网络规模和训练数据集合都将按照数据内在的邻域结构进行同步扩展,从而能更加简洁并真实地学习和可视化高维数据内在的低维流形结构。     

半监督拉普拉斯特征映射算法

为了使流形学习方法具有半监督的特点,利用流形上某些已知低维信息的数据去学习推测出其它数据的低维信息,扩大流形学习算法的应用范围,把拉普拉斯特征映射算法(Laplacian Eigenmap,LE)与半监督的机器学习相结合,提出一种半监督的拉普拉斯特征映射算法(semi-supervised Laplacian Eigenmap,SSLE),这种半监督的流形学习算法在分类识别等问题上,具有很好的效果.模拟实验和实际例子都表明了SSLE算法的有效性.     

一种用于人脸识别的有监督核化多类多流形ISOMAP算法

在核等测距映射（kernel ISOMAP）和多类多流形ISOMAP算法的基础上,提出一种针对人脸识别任务的有监督核化多类多流形ISOMAP算法.该算法保持了kernel ISOMAP算法的泛化特性,同时又能完成分类任务,解决了ISOMAP-C在对具有高维小样本特性的人脸数据集识别时,所要调整的神经网络权值数目将随输入维度呈指数增长,且易出现过拟合现象的问题.在多种人脸数据集上的实验结果表明了该算法的有效性,且对训练样本集的大小有较好的鲁棒性.     

基于最优密度方向的等距映射降维算法

等距映射算法(ISOMAP)是一种典型的非线性流形降维算法,该算法可在尽量保持高维数据测地距离与低维数据空间距离对等关系的基础上实现降维.但ISOMAP容易受噪声的影响,导致数据降维后不能保持高维拓扑结构.针对这一问题,提出了一种基于最优密度方向的等距映射(ODD–ISOMAP)算法.该算法通过筛选数据的自然邻居确定每个数据沿流形方向的最优密度方向,之后基于与各近邻数据组成的向量相对最优密度方向投影的角度、方向和长度合理缩放局部邻域距离,引导数据沿流形方向计算测地距离,从而降低算法对噪声的敏感度.为验证算法有效性,选取了2类人工合成数据和5类实测数据作为测试数据集,分别使用ISOMAP,LLE,HLLE,LTSA,LEIGS,PCA和ODD–ISOMAP算法对数据集降维,并对降维数据进行K-mediods聚类分析.通过比对聚类正确率以及不同幅度噪声对此正确率的影响程度评价各算法降维效果优劣.结果表明,ODD–ISOMAP算法较其他6种常见算法降维效果提升显著,且对噪声干扰有更强的抵抗能力.     

基于改进ISOMAP的飞机识别算法

将流形学习方法应用于飞机图像识别中,提出一种基于改进等距映射(ISOMAP)的飞机识别算法.根据飞机图像数据的高维性质,采用改进的ISOMAP对数据进行降维,在构造近邻图的过程中,利用Procrustes距离取代传统的欧氏距离.仿真实验结果证明,该算法的的识别率较高.     

流形上的Laplacian半监督回归

把流形学习与半监督学习相结合,研究了流形上的半监督回归问题.简要介绍了半监督流形学习的Laplacian正则化框架,在此基础上推导了基于一类广义损失函数的Laplacian半监督回归,它能够利用数据所在流形的内在几何结构进行回归估计.具体给出了线性ε-不敏感损失函数,二次ε-不敏感损失函数和Huber损失函数的Laplacian半监督回归算法,在模拟数据和Boston Housing数据上对算法进行了实验,并对实验结果进行了分析.这些结果将为进一步深入研究半监督流形回归问题提供一些可借鉴的积累.     

融合Log-Gabor小波和监督保局映射的人脸识别算法

流形学习是一种非监督学习算法,其鉴别能力不如传统的维数约简算法,而且流形学习算法不能有效地消除图像中如高阶相关等冗余信息.针对这2个问题,提出一种融合Log-Gabor小波和监督保局映射的人脸识别算法.首先使用Log-Gabor小波对归一化的人脸图像进行多方向、多分辨率滤波,并提取其对应的Log-Gabor图像特征向量;然后使用监督保局映射算法对Log-Gabor特征向量进行维数约简,得到低维鉴别特征;最后使用最近邻分类器进行分类.该算法综合运用了Log-Gabor特征对人脸图像的优异的表征能力、SLPP的非线性维数约简能力,对光照变化、表情变化等具有良好的鲁棒性.在Yale和PIE人脸库上的仿真实验结果证明了文中算法的有效性.     

流形嵌入的支持向量数据描述

测地距离能在宏观层面上较真实地反映数据中所隐含的几何结构,可基于它的支持向量数据描述(SVDD)无法直接优化.为此,文中提出一种流形分类学习算法的设计框架.用原空间测地距离近似各向同性的特征映射(ISOMAP)降维空间上的欧氏距离,即在隐含ISOMAP降维后空间上执行原学习算法.按照该框架,以SVDD为例发展出嵌入的ISOMAP发现的低维流形的SVDD(mSVDD),从而解决基于测地距离的SVDD的优化问题.USPS手写体数字数据集上的实验表明,mSVDD的单类性能较SVDD有较显著提高.     

基于局部线性空间划分的流形泛化算法

为了将流形学习算法获取的映射关系扩展到新的样本数据,提出一种基于局部线性空间划分的流形泛化算法.提出局部线性空间划分的局部性、曲率自适应性原则.在此基础上,构建定维投影距离测度,采用定维投影向量量化算法将整个流形划分为若干个局部线性空间.在局部空间上构建流形映射的线性近似映射.在流形映射重构的基础上,针对新样本数据,判断其局部线性空间的归属,进而采用线性近似映射获取低维空间上的映射估计值.在人工合成数据集以及手写数字图像库上的实验证明本文算法的有效性.     

基于拉普拉斯特征映射的仿射传播聚类

仿射传播方法难以处理具有流形结构的数据集。为此,提出一种基于拉普拉斯特征映射的仿射传播聚类算法(APPLE),在标准仿射传播的基础上增强流形学习的能力。使用测地距离计算数据点间相似度,采用拉普拉斯特征映射对数据集进行降维及特征提取。对图像聚类应用的实验结果证明了APPLE的聚类效果优于标准仿射传播方法。     

流形学习中的算法研究

详细介绍了一种新的机器学习的方法--流形学习.流形学习是一种新的非监督学习方法,可以有效地发现高维非线性数据集的内在维数并进行维数约简,近年来越来越受到机器学习和认知科学领域的研究者的重视.目前已经出现了很多有效的流形学习算法,如等度规映射(ISOMAP)、局部线性嵌套(Locally Linear Embedding ,LLE)等.详细讲述了当前常用的几种流形学习算法以及在流形方面已经取得的研究成果,并对流形学习目前在各方面的应用作了较为细致的阐述.最后展望了流形学习的研究发展趋势,且提出了流形学习中仍需解决的关键问题.     

结合双流形映射的不完备多标签学习

在多标签学习中,有效利用标签相关性可以提高分类性能。然而,由于人工标注标签的主观性和实际应用中标签语义的相似性,通常只能观察到不完备的标签空间,导致标签相关性的估计不准确,使得算法性能下降。针对该问题,提出一种结合双流形映射的不完备多标签学习(ML-DMM)算法。构造两种流形映射,一种是保留实例数据空间局部结构信息的特征流形映射,另一种是基于迭代学习得到的标签相关性的标签流形映射。首先通过拉普拉斯映射构造数据的低维流形,然后通过回归系数矩阵和标签相关性矩阵将初始特征空间和初始标签空间分别映射到该低维流形上,形成一种双流形映射结构来提升算法性能,最后利用迭代学习得到的回归系数矩阵进行多标签分类。在8个多标签数据集及3种标签缺失率情况下的对比实验结果表明,ML-DMM算法性能优于其他针对缺失标签的多标签分类算法。     

基于等角映射的多样本增量流形学习算法

目前一些经典的降维流形学习方法以距离来度量数据间的相似度,难以处理噪音造成的子空间偏离.针对此问题,文中提出一种基于等角映射的多样本增量流形学习算法,将以样本均值为中心的高维样本数据的协方差矩阵变为以邻域均值为中心的协方差矩阵,消除基于距离度量对子空间带来的误差,并对协方差矩阵进行加权,减少不规则新增样本或噪音对降维造成的影响.实验证明该算法与其他算法相比,具有更好的抗噪能力及降维效果,可更好地应用于图像识别问题.     

改进的局部线性嵌入算法及其应用

局部线性嵌入算法（LLE）中常用欧氏距离来度量样本间相似度,而对于具有低维流形结构的高维数据,欧氏距离不能衡量流形上两点间相对位置关系。提出基于Geodesic Rank-order距离的局部线性嵌入算法（简称GRDLLE）。应用最短路径算法（Dijkstra算法）找到最短路径长度来近似计算任意两个样本间的测地线距离,计算Rank-order距离用于LLE算法的相似性度量。将GRDLLE算法、其他改进LLE的流形学习算法及2DPCA算法在ORL与Yale数据集上进行对比实验,对数据用GRDLLE算法进行降维后人脸识别率有所提高,结果表明GRDLLE算法具有很好的降维效果。     

一种基于监督流形学习的头部姿态估计方法

我们提出一种监督Laplacian LLE算法,并结合正则化的最小二乘方法来有效地解决头部姿态估计问题,比传统的流形学习算法能更有效的保持数据的局部几何结构,并且能获得显式的直接映射来处理样本外扩展问题。在FacePix数据集的头部姿态估计实验结果表明,我们的算法是有效的,对于训练数据和测试数据,我们提出的算法的性能明显高于其他对比算法的性能。