基于流形学习的维数约简算法

介绍线性维数约简的主成分分析和多维尺度算法,描述几种经典的能发现嵌入在高维数据空间的低维光滑流形非线性维数约简算法,包括等距映射、局部线性嵌入、拉普拉斯特征映射、局部切空间排列、最大方差展开。与线性维数约简算法相比,非线性维数约简算法通过维数约简能够发现不同类型非线性高维数据的本质特征。     

流形学习及其算法研究

流形学习作为微分几何的一个分支,旨在找出嵌入在高维数据中的低维流形结构,它的大部分算法都是用来进行维数约简的,也有一部分用来进行数据可视化的.目前,流形学习渐渐成为机器学习及模式识别领域中的一个研究热点.介绍了流形以及流形学习的基本概念,针对流形学习中的几种学习算法,讨论了它们各自的特点并分分析了它们的不足之处,以便在以后的流形学习研究中能够更好地运用这些算法对数据进行分析以及降维.     

基于等距映射的监督多流形学习算法

目前的监督多流形学习算法大多数都根据数据的类别标记对彼此间的距离进行调整,能较好实现多流形的分类,但难以成功展现各流形的内在几何结构,泛化能力也较差,因此文中提出一种基于等距映射的监督多流形学习算法.该算法采用适合于多流形的最短路径算法,得到在多流形下依然能正确逼近相应测地距离的最短路径距离,并采用Sammon映射以更好地保持短距离,最终可成功展现各流形的内在几何结构.此外,该算法根据邻近局部切空间的相似性可准确判定新数据点所在的流形,从而具有较强的泛化能力.该算法的有效性可通过实验结果得以证实.     

基于局部线性逼近的流形学习算法

流形学习方法是根据流形的定义提出的一种非线性数据降维方法,主要思想是发现嵌入在高维数据空间的低维光滑流形.局部线性嵌入算法是应用比较广泛的一种流形学习方法,传统的局部线性嵌入算法的一个主要缺点就是在处理稀疏源数据时会失效,而实际应用中很多情况还要面对处理源数据稀疏的问题.在分析局部线性嵌入算法的基础上提出了基于局部线性逼近思想的流形学习算法,其通过采用直接估计梯度值的方法达到局部线性逼近的目的,从而实现高维非线性数据的维数约简,最后在S-曲线上进行稀疏采样测试取得良好降维效果.     

基于局部平滑性的通用增量流形学习算法

目前大多数流形学习算法无法获取高维输入空间到低维嵌入空间的映射,无法处理新增数据,因此无增量学习能力。而已有的增量流形学习算法大多是通过扩展某一特定的流形学习算法使其具备增量学习能力,不具有通用性。针对这一问题,提出了一种通用的增量流形学习(GIML)算法。该方法充分考虑流形的局部平滑性这一本质特征,利用局部主成分分析法来提取数据集的局部平滑结构,并寻找包含新增样本点的局部平滑结构到对应训练数据的低维嵌入坐标的最佳变换。最后GIML算法利用该变换计算新增样本点的低维嵌入坐标。在人工数据集和实际图像数据集上进行了系统而广泛的比较实验,实验结果表明GIML算法是一种高效通用的增量流形学习方法,且相比当前主要的增量算法,能更精确地获取增量数据的低维嵌入坐标。     

局部保持的流形学习算法对比研究

局部保持的流形学习通过从局部到整体的思想保持观测空间和内在嵌入空间的局部几何共性,发现嵌入在高维欧氏空间中的内在低维流形。分析了局部保持的流形学习算法的基本实现框架,详细比较了一些局部保持的流形学习算法的特点,提出了几个有益的研究主题。     

基于随机游走的流形学习与可视化

现有的全局流形学习算法都敏感于邻域大小这一难以高效选取的参数,它们都采用了基于欧氏距离的邻域图创建方法,从而使邻域图容易产生“短路”边。本文提出了一种基于随机游走模型的全局流形学习算法(Random walk-based isometric mapping,RW-ISOMAP)。和欧氏距离相比,由随机游走模型得到的通勤时间距离是由给定两点间的所有通路以概率为权组合而成的,不但鲁棒性更高,而且还能在一定程度上度量具有非线性几何结构的数据之间的相似性。因此采用通勤时间距离来创建邻域图的RW-ISOMAP算法将不再敏感于邻域大小参数,从而可以更容易地选取邻域大小参数,同时还具有更高的鲁棒性。最后的实验结果证实了该算法的有效性。     

基于流形学习的泛化改进的LTSA算法

在数据稀疏、数据非均匀分布和数据流形具有较大曲率的情况下,传统的局部切空间方法不能够有效地揭示流形结构。提出了一种泛化的ILTSA（GILTSA）流形学习方法,该方法以改进的局部切空间排列算法（ILTSA）为基础,在解决流形结构问题的同时,不仅能够获得用于人脸识别更好的低维特征,而且能有效地处理日益增加的数据集的问题。该方法首先基于样品间距离选择近邻集,实现训练集的低维流形,为每个新样本寻找最近的样本训练集。然后结合ILTSA算法,根据其最近样本投影距离计算低维流形。在ORL的人脸图像数据库的实验、Swiss roll和手书的“2”等实验结果表明,与局部线性嵌入和局部切空间排列算法等相比,GILTSA方法增加了整体精度。     

基于特征子空间邻域的局部保持流形学习算法*

局部保持流形学习算法通过保持局部邻域特性来挖掘隐藏在高维数据中的内在流形结构。然而,对于缺乏足够训练样本的高维数据集,或者高维数据集存在非线性结构和高维数据特征中存在冗余、干扰特征,使得在原特征空间中利用欧式距离定义的邻域关系并不能真实反映数据的内在流形结构,从而影响算法的性能。提出利用正约束寻找特征子空间的方法,使得在此子空间中更多的同类样本紧聚,并进一步在该子空间中构建邻域关系来挖掘高维数据的内在流形,形成基于特征子空间邻域特性的局部保持流形学习算法(NFS-LPP和NFS-NPE)。它们在一定程度上克服了高维小样本数据集难以正确挖掘内在流形结构的问题,在Yale和ORL人脸库上的分类和聚类实验验证了其有效性。     

一种基于核的监督流形学习算法

针对流形学习算法——局部保持映射存在的参数选择及不能进行非线性特征提取的问题,提出一种基于核的监督流形学习算法.该算法作为局部保持映射算法的改进算法用样本类标识信息指导建立局部最近邻图,并在建立局部最近邻图使用无参数的相似度量.利用核方法来解决局部保持映射算法在处理线性不可分问题上的局限性问题.在两个常用数据库上验证本文算法的可行性和有效性.     

基于流形学习的蒙赛尔颜色光谱分析

为描述颜色光谱所需的基本因子数量,从颜色光谱中提取颜色空间的结构,提出不同于传统线性降维的研究方法。从流形学习的视角出发,假设高维的颜色光谱数据位于一个低维的流形中,将颜色光谱分析中的基本因子数量问题和提取颜色空间结构问题,转化为光谱颜色空间内嵌流形的本征维数估计和流形结构分析问题。采用5种不同的流形本征维度估计算法和6种经典的流形学习算法,对蒙赛尔标准颜色样片光谱进行分析。实验结果表明,在光谱蒙赛尔颜色空间中存在三维的嵌入流形,这一流形的几何结构近似圆锥体,与蒙赛尔颜色系统的原始理论一致。     

谱流形快速学习算法研究

谱流形学习算法的目标是发现嵌入在高维数据空间中的低维表示,其近年来得到了广泛的应用。虽然已经取得了许多令人骄傲的成绩,但是却存在一个很大的瓶颈--计算复杂度太高,这严重阻碍了算法在实际中的应用。提出了谱流形快速学习算法,该算法包括两个降低算法复杂度的技术：（1）通过随机选择或者k-means方法从n个样本点中选出 p个锚点,把每个样本点表达为由锚点的邻域点线性组合的形式,从而设计了邻接矩阵的新形式,降低了邻接图的计算复杂度;（2）利用线性化的流形学习算法有效地计算高维数据到低维数据的映射,从而降低了优化特征值的计算复杂度。该算法在3个常用人脸数据集（Yale、ORL、Extended Yale B）上得到了验证,进一步证明了算法的有效性。     

基于谱图理论的特征匹配方法研究和改进

图像匹配问题是计算机视觉领域的一个基本问题,广泛地应用于很多领域,如:模式识别,自动导航,医学诊断,计算机视觉,图像三维重构等领域。将所研究的问题转化为数学问题,再利用数学工具解决这一问题,成为当今研究的一种重要手段。在这里,将图像匹配中的图像转化为数学-图论中的图,利用谱图理论解决图像匹配问题,从而形成了一类比较流行而新颖的方法,针对这一方法进行了较为系统的探究并做出了改进。     

一种基于LBP特征与流形知识的人脸识别方法

人脸识别是计算机视觉领域的研究热点,应用背景广泛。近年来,流形被认为是视觉感知的基础,流形学习算法被用来发现图像的内在特征。如何利用流形学习后的低维内蕴变量成为相关研究的核心问题。但是利用传统的流形学习算法降维得到的人脸低维特征在可分性上存在一定的不足。此外,流形学习算法对光照和姿态变化敏感。针对这两个问题,提出了一种基于局部二值模式（LBP）和流形知识的人脸识别方法。该方法首先利用LBP算子对人脸图像进行局部特征描述,然后使用流形学习算法获得高维特征数据的低维内蕴变量,并用泰勒展开式近似该流形,获取流形知识,最后利用流形知识估计流形距离来实现人脸识别。实验证明,该方法增强了人脸识别对光照变化的鲁棒性,从而提高了识别性能。     

基于放大因子和延伸方向研究流形学习算法

流形学习是一种新的非监督学习方法,可以有效地发现高维非线性数据集的内在维数和进行维数约简,近年来越来越受到机器学习和认知科学领域研究者的重视．虽然目前已经出现了很多有效的流形学习算法,如等度规映射（ISOMAP）、局部线性嵌套（Locally Linear Embedding,LLE）等,然而,对观测空间的高维数据与降维后的低维数据之间的定量关系,尚难以直观地进行分析．这一方面不利于对数据内在规律的深入探察,一方面也不利于对不同流形学习算法的降维效果进行直观比较．文中提出了一种方法,可以从放大因子和延伸方向这两个方面显示出观测空间的高维数据与降维后的低维数据之间的联系;比较了两种著名的流形学习算法（ISOMAP和LLE）的性能,得出了一些有意义的结论;提出了相应的算法从而实现了以上理论．对几组数据的实验表明了研究的有效性和意义．     

基于图论的图像分割研究进展

基于图论的图像分割技术是近年来国际上图像分割领域的一个新的研究热点。该方法将图像映射为带权无向图,把像素视作节点,利用最小剪切准则得到图像的最佳分割。论文对图论方法用于图像分割的基本理论进行了简要介绍,并对当前图论方法用于图像分割的最新研究进展进行了综述。     

基于图学习的自动图像标注

自动图像标注是图像检索任务中重要而具有挑战性的工作.文中首先讨论并解释了自动图像标注问题,通过总结现有的研究工作,提出了一种基于图学习的图像标注框架.在该框架下,图像标注被分为两个阶段来完成,即基本图像标注与图像标注改善.其中,前者是通过以图像间相似性为依据的图学习过程来提供图像的初始标注,而后者是通过以词汇间语义相关性为依据的图学习过程来改善前者取得的标注结果.该框架主要涉及到图像与文本词汇两种媒体的内部和相互之间的各种关系的估计问题.基于此,作者又给出了针对上述各子问题的改进方法,并将它们综合起来实现了有效的图像标注.最后,通过Corel图像集与网络数据集上一系列实验结果,验证了该模型框架及所提出解决方案的有效性.     

基于Gabor小波和流形的人脸识别研究

本文研究基于Gabor小波变换和流形学习的人脸识别方法,首先引入Gabor小波对人脸图像提取不同方向、不同尺度的多个Gabor幅值特征（Gabor magnitude feature）,然后使用能够提取子流形的NPE算法对GMF特征进行维数约简,最后使用线性判别分析进一步提取鉴别性特征。此算法利用了Gabor特征对人脸图像的优异表征能力、流形方法和传统的判别方法。在标准人脸库上的实验结果表明,与其他降维方法相比,新算法能够获得较好的识别效果。