基于放大因子和延伸方向研究流形学习算法

流形学习是一种新的非监督学习方法，可以有效地发现高维非线性数据集的内在维数和进行维数约简，近年来越来越受到机器学习和认知科学领域研究者的重视．虽然目前已经出现了很多有效的流形学习算法，如等度规映射（ISOMAP）、局部线性嵌套（Locally Linear Embedding，LLE）等，然而，对观测空间的高维数据与降维后的低维数据之间的定量关系，尚难以直观地进行分析．这一方面不利于对数据内在规律的深入探察，一方面也不利于对不同流形学习算法的降维效果进行直观比较．文中提出了一种方法，可以从放大因子和延伸方向这两个方面显示出观测空间的高维数据与降维后的低维数据之间的联系；比较了两种著名的流形学习算法（ISOMAP和LLE）的性能，得出了一些有意义的结论；提出了相应的算法从而实现了以上理论．对几组数据的实验表明了研究的有效性和意义．     

流形学习及其算法研究

流形学习作为微分几何的一个分支,旨在找出嵌入在高维数据中的低维流形结构,它的大部分算法都是用来进行维数约简的,也有一部分用来进行数据可视化的.目前,流形学习渐渐成为机器学习及模式识别领域中的一个研究热点.介绍了流形以及流形学习的基本概念,针对流形学习中的几种学习算法,讨论了它们各自的特点并分分析了它们的不足之处,以便在以后的流形学习研究中能够更好地运用这些算法对数据进行分析以及降维.     

流形学习概述

流形学习是一种新的非监督学习方法，近年来引起越来越多机器学习和认知科学工作者的重视．为了加深对流形学习的认识和理解，该文由流形学习的拓扑学概念入手，追溯它的发展过程．在明确流形学习的不同表示方法后，针对几种主要的流形算法，分析它们各自的优势和不足，然后分别引用Isomap和LLE的应用示例．结果表明，流形学习较之于传统的线性降维方法，能够有效地发现非线性高维数据的本质维数。利于进行维数约简和数据分析．最后对流形学习未来的研究方向做出展望，以期进一步拓展流形学习的应用领域．     

流形学习算法中的参数选择问题研究

流形学习(Manifold Learning)算法是近年来发展起来的非线性降维机器学习算法.等度规特征映射Isomap(Isometric feature mapping)和局部线性嵌入LLE(Locally Linear Embedding)是两种典型的流形学习算法.通过实验比较和分析两种算法中邻接参数K和采样点数N的选取对降维结果以及执行时间的影响,实验结果表明Isomap对邻接参数K和采样点数N具有较高的容忍度,而LLE算法在计算速度上优势明显.     

流形学习方法中的若干问题分析

流形学习是近年来机器学习与认知科学中的一个新的研究热点,其本质在于根据有限的离散样本学习和发现嵌入在高维空间中的低维光滑流形,从而揭示隐藏在高维数据中的内在低维结构,以实现非线性降维或者可视化.介绍了几种主要的流形学习算法,分析了它们的优势与不足,总结了流形学习方法中需要解决的若干问题及其研究现状,并展望了流形学习未来的研究前景.     

流形学习算法综述

流形学习算法作为一种新的维数降维方法工具,其目标是发现嵌入在高维数据空间中的低维流形结构,并给出一个有效的低维表示。目前,流形学习已成为模式识别、机器学习和数据挖掘领域的研究热点问题。介绍了流形学习的基本思想、一些最新研究成果及其算法分析,并提出和分析了有待进一步研究的问题。     

基于局部线性逼近的流形学习算法

流形学习方法是根据流形的定义提出的一种非线性数据降维方法,主要思想是发现嵌入在高维数据空间的低维光滑流形.局部线性嵌入算法是应用比较广泛的一种流形学习方法,传统的局部线性嵌入算法的一个主要缺点就是在处理稀疏源数据时会失效,而实际应用中很多情况还要面对处理源数据稀疏的问题.在分析局部线性嵌入算法的基础上提出了基于局部线性逼近思想的流形学习算法,其通过采用直接估计梯度值的方法达到局部线性逼近的目的,从而实现高维非线性数据的维数约简,最后在S-曲线上进行稀疏采样测试取得良好降维效果.     

基于认知的流形学习方法概要

流形学习是一种新出现的机器学习方法,近年来引起越来越多的计算机科学工作者和认知科学工作者的重视.为了加深对流形学习的认识和理解,从流形与流形学习的基本概念入手,追溯它的发展历程.针对目前的几种主要的流形算法,分析它们各自的优势和不足,然后引用LLE的应用示例.说明流形学习较之于传统的线性降维方法如PCA等,能够有效地发现非线性高维数据的本质维数,可以有效地进行维数约简和数据分析.最后对流形学习未来的研究方向做出展望,以期进一步拓展流形学习的应用领域.     

一种在源数据稀疏情况下的数据降维算法

流形学习方法是根据流形的定义提出的一种非线性数据降维方法,主要思想是发现嵌入在高维数据空间的低维光滑流形。从分析基于流形学习理论的局部线性嵌入算法入手,针对传统的局部线性嵌入算法在源数据稀疏时会失效的缺点,提出了基于局部线性逼近思想的流形学习算法,并在S-曲线上采样测试取得良好降维效果。     

基于半监督流形学习的人脸识别方法

如何有效地将流形学习(Manifold learning,ML)和半监督学习(Semi-supervised learning,SSL)方法进行结合是近年来模式识别和机器学习领域研究的热点问题.提出一种基于半监督流形学习(Semi-supervised manifold learning,SSML)的人脸识别方法,它在部分有标签信息的人脸数据的情况下,通过利用人脸数据本身的非线性流形结构信息和部分标签信息来调整点与点之间的距离形成距离矩阵,而后基于被调整的距离矩阵进行线性近邻重建来实现维数约简,提取低维鉴别特征用于人脸识别.基于公开的人脸数据库上的实验结果表明,该方法能有效地提高人脸识别的性能.     

一种新的有监督流形学习方法

提出了一种新的有监督流形学习方法,目的是提供将流形学习降维方法高效应用于有监督学习问题的全新策略.算法的核心思想是集成流形学习方法对高维流形结构数据的降维有效性与支撑向量机(SVM)在中小规模分类数据集上的优良特性实现高效有监督流形学习.算法具体实现步骤为:首先利用SVM在流形学习降维数据中选出对分类决策最重要的数据集,即支撑向量集;按标号返回可得到原空间的支撑向量集;在这个集合上再次使用SVM即可得到原空间的分类决策,从而完成有监督流形学习.在一系列人工与实际数据集上的实验验证了方法的有效性.     

动态增殖流形学习算法

流形学习的主要目标是发现高维观测数据空间中的低维光滑流形.目前,流形学习已经成为机器学习和数据挖掘领域的研究热点.为了从高维数据流和大规模海量数据集中探索有价值的信息,迫切需要增殖地发现内在低维流形结构.但是,现有流形学习算法不具有增殖能力,并且不能有效处理海量数据集.针对这些问题,系统定义了增殖流形学习的概念,这有利于解释人脑中稳态感知流形的动态形成过程,且可以指导符合人脑增殖学习机理的流形学习算法的研究.以此为指导原则,提出了动态增殖流形学习算法,并在实验中验证了算法的有效性.     

基于鲁棒的全局流形学习方法

非线性降维在数据挖掘、机器学习、图像分析和计算机视觉等领域应用广泛。等距映射算法(Isomap)是一种全局流形学习方法,能有效地学习等距流形的“低维嵌入”,但它对数据中的离群样本点缺乏鲁棒性。针对这种情况,该文提出一种离群点检测方法,基于Isomap的基本思想,给出一种鲁棒的全局流形学习方法,提高Isomap处理离群样本点的能力。数值实验表明了该方法的有效性。     

局部切空间对齐算法的核主成分分析解释

基于核方法的降维技术和流形学习是两类有效而广泛应用的非线性降维技术,它们有着各自不同的出发点和理论基础,在以往的研究中很少有研究关注两者的联系。LTSA算法利用数据的局部结构构造一种特殊的核矩阵,然后利用该核矩阵进行核主成分分析。本文针对局部切空间对齐这种流形学习算法,重点研究了LTSA算法与核PCA的内在联系。研究表明,LTSA在本质上是一种基于核方法的主成分分析技术。     

流形距离与压缩感知核稀疏投影的局部线性嵌入算法

流形学习算法的目的是发现嵌入在高维数据空间中的低维表示,现有的流形学习算法对邻域参数k和噪声比较敏感。针对此问题,文中提出一种流形距离与压缩感知核稀疏投影的局部线性嵌入算法,其核心思想是集成局部线性嵌入算法对高维流形结构数据的降维有效性与压缩感知核稀疏投影的强鉴别性,以实现高效有降噪流形学习。首先,在选择各样本点的近邻域时,采用流形距离代替欧氏距离度量数据间相似度的方法,创建能够正确反映流形内部结构的邻域图,解决以欧氏距离作为相似性度量时对邻域参数的敏感。其次,利用压缩感知核稀疏投影作为从高维观测空间到低维嵌入空间的映射,增强算法的鉴别性。最后,利用Matlab工具对实验数据集进行仿真,进一步验证所提算法的有效性。     

半监督拉普拉斯特征映射算法

为了使流形学习方法具有半监督的特点,利用流形上某些已知低维信息的数据去学习推测出其它数据的低维信息,扩大流形学习算法的应用范围,把拉普拉斯特征映射算法(Laplacian Eigenmap,LE)与半监督的机器学习相结合,提出一种半监督的拉普拉斯特征映射算法(semi-supervised Laplacian Eigenmap,SSLE),这种半监督的流形学习算法在分类识别等问题上,具有很好的效果.模拟实验和实际例子都表明了SSLE算法的有效性.     

浅谈机器学习方法简

本文以什么是机器学习、机器学习的发展历史和机器学习的主要策略这一线索,对机器学习进行系统性的描述。接着,着重介绍了流形学习、李群机器学习和核机器学习三种新型的机器学习方法,为更好的研究机器学习提供了新的思路。