基于局部线性逼近的流形学习算法

流形学习方法是根据流形的定义提出的一种非线性数据降维方法,主要思想是发现嵌入在高维数据空间的低维光滑流形.局部线性嵌入算法是应用比较广泛的一种流形学习方法,传统的局部线性嵌入算法的一个主要缺点就是在处理稀疏源数据时会失效,而实际应用中很多情况还要面对处理源数据稀疏的问题.在分析局部线性嵌入算法的基础上提出了基于局部线性逼近思想的流形学习算法,其通过采用直接估计梯度值的方法达到局部线性逼近的目的,从而实现高维非线性数据的维数约简,最后在S-曲线上进行稀疏采样测试取得良好降维效果.     

基于数据点松紧度的局部线性嵌入算法

局部线性嵌入算法（LLE）是流形学习中非线性数据降维的重要方法之一。考虑数据点分布大多呈现不均匀性,LLE对近邻点的选取方式将会导致大量的信息丢失。根据其不足,提出一种基于数据点松紧度的局部线性嵌入改进算法——tLLE算法,针对数据点分布不均匀的数据集,tLLE算法能有效地进行维数约简,且具有比LLE更好的降维效果。在人造数据和现实数据上的嵌入以及分类识别结果表明了tLLE算法的有效性。     

基于随机游走扩散映射的降维算法

传统数据降维算法分为线性或流形学习降维算法,但在实际应用中很难确定需要哪一类算法。设计一种综合的数据降维算法,以保证它的线性降维效果下限为主成分分析方法且在流形学习降维方面能揭示流形的数据结构。通过对高维数据构造马尔可夫转移矩阵,使越相似的节点转移概率越大,从而发现高维数据降维到低维流形的映射关系。实验结果表明,在人造数据以及真实数据的线性降维中,该算法降维效果与主成分分析算法相当而局部线性嵌入失败;在流形学习降维中,该算法与局部线性嵌入基本相当而主成分分析算法完全失败。     

扩大局部邻域的疏散嵌入算法

非线性流形学习降维方法已经被广泛应用到人脸识别、入侵检测以及传感器网络等领域。然而,能够有效处理稀疏数据的流形学习算法很少。基于局部线性嵌入（LLE）算法的思想框架,提出一种扩大局部邻域的稀疏嵌入算法,通过对局部区域信息加强,使得在样本较少的情况下,达到丰富重叠信息的目的。在稀疏的人工和人脸数据集上的实验结果表明,所提算法产生了较好的嵌入及分类结果。     

基于直接估计梯度思想的数据降维算法

高维非线性数据的降维处理对于计算机完成高复杂度的数据源分析是非常重要的。从拓扑学角度分析,维数约简的过程是挖掘嵌入在高维数据中的低维线性或非线性的流形。该文在局部嵌入思想的流形学习算法的基础上,提出直接估计梯度值的方法,从而达到局部线性误差逼近最小化,实现高维非线性数据的维数约简,并在Swiss roll曲线上采样测试取得了良好的降维效果。     

一种基于稀疏嵌入分析的降维方法

近几年局部流形学习算法研究得到了广泛的关注, 如局部线性嵌入以及局部切空间排列算法等.这些算法都是基于局部可线性化的假设而提出的, 但局部是否可线性化的问题没有得到很好有效的解决, 使得目前的降维算法对自然数据效果不佳. 自然数据中有很多是稀疏的,对稀疏数据的降维是局部线性嵌入算法所面临的一个问题. 基于对数据自然属性的考虑,利用数据的统计信息动态确定局部线性化范围, 依据数据的分布提出一种排列的稀疏局部线性嵌入算法(Sparse local linear embedding algorithm, SLLEA). 在数据集稀疏的情况下,该算法能够很好地把握数据的局部和整体信息. 将该算法应用于手工流形及图像检索等试验中,验证了该算法的有效性.     

改进的非线性数据降维方法及其应用

局部线性嵌入算法（Locally Linear Embedding,LLE）是基于流形学习的非线性降维方法之一。LLE利用样本点的近邻点的线性组合对每个样本点进行局部重构,而不同近邻个数的选取会产生不同的重构误差,从而影响整体算法的实施。提出了一种LLE的改进算法,算法有效地降低了近邻点个数对算法的影响,并很好地学习了高维数据的流形结构。所提方法的有效性在人造和真实数据的对比实验中得到了证实。     

一种基于局部线性嵌入的多流形学习算法

针对局部线性嵌入算法在处理多流形数据时失效问题,提出一种新的基于局部线性嵌入的多流形学习算法.采用cam分布寻找数据点的近邻,避免了近邻选取方向的缺失;同时在获取重建权值矩阵的过程中引入一个正则项约束,从而降低了算法对噪声的敏感度.通过对分布在不同流形上的高维数据实验后发现改进算法具有很好的降维效果.为了进一步验证算法的有效性,将改进后的算法对COIL-20数据库进行图像检索,结果表明该算法不仅有较好的降维效果而且在多类别多形状流形学习中有很好的实用价值.     

基于局部线性嵌入算法的汉语数字语音识别

语音信号转换到频域后维数较高,流行学习方法可以自主发现高维数据中潜在低维结构的规律性,提出采用流形学习的方法对高维数据降维来进行汉语数字语音识别。采用流形学习中的局部线性嵌入算法提取语音频域上高维数据的低维流形结构特征,再将低维数据输入动态时间规整识别器进行识别。仿真实验结果表明,采用局部线性嵌入算法的汉语数字语音识别相较于常用声学特征MFCC维数要少,识别率提高了1.2%,有效提高了识别速度。     

基于几何距离摄动的局部线性嵌入算法

传统局部线性嵌入(LLE)算法对近邻个数依赖性较强,不适用于处理稀疏数据源。针对该问题,提出一种基于几何距离摄动的LLE算法。通过线性块内的最大欧氏距离与测地距离之差构造几何摄动,描述流形数据的局部线性特性,对原始流形数据进行最大线性分块操作,保证局部模块的线性特性,并在每一个局部线性模块上应用LLE算法实现嵌入降维。实验结果表明,该算法能有效提高分类的平均准确率。     

改进的多流形LLE学习算法

流形学习已成为机器学习和数据挖掘领域的研究热点。比如,算法LLE（Locally Linear Embedding）作为一种非线性降维算法有很好的泛化性能,被广泛地应用于图像分类和目标识别,但其仅仅假设了数据集处于单流形的情况。MM-LLE（Multiple Manifold Locally Linear Embedding）学习算法作为一种考虑多流形情况的改进算法,依然存在几点不足之处。因此,提出改进的MM-LLE算法,通过任意两类间的局部低维流形组合并构建分类器来提高分类精度;同时改进原算法计算最佳维度的方法。通过与算法ISOMAP、LLE以及MM-LLE比较分类精度,实验结果验证了改进算法的有效性。     

Guided Locally Linear Embedding

Nonlinear dimensionality reduction is the problem of retrieving a low-dimensional representation of a manifold that is embedded in a high-dimensional observation space. Locally Linear Embedding (LLE), a prominent dimensionality reduction technique is an unsupervised algorithm; as such, it is not possible to guide it toward modes of variability that may be of particular interest. This paper proposes a supervised variation of LLE. Similar to LLE, it retrieves a low-dimensional global coordinate system that faithfully represents the embedded manifold. Unlike LLE, however, it produces an embedding in which predefined modes of variation are preserved. This can improve several supervised learning tasks including pattern recognition, regression, and data visualization.     

基于流形学习的单字符字体辨别

文字种类识别及字体辨别已成为继印刷体文字识别以后新的国内外研究的热点,关于单字的手写体和印刷体辨别的研究不多,但在表单中却极为常用。对于字体辨别问题,引入流形学习算法局部线性嵌套（LLE）,假定数据为存在于嵌入高维空间的一个低维流形。提出了用于单字字体辨别的LLE泛化方法及邻域和内在维数的参数估计方法,基于印刷体/手写体汉字字符及数字的辨别实验表明,其性能优于直接支持向量机（SVM）分类,且经过LLE降维后的数据直接用线性判别分析方法（LDA）分类可以获得与LLE计算后SVM分类相近甚至更高的正确率和更快的分类速度。     

基于组合方法的人脸识别算法研究

该文试探一种加权融合流形学习的方法进行人脸识别,该算法通过Haar小波和局部线性嵌入（LLE）加权融合的方式来进行人脸识别。首先通过Haar小波变换对人脸图像进行一级分解,得到四个子图;然后利用LLE算法对四个子图降维处理,并加权融合;最后利用支持向量机（SVM）进行分类判决。通过在ORL库中进行实验,结果表明,该文提出的Haar＋LLE识别效率比单独使用主成分分析（PCA）和LLE更高效。     

基于近邻非负线性组合的高分辨率图像重建

针对现有基于局部线性嵌入的高分辨率图像重建算法对噪声敏感、图像块间边界不连续等问题,提出一种近邻非负线性重建高分辨率图像的流形学习算法。将流形学习重建过程中的近邻线性组合系数约束为非负,并采用基于像素块比例值的特征提取方法。实验结果表明,该算法能重建更多的细节,降低块效应,提高重建图像的峰值信噪比。     

基于核局部线性嵌入算法的图像去噪方法

利用局部线性嵌入算法进行图像去噪时,如果局部近邻样本呈现非线性关系,图像去噪效果会受到影响。针对该问题,提出基于核局部线性嵌入算法的图像去噪方法。通过非线性核函数将样本映射到高维线性空间,在高维空间运用局部线性嵌入算法进行图像去噪。实验结果表明,该方法能有效地对高维非线性图像进行去噪,性能优于中值滤波算法和局部线性嵌入算法。     

基于流形学习与特征融合的汉语方言辨识

提出了一种基于流形学习的特征提取方法,将流形学习有效地应用于汉语方言辨识。针对语音语谱特征空间维数较高的问题,利用局部线性嵌入（LLE）方法降维并与MFCC特征进行融合,融合结果作为新特征用于汉语方言辨识。仿真实验表明,LLE算法能够获取汉语方言的本征规律,融合后的特征能够有效地提高汉语方言辨识的正确识别率。     

基于Gabor小波和局部线性嵌入的人脸识别

提出了一种新的人脸识别算法。该算法采用Gabor小波和一种新颖的方式来提取人脸特征,利用局部线性嵌入（Locally Linear Embedding,LLE）算法来实现数据的非线性降维处理,最后训练基于欧式距离的最近邻分类器进行分类判决。在ORL人脸库中与PCA方法、Gabor小波+PCA方法和直接的LLE算法进行了实验比较,实验结果表明,提出的Gabor小波+LLE的方法具有更优的性能。