流形学习中基于局部线性结构的自适应邻域选择

近年来,流形学习成为包括机器学习、模式识别和计算机视觉等相关领域的研究热点.流形学习算法中,邻域选择直接关系到算法的性能,而传统的邻域选择算法如k近邻和ε邻域算法存在参数难以确定,所构建邻域不能反映流形学习算法对邻域要求等缺点.提出了一种基于流形局部线性结构的自适应邻域选择算法(ANSLL).首先通过分析现有流形学习算法,总结出构建邻域的两个基本原则:1)同一邻域的所有点都近似地位于某一d维线性子空间内(d为流形维数);2)每个邻域包含尽可能多的点.基于这两个基本原则,ANSLL 算法采用主成分分析技术(PCA)度量有限点集的线性程度,通过邻域压缩或扩张方式自适应地构建邻域.针对邻域线性结构的特点,还提出了一种改进的邻域图构建方法,以提高等度映射(Isomap)算法中测地线距离估计的准确性.最后大量系统的实验表明,ANSLL算法能够依据流形的局部曲率自适应地构建邻域,从而提高大多数流形学习算法(如Isomap和LLE)的性能.     

流形距离与压缩感知核稀疏投影的局部线性嵌入算法

流形学习算法的目的是发现嵌入在高维数据空间中的低维表示,现有的流形学习算法对邻域参数k和噪声比较敏感。针对此问题,文中提出一种流形距离与压缩感知核稀疏投影的局部线性嵌入算法,其核心思想是集成局部线性嵌入算法对高维流形结构数据的降维有效性与压缩感知核稀疏投影的强鉴别性,以实现高效有降噪流形学习。首先,在选择各样本点的近邻域时,采用流形距离代替欧氏距离度量数据间相似度的方法,创建能够正确反映流形内部结构的邻域图,解决以欧氏距离作为相似性度量时对邻域参数的敏感。其次,利用压缩感知核稀疏投影作为从高维观测空间到低维嵌入空间的映射,增强算法的鉴别性。最后,利用Matlab工具对实验数据集进行仿真,进一步验证所提算法的有效性。     

基于Grassmann流形的半监督图像集鉴别分析

提出了基于Grassmann流形的半监督图像集鉴别分析方法。该方法将子空间表示成Grassmann流形上的点,分别用一组单位正交基表示。通过Grassmann核函数,度量子空间的相似度。不同于其他基于Grassmann流形的图像集鉴别分析,引入图嵌入框架,通过保持数据局部邻域结构的同时,最大化不同类别数据的距离,得到最优投影矩阵,并在投影空间中进行图像集分类。采用半监督学习,对于未标记样本,根据其最近邻类别进行估计。实验表明,该方法取得了优于其他图像集识别算法的效果。     

多流形上的数据分类算法

与传统的基于流形的数据分类算法大都假设数据位于同一个流形上不同,假设多类数据分别位于不同的流形上。提出了一种基于多流形的数据分类算法,算法大致分为两步:学习过程和测试过程。学习过程采用线性流形学习方法获得训练数据的低维坐标和映射矩阵,测试阶段则利用嵌入空间中对应测试数据点与其k个邻域点的重构误差值来决定其类别。在人工合成数据和coil-20数据库上的实验都表明了该算法的有效性。     

基于局部邻域多流形度量的人脸识别

针对人脸识别中特征的提取,提出了一种基于局部邻域多流形度量的人脸识别方法。针对人脸识别的小样本问题,用特征脸对人脸图像预处理。对预处理后的人脸数据集中每个流形内的数据点采用欧氏距离来选择各数据点的近邻点,由此得到局部权重矩阵,并计算重构数据点与原始数据点之间的误差距离;同时,采用图像集建模流形,用affine hull表示流形对应的数据集信息,计算多流形间的距离度量矩阵。通过最大化流形间距离以及最小化数据点与重构数据点误差距离来寻找投影降维矩阵。在人脸数据集上的大量比较实验,验证了该方法的准确性和有效性。     

基于采样密度和流形弯曲度的动态邻域算法

针对流形学习的邻域优化问题,提出一种动态邻域的算法。基于局部采样密度和流形弯曲度估计切空间,并为所有样本点动态地选择邻域,其参数可通过计算残差自动确定。实验结果表明,将这种算法应用于ISOMAP后,邻域得到进一步优化,嵌入结果也更加准确。     

一种挖掘概念漂移数据流的选择性集成算法

提出一种挖掘概念漂移数据流的选择性集成学习算法。该算法根据各基分类器在验证集上的输出结果向量方向与参考向量方向之间的偏离程度,选择参与集成的基分类器。分别在具有突发性和渐进性概念漂移的人造数据集SEA和Hyperplane上进行实验分析。实验结果表明,这种基分类器选择方法大幅度提高了集成算法在处理概念漂移数据流时的分类准确性。使用error-ambiguity分解对算法构建的naive Bayes集成在解决分类问题时的性能进行了分析。实验结果表明,算法成功的主要原因是它能显著降低平均泛化误差。     

基于自适应切空间的MRI图像配准

微分同胚是一种光滑可逆的变换,在MRI图像配准中可以保证图像形变后的拓扑结构保持不变,同时避免出现不合理的物理现象。为了在空间变换中获得更合理的同胚映射,高维空间中数据的非线性结构被考虑,基于流形学习方法提出一种自适应切空间的MRI图像配准算法。首先,把MRI数据构造成对称正定（SPD）的协方差矩阵,然后形成李群;接着,利用样本点邻域的局部切空间来表示李群的几何结构的非线性;接下来,在流形上用自适应邻域选择的方法形成的线性子空间去逼近局部切空间,提高切空间的局部线性化程度,从而最大限度地保留流形的局部非线性结构,得到最优的同胚映射。仿真数据和临床数据的实验结果显示,与传统的非参数微分同胚配准算法相比,该算法在高维稠密形变场上获得更高的拓扑保持度,最终提高图像配准精度。     

一种改进的局部切空间排列算法

局部切空间排列(LTSA)算法是一种有效的流形学习算法,能较好地学习出高维数据的低维嵌入坐标。数据点的切空间在LTSA算法中起着重要的作用,其局部几何特征多是在样本点的切空间内表示。但是在实际中,LTSA算法是把数据点邻域的样本协方差矩阵的主元所张成的空间当做数据点的切空间,导致了在非均匀采样或样本邻域均值点与样本自身偏离程度较大时,原算法的误差增大,甚至失效。为此,提出一种更严谨的数据点切空间的计算方法,即数据点的邻域矩阵按照数据点本身进行中心化。通过数学推导,证明了在一阶泰勒展开的近似下,提出的计算方法所得到的空间即为数据点自身的切空间。在此基础上,提出了一种改进的局部切空间排列算法,并通过实验结果体现了该方法的有效性和稳定性。与已有经典算法相比,提出的计算方法没有增加任何计算复杂度。     

基于自适应稀疏邻域重构的无监督主动学习算法

在很多信息处理任务中,人们容易获得大量的无标签样本,但对样本进行标注是非常费时和费力的。作为机器学习领域中一种重要的学习方法,主动学习通过选择最有信息量的样本进行标注,减少了人工标注的代价。然而,现有的大多数主动学习算法都是基于分类器的监督学习方法,这类算法并不适用于无任何标签信息的样本选择。针对这个问题,借鉴最优实验设计的算法思想,结合自适应稀疏邻域重构理论,提出基于自适应稀疏邻域重构的主动学习算法。该算法可以根据数据集各区域的不同分布自适应地选择邻域规模,同步完成邻域点的搜寻和重构系数的计算,能在无任何标签信息的情况下较好地选择最能代表样本集分布结构的样本。基于人工合成数据集和真实数据集的实验表明,在同等标注代价下,基于自适应稀疏邻域重构的主动学习算法在分类精度和鲁棒性上具有较高的性能。     

自适应邻域选择的数据可分性降维方法

针对现有基于流形学习的降维方法对局部邻域大小选择的敏感性,且降至低维后的数据不具有很好的可分性,提出一种自适应邻域选择的数据可分性降维方法。该方法通过估计数据的本征维度和局部切方向来自适应地选择每一样本点的邻域大小;同时,使用映射数据时的聚类信息来汇聚相似的样本点,保证降维后的数据具有良好的可分性,使之实现更好的降维效果。实验结果表明,在人工生成的数据集上,新方法获得了较好的嵌入结果;并且在人脸的可视化分类和图像检索中得到了期望的结果。     

局部线性嵌入算法中参数的选取*

局部线性嵌入(LLE)算法是有效的非线性降维方法,时间复杂度低并具有强的流形表达能力.与其他降维方法相比,局部线性嵌入算法的优势在于只定义唯一的参数,即邻域数.因此算法的性能主要依靠此邻域参数的选取,这就产生问题:怎样选取邻域参数的最佳值.通过对两种自动选取最佳参数值的方法,即简单方法和分层方法进行试验比较与分析,归纳出在实践中确定邻域参数的启发式策略.     

Adaptive manifold learning

Manifold learning algorithms seek to find a low-dimensional parameterization of high-dimensional data. They heavily rely on the notion of what can be considered as local, how accurately the manifold can be approximated locally, and, last but not least, how the local structures can be patched together to produce the global parameterization. In this paper, we develop algorithms that address two key issues in manifold learning: 1) the adaptive selection of the local neighborhood sizes when imposing a connectivity structure on the given set of high-dimensional data points and 2) the adaptive bias reduction in the local low-dimensional embedding by accounting for the variations in the curvature of the manifold as well as its interplay with the sampling density of the data set. We demonstrate the effectiveness of our methods for improving the performance of manifold learning algorithms using both synthetic and real-world data sets.     

Dimensionality reduction-based spoken emotion recognition

To improve effectively the performance on spoken emotion recognition, it is needed to perform nonlinear dimensionality reduction for speech data lying on a nonlinear manifold embedded in a high-dimensional acoustic space. In this paper, a new supervised manifold learning algorithm for nonlinear dimensionality reduction, called modified supervised locally linear embedding algorithm (MSLLE) is proposed for spoken emotion recognition. MSLLE aims at enlarging the interclass distance while shrinking the intraclass distance in an effort to promote the discriminating power and generalization ability of low-dimensional embedded data representations. To compare the performance of MSLLE, not only three unsupervised dimensionality reduction methods, i.e., principal component analysis (PCA), locally linear embedding (LLE) and isometric mapping (Isomap), but also five supervised dimensionality reduction methods, i.e., linear discriminant analysis (LDA), supervised locally linear embedding (SLLE), local Fisher discriminant analysis (LFDA), neighborhood component analysis (NCA) and maximally collapsing metric learning (MCML), are used to perform dimensionality reduction on spoken emotion recognition tasks. Experimental results on two emotional speech databases, i.e. the spontaneous Chinese database and the acted Berlin database, confirm the validity and promising performance of the proposed method.     

基于重叠片排列的流形学习算法

针对线性数据降维算法对处理非线性结构数据的降维效果不是很好,提出一种基于重叠片排列的流形学习算法,该算法根据局部的线性贴片处在非线性流形中的特性,将流形划分为线性互相重叠的局部区域贴片,且利用主成分分析方法得到局部区域贴片的低维表示,然后排列且对齐其低维坐标,以获得整体数据的低维坐标.通过仿真结果证明,基于重叠片排列的流形学习算法在应用于人脸识别和分类问题时以及在识别准确率方面要优于其他经典的流形学习算法.     

基于最优密度方向的等距映射降维算法

等距映射算法(ISOMAP)是一种典型的非线性流形降维算法,该算法可在尽量保持高维数据测地距离与低维数据空间距离对等关系的基础上实现降维.但ISOMAP容易受噪声的影响,导致数据降维后不能保持高维拓扑结构.针对这一问题,提出了一种基于最优密度方向的等距映射(ODD–ISOMAP)算法.该算法通过筛选数据的自然邻居确定每个数据沿流形方向的最优密度方向,之后基于与各近邻数据组成的向量相对最优密度方向投影的角度、方向和长度合理缩放局部邻域距离,引导数据沿流形方向计算测地距离,从而降低算法对噪声的敏感度.为验证算法有效性,选取了2类人工合成数据和5类实测数据作为测试数据集,分别使用ISOMAP,LLE,HLLE,LTSA,LEIGS,PCA和ODD–ISOMAP算法对数据集降维,并对降维数据进行K-mediods聚类分析.通过比对聚类正确率以及不同幅度噪声对此正确率的影响程度评价各算法降维效果优劣.结果表明,ODD–ISOMAP算法较其他6种常见算法降维效果提升显著,且对噪声干扰有更强的抵抗能力.     

基于直接估计梯度思想的数据降维算法

高维非线性数据的降维处理对于计算机完成高复杂度的数据源分析是非常重要的。从拓扑学角度分析,维数约简的过程是挖掘嵌入在高维数据中的低维线性或非线性的流形。该文在局部嵌入思想的流形学习算法的基础上,提出直接估计梯度值的方法,从而达到局部线性误差逼近最小化,实现高维非线性数据的维数约简,并在Swiss roll曲线上采样测试取得了良好的降维效果。     

Incremental Laplacian eigenmaps by preserving adjacent information between data points

Traditional nonlinear manifold learning methods have achieved great success in dimensionality reduction and feature extraction, most of which are batch modes. However, if new samples are observed, the batch methods need to be calculated repeatedly, which is computationally intensive, especially when the number or dimension of the input samples are large. This paper presents incremental learning algorithms for Laplacian eigenmaps, which computes the low-dimensional representation of data set by optimally preserving local neighborhood information in a certain sense. Sub-manifold analysis algorithm together with an alternative formulation of linear incremental method is proposed to learn the new samples incrementally. The locally linear reconstruction mechanism is introduced to update the existing samples’ embedding results. The algorithms are easy to be implemented and the computation procedure is simple. Simulation results testify the efficiency and accuracy of the proposed algorithms.     

Global and local choice of the number of nearest neighbors in locally linear embedding

The crux in the locally linear embedding algorithm is the selection of the number of nearest neighbors k. Some previous techniques have been developed for finding this parameter based on embedding quality measures. Nevertheless, they do not achieve suitable results when they are tested on several kind of manifolds. In this work is presented a new method for automatically computing the number of neighbors by means of analyzing global and local properties of the embedding results. Besides, it is also proposed a second strategy for choosing the parameter k, on manifolds where the density and the intrinsic dimensionality of the neighborhoods are changeful. The first proposed technique, called preservation neighborhood error, calculates a unique value of k for the whole manifold. Moreover, the second method, named local neighborhood selection, computes a suitable number of neighbors for each sample point in the manifold. The methodologies were tested on artificial and real-world datasets which allow us to visually confirm the quality of the embedding. According to the results our methods aim to find suitable values of k and appropriated embeddings.     

一种邻域自适应半监督局部Fisher判别分析算法

针对利用局部化思想解决多模数据的判别分析问题时,根据经验对局部邻域大小进行全局统一设定无法体现局部几何结构的差异性的不足,提出一种邻域自适应半监督局部Fisher判别分析（neighborhood adaptive semi-supervised local Fisher discriminant analysis,NA-SELF）算法。该算法在半监督局部Fisher判别分析算法的基础上,结合马氏距离和余弦相似度确定初始近邻数,并根据样本空间概率密度估计调整近邻数。通过人工数据集和5组UCI标准数据集对该算法的特征降维性能进行验证,并与典型的维数约简算法和采用传统k近邻方法的判别分析算法进行比较,实验结果表明该算法具备更高的有效性。