基于最大间距准则的局部图嵌入特征提取方法

针对局部线性嵌入(LLE)算法和最大间距准则(MMC)算法在特征提取问题中存在不足,提出一种有效的数据降维和分类方法--基于最大间距准则的局部图嵌入特征提取算法,并将其应用在人脸识别上.该算法在保持近邻的前提下,分别构造类内紧致图和类间惩罚图.首先在类内紧致图中利用线性重构的局部对称性找出高维数据空间中的非线性结构,使同类样本尽可能地聚集在一起;然后在类间惩罚图中使不同类别的样本尽可能分离;为了避免"小样本"问题,采用MMC的形式构造目标函数.在ORL,Yale和AR人脸图像库进行实验的结果表明,文中算法相对于DLA和LLE+LDA算法有较好的识别性能.     

基于最大间隔准则的鲁棒多流形判别局部图嵌入算法

针对现有的多流形人脸识别算法大多直接使用带有噪声的原始数据进行处理，而带有噪声的数据往往会对算法的准确率产生负面影响的问题，提出了一种基于最大间距准则的鲁棒多流形判别局部图嵌入算法（RMMDLGE/MMC）。首先，通过引入一个降噪投影对原始数据进行迭代降噪处理，提取出更加纯净的数据；其次，对数据图像进行分块，建立多流形模型；再次，结合最大间隔准则的思想，寻求最优的投影矩阵使得不同流形上的样本距离尽可能大，同时相同流形上的样本距离尽可能小；最后，计算待识样本流形到训练样本流形的距离进行分类识别。实验结果表明，与表现较好的最大间距准则框架下的多流形局部图嵌入算法（MLGE/MMC）相比，所提算法在添加噪声的ORL、Yale和FERET库上的分类识别率分别提高了1.04、1.28和2.13个百分点，分类效果明显提高。     

半监督类保持局部线性嵌入方法

为使局部线性嵌入（local linear embedding, LLE）这一无监督高维数据的非线性特征提取方法提取出的特征在分类或聚类学习上更优,提出一种半监督类保持局部线性嵌入(semi-supervised class preserving local linear embedding, SSCLLE)的非线性特征提取方法。该方法将半监督信息融入到LLE中,首先对标记样本近邻赋予伪标签,增大标记样本数量。其次,对标记样本之间的距离进行局部调整,缩小同类样本间距,扩大异类样本间距。同时在局部线性嵌入优化目标函数中增加全局同类样本间距和异类样本间距的约束项,使得提取出的低维特征可以确保同类样本点互相靠近,而异类样本点彼此分离。在一系列实验中,其聚类精确度以及可视化效果明显高于无监督LLE和现有半监督流特征提取方法,表明该方法提取出的特征具有很好的类保持特性。     

基于几何距离摄动的局部线性嵌入算法

传统局部线性嵌入(LLE)算法对近邻个数依赖性较强,不适用于处理稀疏数据源。针对该问题,提出一种基于几何距离摄动的LLE算法。通过线性块内的最大欧氏距离与测地距离之差构造几何摄动,描述流形数据的局部线性特性,对原始流形数据进行最大线性分块操作,保证局部模块的线性特性,并在每一个局部线性模块上应用LLE算法实现嵌入降维。实验结果表明,该算法能有效提高分类的平均准确率。     

应用于特征提取方法的模糊差分嵌入投影

局部线性嵌入(Locally linear embedding, LLE)算法对于分类的结果没有直接的关系。同时,该算法受不同表情、光照以及姿态等因素的影响,识别的效果会大大降低。为了能够很好地解决上 述问题,提出基于模糊的差分嵌入投影(Fuzzy difference embedding projection, FDEP)特征提取算法。FDEP算法首先在模糊数学的思想指导下,通过模糊隶属度（Fuzzy sets）的形式表示;然后分别构造模糊局部近邻图与模糊全局方差图来表征局部与全局结构信息,采用最大间距准则函数来构造目标函数避免“小样本”问题;最后,通过拉格朗日乘子解决约束条件下的优化问题。FDEP算法既可以最大化地模糊全局数据之间的非局部散度,又可以保持模糊近邻数据之间的内在联系。在ORL,Yale和AR人脸图像库的实验结果表明,FDEP算法具有较好的识别性能。     

基于局部Fisher准则判别投影的人脸识别算法

为了提取更真实的样本局部分布结构以及合理利用样本标签信息,提出局部Fisher准则判别投影的人脸识别算法。通过求解样本在总体下稀疏表示来自适应选择样本的近邻参数,以使样本间分布关系尽可能符合真实情况;在获取稀疏近邻结构的基础上,利用样本标签信息设计自定义的类内局部散度矩阵和类间局部散度矩阵,以使得在保留样本间近邻关系的同时提高样本标签信息带来的判别能力。该算法可以有效保持同类样本间的稀疏近邻关系,并且破坏非同类样本间的稀疏近邻结构。在Yale库、AR库以及Yale B库上的实验结果表明:与相关的人脸识别算法相比,该算法具有更高的人脸识别率,可以有效提升人脸识别算法的识别率。     

基于局部子域的最大间距判别分析

线性判别分析(LDA) 作为一种经典的特征提取方法被广泛地加以研究和运用, 然而LDA作为全局判别准则在一定程度上忽视了样本空间的局部结构和局部信息. 为此, 通过引入局部加权均值(LWM)并结合最大间距判别分析(MMC) 提出了具有一定局部学习能力的有监督的特征提取方法—–基于局部加权均值的最大间距判别分析(LBMMC). 算法结合了QR分解技术, 提高了其执行效率, 并通过在数据集上的测试结果表明了该算法的有效性.

     

一种用于人脸识别的监督局部线性嵌入算法及其改进

为了提高人脸识别算法的识别率,提出一种基于监督局部线性嵌入SLLE(Supervised Locally Linear Embedding)的人脸图像识别方法。对局部线性嵌入LLE(Locally Linear Embedding)算法进行改进:①计算低维嵌入时,给稀疏矩阵M先加上一个单位阵,然后再计算它的特征值和特征向量,较好地解决了矩阵奇异问题;②针对LLE算法非监督的缺陷,在构造邻域的时候,增加数据的类别信息,根据其所属类别来判断样本的近邻。在Yale和ORL人脸库上的实验结果表明,该算法能够有效地提高人脸识别的性能。     

扩大局部邻域的疏散嵌入算法

非线性流形学习降维方法已经被广泛应用到人脸识别、入侵检测以及传感器网络等领域。然而,能够有效处理稀疏数据的流形学习算法很少。基于局部线性嵌入（LLE）算法的思想框架,提出一种扩大局部邻域的稀疏嵌入算法,通过对局部区域信息加强,使得在样本较少的情况下,达到丰富重叠信息的目的。在稀疏的人工和人脸数据集上的实验结果表明,所提算法产生了较好的嵌入及分类结果。     

基于流形学习的“本质”维数估计

局部线性嵌入算法(LLE)是一种可以有效处理高维流形的非线性降维方法.提出一种基于全局保持的局部线性嵌入方法(GPLLE),其在保持高维流形局部近邻关系的同时,可以保证距离远的样本仍然较远,从而可以有效地解决LLE算法中存在的问题,即LLE只能保持高维流形的局部近邻关系,而无法确保距离远的样本不会靠近.更重要的是,GPLLE方法可以用来估计高维流形的“本质”维数.实验结果表明,在GPLLE估计的低维空间,相比LLE,GPLLE具有更好的分类性能.     

Feature Extraction Using Laplacian Maximum Margin Criterion

Feature extraction by Maximum Margin Criterion (MMC) can more efficiently calculate the discriminant vectors than LDA, by avoiding calculation of the inverse within-class scatter matrix. But MMC ignores the local structures of samples. In this paper, we develop a novel criterion to address this issue, namely Laplacian Maximum Margin Criterion (Laplacian MMC). We define the total Laplacian matrix, within-class Laplacian matrix and between-class Laplacian matrix by using the similar weight of samples to capture the scatter information. Laplacian MMC based feature extraction gets the discriminant vectors by maximizing the difference between between-class laplacian matrix and within-class laplacian matrix. Experiments on FERET and AR face databases show that Laplacian MMC works well.     

基于加权最大类间边缘准则的人脸识别

在人脸识别中,特征提取技术被广泛应用于减少数据量和增强数据可分性。该文依据最大类间边缘准则,提出一种加权最大类间边缘准则的特征提取方法,引入加权函数,对类内和类间散布矩阵分别进行加权。并设计了一个基于离散小波分解、主成分分析和加权最大类间边缘准则的人脸识别系统。在ORL人脸库上的测试结果证实,该方法提高了识别率,最高识别率达98.25%。     

基于模糊最大间距准则的人脸特征提取方法

在最大间距准则算法中引入模糊化思想,提出了基于模糊最大间距准则（FMMC）的人脸识别算法.首先讨论图像对各个类别的隶属程度,并重新定义了类内和类间离散度矩阵;然后利用模糊最大间距准则得到最优投影变换矩阵;最后将原始训练样本数据投影到一个相对低维的特征空间,从而完成对训练样本数据的特征提取.在ORL和Yale标准人脸库上的实验结果表明,文中提出的模糊最大间距准则特征提取方法用于人脸识别具有较高的识别率.     

一种高效的高维异常数据挖掘算法

针对高维异常数据的挖掘问题,提出一种基于最大间隔准则和最小最大概率机的高维异常数据挖掘算法。利用最大间隔准则算法将高维数据投影到低维特征空间,再利用最小最大概率机进行异常数据的挖掘。实验结果表明,该算法检测准确率较高。     

最大间距准则与局部保持结合的特征提取方法

利用最大间距准则（MMC）寻求一组最佳鉴别矢量,使投影变化后的特征空间的类间散度最大,类内散度最小,并克服小样本问题。与原MMC相比,新特征提取方法通过对原来的散度加乘权重及对参数的调整,能够在特征提取的同时更好地保持人脸图像的局部流形结构。在ORL人脸库上的实验结果表明,该方法能够更为有效地识别人脸图像,提高识别率。     

间距判别投影及其在表情识别中的应用

针对全局降维方法判别信息不足,局部降维方法对邻域关系的判定存在缺陷的问题,提出一种新的基于间距的降维方法——间距判别投影（MDP）。首先,根据类的中心均值的异类近邻关系定义描述类边缘的边界向量;在这个基础上,MDP重新定义类间离散度矩阵,同时,使用全局的方法构造类内离散度矩阵;然后,MDP借鉴判别分析思想建立衡量类间距的准则,并通过类间距最大化增强样本在投影空间中的可分性。对MDP在人脸表情数据库JAFFE和Extended Cohn-Kanade上进行表情识别实验,并且跟传统的降维方法主成分分析（PCA）、最大间距准则（MMC）和边界Fisher分析（MFA）进行对比,实验结果表明,所提算法能够有效提取更具区分性的低维特征,比其他几种方法分类精度更高。     

基于改进二维保局投影算法的人脸识别

传统的二维保局投影(2DLPP)算法未考虑样本邻域间局部信息,并且所提取的特征矩阵分量间存在相关性。针对该问题,提出基于大间距准则的最小相关性监督2DLPP算法。引入类间局部散度矩阵和类内局部散度矩阵,最大化带权的散度矩阵迹差,以增大样本类间散度,减小样本类内散度,从而更好地刻画数据的流形结构。计算所提取特征矩阵各分量间的协方差矩阵,通过最小相关性分析,减少特征信息的冗余。在Yale和ORL人脸库上进行仿真实验,结果显示,当训练样本数为5时,该算法的最高识别率分别为92.5%和96.2%,与传统2DLPP算法、二维主成分分析法、二维线性判别分析法和二维大间距准则法相比,识别率均有所提高。同时对不同训练样本数下识别率均值和方差进行分析,验证了算法的稳定性。     

Orthogonal neighborhood preserving projections: a projection-based dimensionality reduction technique

This paper considers the problem of dimensionality reduction by orthogonal projection techniques. The main feature of the proposed techniques is that they attempt to preserve both the intrinsic neighborhood geometry of the data samples and the global geometry. In particular we propose a method, named Orthogonal Neighborhood Preserving Projections, which works by first building an "affinity" graph for the data, in a way that is similar to the method of Locally Linear Embedding (LLE). However, in contrast with the standard LLE where the mapping between the input and the reduced spaces is implicit, ONPP employs an explicit linear mapping between the two. As a result, handling new data samples becomes straightforward, as this amounts to a simple linear transformation.We show how to define kernel variants of ONPP, as well as how to apply the method in a supervised setting. Numerical experiments are reported to illustrate the performance of ONPP and to compare it with a few competing methods.     

基于Gabor小波和局部线性嵌入的人脸识别

提出了一种新的人脸识别算法。该算法采用Gabor小波和一种新颖的方式来提取人脸特征,利用局部线性嵌入（Locally Linear Embedding,LLE）算法来实现数据的非线性降维处理,最后训练基于欧式距离的最近邻分类器进行分类判决。在ORL人脸库中与PCA方法、Gabor小波+PCA方法和直接的LLE算法进行了实验比较,实验结果表明,提出的Gabor小波+LLE的方法具有更优的性能。