基于双曲余弦矩阵鉴别分析的小样本问题研究

线性判别分析（LDA）是模式识别领域的一个经典方法,但是LDA难以克服小样本问题。针对LDA的小样本问题,提出一种双曲余弦矩阵鉴别分析方法（HCDA）。该方法首先给出了双曲余弦矩阵函数的定义及其特征系统,再利用双曲余弦矩阵函数特征系统的特点,将其引入Fisher准则中进行特征提取。HCDA有两方面的优势：a）避免了小样本问题,可以提取更多的鉴别信息;b）HCDA方法隐含了一个非线性映射。该映射具有扩大样本间距离的作用,并且对不同类别样本间距离的扩大尺度要大于同类别样本间距离的扩大尺度,从而更有利于模式分类。在手写数字库、手写字母图像库和Georgia Tech人脸图像库上的实验结果表明,相对于具有代表性的解决LDA小样本问题的方法,HCDA具有更好的识别性能。     

结合零空间法和F-LDA的人脸识别算法

线性判别分析（LDA）是一种常用的线性特征提取方法。传统LDA应用于人脸识别时主要存在两个问题：1）小样本问题,即由于训练样本不足引起矩阵奇异; 2)优化准则函数并不直接与识别率相关。提出了一种新的能同时解决以上两个问题的基于LDA的人脸识别算法。首先,通过重新定义样本的类内散布矩阵和类间散布矩阵,提出了一种新的零空间法。然后把这种新的零空间法与F LDA（Fractional LDA）算法相结合,得到一种对人脸识别更有效的特征提取方法。实验结果表明,这种新算法具有较高的识别率。     

基于SVM与非参数LDA 的雷达自动目标识别

针对非参数线性判别分析（LDA）的类间散布矩阵，就如何有效描述类边界结构这一问题，提出一种SVM与k近邻（kNN）法相结合的非参数类间散布矩阵构造方法——SVM—kNN．该方法消除了非类边界样本对类边界结构信息的扭曲．将SVM—kNN非参数LDA方法用于外场实测高分辨距离像的特征提取，并将识别结果与加权kNN非参数LDA法和谱域原空间法比较，结果表明，SVM—kNN非参数LDA方法能显著提高识别效率．     

利用标准化LDA进行人脸识别

线性判别分析（LDA）是一种较为普遍的用于特征提取的线性分类方法。提出一种基于LDA的人脸识别方法－－标准化LDA，该方法克服了传统LDA方法的缺点，重新定义了样本类间离散度矩阵，在原始定义的基础上增加一个由类间距离决定的可变权函数，使得在选择投地，能够更好地分开各个类的样本；同时，它采用一种合理而有效的方法解决矩阵奇异的问题，即保留样本类内离散度矩阵的零空间，因为这个空间包含了最具有判别能力的信息。在这个零空间里，寻找对应于样本类间离散度矩阵的较大特征值的特征向量作为最后降维的转换矩阵。实验结果显示，在人脸识别中，与传统LDA相比，该方法有更好的识别率。标准化LDA也可以用于其他图像识别问题。     

一种改进的线性判别分析法在人脸识别中的应用

提出了一种新的基于LDA的人脸识别算法。该方法重新定义了样本的类间散布矩阵，在原始的定义基础上增加了一种径向基函数（RBF）调节类间距离，使得在选择投影方向时能更好地分升各类样本；同时该方法存类间散布矩阵与类内散布矩阵的特征分解的基础上，通过变换求出符合Fisher准则的最优投影方向，可以证明这样得到的投影方向同时具有正交性与统计不相关性。通过ORL人脸数据库的数值实验，表明了该算法比传统算法有更好的性能。     

最大散度差鉴别分析及人脸识别

传统的Fisher线性鉴别分析(LDA)在人脸等高维图像识别应用中不可避免地遇到小样本问题。提出一种基于散度差准则的鉴别分析方法。与LDA方法不同的是,该方法利用样本模式的类间散布与类内散布之差而不是它们的比作为鉴别准则,这样,从根本上避免了类内散布矩阵奇异带来的困难。在ORL人脸数据库和AR人脸数据库上的实验结果验证算法的有效性。     

动态加权非参数判别分析

线性判别分析(LDA)是最经典的子空间学习和有监督判别特征提取方法之一.受到流形学习的启发,近年来众多基于LDA的改进方法被提出.尽管出发点不同,但这些算法本质上都是基于欧氏距离来度量样本的空间散布度.欧氏距离的非线性特性带来了如下两个问题:1)算法对噪声和异常样本点敏感;2)算法对流形或者是多模态数据集中局部散布度较大的样本点过度强调,导致特征提取过程中数据的本质结构特征被破坏.为了解决这些问题,提出一种新的基于非参数判别分析(NDA)的维数约减方法,称作动态加权非参数判别分析(DWNDA).DWNDA采用动态加权距离来计算类间散布度和类内散布度,不仅能够保留多模态数据集的本质结构特征,还能有效地利用边界样本点对之间的判别信息.因此,DWNDA在噪声实验中展现出对噪声和异常样本的强鲁棒性.此外,在人脸和手写体数据库上进行实验,DWNDA方法均取得了优异的实验结果.     

最大边际近邻线性判别分析

线性判别分析是特征提取的重要方法之一,但是定义散布矩阵时,容易产生误差导致数据分类不明确.提出一种新的子空间学习方法,最大边际近邻元判别分析方法,依据近邻元准则将数据样本投影到该子空间内并重新定义散布矩阵,从而构造新的目标函数.克服了传统的定义形式对于两类或多类的类别均值之间距离值相近时难以区分导致数据样本之间重叠或部分交叉的缺点,并解决了其本身具有的小样本问题.在标准的人脸数据库上进行试验,证明了所提方法的有效性.     

基于二维邻域保持判别嵌入的人脸识别

提出二维邻域保持判别嵌入(2DNPDE)算法,该算法是一种有监督的基于二维图像矩阵的特征提取算法.为表示样本的类内邻域结构和类间距离关系,分别构建类内邻接矩阵和类间相似度矩阵.2DNPDE所获得的投影空间不但使不同类数据点的低维嵌入相互分离,而且保留同类样本的邻域结构和不同类样本的距离关系.在ORL和AR人脸数据库上的实验表明,该算法具有更好的识别效果.     

一种基于Fisher鉴别极小准则的特征提取方法

特征提取是模式识别研究领域的一个热点．为了更好地解决人脸识别中的特征提取问题,定义了一种新的基于Fisher鉴别极小准则的特征提取方法,并且提出了类间散布矩阵零空间的概念,解决了先前Fisher线性变换方法中的最终特征维数受类别数的限制．在人脸数据库上的实验结果验证了该算法的有效性．     

A new hybrid feature extraction method in a dyadic scheme for classification of hyperspectral data

The feature extraction is an important preprocessing step of the classification procedure particularly in high-dimensional data with limited number of training samples. Conventional supervised feature extraction methods, for example, linear discriminant analysis (LDA), generalized discriminant analysis, and non-parametric weighted feature extraction ones, need to calculate scatter matrices. In these methods, within-class and between-class scatter matrices are used to formulate the criterion of class separability. Because of the limited number of training samples, the accurate estimation of these matrices is not possible. So the classification accuracy of these methods falls in a small sample size situation. To cope with this problem, a new supervised feature extraction method namely, feature extraction using attraction points (FEUAP) has been recently proposed in which no statistical moments are used. Thus, it works well using limited training samples. To take advantage of this method and LDA one, this article combines them by a dyadic scheme. In the proposed scheme, the similar classes are grouped hierarchically by the k-means algorithm so that a tree with some nodes is constructed. Then the class of each pixel is determined from this scheme. To determine the class of each pixel, depending on the node of the tree, we use FEUAP or LDA for a limited or large number of training samples, respectively. The experimental results demonstrate the better performance of the proposed hybrid method in comparison with other supervised feature extraction methods in a small sample size situation.     

半监督类保持局部线性嵌入方法

为使局部线性嵌入（local linear embedding, LLE）这一无监督高维数据的非线性特征提取方法提取出的特征在分类或聚类学习上更优,提出一种半监督类保持局部线性嵌入(semi-supervised class preserving local linear embedding, SSCLLE)的非线性特征提取方法。该方法将半监督信息融入到LLE中,首先对标记样本近邻赋予伪标签,增大标记样本数量。其次,对标记样本之间的距离进行局部调整,缩小同类样本间距,扩大异类样本间距。同时在局部线性嵌入优化目标函数中增加全局同类样本间距和异类样本间距的约束项,使得提取出的低维特征可以确保同类样本点互相靠近,而异类样本点彼此分离。在一系列实验中,其聚类精确度以及可视化效果明显高于无监督LLE和现有半监督流特征提取方法,表明该方法提取出的特征具有很好的类保持特性。     

基于半监督LDA特征子空间优化的人脸识别算法

人脸特征提取是人脸识别流程最重要的步骤,特征的好坏直接影响了识别效果。为了得到更好的人脸识别效果,需要充分利用样本的信息。为了充分利用训练样本和测试样本包含的信息,提出了利用样本散度矩阵将主成分分析PCA算法和线性判别分析LDA算法加权组合的半监督LDA（SLDA）特征提取算法。同时,受组合优化问题的启发,利用二进制遗传算法对半监督特征提取算法得到的特征空间进行优化。在ORL人脸数据库上的实验结果表明：与人脸识别经典算法和部分改进算法相比,SLDA算法获得了更高的识别率。     

Fisher大间距线性分类器

作为一种著名的特征抽取方法,Fisher线性鉴别分析的基本思想是选择使得Fisher准则函数达到最大值的向量(称为最优鉴别向量)作为最优投影方向,以便使得高维输入空间中的模式样本在该向量投影后,在类间散度达到最大的同时,类内散度最小。大间距线性分类器是寻找一个最优投影矢量(最优分隔超平面的法向量),它可使得投影后的两类样本之间的分类间距(Margin)最大。为了获得更佳的识别效果,结合Fisher线性鉴别分析和大间距分类器的优点,提出了一种新的线性投影分类算法——Fisher大间距线性分类器。该分类器的主要思想就是寻找最优投影矢量wbest(最优超平面的法向量),使得高维输入空间中的样本模式在wbest上投影后,在使类间间距达到最大的同时,使类内离散度尽可能地小。并从理论上讨论了与其他线性分类器的联系。在ORL人脸库和FERET人脸数据库上的实验结果表明,该线性投影分类算法的识别率优于其他分类器。     

基于边界判别投影的数据降维

为了提取具有较好判别性能的低维特征,提出了一种新的有监督的线性降维算法——边界判别投影,即,最小化同类样本间的最大距离,最大化异类样本间的最小距离,同时保持数据流形的几何形状.与经典的基于边界定义的算法相比,边界判别投影可以较好地保持数据流形的几何结构和判别结构等全局特性,可避免小样本问题,具有较低的计算复杂度,可应用于超高维的大数据降维.人脸数据集上的实验结果表明,边界判别分析是一种有效的降维算法,可应用于大数据上的特征提取.     

Feature Extraction Using Fractional-Order Embedding Direct Linear Discriminant Analysis

In this paper, a novel LDA-based dimensionality reduction method called fractional-order embedding direct LDA (FEDLDA) is proposed. More specifically, we redefine the fractional-order between-class and within-class scatter matrices which can significantly reduce the deviation of sample covariance matrices caused by the noise disturbance and limited number of training samples; then the novel feature extraction criterion based on the direct LDA (DLDA) and the idea of fractional-order embedding is applied. Experiments on AT&T, Yale and AR face image databases are performed to test and evaluate the effectiveness of the proposed algorithms. Extensive experimental results show that FEDLDA outperforms DLDA and other closely related methods in terms of classification accuracy and efficiency.     

WPCA-LDA:一种数据分类新方法

PCA（principal component analysis）是一种常用的特征提取方法,LDA（linear discriminant analysis）是一种常用的数据分类方法。然而,传统PCA投影数据没有区分数据的类标签,传统LDA投影数据没有消除数据间的相关性,分类效果都不理想。针对该问题进行研究,设计出了一种WPCA-LDA（weighted principal component analysis-linear discriminant analysis）分类方法。该方法首先对样本数据进行预处理,再运用数据中不同类别间的特征关系计算权值,对数据样本加权,之后用PCA进行特征提取,最后采用LDA方法对提取的特征分类。在Matlab仿真实验中,该方法能将六类样品清晰分开。实验结果表明：与传统的PCA、LDA和PCA-LDA分类方法相比,WPCA-LDA方法的数据分类效果更好。     

一种适用于小样本问题的基于边界的特征提取算法

特征提取技术是模式识别领域进行数据降维和强化判别信息的有效方法.线性判别分析是监督特征提取方法的典型代表,获得广泛应用,但受到小样本问题的制约.对此提出一种适用于小样本问题的基于边界的特征提取算法.算法利用高维数据小样本情况下线性可分概率增加以及其低维投影趋于正态分布的特点,定义了新的类别边界,不但考虑了由线性判别分析提出的类内、类间离散度,也兼顾各类别的方差差异性.通过极大化该边界获得最优投影向量,同时避免因类内离散度矩阵奇异导致的小样本问题.进一步将算法推广到多类问题.高光谱数据特征提取与分类实验表明,算法在小样本情况下对于两类和多类问题均具有良好的推广性能,优于多种线性判别分析的改进算法,并且在样本较多时也取得了满意结果.     

一种基于ICA和模糊LDA的特征提取方法

独立成分分析(ICA)和线性鉴别分析(LDA)是两种经典的特征提取方法.为了更好地解决人脸识别中的特征提取问题,在已有的两种方法进行特征抽取的基础上引入模糊技术,抽取重叠(离群)样本中有助于分类的特征.首先用ICA进行初次特征提取,然后采用模糊k近邻方法得到相应的样本分布信息,最后在此基础上用模糊LDA进行二次特征提取,得到有效的特征向量集.在3个人脸数据库上的实验结果表明本文方法的有效性.     

SVD与LDA相结合的人脸特征提取方法

提出一种新的SVD与LDA相结合的人脸特征提取方法.首先选用练训样本的均值图像作为标准图像,把训练样本投影到标准图像经奇异值分解产生的基空间中,其次提取投影系数矩阵左上角信息作为初步特征,最后再采用LDA分析方法降维提取最终的特征.该方法解决了奇异值分解用于人脸识别基空间不一致的固有缺陷,同时又增加的特征的类别信息,也避免了LDA的小样本问题.在ORL与CAS-PEAL人脸库的实验结果表明了该方法的有效性,同时对光照有一定的鲁棒性.