基于最大散度差鉴别准则的自适应分类算法

首先证明了,当类内散布矩阵非奇异时,特定参数值c0下最大散度差的最优鉴别方向等同于Fisher最优鉴别方向;其次,给出了最大散度差分类算法的识别率随参数C变化的曲线.该曲线通常为一脉冲曲线.随着参数C的增大,识别率也逐渐增大.当参数C增大到c0时,识别率达到最大值.另外,以往的研究成果表明:当类内散布矩阵奇异时,最大散度差鉴别准则逐步逼近大间距线性投影准则.而且,随着参数C的不断增大,最大散度差分类算法的识别率也单调增大并最终稳定到大间距线性投影分类算法的识别率上.为此,我们提出了基于最大散度差鉴别准则的自适应分类算法.新算法可以根据训练样本的特性(类内散布矩阵是否奇异)自动选择恰当的参数C.在UCI机器学习数据库上的6个数据集以及AR人脸图像数据库上的测试结果表明,自适应最大散度差分类算法具有良好的分类性能.     

最大散度差和大间距线性投影与支持向量机

首先对Fisher鉴别准则作了必要的修正,并基于新的鉴别准则设计了最大散度差分 类器;然后探讨了当参数C趋向无穷大时,最大散度差分类器的极限情况,得到了大间距线 性投影分类器;最后通过分析说明,大间距线性投影分类器实际上是在模式样本线性可分的条 件下,线性支持向量机的一种特殊情况.在ORL和NUST603人脸库上的测试结果表明,最 大散度差分类器和大间距线性投影分类器可以与线性支持向量机、不相关线性鉴别分析相媲 美,优于Foley-Sammon鉴别分析方法.     

Fisher大间距线性分类器

作为一种著名的特征抽取方法,Fisher线性鉴别分析的基本思想是选择使得Fisher准则函数达到最大值的向量(称为最优鉴别向量)作为最优投影方向,以便使得高维输入空间中的模式样本在该向量投影后,在类间散度达到最大的同时,类内散度最小。大间距线性分类器是寻找一个最优投影矢量(最优分隔超平面的法向量),它可使得投影后的两类样本之间的分类间距(Margin)最大。为了获得更佳的识别效果,结合Fisher线性鉴别分析和大间距分类器的优点,提出了一种新的线性投影分类算法——Fisher大间距线性分类器。该分类器的主要思想就是寻找最优投影矢量wbest(最优超平面的法向量),使得高维输入空间中的样本模式在wbest上投影后,在使类间间距达到最大的同时,使类内离散度尽可能地小。并从理论上讨论了与其他线性分类器的联系。在ORL人脸库和FERET人脸数据库上的实验结果表明,该线性投影分类算法的识别率优于其他分类器。     

一种新的基于最大散度差准则的特征抽取方法

本文基于最大散度差准则（MSDC），利用统计不相关投影空间，提出了一组具有统计不相关性的最佳鉴别矢量的计算方法。该方法的目标是寻求一组鉴别矢量集，既要使投影后的特征空间的类间散度最大，而类内散度最小；又要使最佳鉴别矢量之间具有统计不相关性。另外，本文还揭示了最大散度差鉴别准则与Fisher准则的内在关系。在ORL与NUST603人脸库上的实验结果表明，本文所提出的方法在识别性能上优于原MSDC特征抽取方法与传统的PCA方法。     

基于加权不相关鉴别分析的人脸识别

提出了一种基于加权不相关鉴别分析的人脸识别方法。该方法引入了一种新的权函数对Fisher准则加权,以改善样本在低维线性空间中的可分性;然后,以给出的加权Fisher准则为目标函数,在共轭正交的约束下求解其最佳投影方向,从而保证所提取的最佳鉴别特征之间的统计不相关性。实验结果表明,与经典的特征脸方法和Fisher脸方法相比,该方法对光照变化、表情变化以及时间变化等不敏感,具有更好的鲁棒性。     

基于多类最大散度差的人脸表示方法

将用于两类分类的最大散度差鉴别准则推广为多类最大散度差鉴别准则,并建立了基于该准则的一种新的人脸表示方法.基于多类最大散度差鉴别准则的人脸表示方法有效避免了传统鉴别分析方法在人脸特征提取时通常面临的小样本模式识别问题.在国际标准人脸图像数据库ORL、Yale以及FERET上的实验结果表明,与Fisherfaces、Eigenfaces、正交补空间、零空间等人脸特征提取方法相比,新的人脸表示方法具有一定的优势.     

文本分类中一种基于核的最大散度差特征抽取方法

研究了一种基于核的最大散度差准则的文本特征抽取方法。首先回顾了文本分类中特征降维的主要方法、Fisher准则及其相关研究进展以及存在的问题;然后分析了基于散度差准则的线性鉴别方法的优点与不足,借助于核函数较好地解决了线性可分性较差的样本分类问题,在最低限度减少信息损失的前提下实现了特征维数的大幅度减缩。实验结果表明,该方法在文本分类上的效果较好。     

一种基于核的最大散度差特征抽取方法*

研究了一种基于核的最大散度差准则的文本特征抽取方法。首先回顾了文本分类中特征降维的主要方法、Fisher准则及其相关研究进展以及存在的问题;然后分析了基于散度差准则的线性鉴别方法的优点与不足,借助于核函数较好地解决了线性可分性较差的样本分类问题,在最低限度减少信息损失的前提下实现了特征维数的大幅度减缩。实验结果表明,该方法在文本分类上的效果较好。     

基于保持投影的最大散度差的特征抽取方法

对非监督鉴别投影(UDP)准则进行修正,并在修正的准则基础上提出基于保持投影的最大散度差的特征抽取方法.该方法利用非局部散度与局部散度之差作为鉴别准则,从而避免UDP线性鉴别分析中所遇到的小样本问题引起的局部散度矩阵奇异的问题.在标准人脸数据库Yale和FERET上进行实验,实验结果表明本文方法的有效性.     

一种改进Fisher准则的线性鉴别分析方法

目前线性鉴别分析以Fisher准则或是逐对类加权Fisher准则为依据,但前者不能限制离群类,后者计算量大,鉴于此,提出一种改进Fisher准则用于线性鉴别分析。回顾了Fisher准则和逐对类加权Fisher准则,指出其中问题产生的根本原因。提出类距离和类离群程度的定义,以类距离为依据判定各类离群程度,以类离群程度为参数赋予各类权值,重新计算总体类均值和类间离散度矩阵,以得到限制离群类、突出常规类的改进Fisher准则。这种改进Fisher准则计算简单,能有效限制离群类。     

Large margin linear projection and face recognition

Unlike linear discriminant analysis, the large margin linear projection (LMLP) classifier presented in this paper, which also roots in linear Fisher discriminant, takes full advantage of the singularity of within-class scatter matrix, and classifies projected points in one-dimensional space by itself. Theoretical analysis and experimental results both reveal that LMLP is well suited for high-dimensional small-sample pattern recognition problems such as face recognition.     

Learning the kernel matrix by maximizing a KFD-based class separability criterion

The advantage of a kernel method often depends critically on a proper choice of the kernel function. A promising approach is to learn the kernel from data automatically. In this paper, we propose a novel method for learning the kernel matrix based on maximizing a class separability criterion that is similar to those used by linear discriminant analysis (LDA) and kernel Fisher discriminant (KFD). It is interesting to note that optimizing this criterion function does not require inverting the possibly singular within-class scatter matrix which is a computational problem encountered by many LDA and KFD methods. We have conducted experiments on both synthetic data and real-world data from UCI and FERET, showing that our method consistently outperforms some previous kernel learning methods.     

Feature Extraction Method Based on the Generalised Fisher Discriminant Criterion and Facial Recognition

In this paper we view the optimal set of discriminant vectors as a global transform, and consider its separability from a global view point. Based on this idea, the concept of a generalised Fisher discriminant criterion and that of a generalised optimal set of discriminant vectors is introduced. After that, a new algorithm is given to calculate the generalised optimal set of discriminant vectors defined in this paper, which is particularly suited to the case of a small number of samples where the scatter matrix is singular. It is then applied to an experiment on human facial recognition, and the results show that the new algorithm is superior to existing methods in terms of correct classification rate.     

新的非线性鉴别特征抽取方法及人脸识别

在非线性空间中采用新的最大散度差鉴别准则,提出了一种新的核最大散度差鉴别分析方法.该方法不仅有效地抽取了人脸图像的非线性鉴别特征,而且从根本上避免了以往核Fisher鉴别分析中训练样本总数较多时,通常存在的核散布矩阵奇异的问题,计算复杂度大大降低,识别速度有了明显的提高.在ORL人脸数据库上的实验结果验证了该算法的有效性.     

基于大间距准则的不相关保局投影分析

局部保持投影(Locality preserving projections,LPP)算法只保持了目标在投影后的邻域局部信息,为了更好地刻画数据的流形结构, 引入了类内和类间局部散度矩阵,给出了一种基于有效且稳定的大间距准则(Maximum margin criterion,MMC)的不相关保局投影分析方法.该方法在最大化散度矩阵迹差时,引入尺度因子α,对类内和类间局部散度矩阵进行加权,以便找到更适合分类的子空间并且可避免小样本问题; 更重要的是,大间距准则下提取的判别特征集一般情况下是统计相关的,造成了特征信息的冗余, 因此,通过增加一个不相关约束条件,利用推导出的公式提取不相关判别特征集, 这样做, 对正确识别更为有利.在Yale人脸库、PIE人脸库和MNIST手写数字库上的测试结果表明,本文方法有效且稳定, 与LPP、LDA (Linear discriminant analysis)和LPMIP(Locality-preserved maximum information projection)方法等相比,具有更高的正确识别率.