核零空间线性鉴别分析及其在人脸识别中的应用

零空间线性鉴别分析NLDA充分利用样本总类内离散度矩阵的零空间信息,能有效克服线性鉴别分析LDA的小样本问题.核方法通过非线性映射,将输入空间样本映射到高维特征空间,再在高维特征空间利用线性特征提取算法.因此,核方法属于非线性特征提取算法.文中结合LDA、NLDA和核方法的优点,引入了核零空间线性鉴别分析KNLDA,导出了KNLDA算法.该算法通过引入核函数,得到低维矩阵,有效避免了直接计算复杂的非线性映射函数,解决了高维类内离散度矩阵的维数灾难问题.同时,将KNLDA算法应用于人脸识别.基于ORL人脸数据库以及ORL与Yale混合人脸数据库的实验结果表明了KNLDA算法的有效性.     

一种新颖的核鉴别通用矢量集算法

为了进一步增强鉴别通用矢量集算法的性能,提出一种核鉴别通用矢量集算法.首先利用核函数将原始样本隐式地映射到高维特征空间;然后在高维特征空间里利用再生核理论建立鉴别通用矢量集算法的等价求解模型;最后根据新的求解模型,应用二次Gram-Schmidt正交化方法求出核类内零空间中的鉴别矢量集.在人脸库上的实验结果验证了文中算法的有效性.     

一种改进的核特征抽取方法及其在人脸识别中的应用

首先利用核函数技术将原始样本隐式地映射到高维特征空间;然后在高维空间里利用再生核理论建立基于Fisher鉴别极小准则的2个等价模型;最后在该空间的核类间散布矩阵的非零空间和零空间中应用Fisher极小鉴别准则求取核鉴别矢量.在人脸库上的实验结果验证了该算法的有效性.     

核的正交完备鉴别局部保持投影

针对完备鉴别局部保持投影算法所求得的最优判别矢量间存在信息冗余问题,提出了核的正交完备鉴别局部保持投影算法。通过将核函数技术与正交性原理融合,采用高斯核函数将原始样本映射到高维特征空间,在高维特征空间的局部总体散度矩阵中计算最优判别矢量,只需在整个范围内对值域空间进行特征值分解,去除局部零空间达到样本降维目的。该算法分别在 UMIST 人脸库和 JAFFE 人脸表情库上进行实验,实验结果表明算法的识别率高达95．59％。     

I-VLDNS:一种改进的线性判别子空间模式识别算法

针对现有模式判别分析方法中普遍存在的子空间优化与"小样本"问题,首先剖析总体、类内以及类间三种散布矩阵的零空间的物理含义,深入阐释有效零空间与有效线性判别零空间核心原理;其次,研究始空间中总体、类间散布矩阵与有效零空间、有效值域空间上的总体、类间散布矩阵关于特征值与特征向量之间的关联关系,并且获取类内散布矩阵零空间、值域空间上关于Fisher线性判别率的关键结论;最后,基于有效线性判别零空间理论,设计出一种改进的线性判别子空间模式识别算法,即I-VLDNS。通过相关数据集模拟实验表明,I-VLDNS算法在模式识别分析性能、精确度以及鲁棒性上均得到进一步优化与提高。     

L_(2,1)范数正则化的不相关判别分析及其在人脸识别中的应用

对高维数据降维并选取有效特征对分类起着关键作用。针对人脸识别中存在的高维和小样本问题,从特征选取和子空间学习入手,提出了一种L_(2,1)范数正则化的不相关判别分析算法。该算法首先对训练样本矩阵进行奇异值分解;然后通过一系列变换,将原非线性的Fisher鉴别准则函数转化为线性模型;最后加入L_(2,1)范数惩罚项进行求解,得到一组最佳鉴别矢量。将训练样本和测试样本投影到该低维子空间中,利用最近欧氏距离分类器进行分类。由于加入了L_(2,1)范数惩罚项,该算法能使特征选取和子空间学习同时进行,有效改善识别性能。在ORL、YaleB及PIE人脸库上的实验结果表明,算法在有效降维的同时能进一步提高鉴别能力。     

完全判别分析

针对现有的线性判别分析算法中存在的降维舍弃空间的判别信息丢失问题,以及秩空间和零空间的判别信息难以兼顾的问题,本文提出了一种完全判别分析算法.算法通过新构建一个子空间以及其中的判别矩阵,实现了可以充分使用全空间的判别信息;且新空间的维数较低,算法流程简单,计算代价较小.相关实验结果证实了本文算法较传统判别分析算法有更好的性能和效率.     

基于力场收敛特征的多姿态人耳识别*

提出了一种通过提取力场收敛特征进行多姿态人耳识别的新方法。首先把人耳图像转换为力场图像,通过计算力场的散度得到人耳收敛特征,然后使用零空间线性判别分析算法进一步提取特征并分类识别。实验结果表明,力场收敛特征比最初基于力场变换的势能阱特征更为稳定,而零空间线性判别分析方法也优于传统的主元分析降维方法,更好地解决了小样本问题,识别率得到进一步提高。该方法能够有效识别多姿态人耳图像。     

核诱导距离度量的鲁棒判别分析

提出了基于核诱导距离度量的鲁棒判别分析算法(robust discriminant analysis based on kernel-induced distance measure,KI-RDA)。KI-RDA不仅自然地推广了线性判别分析(linear discriminant analysis,LDA),而且推广了最近提出的强有力的基于非参数最大熵的鲁棒判别分析(robust discriminant analysis based on nonparametric maximum entropy,MaxEnt-RDA)。通过采用鲁棒径向基核,KI-RDA不仅能有效处理含噪数据,而且也适合处理非高斯分布的非线性数据,其本质的鲁棒性归咎于KI-RDA通过核诱导的非欧距离代替LDA的欧氏距离来刻画类间散度和类内散度。借助这些散度,为特征提取定义类似LDA的判别准则,导致了相应的非线性优化问题。进一步借助近似策略,将优化问题转化为直接可解的广义特征值问题,由此获得降维变换(矩阵)的闭合解。最后在多类数据集上进行实验,验证了KI-RDA的有效性。由于核的多样性,使KI-RDA事实上成为了一个一般性判别分析框架。     

L_(2,1)范数正则化的广义核判别分析及其人脸识别

特征选取和子空间学习是人脸识别的关键问题。为更准确选取人脸中丰富的非线性特征,并解决小样本问题,提出了一种新的L_(2,1)范数正则化的广义核判别分析(generalized kernel discriminant analysis based on L_(2,1)-norm regularization,L21GKDA)。利用核函数将原始样本隐式地映射到高维特征空间中,得到广义核Fisher鉴别准则,再利用一种有效变换将该非线性模型转化为线性回归模型;为了能使特征选取和子空间学习同时进行,在模型中加入了一种L_(2,1)范数惩罚项,并给出该正则化方法的求解算法。因为方法借助于L_(2,1)范数惩罚项的特征选取能力,所以它能有效地提高识别率。在ORL、AR和PIE人脸库上的实验结果表明,新算法能有效选取人脸的非线性特征,提高判别能力。     

Kernel clustering-based discriminant analysis

In this paper, a kernelized version of clustering-based discriminant analysis is proposed that we name KCDA. The main idea is to first map the original data into another high-dimensional space, and then to perform clustering-based discriminant analysis in the feature space. Kernel fuzzy c-means algorithm is used to do clustering for each class. A group of tests on two UCI standard benchmarks have been carried out that prove our proposed method is very promising.     

局部Fisher判别分析算法及仿真研究*

复杂化工过程常被多种类型的故障损坏,正常的训练数据无法建立准确的操作模型。为了提高复杂化工过程中故障的检测和分类能力,传统无监督Fisher判别分析(Fisher Discriminant Analysis,FDA)算法无法在多模态故障数据中的应用,本文提出基于局部Fisher判别分析(Local Fisher Discriminant Analysis,LFDA)的故障诊断方法。首先计算训练数据的局部类内和类间离散度矩阵,寻找LFDA的投影方向;其次把训练数据和测试数据向投影向量上投影,提取特征向量;最后计算特征向量间的欧氏距离,运用KNN分类器进行分类。把提出的LFDA方法应用到Tennessee Eastman(TE)过程,监控结果表明,LFDA的效果好于FDA和核Fisher判别分析(Kernel Fisher Discriminant Analysis,KFDA),说明LFDA方法在分类及检测不同类的故障方面具有高准确性及高灵敏度的优势。     

A novel method for Fisher discriminant analysis

A novel model for Fisher discriminant analysis is developed in this paper. In the new model, maximal Fisher criterion values of discriminant vectors and minimal statistical correlation between feature components extracted by discriminant vectors are simultaneously required. Then the model is transformed into an extreme value problem, in the form of an evaluation function. Based on the evaluation function, optimal discriminant vectors are worked out. Experiments show that the method presented in this paper is comparative to the winner between FSLDA and ULDA.     

基于PCA和LDA统一化原理的增强型线性鉴别分析准则

主分量分析(PCA)和线性鉴别分析(LDA)是模式识别领域的使用最为广泛的两种特征抽取方法,而在图像识别中经常采用的是PCA LDA方法来代替单纯的LDA。本文提出一种增强型线性鉴别准则(ELDA),将PCA的优点和LDA的优点充分地融合在一起,不仅解决了PCA过程中使用最小距离方法时识别精度相对低的缺点,而且解决了LDA过程中当类内散布矩阵奇异时投影向量的求解问题,也就是说可以使用该方法来替代PCA LDA的两步骤方法。另外,该方法在识别精度上比PCA和LDA或PCA LDA方法都有较大的提高,通过在ORL、Yale和NUST603人脸库上的实验验证了该算法的有效性。     

A note on kernel uncorrelated discriminant analysis

In this paper, we give a theoretical analysis on kernel uncorrelated discriminant analysis (KUDA) and point out the drawbacks underlying the current KUDA algorithm which was recently introduced by Liang and Shi [Pattern Recognition 38(2) (2005) 307-310]. Then we propose an effective algorithm to overcome these drawbacks. The effectiveness of the proposed method was confirmed by experiments.     

基于双向2DLDA与LDA相结合的SAR目标识别算法

线性判决分析(LDA)用于图像特征提取时,存在着损失二维空间结构信息、计算复杂度大的缺点。二维线性判决分析(2DLDA)弥补了LDA的缺点,但2DLDA仅消除了图像各列间的相关性,所提取的图像特征维数仍然较大。为解决上述问题,采用双向2DLDA与LDA相结合的特征提取算法对图像的行和列同时进行压缩,减少特征矩阵维数,降低计算量。实验结果表明,所提出的SAR(Synthetic Aperture Radar)图像目标识别方法有效地降低了图像数据维数,提高了识别率,并克服了方位角变化对识别结果的影响。     

Bayes判别分析在基于儿茶酚胺的阿尔茨海默病预测研究中的应用

利用判别分析方法通过对测量的12个阿尔茨海默氏症(Alzheimer’s disease,AD)患者和12个健康者的尿液样本中儿茶酚胺(Catecholamines,CA)含量的测定及浓度作为训练集建立判别函数,进行疾病的诊断,交叉验证错误率为4.2%。采用随机余下的4个数据带入判别函数,进行预测,结果表明具有很好的预测能力,正确率达到了100%。此方法可以通过测量人体尿液中CA含量测定及浓度来诊断AD,对AD的尽早检测和早期治疗非常重要。2组线性判别函数分别为-19.91024+0.21873*E+0.23742*NE+0.11155*DOA+0.41789*L-DOPA-0.12661*DOPAC;-2.24864+0.03070*E+0.04914*NE+0 06892*DOA+0.01704*L-DOPA+0.01598*DOPAC。     

Two-dimensional locality preserving projections (2DLPP) with its application to palmprint recognition

This paper proposes a novel algorithm for image feature extraction, namely, the two-dimensional locality preserving projections (2DLPP), which directly extracts the proper features from image matrices based on locality preserving criterion. Experimental results on the PolyU palmprint database show the effectiveness of the proposed algorithm.     

From image vector to matrix: a straightforward image projection technique—IMPCA vs. PCA

The conventional principal component analysis (PCA) and Fisher linear discriminant analysis (FLD) are both based on vectors. Rather, in this paper, a novel PCA technique directly based on original image matrices is developed for image feature extraction. Experimental results on ORL face database show that the proposed IMPCA are more powerful and efficient than conventional PCA and FLD.     

基于线性投影分析和FCM动态聚类的人脸识别*

依据主成分分析方法(PCA)对图像具有很好的表达能力,即能很好地重构原图像,而线性鉴别分析(LDA)可使图像样本具有较高可分性的特点,提出对图像先进行PCA处理,再进行LDA处理,从而降低人脸特征维数并对人脸图像进行了特征提取;并提出用FCM动态聚类算法作为识别分类器,对人脸进行识别。实验和分析结果表明,在人脸识别中,这种融合PCA和LDA的分类方法能够更好地对特征进行提取,且FCM动态聚类分类器比K近邻判别分类器更具有灵活的分类能力。