LS-SVM的非线性特征提取新方法及与PCA的关系研究

提出一种基于最小二乘支持向量机(LS-SVM)的非线性特征提取新方法.先将线性特征提取公式表达成与LS-SVM回归算法中相同的形式;再根据SVM思想,将数据集由输入空间映射到高维特征空间,进而通过核技巧实现非线性特征提取.在理论上证明了所提特征提取方法的结果与PCA方法具有一致性,是传统PCA的一种对偶形式,更适合高维特征数据集的提取.最后,通过近红外光谱数据集特征提取实例验证了在上述条件下该方法的优越性.     

类依赖的线性判别分析

线性判别分析(LDA)是一种常用的特征提取方法,其目标是提取特征后样本的类间离散度和类内离散度的比值最大,即各类样本在特征空间中有最佳的可分离性.该方法利用同一个准则将所有类的样本投影到同一个特征空间中,忽略了各类样本分布特征的差异.本文提出类依赖的线性判别方法(Class-Specific LDA,CSLDA),对每一类样本寻找最优的投影矩阵,使得投影后能够更好地把该类样本与所有其他类的样本尽可能分开,并将该方法与经验核相结合,得到经验核空间中类依赖的线性判别分析.在人工数据集和UCI数据集上的实验结果表明,在输入空间和经验核空间里均有CSLDA特征提取后的识别率高于LDA.     

改进的线性判别分析算法

线性判别分析是一种有效的特征提取方法,但其存在两个缺陷：小样本问题和秩限制问题。为了解决上述问题,提出一种改进的线性判别分析算法ILDA。该方法引进类间离散度标量和类内离散度标量,通过求解样本各维的权值达到特征提取的目的。若干标准人脸数据集和人工数据集上的实验表明ILDA在特征提取方面的有效性。     

基于LDA和小波分解的肺音特征提取方法

针对用小波分解提取肺音特征后特征向量维数较高的问题,提出了一种结合线性判别分析和小波分解的肺音特征提取方法。在该方法中,首先对肺音信号进行小波分解,然后将小波分解得到的小波系数转化成小波能量特征向量,接着使用线性判别分析法对该特征向量进行降维处理,得到新的低维特征向量,最后用SVM对低维特征进行识别。在实验中,选取了三种肺音信号：正常肺音、爆裂音、哮鸣音,用所提出的方法将8维的小波能量特征降为2维特征,在2维特征上进行了分类识别,并和降维之前的结果进行了比较,实验结果表明利用线性判别分析对小波能量特征降维后极大地提高了识别精度。同时,和其他几种典型的肺音特征提取方法进行了比较,实验结果表明结合线性判别分析与小波分解的特征提取方法得到了更高的识别精度。     

SAR图像的快速核主成分分析识别方法

提出一种基于张量代数的核主成分分析方法来进行特征提取。该方法可以有效避免维数过高导致计算消耗过大,并合理利用已知训练样本的类别信息。算法先对每一类目标使用核主成分分析手段以形成其各自的特征空间;再通过张量积将所有的特征映射到一高维线性空间;随后直接在此空间上进行线性的主成分分析,即可构造出了适宜的特征空间。其既能有效反映各类样本特征,又能比直接使用核主成分的方法极大降低计算所需的消耗。目标识别实验表明,该方法与直接使用核主成分方法构造特征空间的方法进行比较,在保持识别效果的前提下,可以明显降低计算的消耗与存储的需求。     

结合优化MGFR与二维线性降维的特征提取算法

受限于人脸姿态、光照变化等因素,通过引入多通道Gaborface表征结合基于子空间的二维双向线性降维算法,提出了一种结合优化多通道Gaborface与二维线性降维的特征提取算法。首先,采用多通道Gaborface表征(MGFR)模型对样本集进行预处理,提取不同通道下的人脸Gabor特征表示并优化选取通道融合方式而组合成新特征;再引入样本间类别信息获得改进线性二维双向特征降维算法,从而对获得的人脸表示进行特征降维与提取;最终通过最近邻分类器得到分类结果。试验结果表明,通过在AR、ORL和YALE人脸库进行对比分析,改进算法对人脸姿态等变化具有较强的鲁棒性,且较其他算法表现出了较优的识别性能。     

基于零空间核判别分析的人脸识别

提取有效特征对高维数据的模式分类起着关键作用.零空间线性判别分析(null-space linear discriminant analysis,NLDA)在数据降维和特征提取上表现出较好的性能,但是该方法本质上仍是一种线性方法.为有效提取数据的非线性特征,提出了零空间核判别分析算法(null-space kernel discriminant analysis,NKDA)并将其应用于人脸识别.利用核函数将原始样本隐式地映射到高维特征空间后,采用一次瘦QR分解求核类内散布矩阵的零空间鉴别矢量集,最后再进行一次Cholesky分解求得具正交性的核空间鉴别矢量集.与NLDA相比,NKDA具有更好的识别性能且在大样本情况下也能应用.另外,基于NKDA,提出了增量NKDA算法,当增加新的训练样本时能正确地更新NKDA鉴别矢量集.在ORL库、Yale库和PIE子库上的实验结果表明了算法的有效性和效率,在有效降维的同时能进一步提高鉴别能力.     

基于子模式行列方向二维线性判别分析特征融合的特征提取

针对人脸识别中表情和光照变化引起的面部变化、灰度不均匀等识别问题,提出一种基于子模式行列方向二维线性判别分析(Sp-RC2DLDA)的特征提取方法。该方法通过对原图像进行子模式分块处理,能有效提取图像的局部特征,减少表情、光照变化的影响,通过把相同位置的子图像组成子样本集,合理利用了子块间的空间关系,进一步提高了识别率;同时,对各个子样本集分别利用行方向二维线性判别分析(2DLDA)和列方向扩展2DLDA(E2DLDA)进行特征抽取,得到互补的行、列方向子图像特征,并分别把子图像特征组合成原图像的特征矩阵,然后利用一种特征融合方法对行、列方向特征矩阵进行有效融合,对互补的特征空间进行融合有效地改善了识别性能;最后采用最近邻分类器进行人脸识别实验。在Yale及ORL人脸库上的实验结果表明,Sp-RC2DLDA有效地减少了表情和光照变化的影响,具有较好的鲁棒性。     

特征标记依赖自编码器的多标记特征提取方法

在多标记学习中,如何处理高维特征一直是研究难点之一,而特征提取算法可以有效解决数据特征高维性导致的分类性能降低问题。但目前已有的多标记特征提取算法很少充分利用特征信息并充分提取"特征-标记"独立信息及融合信息。基于此,提出一种基于特征标记依赖自编码器的多标记特征提取方法。使用核极限学习机自编码器将原标记空间与原特征空间融合并产生重构后的新特征空间。一方面最大化希尔伯特-施密特范数以充分利用标记信息;另一方面通过主成分分析来降低特征提取过程中的信息损失,结合二者并分别提取"特征-特征"和"特征-标记"信息。通过在Yahoo多组高维多标记数据集上的对比实验表明,该算法的性能优于当前五种主要的多标记特征提取方法,验证了所提算法的有效性。     

基于核Fisher判别分析的意识任务识别新方法

提出一种新的基于核Fisher判别分析的意识任务识别新方法。该方法首先通过核函数建立一个非线性映射，把原空间的样本点投影到一个高维特征空间，然后在特征空间应用线性Fisher判别。利用不同意识任务生成的脑电数据对KFDA和FDA进行比较，最后用线性支持向量机进行分类和识别，并与非线性支持向量机进行了比较，结果表明KFDA的识别率明显优于后二者。     

基于近红外光谱的柴油凝点计算机软测量法

柴油是重要的石油化工产品,凝点是确定其品质的主要理化指标,但传统测定方法周期长、费用高,且易受人为的影响。本文提出一种用近红外光谱(NIRS)分析技术的柴油凝点软测量方法。先用多项式卷积为原始的柴油MR光谱数据作光谱平滑、基线校正和标准归一化;然后,利用主元分析(PCA)组合近红外光谱数据集的高维特征并向低维空间投影,降低输入维数,提高各维特征的敏感性;最后,用最小二乘支持向量机(LS-SVM)回归算法建立凝点的软测量模型。用一个含120个样本的401维柴油近红外全光谱数据集建模和检验,通过PCA后,全光谱数据集的特征降到了6维,并保留了99.6%的信息。进一步的实验表明,采用PCA提取特征做软测量建模的性能,要普遍优于直接作用在光谱波长域的方法。与BP、PCA BP及PCA SVM方法相比,所提方法建立的柴油凝点软测量模型测量精度更高,且与标准方法测量的结果更为接近,因此,又为柴油凝点的在线测定提供一种新方法。     

一种组合特征抽取的新方法

该文提出了一种基于特征级融合的特征抽取新方法，首先，给出了一种合理的特征融合策略，即利用复向量给出组合特征的表示，将特征空间从实向量空间拓广到复向量空间，然后，发展了具有统计不相关性的鉴别分析的理论，并将其用于复向量空间内最优鉴别特征的抽取，最后，在Concordia大学的CENPARMI手写体阿拉伯数字数据库以及南京理工大学NUST603HW手写汉字库上的试验结果表明，所提出的组合特征抽取方法不仅具有很强的维数压缩能力，而且较大幅度地提高了识别率。     

基于核最小噪声分离变换的高光谱遥感影像特征提取研究

高光谱遥感影像具有高维非线性的特点,线性特征提取方法容易造成信息丢失和失真。在最小噪声分离变换(MNF)线性特征提取算法的基础上,引入核方法,提出核最小噪声分离变换(KMNF)高光谱遥感影像非线性特征提取方法。KMNF通过核函数,将样本映射到高维特征空间,在特征空间中运算线性MNF,实现原始空间中的非线性KMNF算法。进行基于KMNF的高光谱影像特征提取实验,分析样本个数对KMNF特征提取的效果,发现样本数量对KMNF特征提取的结果影响很小,较少的样本数即可达到较多样本时特征提取的效果。对比KMNF与MNF特征提取的效果,分析它们降维的效率与保留的信息量,发现KMNF总体降维效率与MNF相当,且体现出高光谱图像的非线性特征;在KMNF和MNF特征提取的基础上,利用SVM进行高光谱图像分类,KMNF+SVM的分类精度优于MNF+SVM。     

Local structure based supervised feature extraction

In the past few years, the computer vision and pattern recognition community has witnessed the rapid growth of a new kind of feature extraction method, the manifold learning methods, which attempt to project the original data into a lower dimensional feature space by preserving the local neighborhood structure. Among them, locality preserving projection (LPP) is one of the most promising feature extraction techniques. However, when LPP is applied to the classification tasks, it shows some limitations, such as the ignorance of the label information. In this paper, we propose a novel feature extraction method, called locally discriminating projection (LDP). LDP utilizes class information to guide the procedure of feature extraction. In LDP, the local structure of the original data is constructed according to a certain kind of similarity between data points, which takes special consideration of both the local information and the class information. The similarity has several good properties which help to discover the true intrinsic structure of the data, and make LDP a robust technique for the classification tasks. We compare the proposed LDP approach with LPP, as well as other feature extraction methods, such as PCA and LDA, on the public available data sets, FERET and AR. Experimental results suggest that LDP provides a better representation of the class information and achieves much higher recognition accuracies.     

一种高精度高光谱图像分类方案设计

为了有效改善高光谱图像数据分类的精确度,减少对大数目数据集的依赖,在原型空间特征提取方法的基础上,提出一种基于加权模糊C均值算法改进型原型空间特征提取方案。该方案通过加权模糊C均值算法对每个特征施加不同的权重,从而保证提取后的特征含有较高的有效信息量,从而达到减少训练数据集而不降低分类所需信息量的效果。实验结果表明,与业内公认的原型空间提取算法相比,该方案在相对较小的数据集下,其性能仍具有较为理想的稳定性,且具有相对较高的分类精度。     

Bayesian framework for least-squares support vector machine classifiers, gaussian processes, and kernel Fisher discriminant analysis

The Bayesian evidence framework has been successfully applied to the design of multilayer perceptrons (MLPs) in the work of MacKay. Nevertheless, the training of MLPs suffers from drawbacks like the nonconvex optimization problem and the choice of the number of hidden units. In support vector machines (SVMs) for classification, as introduced by Vapnik, a nonlinear decision boundary is obtained by mapping the input vector first in a nonlinear way to a high-dimensional kernel-induced feature space in which a linear large margin classifier is constructed. Practical expressions are formulated in the dual space in terms of the related kernel function, and the solution follows from a (convex) quadratic programming (QP) problem. In least-squares SVMs (LS-SVMs), the SVM problem formulation is modified by introducing a least-squares cost function and equality instead of inequality constraints, and the solution follows from a linear system in the dual space. Implicitly, the least-squares formulation corresponds to a regression formulation and is also related to kernel Fisher discriminant analysis. The least-squares regression formulation has advantages for deriving analytic expressions in a Bayesian evidence framework, in contrast to the classification formulations used, for example, in gaussian processes (GPs). The LS-SVM formulation has clear primal-dual interpretations, and without the bias term, one explicitly constructs a model that yields the same expressions as have been obtained with GPs for regression. In this article, the Bayesian evidence framework is combined with the LS-SVM classifier formulation. Starting from the feature space formulation, analytic expressions are obtained in the dual space on the different levels of Bayesian inference, while posterior class probabilities are obtained by marginalizing over the model parameters. Empirical results obtained on 10 public domain data sets show that the LS-SVM classifier designed within the Bayesian evidence framework consistently yields good generalization performances.     

适用于小样本问题的具有类内保持的正交特征提取算法

在人脸识别中, 具有正交性的特征提取算法是一类有效的特征提取算法, 但受到小样本问题的制约. 本文在正交判别保局投影的基础上, 提出了一种适用于小样本问题的具有类内保持的正交特征提取算法. 算法根据同类样本之间的空间结构信息, 重新定义了类内散度矩阵与类间散度矩阵, 进而给出了一个新的目标函数. 然而新的目标函数对于人脸识别问题, 同样存在着小样本问题. 为此本文将原始数据空间降到一个低维的子空间, 从而避免了总体散度矩阵奇异, 并在理论上证明了在该子空间中求解判别矢量集, 等价于在原空间中求解判别矢量集. 人脸库上的实验结果表明本文算法的有效性.     

半监督类保持局部线性嵌入方法

为使局部线性嵌入（local linear embedding, LLE）这一无监督高维数据的非线性特征提取方法提取出的特征在分类或聚类学习上更优,提出一种半监督类保持局部线性嵌入(semi-supervised class preserving local linear embedding, SSCLLE)的非线性特征提取方法。该方法将半监督信息融入到LLE中,首先对标记样本近邻赋予伪标签,增大标记样本数量。其次,对标记样本之间的距离进行局部调整,缩小同类样本间距,扩大异类样本间距。同时在局部线性嵌入优化目标函数中增加全局同类样本间距和异类样本间距的约束项,使得提取出的低维特征可以确保同类样本点互相靠近,而异类样本点彼此分离。在一系列实验中,其聚类精确度以及可视化效果明显高于无监督LLE和现有半监督流特征提取方法,表明该方法提取出的特征具有很好的类保持特性。     

Supervised optimal locality preserving projection

In the past few years, the computer vision and pattern recognition community has witnessed a rapid growth of a new kind of feature extraction method, the manifold learning methods, which attempt to project the original data into a lower dimensional feature space by preserving the local neighborhood structure. Among these methods, locality preserving projection (LPP) is one of the most promising feature extraction techniques. Unlike the unsupervised learning scheme of LPP, this paper follows the supervised learning scheme, i.e. it uses both local information and class information to model the similarity of the data. Based on novel similarity, we propose two feature extraction algorithms, supervised optimal locality preserving projection (SOLPP) and normalized Laplacian-based supervised optimal locality preserving projection (NL-SOLPP). Optimal here means that the extracted features via SOLPP (or NL-SOLPP) are statistically uncorrelated and orthogonal. We compare the proposed SOLPP and NL-SOLPP with LPP, orthogonal locality preserving projection (OLPP) and uncorrelated locality preserving projection (ULPP) on publicly available data sets. Experimental results show that the proposed SOLPP and NL-SOLPP achieve much higher recognition accuracy.