核最近邻凸包分类算法

为了增强最近邻凸包分类器的非线性分类能力,提出了基于核函数方法的最近邻凸包分类算法。该算法首先利用核函数方法将输入空间映射到高维特征空间,然后在高维特征空间采用最近邻凸包分类器对样本进行分类。最近邻凸包分类器是一类以测试点到各类别凸包的距离为相似性度量,并按最近邻原则归类的分类算法。人脸识别实验结果证实,这种核函数方法与最近邻凸包分类算法的融合是可行的和有效的。     

基于小波子空间、支持向量机和模糊积分的信号多类分类算法

为了对音频信号进行有效的分类，提出一种在小波变换子空间中基于支持向量机和模糊积分进行信号特征提取和分类的新算法．首先，对信号进行预加重和窗化处理；其次，用小波变换把信号分解到不同的子空间并提取每个子空间的特征；再次，对每一个子空间信号特征向量进行标准化、降维和分类；最后，用模糊积分将子空间分类结果融合，得出最终类．试验表明本算法速度较快、精确度高．     

基于空谱特征的核极端学习机高光谱遥感图像分类算法

近年来,局部二值模式(Local Binary Patterns,LBP)由于其在空间特征提取方面具有显著的优势被应用于高光谱遥感图像分类中,该算法在空间特征提取上虽减少类内方差,却忽视了用于区分不同地物类别的光谱特征。为避免在图像分类过程中提取单一特征导致特征提取不充分、分类效果不理想的问题,通过将空间特征和光谱特征进行矢量堆叠得到新的空谱特征向量。再将新的空谱特征向量引入到核极端学习机中,提出一种基于空谱特征的核极端学习机高光谱遥感图像分类算法(Space Spectrum feature Kernel Extreme Learning Machine,SS-KELM)。为验证所提算法的有效性,将使用两个高光谱图像数据集进行实验。实验结果表明所提SS-KELM算法的分类性能优于目前较为常见的传统分类算法。     

基于改进SVM-RFE的特征选择方法研究

SVM-RFE特征选择算法是一种有效的特征选择方法,具有较高的应用价值。针对传统SVM-RFE特征选择算法中SVM参数(γ和C)难以确定的问题,本文采用粒子群算法搜索SVM的参数。然后将特征向量映射到SVM参数γ确定的核空间中并进行特征选择,有效地将特征选择与SVM分类器设计关联起来。仿真结果表明,特征选择后的数据集仍能保证SVM分类器具有较高的分类正确率。     

高斯最大似然分类在高光谱分类中的应用研究

分析了高斯似然分类错误率和Bhattacharyya距离的关系,同时推导出在独立特征条件下Bhattacharyya距离具有相加的性质,并在这些基础上提出了一种新的特征选择算法。该算法以各特征的相对Bhattacharyya和作为准则函数选择能有效降低分类错误率的一组特征,最后利用这组特征进行高斯似然分类。实验采用AVIRIS数据,结果证明了该算法的有效性。     

巴氏距离和K-L交换结合的特征选择

巴氏距离(Bhattacharyya Distance)特征选择给出了样本最小错误率上界进的特征．但计算量大。为了减少迭代算法计算时间．文本提出巴氏距离和K-L变换结合的特征选择。首先．对整体样本进行K-L变换．去除变化不大的特征．以降低空间雏数。然后．用迭代方法．进行巴氏距离特征选择。本文中用MNIST手写体数字库的计算表明，该方法能够取得好的效果．比单纯使用K-L变换进行特征选择的最小错误率上界要小得多．同时计算时间大大减少。     

基于核最优变换与聚类中心的雷达目标识别

抽取有效鉴别特征是雷达一维高分辨距离像识别的关键.基干统计学习理论的核化原理,提出一种新的鉴别特征提取方法--核最优变换与聚类中心算法.该算法通过非线性变换,将数据映射到核空间,在核空间执行最优变换与聚类中心算法,能够提取一维距离像的稳健非线性鉴别特征.同时,基于训练样本在核空间所张成的子空间的一组基,给出一种快速计算方法,提高了特征提取速度.基于微波暗室实测数据的实验表明了该方法的有效性.     

基于自适应特征融合的小样本细粒度图像分类

现有的小样本学习算法未能充分提取细粒度图像的特征,导致细粒度图像分类准确率较低。为了更好地对基于度量的小样本细粒度图像分类算法中提取的特征进行建模,提出了一种基于自适应特征融合的小样本细粒度图像分类算法。在特征提取网络上设计了一种自适应特征融合嵌入网络,可以同时提取深层的强语义特征和浅层的位置结构特征,并使用自适应算法和注意力机制提取关键特征。在训练特征提取网络上采用单图训练和多图训练方法先后训练,在提取样本特征的同时关注样本之间的联系。为了使得同一类的特征向量在特征空间中的距离更加接近,不同类的特征向量的距离更大,对所提取的特征向量做特征分布转换、正交三角分解和归一化处理。提出的算法与其他9种算法进行实验对比,在多个细粒度数据集上评估了5 way 1 shot的准确率和5 way 5 shot的准确率。在Stanford Dogs数据集上的准确率提升了5.27和2.90个百分点,在Stanford Cars数据集上的准确率提升了3.29和4.23个百分点,在CUB-200数据集上的5 way 1 shot的准确率只比DLG略低0.82个百分点,但是5 way 5 shot上提升了1.55个百分点。     

一种新的特征提取方法及其在模式识别中的应用

核典型相关分析(KCCA)是一种有监督的机器学习方法,可以有效地提取非线性特征。然而随着训练样本数目的增加,标准的KCCA方法的计算复杂度会随之增加。针对此缺点,提出一种改进的KCCA方法：首先用几何特征选择方法选择一个训练样本子集并将其映射到再生核希尔伯特空间(RKHS),然后设计了一种提升特征提取效率的算法,该算法按照对特征分类贡献的大小巧妙地选取样本的特征值,进而求出其相应的特征向量,最后将改进的KCCA与支持向量数据描述(SVDD)多分类器相结合用于分类识别。在ORL人脸图像数据库上的实验结果表明,改进的方法相对传统的KCCA方法,在不影响识别率的情况下提高了人脸识别速度,减小了系统存储量。     

基于核方法的Web挖掘研究

基于词空间的分类方法很难处理文本的高维特性和捕获文本语义概念．利用核主成分分析和支持向量机。提出一种通过约简文本数据维数抽取语义概念、基于语义概念进行文本分类的新方法．首先将文档映射到高维线性特征空间消除非线性特征，然后在映射空间中通过主成分分析消除变量之间的相关性，实现降维和语义概念抽取，得到文档的语义概念空间，最后在语义概念空间中采用支持向量机进行分类．通过新定义的核函数，不必显式实现到语义概念空间的映射，可在原始文档向量空间中直接实现基于语义概念的分类．利用核化的GHA方法自适应迭代求解核矩阵的特征向量和特征值，适于求解大规模的文本分类问题．试验结果表明该方法对于改进文本分类的性能具有较好的效果．     

基于多核Fisher判别分析的人脸特征提取

核Fisher判别分析法是一种有效的非线性判别分析法。传统的核Fisher判别分析仅选用单个核函数,在人脸特征提取方面仍显不足。鉴于此,提出多核Fisher判别分析法,即通过将多个单核Fisher判别得到的投影进行加权组合得到加权投影,以加权投影为依据进行特征提取和分类。实验表明,在进行人脸特征提取和分类时,多核Fisher判别分析法优于单核Fisher判别分析法。     

Kernel-based improved discriminant analysis and its application to face recognition

Kernel discriminant analysis (KDA) is a widely used tool in feature extraction community. However, for high-dimensional multi-class tasks such as face recognition, traditional KDA algorithms have the limitation that the Fisher criterion is nonoptimal with respect to classification rate. Moreover, they suffer from the small sample size problem. This paper presents a variant of KDA called kernel-based improved discriminant analysis (KIDA), which can effectively deal with the above two problems. In the proposed framework, origin samples are projected firstly into a feature space by an implicit nonlinear mapping. After reconstructing between-class scatter matrix in the feature space by weighted schemes, the kernel method is used to obtain a modified Fisher criterion directly related to classification error. Finally, simultaneous diagonalization technique is employed to find lower-dimensional nonlinear features with significant discriminant power. Experiments on face recognition task show that the proposed method is superior to the traditional KDA and LDA.     

Feature extraction based on decision boundaries

A novel approach to feature extraction for classification based directly on the decision boundaries is proposed. It is shown how discriminantly redundant features and discriminantly informative features are related to decision boundaries. A procedure to extract discriminantly informative features based on a decision boundary is proposed. The proposed feature extraction algorithm has several desirable properties: (1) it predicts the minimum number of features necessary to achieve the same classification accuracy as in the original space for a given pattern recognition problem; and (2) it finds the necessary feature vectors. The proposed algorithm does not deteriorate under the circumstances of equal class means or equal class covariances as some previous algorithms do. Experiments show that the performance of the proposed algorithm compares favorably with those of previous algorithms     

人脸识别中基于核的子空间鉴别分析

尽管基于Fisher准则的线性鉴别分析被公认为特征抽取的有效方法之一，并被成功地用于人脸识别，但是由于光照变化、人脸表情和姿势变化，实际上的人脸图像分布是十分复杂的，因此，抽取非线性鉴别特征显得十分必要。为了能利用非线性鉴别特征进行人脸识别，提出了一种基于核的子空间鉴别分析方法。该方法首先利用核函数技术将原始样本隐式地映射到高维（甚至无穷维）特征空间；然后在高维特征空间里，利用再生核理论来建立基于广义Fisher准则的两个等价模型；最后利用正交补空间方法求得最优鉴别矢量来进行人脸识别。在ORL和NUST603两个人脸数据库上，对该方法进行了鉴别性能实验，得到了识别率分别为94％和99．58％的实验结果，这表明该方法与核组合方法的识别结果相当，且明显优于KPCA和Kernel fisherfaces方法的识别结果。     

Fast kernel Fisher discriminant analysis via approximating the kernel principal component analysis

Kernel Fisher discriminant analysis (KFDA) extracts a nonlinear feature from a sample by calculating as many kernel functions as the training samples. Thus, its computational efficiency is inversely proportional to the size of the training sample set. In this paper we propose a more approach to efficient nonlinear feature extraction, FKFDA (fast KFDA). This FKFDA consists of two parts. First, we select a portion of training samples based on two criteria produced by approximating the kernel principal component analysis (AKPCA) in the kernel feature space. Then, referring to the selected training samples as nodes, we formulate FKFDA to improve the efficiency of nonlinear feature extraction. In FKFDA, the discriminant vectors are expressed as linear combinations of nodes in the kernel feature space, and the extraction of a feature from a sample only requires calculating as many kernel functions as the nodes. Therefore, the proposed FKFDA has a much faster feature extraction procedure compared with the naive kernel-based methods. Experimental results on face recognition and benchmark datasets classification suggest that the proposed FKFDA can generate well classified features.     

核参数判别选择方法在核主元分析中的应用

针对核主元分析(KPCA)中高斯核参数β的经验选取问题,提出了核主元分析的核参数判别选择方法。依据训练样本的类标签计算类内、类间核窗宽,在以上核窗宽中经判别选择方法确定核参数。根据判别选择核参数所确定的核矩阵,能够准确描述训练空间的结构特征。用主成分分析(PCA)对特征空间进行分解,提取主成分以实现降维和特征提取。判别核窗宽方法在分类密集区域选择较小窗宽,在分类稀疏区域选择较大窗宽。将判别核主成分分析(Dis-KPCA)应用到数据模拟实例和田纳西过程(TEP),通过与KPCA、PCA方法比较,实验结果表明,Dis-KPCA方法有效地对样本数据降维且将三个类别数据100%分开,因此,所提方法的降维精度更高。     

文本分类中一种基于核的最大散度差特征抽取方法

研究了一种基于核的最大散度差准则的文本特征抽取方法。首先回顾了文本分类中特征降维的主要方法、Fisher准则及其相关研究进展以及存在的问题;然后分析了基于散度差准则的线性鉴别方法的优点与不足,借助于核函数较好地解决了线性可分性较差的样本分类问题,在最低限度减少信息损失的前提下实现了特征维数的大幅度减缩。实验结果表明,该方法在文本分类上的效果较好。     

一种用于人脸识别的非线性鉴别特征融合方法

最近，在人脸等图像识别领域，用于抽取非线性特征的核方法如核Fisher鉴别分析(KFDA)已经取得成功并得到了广泛应用，但现有的核方法都存在这样的问题，即构造特征空间中的核矩阵所耗费的计算量非常大．而且，抽取得到的单类特征往往不能获得到令人满意的识别结果．提出了一种用于人脸识别的非线性鉴别特征融合方法，即首先利用小波变换和奇异值分解对原始输入样本进行降雏变换，抽取同一样本空间的两类特征，然后利用复向量将这两类特征组合在一起，构成一复特征向量空间，最后在该空间中进行最优鉴别特征抽取．在ORL标准人脸库上的试验结果表明所提方法不仅在识别性能上优于现有的核Fisher鉴别分析方法，而且，在ORL人脸库上的特征抽取速度提高了近8倍．     

核函数在主成分分析中的应用

主成分分析在对线性数据进行降维时非常有效,核函数能够将线性不可分的数据映射到高维希尔伯特空间中可能可分。将核函数应用到主成分分析中成为核主成分分析。从核函数的性质、核函数的参数调整、核函数的构造等方面对核主成分分析进行应用与实现,并结合核Fisher判别分析,对样例数据进行核主成分分析,结论表明,效果良好,但执行速度较慢,需要后续改进。     

基于支持向量的Kernel判别分析

提出了一种新的基于支持向苗的核化判别分析方法（SV—KFD）．首先深入地分析了支持向量机（SVM）以及核化费舍尔判别分析（Kernel Fisher）方法的相互关系．基于作者证明的SVM本身所同有的零空间性质;SVM分类面的法向量在基于支持向量的类内散度矩阵条件下,具有零空间特性,提山了利用SVM的法向量定义核化的决策边界特征矩阵（Kernelized Decision Boundary Feature Matrix,KDBFM）的方法．进一步结合均值向量的差向量构建扩展决策边界特征矩阵（Ex—KDBFM）．最后以支持向量为训练集合,结合零空间方法来计算投影空间,该投影空间被用来从原始图像中提取判别特征．以人脸识别为例,作者在FERET和CAS—PEAL—R1大规模人脸图像数据怍上对所提出的方法进行了实验验证,测试结果表明该方法具有比传统核判别分析方法更好的识别性能．