基于特征距离的组合核矩阵模型选择标准

核矩阵的组合方法是核函数构造和核方法学习的崭新的、重要的方法。目前,组合核矩阵的模型选择标准并不多见,应用较多的是核目标匹配,但该标准并不严格,尚具有较大的冗余性。针对这一问题,本文提出一个有效的基于特征距离的组合核矩阵模型选择标准。本文首先讨论核目标匹配标准及其局限性,然后提出基于特征距离的核矩阵模型型选择标准并分析该标准的计算性能,最后通过实验验证所提出的模型选择标准在核参数选择和组合系数选择两方面的效能。理论分析和实验结果表明,所提出的基于特征距
离的组合核矩阵模型选择标准是合理且有效的。     

基于Bhattacharyya距离准则的核空间特征提取算法

提出了一种新的以Bhattacharyya距离为准则的核空间特征提取算法．该算法的核心思想是把样本非线性映射到高维核空间．在核空间中寻找一组最优特征向量,然后把样本线性映射到低维特征空间,使类别间的Bhattacharyya距离最大。从而保证Bayes分类误差上界最小．采用核函数技术,把特征提取问题转化为一个QP(Quadratic Programming)优化问题．保证了算法的全局收敛性和快速性．此算法具有两个优点：(1)该算法提取的特征对数据分类来说更有效;(2)对于给定的模式分类问题,算法可以预测出在不损失分类精度情况下所必须的特征向量数目的上界,并能够提取出分类有效特征．实验结果表明,该算法的性能与理论分析的结论相吻合,优于目前常用的特征提取算法．     

一种基于核距离的核函数度量方法

核方法的效果依赖于所使用的核,因此核的选择和其参数的确定是至关重要的。从特定的数据中学习核需要核度量方法评价核的质量。核排列度量核与学习任务的一致性,因为它具有高效性和有效性,是目前应用最为广泛的核度量方法。然而,有研究表明,核排列仅是最优核函数的充分非必要条件。其主要原因是核排列在特征空间中不具有线性变换不变性。提出了一种新的核度量方法用于核选择,称其为核距离排列。该方法能够克服核排列的局限性,并且同样具有高效性和简单的形式。对比实验表明,该方法能够有效地对核进行度量。     

基于有效距离的多模态特征选择*

在传统距离度量的基础上,提出利用有效距离进行特征选择,并用于多模态分类.为了更好地反映样本间全局和局部关系,提出基于有效距离的多模态特征选择方法.该方法针对样本间全局关系进行建模,实现基于有效距离的特征选择,从而增强所选特征的判别性.在ADNI、UCI数据集上进行的分类实验表明,与传统方法相比,文中方法能有效提高多模态数据的分类性能.     

改进的波段选择混合核函数遥感图像分类算法

针对遥感图像多波段不易成像、其图像信息冗余不适合图像分类以及传统LMBP算法迭代次数多且分类不够精确的问题,改进了OIF指数和可分性距离公式,分组并选出遥感图像最佳波段组合,并运用改进的LMBP混合核函数算法进行分类。仿真实验表明,改进算法对各波段信息分析更加全面客观,波段选择更加优化;与传统算法相比,网络训练迭代次数有明显减少,分类精度及Kappa系数分别提高了5%和6.625%,遥感图像分类更有效。     

一种基于向量空间模型的文本分类方法

介绍的文本分类是指在给定分类体系下，根据文本的内容自动确定文本类别的过程。通过分析网页的特点及因特网用户感兴趣的查询信息，提出了一种基于机器学习的、独立于语种的文本分类模型。这一模型的关键算法主要利用字间的相关信息、词频、页面的标记信息以及对用户的查询信息的浅层语义分析，提取网页特征，并计算可调的词频加权参数和增加特征词的可分性信息，然后通过本类和非本类训练，建立预定义类的特征向量空间，进一步对文本进行分类。这种分类方法在相似文本分类中具有明显的优势。     

基于特征选择的最少核分类器研究

针对支持向量机在特征选择方面具有自动选择的功能,提出了一种改进的最少核分类器。在样本测试中使用更少的特征维数,减少识别过程计算量。数值试验表明,改进过的分类器能有效压缩无用的特征属性,具有较强的泛化能力。     

基于概率密度距离的监督特征选择

为了降低特征维数,提高分类效率,提出了一种新的基于概率密度距离的有监督的特征排序方法.首先依次对所有样本的某一维特征进行加权变换,然后对变换后的各类别样本进行概率密度估计,计算由该特征加权变换后所引起的各类别样本的类间概率密度距离,距离越大,则该特征对于区分各类别样本的作用越大,以此来对特征进行排序.实验结果表明,该方法是有效的,而且表现出了比经典的Relief-F特征排序方法更好的性能.     

基于特征矢量集的核Logistic回归

将经典Logistic回归推广到高维RKHS空间，提出了一种基于特征矢量选择的核Logistic回归算法-FVS-KLR．该算法利用特征矢量选择（FVS）从训练样本集中选择一个特征矢量集，原样本在RKHS空间中的映射可用该集合中元素映射的线性组合近似．以特征矢量集为基得到核Logistic回归的目标泛函，并采用Newton-Raphson方法寻优，将优化的计算量由O（N^3）降到O（NL^2），L〈〈N．同时文章推导了多类情况下的核Logistic回归算法．通过与SVM的对比实验表明，该算法对后验概率的估计优于SVM方法，同时在分类错误率不高于SVM的基础上能显著降低分类器的计算量．     

基于距离量度的边际核设计及应用

很多情况下,研究者掌握了一些分类数据的生成信息,这些信息能够为核函数提供有价值的分类特征.已有大量结合生成模型构造核函数的研究,边际核是其中较新的研究成果.以边际核理论为基础,在边际核特征空间中引入特征向量之间的距离作为相似性的量度,构造了基于距离量度的边际核函数.随后将它和原边际核均应用于具体的grbB(旋转酶B亚单位)氨基酸序列分类实验中,实验结果表明:基于距离量度的边际核拥有比原边际核更佳的识别效率,且也具备一定的推广能力.     

On the equivalence of Kernel Fisher discriminant analysis and Kernel Quadratic Programming Feature Selection

We reformulate the Quadratic Programming Feature Selection (QPFS) method in a Kernel space to obtain a vector which maximizes the quadratic objective function of QPFS. We demonstrate that the vector obtained by Kernel Quadratic Programming Feature Selection is equivalent to the Kernel Fisher vector and, therefore, a new interpretation of the Kernel Fisher discriminant analysis is given which provides some computational advantages for highly unbalanced datasets.     

基于边界点的可分离性度量及特征选择

提出了一种新的面向高维数据的特征选择方法,在特征子集搜索上采用遗传算法进行随机搜索,在特征子集评价上采用基于边界点的可分性度量作为评价指标及适应度。实验结果表明,该算法可有效地找出具有较好的可分离性的特征子集,从而实现降维并提高分类 精度。     

基于局部子空间的多标记特征选择算法*

在已有的特征选择算法中,常用策略是通过相关准则选择与标记集合相关性较强的特征,然而该策略不一定是最优选择,因为与标记集合相关性较弱的特征可能是决定某些类别标记的关键特征.基于这一假设,文中提出基于局部子空间的多标记特征选择算法.该算法首先利用特征与标记集合之间的互信息得到一个重要度由高到低的特征序列,然后将新的特征排序空间划分为几个局部子空间,并在每个子空间设置采样比例以选择冗余性较小的特征,最后融合各子空间的特征子集,得到一组合理的特征子集.在6个数据集和4个评价指标上的实验表明,文中算法优于一些通用的多标记特征选择算法.     

一种基于稀疏表示系数的特征相关性测度

目前特征选择方法中常用的特征相关性测度可有效评估两个特征之间的相关性,但却将特征孤立看待,没有考虑其它特征对它们相关性的影响。文中在整体考虑特征之间关系的前提下,提出用稀疏表示系数评估特征的相关性,它与现有特征相关性测度的不同之处在于可揭示特征在其它所有特征影响下与目标的相关性,反映特征间的相互影响。为验证稀疏表示系数评估特征相关性的有效性,在典型的高维小样本数据上,比较了Relief F方法及分别以稀疏表示系数、对称不确定性和皮尔森相关系数为相关性测度的特征选择方法选择的特征集的分类能力。实验结果表明文中方法选择的特征集的分类能力高且较稳定。     

基于类距离的可分离性判据

可分离性判据在统计模式识别的特征提取和聚类分析中有重要应用。论文定义了基于类距离的可分离性判据,发现可比基于类内类间距离的可分离性判据更好地反映类别分离性,也有更好的几何意义,并将它用于特征提取。     

基于核函数的稀疏属性选择算法

鉴于传统属性选择算法无法捕捉属性之间的关系的问题,文中提出了一种非线性属性选择方法。该方法通过引入核函数,将原始数据集投影到高维的核空间,因在核空间内进行运算,进而可以考虑到数据属性之间的关系。由于核函数自身的优越性,即使数据通过高斯核投影到无穷维的空间中,计算复杂度亦可以控制得较小。在正则化因子的限制上,使用两种范数进行双重约束,不仅提高了算法的准确率,而且使得算法实验结果的方差仅为0.74,远小于其他同类对比算法,且算法更加稳定。在8个常用的数据集上将所提算法与6个同类算法进行比较,并用SVM分类器来测试分类准确率,最终该算法得到最少1.84%,最高3.27%,平均2.75%的提升。     

基于AdaBoost的人脸特征挑选与特征融合算法研究

针对人脸识别中的特征挑选和特征融合问题进行研究。结合已有的基于AdaBoost的人脸特征挑选方法,挑选出最具分类能力的特征,并将挑选出的多类人脸特征在特征层进行融合,得到一个统一的人脸特征用于模式分类。通过在FERET人脸库上的实验表明,其识别方法具有良好的识别效果。     

基于自适应压缩特征选择的实时目标跟踪算法?

针对压缩感知算法中的低维特征对目标重构效果较差的问题,提出基于自适应压缩特征选择的目标跟踪算法。该算法首先提取满足目标重构要求的高维压缩特征,再通过所提出的特征选择方法选择区分度高的低维特征作为目标的外观模型,从而降低计算复杂度。为自适应选择特征,采用一种差分方法控制特征维数,满足实时性要求。实验表明,与其他算法相比,文中算法具有更强的鲁棒性和实时性。     

一种基于特征加权的KNN文本分类算法

KNN文本分类算法是一种简单、有效、非参数的分类方法。针对传统的KNN文本分类算法的不足,出现了很多改进的KNN算法。但改进的KNN分类算法大多数是建立在样本选择的基础上。即以损失分类精度换取分类速度。针对传统的KNN文本分类算法的不足,提出一种基于特征加权的KNN文本分类算法（KNNFW）,该算法考虑各维特征对模式分类贡献的不同,给不同的特征赋予不同的权值,提高重要特征的作用,从而提高了算法的分类精度。最后给出实验结果并对实验数据进行分析得出结论。