一种基于核的最大散度差特征抽取方法*

研究了一种基于核的最大散度差准则的文本特征抽取方法。首先回顾了文本分类中特征降维的主要方法、Fisher准则及其相关研究进展以及存在的问题;然后分析了基于散度差准则的线性鉴别方法的优点与不足,借助于核函数较好地解决了线性可分性较差的样本分类问题,在最低限度减少信息损失的前提下实现了特征维数的大幅度减缩。实验结果表明,该方法在文本分类上的效果较好。     

文本分类中基于散度差的线性特征抽取方法

分析了特征选择与特征抽取的特点与不足,针对Fisher线性鉴别准则存在问题,在一种加权散度差线性鉴别准则的基础上提出了一种基于散度差与SVD相结合的文本特征抽取方法.在解决了类内散布矩阵Sw的奇异性问题困扰同时,通过对低阶矩阵的奇异值分解取代了对高阶矩阵的特征值求解,计算量大大减少.在最低限度减少信息损失的前提下实现了特征维数的大幅度减缩.试验结果表明,这种方法在文本分类上的准确性较好.     

基于散度差准则的文本特征降维研究*

研究了一种基于散度差准则的文本特征抽取方法。首先讨论了文本分类中特征降维的主要方法及其特点,然后分析了一种基于散度差的准则用于特征降维的原理和方法,从理论上对该方法的相关步骤进行了数学论证。在中文文本分类实验中,对KNN分类器进行了基于密度的改进,消除了由于文本分布倾斜对分类器产生的影响。实验结果表明,这种方法在文本分类的准确性方面效果较为理想。     

基于散度差准则的隐空间特征抽取方法

本文提出了一种新的非线性特征抽取方法——基于散度差准则的隐空间特征抽取方法。该方法的主要思想就是首先利用一核函数将原始输入空间非线性变换到隐空间，然后，在该隐空间中，利用类间离散度与类内离散度之差作为鉴别准则进行特征抽取。与现有的核特征抽取方法不同，该方法不需要核函数满足Mercer定理，从而增加了核函数的选择范围。更为重要的是，由于采用了散度差作为鉴别准则，从根本上避免了传统的Fisher线性鉴别分析所遇到的小样本问题。在ORL人脸数据库和AR标准人脸库上的试验结果验证了本文方法的有效性。     

文本分类中一种基于正交变换的特征降维方法

本文讨论了一种基于正交变换的文本特征降维方法.分析了基于特征选择和特征抽取的特征降维方法各自特点,借助矩阵的分解论证了基于Fisher准则函数的特征降维模式的原理与理论基础,讨论了PCA与SVD两种模式的相互关系.实验结果表明这种特征降维模式在文本分类的准确性方面效果较好.     

一种基于双向2DMSD的人脸识别方法

提出一种基于双向二维最大散度差线性判别分析(Bidirectional 2DMSD)的人脸识别方法.该方法通过在水平和垂直2个方向上顺序执行2次二维最大散度差线性判别分析(2DMSD)运算,将判别特征信息压缩到图像的左上角,大大减少了图像特征的维数;选用二维最小近邻分类法进行分类,计算识别率.在ORL和Yale人脸数据库上的实验结果表明,该方法不仅在识别率上优于最大散度差线性判别分析(MSD),而且在与2DMSD具有相同识别率的情况下,特征维数比2DMSD大大减小,降低了计算复杂度,减少了识别时间,提高了人脸识别效率.     

基于模糊最大散度差判别准则的聚类方法

基于最大散度差判别准则提出了一种模糊最大散度差准则,并根据模糊最大散度差准则提出一种聚类方法(fuzzy maximum scatter difference discriminant criterion based clustering algorithm,简称FMSDC).该方法通过迭代优化方法实现聚类的同时还可以实现特征降维.该方法首先在最大散度差判别准则中引入模糊概念;然后通过具体原则设定模糊最大散度差判别准则中的参数η,从而在一定程度上降低了由参数η引起的敏感性;最后分别根据模糊隶属度μ_ik、最优鉴别矢量ω进行聚类和特征降维.实验结果表明,FMSDC方法不但具有基本的聚类功能,而且具有较好的鲁棒性和较强的特征降维能力.     

基于散度分析的模拟图像信号特征选择

在对模拟图像信号进行特征选择的过程中,容易出现各类别与模拟图像信号特征之间的关系考察不充分的情况,导致传统的基于优化蚁群算法的模拟图像信号特征选择方法,由于只在整个类标签集的角度上进行特征选择,无法有效实现模拟图像信号特征的选择,提出一种基于散度分析的模拟图像信号选择方法,建立特征选择问题的数学模型,依据Fisher准则的分类思想,将散度差作为模拟图像信号特征选择的准则,获取一种基于散度差的模拟图像信号特征分类选择方法,将加权矩阵散度差的迹看作是投影鉴别规则,通过获取一组最优投影方向,使得各种类别的原始向量经投影后可最大程度的被分离,对模拟图像信号特征值对应的特征向量进行标准正交化操作,从而实现模拟图像信号的特征选择.仿真实验结果表明,所提方法具有很高的准确性.     

最大散度差无监督鉴别特征抽取与人脸识别

最大散度差准则是对Fisher准则的改进,消除了小样本问题,但是该方法是基于整体特征的人脸识另q方?法,没有考虑到样本的局部特性.无监督的鉴别投影(UDP)技术,用于对高维数据进行维数缩减,它同时考虑到样本的局部特征和非局部特征,但是在人脸等高维图像识别的应用中,不可避免地会出现小样本问题.提出一种基于散度差的无监督鉴别特征抽取,避免了局部协方差奇异所产生的问题.在ORL人脸库和AR人脸库上的实验结果验证了该算法的有效性.     

改进的线性判别分析及人脸识别

为有效解决传统LDA（线性鉴别分析）的小样本规模问题,提出一种改进的LDA算法。首先对样本进行无损降维;然后在Fisher准则基础上,用散度矩阵差代替散度矩阵的比值,避免对类内矩阵求逆的同时也降低了计算复杂度,实现有效的特征抽取;最后实现对人脸的识别。实验结果表明,该算法是有效的,优于传统LDA方法。     

一种新的核广义鉴别特征抽取方法

在基于核的广义鉴别特征模型的基础上,提出了一种新的核广义鉴别特征抽取方法。利用空间变换的有关理论,使得变换后的核总体散布矩阵满足非奇异性;同时通过核共轭特征抽取方法,抽取满足核共轭正交条件的特征向量,使抽取的特征满足统计不相关性。在ORL人脸库上的实验表明了所提方法的有效性,达到了比核鉴别分析等方法更好的识别效果。     

新的非线性鉴别特征抽取方法及人脸识别

在非线性空间中采用新的最大散度差鉴别准则,提出了一种新的核最大散度差鉴别分析方法.该方法不仅有效地抽取了人脸图像的非线性鉴别特征,而且从根本上避免了以往核Fisher鉴别分析中训练样本总数较多时,通常存在的核散布矩阵奇异的问题,计算复杂度大大降低,识别速度有了明显的提高.在ORL人脸数据库上的实验结果验证了该算法的有效性.     

一种核最大散度差判别分析人脸识别方法

提出一种有效的非线性子空间学习方法--核最大散度差判别分析(KMSD),并将其用于人脸识别.核最大散度差判别分析首先把输入空间的样本非线性映射到特征空间,然后通过核方法的技巧,采用最大散度差判别分析(MSD)方法在特征空间里求解.在Yale和ORL人脸数据库上的实验结果表明,提出的核最大散度差判别分析方法用于人脸识别具有较高的识别率.     

基于核对称散布矩阵空间的特征抽取方法

为解决传统Fisher鉴别分析方法中非线性小样本的特征抽取问题,从核线性子空间角度出发,构造一种矩阵变换,得到核空间中类内散布矩阵的另一个对称核子空间,通过对2个核子空间分别求解,从而得到样本的有效鉴别信息。在NUST603和ORL人脸数据库上的实验结果验证了该算法的有效性。     

类依赖的线性判别分析

线性判别分析(LDA)是一种常用的特征提取方法,其目标是提取特征后样本的类间离散度和类内离散度的比值最大,即各类样本在特征空间中有最佳的可分离性.该方法利用同一个准则将所有类的样本投影到同一个特征空间中,忽略了各类样本分布特征的差异.本文提出类依赖的线性判别方法(Class-Specific LDA,CSLDA),对每一类样本寻找最优的投影矩阵,使得投影后能够更好地把该类样本与所有其他类的样本尽可能分开,并将该方法与经验核相结合,得到经验核空间中类依赖的线性判别分析.在人工数据集和UCI数据集上的实验结果表明,在输入空间和经验核空间里均有CSLDA特征提取后的识别率高于LDA.     

隐空间中参数化直接鉴别分析及其应用

提出了一种新的非线性特征抽取方法——隐空间中参数化直接鉴别分析。其主要思想是利用一核函数将原始输入空间非线性变换到隐空间,针对在该隐空间中类内散布矩阵总是奇异等问题,利用参数化直接鉴别分析进行特征抽取。与现有的核特征抽取方法不同的是,该方法不需要核函数满足Mercer 定理,从而增加了核函数的选择范围。更为重要的是,由于在隐空间中采用了参数化直接鉴别分析,不仅保留了参数化直接鉴别分析的优点,而且有效地抽取了样本的非线性特征;在该方法中提出了一个更为合理的加权系数矩阵,提高了分类性能。在FERET人脸数据库子库上的实验结果验证了该方法的有效性。     

文本分类中一种特征选择方法研究

针对文本分类中传统特征选择方法卡方统计量和信息增益的不足进行了分析,得出文本分类中的特征选择关键在于选择出集中分布于某类文档并在该类文档中均匀分布且频繁出现的特征词。因此,综合考虑特征词的文档频、词频以及特征词的类间集中度、类内分散度,提出一种基于类内类间文档频和词频统计的特征选择评估函数,并利用该特征选择评估函数在训练集每个类别中选取一定比例的特征词组成该类别的特征词库,而训练集的特征词库则为各类别特征词库的并集。通过基于SVM的中文文本分类实验表明,该方法与传统的卡方统计量和信息增益相比,在一定程度上提高了文本分类的效果。