具有模糊聚类功能的双向二维无监督特征提取方法

依据最大间距判别准则(Maximum margin criterion, MMC)的基本原理,并结合模糊技术和张量理论, 提出一种矩阵模式的模糊最大间距判别准则(Matrix model fuzzy maximum margin criterion, MFMMC),并在此基础上形成具有模糊聚类功能的双向二维无监督特征提取方法(Two-directional two-dimensional unsupervised feature extraction method with fuzzy clustering ability, (2D)2UFFCA). 该方法不但能直接实现矩阵模式数据的模糊聚类,而且还可以对矩阵模式数据进行双向二维特征提取,实现特征降维. 同时我们还从几何的直观含义出发,合理地设定矩阵模式的模糊最大间距判别准则中的调节参数γ并从理论上证明其合理性.为了提高特征提取的效率,还提出一种能有效计算矩阵模式数据的投影变换矩阵的方法.实验结果表明该方法具有上述优势.     

基于隶属比的聚类有效性指标

针对模糊聚类需要预知最佳聚类个数的问题,提出了一种新的基于隶属比的聚类有效性指标V_new,首先根据经典有效性指标的设计思路,充分考虑数据集合的隶属度矩阵特征和几何空间分布,通过重新定义类内距和类间距的方式,推导出基本的有效性指标;其次,定义隶属比的概念,放大基本有效性指标的计算值;最后,为了避免隶属比对有效性指标造成过分影响而失去意义,引入分类个数进行抑制. 理论分析和仿真实验表明,通过对相同数据集进行分析处理,与经典的XB指标相比V_xb,新指标V_new具有更高的准确率和可靠性,在类间有重叠数据的情况下也能够做出正确的划分,具有一定的推广价值.     

模糊聚类计算的最佳算法

给出模糊关系传递闭包在对应模糊图上的几何意义,并提出一个基于图连通分支计算的模糊聚类最佳算法.对任给的n个样本,新算法最坏情况下的时间复杂性函数T(n)满足O(n)≤T(n)≤O(n²).与经典的基于模糊传递闭包计算的模糊聚类算法的O(n³logn)计算时间相比,新算法至少降低了O(n相似文献   

结合空间信息的模糊C均值聚类图像分割算法

提出一种结合空间信息的模糊C均值聚类图像分割算法.该方法将图像的二维直方图引入传统的模糊C均值聚类算法,并对隶属函数做了改进;依据平方误差和最小准则,来确定模糊分类矩阵及聚类中心;最后,依据最大隶属度原则,划分图像像素的类别归属.实验结果表明,该方法能快速有效地分割图像,并且具有较强的抗噪能力.     

自适应属性加权2维FCM分割算法

目的 为了提高2维直方图模糊C均值聚类分割算法的抗噪性和普适性,提出了属性加权2维直方图模糊C均值聚类分割新方法。方法 针对2维直方图模糊C均值聚类分割算法存在阈值参数选取不当导致抗噪性能差的不足,将属性加权引入2维直方图模糊C均值聚类并有效解决了每维属性聚类贡献度的问题。结果 本文算法相比2维直方图模糊C均值聚类分割法抗椒盐和高斯噪声性能平均提高了2～3 dB;同时,相比模糊局部C均值聚类分割法抗椒盐噪声性能平均提高了2～3 dB且抗高斯噪声性能稍差大约1 dB,但本文算法相比模糊局部C均值聚类分割法的速度平均提高了大约40倍。结论 实验结果表明,本文算法相比现有2维直方图模糊C均值聚类算法更适合噪声图像分割;同时,相比模糊局部C均值聚类算法更有利于实时性要求较高场合的目标跟踪和识别等需要。同时从大量图像测试得出,本文算法对于一般人工合成图像、智能交通图像及遥感图像等具有普遍适用性。     

结合基因表达式编程与空间模糊聚类的图像分割

目的 针对模糊C-均值聚类图像分割方法存在的对初始值敏感及抗噪性能差的问题,提出一种结合基因表达式编程与空间模糊聚类的图像分割方法。方法 首先,利用基因表达式编程算法对图像进行初次分割,即将聚类中心编码成染色体,通过适应度评价引导搜索获得优化的聚类中心;然后在隶属度计算中引入空间函数,以初次分割结果作为初始值,使用空间模糊聚类对图像进行二次分割。结果 对加噪的合成图像和Berkeley图像的分割实验显示,本文方法在聚类划分系数（VPC）、聚类划分熵（VPE）和峰值信噪比（PSNR）等评价指标上总体性能优于经典的模糊C-均值聚类和空间模糊C-均值聚类分割算法,其中VPC值平均高出0.062 4和0.061 1,VPE值平均降低0.117 0和0.101 1,而PSNR值平均提升了约13.312 1 dB和3.308 4 dB;在对Berkeley图像库中的6幅图片的分割实验显示,本文方法对图像分割的VPC值均在0.93以上,相比两种对比方法平均提高0.157 6和0.013 3,VPE值保持在0.1附近,均低于对比方法,PSNR值平均提高2.896 3 dB和1.934 4 dB;在多目标分割实验上,随着聚类数目增加,3种方法的分割性能均有下降,但本文方法性能曲线最为平缓,受聚类数目的影响最小。虽然本文方法所需的运行时间略有增加,但求解所需的迭代次数却极大地减少。结论 本文提出的图像分割方法具有很强的抗噪性、更高的分割精度和稳定性,适用于需要更精确结果、对时间要求不高的分割场景。     

文本分类中一种基于核的最大散度差特征抽取方法

研究了一种基于核的最大散度差准则的文本特征抽取方法。首先回顾了文本分类中特征降维的主要方法、Fisher准则及其相关研究进展以及存在的问题;然后分析了基于散度差准则的线性鉴别方法的优点与不足,借助于核函数较好地解决了线性可分性较差的样本分类问题,在最低限度减少信息损失的前提下实现了特征维数的大幅度减缩。实验结果表明,该方法在文本分类上的效果较好。     

一种基于核的最大散度差特征抽取方法*

研究了一种基于核的最大散度差准则的文本特征抽取方法。首先回顾了文本分类中特征降维的主要方法、Fisher准则及其相关研究进展以及存在的问题;然后分析了基于散度差准则的线性鉴别方法的优点与不足,借助于核函数较好地解决了线性可分性较差的样本分类问题,在最低限度减少信息损失的前提下实现了特征维数的大幅度减缩。实验结果表明,该方法在文本分类上的效果较好。     

基于不相似性度量优化的密度峰值聚类算法

密度峰值聚类（clustering by fast search and find of density peaks,简称DPC）是一种基于局部密度和相对距离属性快速寻找聚类中心的有效算法.DPC通过决策图寻找密度峰值作为聚类中心,不需要提前指定类簇数,并可以得到任意形状的簇聚类.但局部密度和相对距离的计算都只是简单依赖基于距离度量的相似度矩阵,所以在复杂数据上DPC聚类结果不尽如人意,特别是当数据分布不均匀、数据维度较高时.另外,DPC算法中局部密度的计算没有统一的度量,根据不同的数据集需要选择不同的度量方式.第三,截断距离d_c的度量只考虑数据的全局分布,忽略了数据的局部信息,所以d_c的改变会影响聚类的结果,尤其是在小样本数据集上.针对这些弊端,提出一种基于不相似性度量优化的密度峰值聚类算法（optimized density peaks clustering algorithm based on dissimilarity measure,简称DDPC）,引入基于块的不相似性度量方法计算相似度矩阵,并基于新的相似度矩阵计算样本的K近邻信息,然后基于样本的K近邻信息重新定义局部密度的度量方法.经典数据集的实验结果表明,基于不相似性度量优化的密度峰值聚类算法优于DPC的优化算法FKNN-DPC和DPC-KNN,可以在密度不均匀以及维度较高的数据集上得到满意的结果;同时统一了局部密度的度量方式,避免了传统DPC算法中截断距离d_c对聚类结果的影响.     

适用于小样本的双邻接图判别分析算法

作为一种常用的降维方法,适用于小样本的监督化拉普拉斯判别分析方法通过使用图嵌入的判别近邻分析得到了很好的降维效果。但该方法在构建近邻图时,在K近邻中寻找同类和异类样本点存在数据不平衡问题;此外,在优化该方法的目标函数时,没有全面考虑到类间信息,从而会在一定程度上降低该方法的性能。针对以上两个问题,本文提出了适用于小样本的双邻接图判别分析方法。首先该方法分别在同类和异类样本中找出K个近邻点,然后使用这K个类内近邻点和K个类间近邻点来构造双邻接图,这样可以确保邻接图中既有同类样本点也有异类样本点,且数目相同。然后该方法在目标函数的推导结果中加入了类间拉普拉斯散度矩阵,从而使优化得到的投影矩阵融入更多的类间信息。在Yale和ORL人脸数据集上进行实验,并与同类方法相比,结果表明本文提出的适用于小样本的双邻接图判别分析方法能够得到更好的降维效果。     

基于最大散度差鉴别准则的自适应分类算法

首先证明了,当类内散布矩阵非奇异时,特定参数值c0下最大散度差的最优鉴别方向等同于Fisher最优鉴别方向;其次,给出了最大散度差分类算法的识别率随参数C变化的曲线.该曲线通常为一脉冲曲线.随着参数C的增大,识别率也逐渐增大.当参数C增大到c0时,识别率达到最大值.另外,以往的研究成果表明:当类内散布矩阵奇异时,最大散度差鉴别准则逐步逼近大间距线性投影准则.而且,随着参数C的不断增大,最大散度差分类算法的识别率也单调增大并最终稳定到大间距线性投影分类算法的识别率上.为此,我们提出了基于最大散度差鉴别准则的自适应分类算法.新算法可以根据训练样本的特性(类内散布矩阵是否奇异)自动选择恰当的参数C.在UCI机器学习数据库上的6个数据集以及AR人脸图像数据库上的测试结果表明,自适应最大散度差分类算法具有良好的分类性能.     

一种新的基于最大散度差准则的特征抽取方法

本文基于最大散度差准则（MSDC），利用统计不相关投影空间，提出了一组具有统计不相关性的最佳鉴别矢量的计算方法。该方法的目标是寻求一组鉴别矢量集，既要使投影后的特征空间的类间散度最大，而类内散度最小；又要使最佳鉴别矢量之间具有统计不相关性。另外，本文还揭示了最大散度差鉴别准则与Fisher准则的内在关系。在ORL与NUST603人脸库上的实验结果表明，本文所提出的方法在识别性能上优于原MSDC特征抽取方法与传统的PCA方法。     

基于模糊核Fisher判别的说话人识别

在深入研究核Fisher判别方法的基础上,提出一种新的模糊核Fisher判别算法应用于说话人识别。采用模糊C均值聚类方法选择样本数据的同时,得到样本的模糊隶属度矩阵和聚类中心向量,进而对核Fisher判别算法中的类间离散度矩阵和类内离散度矩阵进行改进,生成模糊核Fisher判别算法,将其应用于说话人语音识别。     

一类基于多目标规划的线性鉴别准则

两类Fisher鉴别准则、大间距线性投影准则以及最大散度差鉴别准则都是直接用于模式分类的两类线性鉴别准则,它们的共同点是将“投影后数据的可分性达到最大的方向”作为最优投影方向。区别在于它们对数据可分性的定义有所不同。过去的研究成果表明,大间距线性投影分类器与支持向量机之间、大间距线性投影准则与最大散度差鉴别准则之间以及最大散度差鉴别准则与两类Fisher鉴别准则之间,均存在着这样或那样的联系。论文试图在以往研究成果的基础上进一步理清这些两类线性鉴别准则之间的内在关系,并建立一个统一的理论框架从而将基于投影后数据可分性的这些两类线性鉴别准则都纳入其中。     

Face recognition using fuzzy maximum scatter discriminant analysis

As we know, classical Fisher discriminant analysis usually suffers from the small sample size problem due to the singularity problem of the within-class scatter matrix. In this paper, a novel fuzzy linear classifier, called fuzzy maximum scatter difference (FMSD) discriminant criterion, is proposed to extract features from samples, especially deals with outlier samples. FMSD takes the scatter difference between between-class and within-class as discriminant criterion, so it will not suffer from the small sample size problem. The conventional scatter difference discriminant criterion (SDDC) assumes the same level of relevance of each sample to the corresponding class. In this paper, the fuzzy set theory is introduced to the conventional SDDC algorithm, where the fuzzy k-nearest neighbor is adopted to achieve the distribution information of original samples. The distribution is utilized to redefine the scatter matrices that are different from the conventional SDDC and effective to extract discriminative features from outlier samples. Experiments conducted on FERET and ORL face databases demonstrate the effectiveness of the proposed method.     

基于多类最大散度差的人脸表示方法

将用于两类分类的最大散度差鉴别准则推广为多类最大散度差鉴别准则,并建立了基于该准则的一种新的人脸表示方法.基于多类最大散度差鉴别准则的人脸表示方法有效避免了传统鉴别分析方法在人脸特征提取时通常面临的小样本模式识别问题.在国际标准人脸图像数据库ORL、Yale以及FERET上的实验结果表明,与Fisherfaces、Eigenfaces、正交补空间、零空间等人脸特征提取方法相比,新的人脸表示方法具有一定的优势.     

基于大间距准则的不相关保局投影分析

局部保持投影(Locality preserving projections,LPP)算法只保持了目标在投影后的邻域局部信息,为了更好地刻画数据的流形结构, 引入了类内和类间局部散度矩阵,给出了一种基于有效且稳定的大间距准则(Maximum margin criterion,MMC)的不相关保局投影分析方法.该方法在最大化散度矩阵迹差时,引入尺度因子α,对类内和类间局部散度矩阵进行加权,以便找到更适合分类的子空间并且可避免小样本问题; 更重要的是,大间距准则下提取的判别特征集一般情况下是统计相关的,造成了特征信息的冗余, 因此,通过增加一个不相关约束条件,利用推导出的公式提取不相关判别特征集, 这样做, 对正确识别更为有利.在Yale人脸库、PIE人脸库和MNIST手写数字库上的测试结果表明,本文方法有效且稳定, 与LPP、LDA (Linear discriminant analysis)和LPMIP(Locality-preserved maximum information projection)方法等相比,具有更高的正确识别率.     

新的非线性鉴别特征抽取方法及人脸识别

在非线性空间中采用新的最大散度差鉴别准则,提出了一种新的核最大散度差鉴别分析方法.该方法不仅有效地抽取了人脸图像的非线性鉴别特征,而且从根本上避免了以往核Fisher鉴别分析中训练样本总数较多时,通常存在的核散布矩阵奇异的问题,计算复杂度大大降低,识别速度有了明显的提高.在ORL人脸数据库上的实验结果验证了该算法的有效性.     

基于无监督最佳鉴别平面的人脸识别*

最佳鉴别平面作为一种重要的特征抽取方法,在人脸特征降维中具有重要的影响。然而,传统的最佳鉴别平面是基于Fisher准则的,只能用于有监督模式。为此,提出了一种将最佳鉴别平面扩展到无监督模式下的方法,其基本思想是以投影空间中模糊类间离散度和模糊类内离散度的比值最大为优化目标,计算出无监督模式下最佳鉴别矢量及模糊离散度矩阵,进而获得一种新的基于无监督最佳鉴别平面的特征抽取方法。较之同属于无监督特征抽取的主成分分析,该方法更容易获得有利于分类的特征。对CMU-PIE人脸数据库进行实验,结果表明,在样本类别信息缺失的情况下,该方法尽管无法具有与有监督模式下的最佳鉴别平面特征抽取方法同样的性能,但当不同类之间差异较大时,将优于主成分分析方法。     

间距判别投影及其在表情识别中的应用

针对全局降维方法判别信息不足,局部降维方法对邻域关系的判定存在缺陷的问题,提出一种新的基于间距的降维方法——间距判别投影（MDP）。首先,根据类的中心均值的异类近邻关系定义描述类边缘的边界向量;在这个基础上,MDP重新定义类间离散度矩阵,同时,使用全局的方法构造类内离散度矩阵;然后,MDP借鉴判别分析思想建立衡量类间距的准则,并通过类间距最大化增强样本在投影空间中的可分性。对MDP在人脸表情数据库JAFFE和Extended Cohn-Kanade上进行表情识别实验,并且跟传统的降维方法主成分分析（PCA）、最大间距准则（MMC）和边界Fisher分析（MFA）进行对比,实验结果表明,所提算法能够有效提取更具区分性的低维特征,比其他几种方法分类精度更高。