基于改进粒子群算法的核函数参数优化

针对核主元分析(Kernel Principal Component Analysis, KPCA)的性能极大地受到本身核函数参数影响问题,提出一种新型的聚类KPCA-FDA-IPSO核参数优化方法。该方法结合KPCA特征分析的相关方法,综合考虑样本的类内离散度和类间距离,并通过Fisher判别分析(Fisher Discriminant Analysis, FDA)建立的数学模型,再将传统粒子群优化算法(Particle Swarm Optimization, PSO)改进为具有继承机制的粒子群优化算法(Inheritance PSO,IPSO),并对核函数寻优。通过数据集仿真和应用研究,验证了该方法能有效地优化核函数参数并提高了KPCA的故障诊断性能。     

基于山方法的分类型数据核聚类

为了提高分类型数据集聚类的准确性和对广泛数据集聚类的适应性,引入3种核函数,再利用基于山方法的核K-means作分类型的数据聚类,核函数把分类型数据映射到高维特征空间,从而给缺乏测度的分类型数据引入了数值型数据的测度.改进后用多个公开数据集对这些方法进行了实验评测,结果显示这些方法对分类型数据的聚类是有效的.     

基于DC规划的鲁棒模糊核聚类算法

对以径向基核函数和欧拉核函数为代表的鲁棒模糊核聚类算法进行非凸优化,以改善聚类算法目标函数非凸导致的局部解问题.采用凸差规划(DCP)将目标函数转化为2个凸函数之差的形式,减缓局部解的不良性,提高聚类性能.采用凸差算法(DCA)优化求解DCP问题,能快速搜索到相对更优的解,并保持聚类的鲁棒性.在UCI数据集上的实验验证基于DCP的鲁棒模糊核聚类算法对大规模数据集表现出相对更优的聚类性能.     

基于连续域混合蚁群优化的核模糊C-均值聚类算法研究

为进一步提高核模糊C-均值聚类算法的聚类性能,提出基于连续域混合蚁群优化的核模糊C-均值聚类算法(KFCM-HACO),使用HACO对KFCM算法的内核函数参数值和聚类中心进行优化,克服传统算法弊端,使核模糊C-均值聚类算法的目标函数最小化,加快算法的收敛速度.该优化算法在UCI数据集上的仿真实验及结果比较表明,KFCM-HACO算法的聚类性能优于传统的聚类算法,提高了聚类的准确性.     

基于核自适应的近邻传播聚类算法

近邻传播聚类(AP)方法是近年来出现的一种广受关注的聚类方法,在处理多类、大规模数据集时,能够在较短的时间得到较理想的结果,因此与传统方法相比具有很大的优势。但是对于一些聚类结构复杂的数据集,往往不能得到很好的聚类结果。通过分析数据的聚类特性,设计了一种可以根据数据结构自动调整参数的核函数,数据集在其映射得到的核空间中线性可分或几乎线性可分,对该核空间中的数据集进行近邻传播聚类,有效提高了AP聚类的精确度和速度。算法有效性分析以及仿真实验验证了所提算法在处理大规模复杂结构数据集上的性能优于原始AP算法。     

多核模糊聚类

针对单核聚类的性能局限性问题,提出将高斯核、Sigmoid核以及多项式核等多种核组成一种新的多核函数,并利用于模糊核进行聚类。高斯核在聚类中有广泛应用,同时Sigmoid核在神经网络中被证明具有很好的全局分类性能。将不同的核函数组合起来的多核函数将结合各种核函数的优点,其聚类性能优于利用单核的模糊核聚类（KFCM）,实验结果表明了该方法的有效性。     

一种基于高斯核化有效性指标的自适应优选聚类数的FKCM

针对传统的模糊核聚类算法(FKCM)需给出聚类个数,且对初始值敏感、易陷入局部最优的缺点,本文提出了一种基于高斯核化有效性指标的自适应优选聚类数的模糊核聚类算法(GKVI-AOCN-FKCM)。利用基于密度和距离的方法选取初始聚类中心,克服了对初始值的敏感,提高了聚类效率。然后用高斯核函数核化后的有效性指标评价聚类效果并自动确定最佳分类数,从而无监督地实现对数据集的模糊划分。对Iris数据集的仿真实验及石脑油属性数据分类的应用验证了算法的可行性和有效性。     

优化KPCA特征提取下的FCM算法研究

利用核函数主元分析（KPCA）方法对大样本、高维数据进行特征提取预处理,并结合文化算法（CA）选择最优或接近最优的核函数,将其用于模糊C均值（FCM）聚类中,不但有效地提取了样本的非线性信息,而且使样本维数得到约简。实验表明该方法具有较好的聚类效果和更少的训练时间。     

基于K-均值聚类的KPCA在故障诊断中的应用

针对大规模样本集的核主成分分析(KPCA)存在计算代价巨大的问题,提出一种新的KPCA快速算法。该算法通过施行改进初始中心选择策略的K-均值聚类算法划分样本集,然后选取每个分类的中心作为样本集建立KPCA模型。将该方法应用于TE(Tennessee Eastman)过程的故障诊断,与基于全体样本的KPCA进行比较。实验结果表明,二者的诊断效果相当,但是新的方法在计算上所耗费的时间更少。     

基于复合核函数KPCA的红外人脸识别

研究人脸优化识别问题,提出一种复合核函数KPCA的红外人脸特征提取法.利用最优或者接近最优的复合核函数主元分析KPCA方法对训练样本核映射到高维空间进行特征提取预处理,并结合最近邻法分类器分类进行红外人脸识别.该方法不仅有效的提取了训练样本的非线性信息,而且有效的改进了识别效果.多次实验结果表明了,基于复合核函数KPCA的红外人脸识别率优于传统的核主元分析法(KPCA)和主元分析法(PCA).结果表明,改进方法可减少识别时间,并保证了识别率一直稳定在比较高的水平.     

基于数据依赖核函数的核优化算法

为了克服核学习中核函数及参数选择问题并提升算法性能,文中提出一种基于数据依赖核函数的核优化算法,用最大间隔准则建立最优目标函数求解数据依赖核的最优参数。实验表明文中算法可有效提高核学习机的性能。     

Kernel Self-optimized Locality Preserving Discriminant Analysis for feature extraction and recognition

We propose Kernel Self-optimized Locality Preserving Discriminant Analysis (KSLPDA) for feature extraction and recognition. The procedure of KSLPDA is divided into two stages, i.e., one is to solve the optimal expansion of the data-dependent kernel with the proposed kernel self-optimization method, and the second is to seek the optimal projection matrix for dimensionality reduction. Since the optimal parameters of data-dependent kernel are achieved automatically through solving the constraint optimization equation, based on maximum margin criterion and Fisher criterion in the empirical feature space, KSLPDA works well on feature extraction for classification. The comparative experiments show that KSLPDA outperforms PCA, LDA, LPP, supervised LPP and kernel supervised LPP.     

Non-uniform multiple kernel learning with cluster-based gating functions

Recently, multiple kernel learning (MKL) has gained increasing attention due to its empirical superiority over traditional single kernel based methods. However, most of state-of-the-art MKL methods are “uniform” in the sense that the relative weights of kernels keep fixed among all data.Here we propose a “non-uniform” MKL method with a data-dependent gating mechanism, i.e., adaptively determine the kernel weights for the samples. We utilize a soft clustering algorithm and then tune the weight for each cluster under the graph embedding (GE) framework. The idea of exploiting cluster structures is based on the observation that data from the same cluster tend to perform consistently, which thus increases the resistance to noises and results in more reliable estimate. Moreover, it is computationally simple to handle out-of-sample data, whose implicit RKHS representations are modulated by the posterior to each cluster.Quantitative studies between the proposed method and some representative MKL methods are conducted on both synthetic and widely used public data sets. The experimental results well validate its superiorities.     

基于统计检验的核函数度量方法研究

将统计检验方法应用于核函数度量.以核函数、规范化核函数、中心化核函数和核距离作为样本在特征空间中的几何关系度量,使用t检验和F检验等7种统计检验方法检验特征空间中同类样本间几何关系度量值与异类样本间几何关系度量值的分布差异,以此反映特征空间中同类样本间内聚性与异类样本间分离性间的差异.在11个UCI数据集上进行的核函数选择实验表明,基于统计检验的核度量方法达到或超过了核校准与特征空间核度量标准等方法的效果,适用于核函数度量;并且发现两类数据分布差异主要体现在了方差差异上.此外,对核函数的处理(规范化或中心化)会改变特征空间,使得度量结果失真.     

Conformal Transformation of Kernel Functions: A Data-Dependent Way to Improve Support Vector Machine Classifiers

In this paper we extend the conformal method of modifying a kernel function to improve the performance of Support Vector Machine classifiers [14, 15]. The kernel function is conformally transformed in a data-dependent way by using the information of Support Vectors obtained in primary training. We further investigate the performances of modified Gaussian Radial Basis Function and Polynomial kernels. Simulation results for two artificial data sets show that the method is very effective, especially for correcting bad kernels. This revised version was published online in August 2006 with corrections to the Cover Date.     

基于支持向量机分类问题的勒让德核函数

基于勒让德正交多项式,提出了一类新的核函数——勒让德核函数。在双螺旋集和标准UCI数据集上的实验表明,在鲁棒性与泛化性能方面,该核函数比常用的核函数(多项式核、高斯径向基核等)具有更好的表现,而且其参数仅在自然数中取值,能大大缩短参数优化时间。     

利用组合核函数提高核主分量分析的性能

为了提高图像分类的识别率，在对基于核的学习算法中，核函数的构成条件以及不同核函数的特性进行分析和研究的基础上，提出了一种新的核函数——组合核函数，并将它应用于核主分量分析(KPCA)中，以便进行图像特征的提取，由于新的核函数既可以提取全局特征，又可以提取局部特征，因此，可以提高KPCA在图像特征提取中的性能。为了验证所提出核函数的有效性，首先利用新的核函数进行KPCA，以便对手写数字和脸谱等图像进行特征提取，然后利用线性支持向量机(SVM)来进行识别，实验结果显示，从识别率上看，用组合核函数所提取的特征质量比原核函数所提取的特征质量高。     

核函数的性质及其构造方法

支持向量机是一项机器学习技术，发展至今近10年了，已经成功地用于模式识别、回归估计以及聚类等，并由此衍生出了核方法。支持向量机由核函数与训练集完全刻画。进一步提高支持向量机性能的关键，是针对给定的问题设计恰当的核函数，这就要求对核函数本身有深刻了解。本文首先分析了核函数的一些重要性质，接着对3类核函数，即平移不变核函数、旋转不变核函数和卷积核，提出了简单实用的判别准则。在此基础上，验证和构造了很多重要核函数。     

基于数据依赖核LS-SVM的压电智能结构冲击损伤检测

基于支持向量机与信息几何的统计学关联性,从信息几何学的角度通过共形变换构造了数据依赖核函数,并与LS-SVM相结合,从而形成数据依赖核LS-SVM方法。基于一阶剪切变形理论及有限单元方法,对压电智能复合材料层板进行了低速冲击压电响应数值仿真,并进行了特征提取。基于各压电传感器响应信号特征,采用数据依赖核LS-SVM方法,对压电智能复合材料层板进行了冲击损伤检测,并与静态高斯核函数(RBF)的LS-SVM方法进行了对比。结果表明:在同等条件下,相比于静态RBF核LS-SVM,数据依赖核LS-SVM具有更高的损伤检测精度及更强的推广能力。     

一种新的支持向量回归核函数构建方法

首先，讨论了支持向量回归（support vector regression，SVR）的基本原理．然后，从信息几何的角度分析了核函数的几何结构，通过共形变换（conformal transformation）构建与数据依赖(data-dependent)的核函数，使得特征空间在支持向量附近的体积元缩小，以改善SVR的机器性能．实验结果表明了方法的有效性．