一种快速的SVM最优核参数选择方法

支持向量机是一种基于核的学习方法,核函数及核参数的选择直接影响到SVM的泛化能力。传统的参数选择方法如网格搜索法,由于其计算量大,训练过程十分耗时,提出了一种新的快速选择最优核参数方法,该方法通过计算各类别在特征空间的可分性度量值来决定最优核参数,不需训练相应SVM分类模型,从而大大缩减了训练时间,提高了训练速度,且分类精度与传统方法相比,具有相当的竞争力。实验证明,该算法是可行有效的。     

基于Fisher 准则和最大熵原理的SVM核参数选择方法

针对支持向量机(SVM)核参数选择困难的问题,提出一种基于Fisher准则和最大熵原理的SVM核参数优选方法.首先,从SVM分类器原理出发,提出SVM核参数优劣的衡量标准;然后,根据此标准利用Fisher准则来优选SVM核参数,并引入最大熵原理进一步调整算法的优选性能.整个模型采用粒子群优化算法(PSO)进行参数寻优.UCI标准数据集实验表明了所提方法具有良好的参数选择效果,优选出的核参数能够使SVM具有较高的泛化性能.     

一种基于数据的核参数优化方法

SVM是一种基于核的学习方法,核及相关参数的选择对其性能有非常重要的影响,提出了一种数据依赖的最优核参数估计方法,通过角度切割样本集求解训练样本的近似凸包,以确定最优的核参数。实验结果表明,无论数据是否稠密,分布是否均匀,算法都可适用,该方法有较高的可行性与有效性。     

基于遗传算法的SVM参数组合优化

核函数类型、核函数参数及错误惩罚因子是影响SVM学习能力和泛化能力的关键因素.实际应用中选择上述SVM参数组合多依赖经验或人工尝试,通常很难选择到最优参数组合.提出一种基于遗传算法的SVM优化技术,针对优化对象设计二进制编码基因串和相应遗传算子,能够实现同时对上述三个参数组合的优化.在UCI标准数据库上的实验结果说明了提出方法的有效性.     

结合半监督核的高斯过程分类

提出了一种半监督算法用于学习高斯过程分类器, 其通过结合非参数的半监督核向分类器提供未标记数据信息. 该算法主要包括以下几个方面: 1)通过图拉普拉斯的谱分解获得核矩阵, 其联合了标记数据和未标记数据信息; 2)采用凸最优化方法学习核矩阵特征向量的最优权值, 构建非参数的半监督核; 3)把半监督核整合到高斯过程模型中, 构建所提出的半监督学习算法. 该算法的主要特点是: 把基于整个数据集的非参数半监督核应用于高斯过程模型, 该模型有着明确的概率描述, 可以方便地对数据之间的不确定性进行建模, 并能够解决复杂的推论问题. 通过实验结果表明, 该算法与其他方法相比具有更高的可靠性.     

半定规划支持向量机模型的研究

支持向量机(support vector machines,SVM)的分类精度和泛化能力会受到核函数及其工作参数的影响,传统的核函数参数选择方法缺乏理论支持,花费的时间较多,效果也不一定理想。针对此问题,提出一种基于半定规划的SVM模型,利用半定规划来判别一组给定的核函数工作参数是否有效,并能用有效的核函数工作参数组合计算出更优的核矩阵,提高SVM模型的分类精度。在UCI数据集上的实验结果表明,用此方法判别核函数工作参数是可行的,所组合出的半定规划SVM模型的泛化能力优于传统的SVM模型,并且异构核半定规划SVM模型的泛化能力优于同构核半定规划SVM模型。     

基于特征距离的组合核矩阵模型选择标准

核矩阵的组合方法是核函数构造和核方法学习的崭新的、重要的方法。目前,组合核矩阵的模型选择标准并不多见,应用较多的是核目标匹配,但该标准并不严格,尚具有较大的冗余性。针对这一问题,本文提出一个有效的基于特征距离的组合核矩阵模型选择标准。本文首先讨论核目标匹配标准及其局限性,然后提出基于特征距离的核矩阵模型型选择标准并分析该标准的计算性能,最后通过实验验证所提出的模型选择标准在核参数选择和组合系数选择两方面的效能。理论分析和实验结果表明,所提出的基于特征距
离的组合核矩阵模型选择标准是合理且有效的。     

基于核相似性差异最大化的支持向量机参数选择算法

针对支持向量机(SVM)参数选择问题,通过分析SVM近似网络模型及分类原理,提出一种基于核相似性差异最大化的高斯核参数快速选择算法(MSD)。同时,将MSD算法与基于交叉验证的参数搜索算法相结合,构成一种复合SVM参数选择算法(MSD-GS),实现核参数与正则化参数的快速优选。UCI数据的仿真实验表明该算法具有参数选择准确、简便快速、无需数据先验知识等优点,参数选择效果甚至优于遍历式指数网格搜索算法。优选出的参数组合能够使SVM具有较高的泛化性能。     

基于CUR矩阵分解的多核学习正则化路径近似算法

多核学习在解决不规则、大规模数据问题时表现出良好的优越性。正则化路径是一种多次求解多核学习,选择最优模型的措施。针对多核学习正则化路径算法处理大规模数据时,核矩阵规模较大,计算代价高,影响优化模型效率的问题,提出一种基于CUR矩阵分解的多核学习正则化路径近似算法(Multiple kernel learning regularization path approximation algorithm with CUR, MKLRPCUR)。该算法首先采用CUR算法获得核矩阵的低秩近似矩阵的多个分解矩阵,然后在求解过程中利用低维的分解矩阵相乘替代核矩阵,调整相关矩阵计算的顺序,从而简化算法中核矩阵和拉格朗日乘子向量乘积的计算。 MKLRPCUR算法降低了矩阵的计算规模,优化了矩阵计算,提高了精确算法的计算效率。 从理论上分析低秩近似矩阵的相对误差和算法的时间复杂度,验证了近似算法的合理性。同时,在UCI数据集、ORL和COIL图像数据库上的实验结果表明,本文提出的近似算法不仅保证了学习的准确率,并且降低了算法的运行时间,提高了模型的效率。     

基于特征矢量集的核Logistic回归

将经典Logistic回归推广到高维RKHS空间，提出了一种基于特征矢量选择的核Logistic回归算法-FVS-KLR．该算法利用特征矢量选择（FVS）从训练样本集中选择一个特征矢量集，原样本在RKHS空间中的映射可用该集合中元素映射的线性组合近似．以特征矢量集为基得到核Logistic回归的目标泛函，并采用Newton-Raphson方法寻优，将优化的计算量由O（N^3）降到O（NL^2），L〈〈N．同时文章推导了多类情况下的核Logistic回归算法．通过与SVM的对比实验表明，该算法对后验概率的估计优于SVM方法，同时在分类错误率不高于SVM的基础上能显著降低分类器的计算量．     

进化贝叶斯优化的核极限学习机分类器

为解决传统核极限学习机算法参数优化困难的问题,提高分类准确度,提出一种改进贝叶斯优化的核极限学习机算法.用樽海鞘群设计贝叶斯优化框架中获取函数的下置信界策略,提高算法的局部搜索能力和寻优能力;用这种改进的贝叶斯优化算法对核极限学习机的参数进行寻优,用最优参数构造核极限学习机分类器.在UCI真实数据集上进行仿真实验,实验...     

核仿射子空间最近点分类算法

受支持向量机的几何解释和最近点问题启发,提出一种新型的模式分类算法——核仿射子空间最近点分类算法。该算法在核空间中,将支持向量机几何模型中的最近点搜索区域由2类训练特征集凸包推广到2类特征样本各自生成的仿射子空间,以仿射子空间作为特征样本分布的粗略估计,通过仿射子空间中的最近的2个点构造平分仿射子空间间隔的最优分类超平面。该算法在ORL人脸识别数据库上的比较实验中取得了较好的识别效果。     

Automatic detection of erythemato-squamous diseases using PSO–SVM based on association rules

In this paper, we develop a diagnosis model based on particle swarm optimization (PSO), support vector machines (SVMs) and association rules (ARs) to diagnose erythemato-squamous diseases. The proposed model consists of two stages: first, AR is used to select the optimal feature subset from the original feature set; then a PSO based approach for parameter determination of SVM is developed to find the best parameters of kernel function (based on the fact that kernel parameter setting in the SVM training procedure significantly influences the classification accuracy, and PSO is a promising tool for global searching). Experimental results show that the proposed AR_PSO–SVM model achieves 98.91% classification accuracy using 24 features of the erythemato-squamous diseases dataset taken from UCI (University of California at Irvine) machine learning database. Therefore, we can conclude that our proposed method is very promising compared to the previously reported results.     

基于最大相关熵准则的鲁棒度量学习算法

度量亦称距离函数,是度量空间中满足特定条件的特殊函数,一般用来反映数据间存在的一些重要距离关系.而距离对于各种分类聚类问题影响很大,因此度量学习对于这类机器学习问题有重要影响.受到现实存在的各种噪声影响,已有的各种度量学习算法在处理各种分类问题时,往往出现分类准确率较低以及分类准确率波动大的问题.针对该问题,本文提出一种基于最大相关熵准则的鲁棒度量学习算法.最大相关熵准则的核心在于高斯核函数,本文将其引入到度量学习中,通过构建以高斯核函数为核心的损失函数,利用梯度下降法进行优化,反复测试调整参数,最后得到输出的度量矩阵.通过这样的方法学习到的度量矩阵将有更好的鲁棒性,在处理受噪声影响的各种分类问题时,将有效地提高分类准确率.本文将在一些常用机器学习数据集（UCI）还有人脸数据集上进行验证实验.     

基于DAGSVM的高炉故障诊断研究

针对高炉故障诊断智能化程度低，对操作人员技术水平要求高等不足，提出了基于支持向量机的多类分类故障诊断方法．根据统计学原理，使用核函数将样本映射到高维空间进行训练．综合各种核函数的测试准确率，得到解决该问题的最佳核函数．通过比较不同的多类分类算法，提出了基于DAGSVM的诊断模型．实验结果表明该算法具有较高的识别准确率．     

基于克隆选择的差分进化算法及其在SVM中的应用

支持向量机参数是影响其性能的重要因素,但对支持向量机核参数的选取仍没有形成一套成熟的理论,从而严重影响了其广泛的应用。将克隆选择算法引入差分进化算法,对基本克隆选择算法和差分进化算法中的策略进行改进。将两种改进的算法进行融合,提出了一种基于克隆选择的差分进化算法,并将其应用于SVM核参数的优化中。测试结果表明,该算法不仅可以有效避免差分进化算法易早熟收敛的问题,而且寻优能力得到显著提高;在UCI数据库wine数据中的应用表明,利用克隆选择差分进化算法优化SVM核参数加快了参数搜索的速度,提高了SVM预测精度和泛化能力,具有较高的分类准确率和较好的推广性能。     

基于SVM分类问题的核函数选择仿真研究

首先讨论支持向量机(SVM)的基本思想和实现过程,随后着重对SVM核函数进行探讨,从理论上研究常用核函数的选择优化问题。采用UCI数据库中的玻璃识别数据、菖蒲植物数据以及汽车评估数据分别对选择不同的核函数情况进行实验仿真分类和比较。仿真结果表明,同类数据选择不同核函数会产生不同的分类效果,选取合适的核函数对分类效果有很大的影响。     

普适性核度量标准比较研究

核方法是一类应用较为广泛的机器学习算法,已被应用于分类、聚类、回归和特征选择等方面.核函数的选择与参数优化一直是影响核方法效果的核心问题,从而推动了核度量标准,特别是普适性核度量标准的研究.对应用最为广泛的5种普适性核度量标准进行了分析与比较研究,包括KTA,EKTA,CKTA,FSM和KCSM.发现上述5种普适性度量标准的度量内容为特征空间中线性假设的平均间隔,与支持向量机最大化最小间隔的优化标准存在偏差.然后,使用模拟数据分析了上述标准的类别分布敏感性、线性平移敏感性、异方差数据敏感性,发现上述标准仅是核度量的充分非必要条件,好的核函数可能获得较低的度量值.最后,在9个UCI数据集和20Newsgroups数据集上比较了上述标准的度量效果,发现CKTA是度量效果最好的普适性核度量标准.