基于Rescaled Hinge损失函数的多子支持向量机

针对多分类学习模型性能会受异常值影响的问题，提出基于Rescaled Hinge损失函数的多子支持向量机（RHMBSVM）。首先，该方法通过引入有界、非凸的Rescaled Hinge损失函数来构建相应的优化问题；然后，利用共轭函数理论将优化问题作等价变换；最后，使用变量交替策略形成一个迭代算法来求解非凸优化问题，该方法在求解的过程中可自动调节每个样本点的惩罚权重，从而削弱了异常值对K个超平面的影响，增强了鲁棒性。使用5折交叉验证的方法进行数值实验，实验结果表明，在数据集无异常值的情况下，该方法的正确率比多子支持向量机（MBSVM）提升了1.11个百分点，比基于Rescaled Hinge损失函数的鲁棒支持向量机（RSVM-RHHQ）提升了0.74个百分点；在数据集有异常值的情况下，该方法的正确率比MBSVM提升了2.10个百分点，比RSVM-RHHQ提升了1.47个百分点。实验结果证明了所提方法在解决有异常值的多分类问题上的鲁棒性。     

鲁棒最小二乘支持向量回归机

针对最小二乘支持向量回归机(LS-SVR)对异常值较敏感的问题,通过设置异常值所造成的损失上界,提出一种非凸的Ramp损失函数。该损失函数导致相应的优化问题的非凸性,利用凹凸过程(CCCP)将非凸优化问题转化为凸优化问题。给出Newton算法进行求解并分析了算法的计算复杂度。数据集测试的结果表明,与最小二乘支持向量回归机相比,该算法对异常值具有较强的鲁棒性,获得了更优的泛化能力,同时在运行时间上也具有明显优势。     

鲁棒SVR在金融时间序列预测中的应用

针对标准支持向量机对噪声和异常值比较敏感的问题,通过限定噪声和异常值的损失上界,提出一种基于不对称Ramp损失函数的鲁棒支持向量回归机模型,应用凹凸过程将其由非凸优化问题转化为凸优化问题并利用牛顿法进行求解.对上证指数和香港恒生指数收盘价的预测结果表明,该模型能在一定程度上抑制噪声和异常值的影响,从而提高预测精度及减少...     

最小二乘隐空间支持向量机

在隐空间中采用最小二乘损失函数,提出了最小二乘隐空间支持向量机（LSHSSVMs）．同隐空间支持向量机（HSSVMs）一样,最小二乘隐空间支持向量机不需要核函数满足正定条件,从而扩展了支持向量机核函数的选择范围．由于采用了最小二乘损失函数,最小二乘隐空问支持向量机产生的优化问题为无约束凸二次规划,这比隐空间支持向量机产生的约束凸二次规划更易求解．仿真实验结果表明所提算法在计算时间和推广能力上较隐空间支持向量机存在一定的优势．     

改进的Ramp孪生支持向量机聚类

基于Hinge损失的孪生支持向量机聚类和基于Ramp损失的孪生支持向量机聚类是两种平面聚类的新算法,为解决聚类问题提供了新的研究思路,逐渐成为模式识别等领域的研究热点。然而,它们在处理带有噪声数据的聚类问题时,往往性能表现不佳。为了解决这个问题,构造了非对称的Ramp损失函数,并在此基础上提出了一种改进的Ramp孪生支持向量机聚类算法。非对称Ramp损失函数不仅继承了Ramp损失函数的优点,用非对称的有界函数度量类内散度和类间散度,使得该算法对离聚类中心平面较远的数据点更加鲁棒,而且参数t的引入使得非对称Ramp损失函数更加灵活。特别地,当参数t等于1时,非对称Ramp损失函数退化为Ramp损失函数,使得基于Ramp损失函数的孪生支持向量机聚类算法成为所提算法的特例。同时,基于核技巧推广到了非线性情形,线性和非线性模型均为非凸优化问题,通过交替迭代算法有效求解。分别在多个UCI数据集和人工数据集上进行实验,实验结果验证了所提算法的有效性。     

用于回归的临近支持向量机

将临近支持向量分类杌应用在回归问题上,提出临近支持向量回归机,给出线性与非线性情况下的回归函数,该方法比支持向量回归机(svR)问题减少了参数和一半变量,比最小二乘支持向量回归机(LSSVMR)求解公式更加简单,且核函数不需要满足Mercer条件.数值实验结果表明,与SVR和LSSVMR相比,该方法的学习速度更快,且泛化能力较之不相上下.     

一族三次样条光滑半监督支持向量机

针对半监督支持向量分类优化中的非凸非光滑化问题,建立光滑半监督支持向量机模型,提出基于分段多项式函数和插值思想构造一个新的三次样条光滑函数,从而可以更好地逼近对半监督支持向量机中非光滑的对称铰链损失函数部分,构造出基于此光滑函数的具有二阶光滑的半监督支持向量机模型。进而可以用优化中的光滑算法来求解该模型,并分析所构造的三次样条函数对对称铰链损失函数的逼近精度。通过数据实验证明所构造的新的光滑半监督模型具有较好的分类效果和效率。     

二次损失函数支持向量机性能的研究

通过比较二次损失函数支持向量机和标准支持向量机在模式识别问题上的表现，分析了二次损失函数支持向量机的性能．实验表明这两种支持向量机对平衡数据有相似的分类能力，但二次损失函数支持向量机的优化参数更小，支持向量更多；对不平衡数据，二次损失函数支持向量机的分类准确率随不平衡度的增加而急剧下降．研究同时表明基于RM界的梯度方法对某些数据无效．文中定性分析了导致上述各种现象的原因．最后提出了一种利用黄金分割原理缩减二次损失函数支持向量机支持向量的方法，该方法冗余的支持向量数不超过一个．     

基于光滑Ramp损失函数的健壮支持向量机

提出一种新型的基于光滑Ramp损失函数的健壮支持向量机,能够有效抑制孤立点对泛化性能的影响,并采用CCCP将它的非凸优化目标函数转换成连续、二次可微的凸优化。在此基础上,给出训练健壮支持向量机的一种Newton型算法并且分析了算法的收敛性质。实验结果表明,提出的健壮支持向量机对孤立点不敏感,在各种数据集上均获得了比传统的SVMlight算法和Newton-Primal算法更优的泛化能力。     

基于尺度核函数的最小二乘支持向量机

支持向量机的核函数一直是影响其学习效果的重要因素.本文基于小波分解理论和支持向量机核函数的条件,提出一种多维允许支持向量尺度核函数.该核函数不仅具有平移正交性,且可以以其正交性逼近二次可积空间上的任意曲线,从而提升支持向量机的泛化性能.在尺度函数作为支持向量核函数的基础之上,提出基于尺度核函数的最小二乘支持向量机(LS-SSVM).实验结果表明,LS-SSVM在同等条件下比传统支持向量机的学习精度更高,因而更适用于复杂函数的学习问题.     

模糊支持向量机的偏移量计算方法

偏移量确定了支持向量机和模糊支持向量机（FSVM）的最优分类面位置,对分类性能具有较大影响。为提高模糊支持向量机的识别率,基于Fisher判别分析方法提出一种新的偏移量计算方法,将其用于FSVM多类分类器设计。对3种数据集的测试结果表明,使用新偏移量的FSVM识别率高于使用标准偏移量的FSVM识别率。     

基于改进支持向量机的快速稳健代理模型研究

最小二乘支持向量机代理模型具有较好的泛化能力和强大的非线性处理能力,但其对实际工程中不可避免的异常样本十分敏感,而传统的加权最小二乘支持向量机易产生过度拟合并且未考虑到回归误差分布特性,针对这一问题提出正态分布概率密度函数加权方法,并且采用回归误差的中值作为计算权值的衡量标准,增强了加权算法的稳健性;提出了迭代加权最小二乘支持向量机快速递推算法,利用矩阵关系进行迭代递推计算,减少了计算量,节约了建模时间。通过数值实例验证了该方法的可行性、有效性。     

基于模糊分割的支持向量机分类器

支持向量机算法对噪声点和异常点是敏感的,为了解决这个问题,人们提出了模糊支持向量机,但其中的模糊隶属度函数需要人为设置。提出基于模糊分割的支持向量机分类器。在该算法中,首先根据聚类有效性用模糊c-均值聚类分别对训练集中的正负类数据聚类;然后,选择距离最近的c个聚类对构成c个二分类问题;最后,对c个二分类器用加权平均策略得到最终分类结果。为了验证所提算法的有效性,对三个UCI数据集进行了数值实验,结果表明,该算法能有效提高带噪声点和异常点数据集分类的预测精度。     

求解双边加权模糊支持向量机的序贯最小优化算法

高的计算复杂度限制了双边加权模糊支持向量机在实际分类问题中的应用。为了降低计算复杂度,提出了应用序贯最小优化算法（SMO）解该模型,该模型首先将整个二次规划问题分解成一系列规模为2的二次规划子问题,然后求解这些二次规划子问题。为了测试SMO算法的性能,在三个真实数据集和两个人工数据集上进行了数值实验。结果表明：与传统的内点算法相比,在不损失测试精度的情况下,SMO算法明显地降低了模型的计算复杂度,使其在实际中的应用成为可能。     

基于线性孪生支持向量机的特征选择方法

提出了一种基于线性孪生支持向量机（TWSVM）的嵌入式特征选择方法。该方法在构造分类器的过程中,通过在TWSVM原有优化模型中引入一个惩罚项,来实现特征选择。在求解过程中,采用交替迭代优化方法将该模型求解问题分解成两个子问题来处理,即标准TWSVM优化问题和关于特征权重的非线性约束优化问题,并分别对子问题进行有效求解。在UCI数据集上对算法进行了仿真分析和比较,仿真结果验证了算法的有效性。     

基于pinball损失的结构模糊多分类支持向量机算法

针对多分类支持向量机（MSVM）对噪声较强的敏感性、对重采样数据的不稳定性以及泛化性能低等缺陷,将pinball损失函数、样本模糊隶属度以及样本结构信息引入到简化的多分类支持向量机（SimMSVM）算法中,构建了基于pinball损失的结构模糊多分类支持向量机算法Pin-SFSimMSVM。在人工数据集、UCI数据集以及添加不同比例噪声的UCI数据集上的实验结果显示：所提出的Pin-SFSimMSVM算法与SimMSVM算法相比,准确率均提升了0~5.25个百分点;所提出的算法不仅具有避免多类数据存在不可分区域和计算速度快的优点,而且具有对噪声较好的不敏感性以及对重采样数据的稳定性,同时考虑了不同数据样本在分类时扮演不同角色的事实以及数据中包含的重要先验知识,从而使分类器训练更准确。     

总间隔v-模糊支持向量机研究

为获得更好的分类性能,对传统模糊支持向量机(FSVM)进行扩展,提出一种总间隔v-模糊支持向量机(TM-v-FSVM)。通过使用差异成本及引入总间隔和模糊隶属度,同时解决不平衡训练样本问题和传统软间隔分类机的过拟合问题,从而提升学习机的泛化能力。采用UCI实际数据集进行模式分类实验,结果表明TM-v-FSVM具有稳定的分类性能。