鲁棒最小二乘支持向量机及其在软测量中的应用

针对最小二乘支持向量机在利用产生于工业现场的非理想数据集进行建模预测时,稀疏化模型鲁棒性差的问题,提出了一种基于模糊C均值聚类和密度加权的稀疏化方法.首先通过模糊C均值聚类将训练样本划分为若干个子类;然后计算每个子类中各样本的可能贡献度,依次从每个子类中选取具有最大可能贡献度的样本作为支持向量;最后更新每个样本的可能贡献度,继续从各个子集中增选支持向量,直至稀疏化后的模型性能满足要求.仿真结果和磨机负荷实际应用表明,该方法能够兼顾模型在整体样本集和各工况子集上的性能,在实现模型稀疏化的同时,能够显著改善最小二乘支持向量机模型的鲁棒性.     

适用于加权样本集处理的加权支持向量机方法

为了处理模式识别问题中具有加权信息的样本集,提出一种加权支持向量机(weighted support vector machine,WSVM)算法,并对算法进行了理论分析.通过引入样本与超平面加权距离的概念,使得WSVM算法可以对样本的权值信息进行有效处理.针对未明确给出权值分布的样本集,提出一种基于类间中心距离确定权值的经验方法,对加权支持向量机算法采用交叉验证技术在人工及真实数据上进行了仿真,结果表明,加权支持向量机比标准支持向量机具有更小的误识率和更好的稳定性.     

基于密度的稀疏最小二乘支持向量机

针对最小二乘支持向量机对训练样本内噪声比较敏感和其稀疏性差的问题,提出基于密度k-近邻向量的训练样本裁剪算法。对训练样本的各个样本类进行聚类,删除噪声数据,提高支持向量机的训练精度。通过计算出每个样本类的平均相似度和平均密度,得到样本的类相似度阈值;根据相似度阈值,将小于类相似度阈值的样本进行合并,减少训练样本总数。实验结果表明,该算法在保证训练精度的情况下,减少了支持向量数目。     

构造稀疏最小二乘支持向量机的网络入侵检测模型

从最小二乘支持向量机的稀疏表达出发,构建高效的基于稀疏最小二乘支持向量机的网络入侵检测模型,提出了一种通过基于核空间近似策略的有效低秩逼近来有效减小原始训练样本集中的支持向量数来实现最终模型的稀疏表达.以MIT KDD99数据集为基础,对所提出方法进行有效性验证,并与利用剪枝策略通过递归过程中不断减少模型中支持向量个数的稀疏化方法、基本最小二乘支持向量机以及标准支持向量机方法的性能进行对比.结果表明:基于核空间近似的最小二乘支持向量机稀疏化与标准最小二乘支持向量机相当;此外稀疏最小二乘支持向量机能够提高入侵检测响应速度.     

一种改进的最小二乘支持向量机算法

最小二乘支持向量机是标准支持向量机的一种扩展,它是支持向量机在二次损失函数下的一种形式.它用等式约束代替不等式约束,求解过程变为解一组等式方程,避免了求解耗时的二次规划问题,但同时也丧失了标准支持向量机的稀疏性,影响了二次学习的效率.针对上述问题,本文提出了一种改进的最小二乘支持向量机增量学习方法.改进的最小二乘支持向量机算法采用自适应剪枝方法对解进行稀疏,根据每次训练得到的分类器性能来设定剪枝阚值和样本增量的大小,如果得到的分类器性能好,剪枝阈值和样本增量就大,反之,剪枝阚值和样本增量就小,从而提高了最小二乘支持向量机训练效率,解决了稀疏性问题.最后,仿真实验表明该算法方案可行.     

基于全局代表指标的LSSVM最优稀疏化算法

缺少稀疏性是最小二乘支持向量机(least square support vector machine, LSSVM)的主要问题之一,本文针对此问题提出一种LSSVM的最优稀疏化算法.首先,定义了特征空间中样本的密度、离散度并进一步导出样本的全局代表指标(global representative indicator, GRI).然后,以样本剪切率和邻域大小为优化变量,以校验样本集的均方根误差(root-mean-square error, RMSE)为目标函数将LSSVM的稀疏化问题转换为带约束的最优化问题;其中,样本剪切以GRI为指标进行.针对优化问题提出了基于PSO的求解方法.最后,以二维sin c函数模型为对象探讨了GRI指标与样本支持值的关系,验证了本文最优稀疏化算法的正确性和合理性,并呈现了3种稀疏化方法的对比研究结果.     

加权支持向量机求解路径算法研究

针对不同训练样本重要性的差异对模型推广能力的影响,提出了对各个样本的误差惩罚参数赋予不同权重的加权支持向量机求解路径算法.根据样本重要性的不同,利用分段线性插值得到加权系数,并通过加权系数调整求解路径,从而改变不同样本在回归模型中的作用.采用支持向量机加权求解路径算法对圆柱壳结构在不同边界条件下的时、频域响应数据进行预测,训练样本的重要性通过与测试样本的欧式距离来表达,结果显示所提算法可减小位移响应在多个评价指标下的预测误差,提高支持向量回归机的推广能力.该方法同样适用于其他求解路径算法,如λ-路径算法和ν-支持向量回归路径算法.     

基于pinball损失的一对一加权孪生支持向量机

孪生支持向量机通过求解2个较小二次规划问题得到一对非平行超平面,从时间和准确率方面提高了分类器的性能.由于此方法使用Hinge损失函数,造成孪生支持向量机对噪声较为敏感以及重采样的不稳定.为此,针对多分类问题,将pinball损失函数与样本权重引入到孪生支持向量机中,采用一对一方法组合二分类器,提出了基于pinball损失的一对一加权孪生支持向量机,较好地解决了孪生支持向量机对噪声的敏感性以及重采样的不稳定性.另外,对于样本的不同影响,给出了多种求取样本权重的方法.实验中选取标准数据集和人工合成数据集对提出的算法进行了验证,并与一对一孪生支持向量机(OVO-TWSVM)、一对多孪生支持向量机(OVA-TWSVM)以及基于pinball损失的一对一加权孪生支持向量机(Pin-OVO-TWSVM)进行了比较,表明了提出方法的有效性.     

基于加权超球支持向量机算法的超文本分类研究

为提高超文本分类算法的性能,降低算法的复杂度,提出一种适用于超文本分类的加权超球支持向量机算法.该算法综合文档内容信息和超链接信息作为文档特征向量,针对传统超球支持向量机算法在不同类别样本数目不均衡时训练分类错误倾向于样本数目小的类别的问题,利用加权因子补偿了类别差异对算法推广性能造成的不利影响.在基准数据集上的测试结果表明,该算法降低了二次规划的复杂度,提高了分类器的分类性能.     

一种新型加权支持向量回归机

与统计学习理论结合,并把数据样本映射到高维空间,有时标准支持向量回归机运算速度和精度不理想.针对线性不可分的情况,在支持向量回归机目标函数中增加两个平方松弛项,这样可以减少两个约束条件.每个松弛项赋予不同的加权系数,可根据实际需要调节它们的权重.这种新算法称为新型加权支持向量回归机(weighted support vector regression machine,WSVRM),并把它用于函数逼近.实验结果表明,所提出的新型加权支持向量回归机具有良好的函数估计能力和数据预测能力.