基于支持向量回归的单步多分类算法

分析了利用支持向量回归求解多分类问题的思想,提出了一种基于局部密度比权重设置模型的加权最小二乘支持向量回归模型来单步求解多分类问题：该方法先分别对类样本中每类样本利用局部密度比权重设置模型求出每个样本的权重隶属因子,然后运用加权最小二乘支持向量回归算法对所有样本进行训练,获得回归分类器。为验证算法的有效性,对UCI三个标准数据集以及一个随机生成的数据集进行实验,对比了多种单步求解多分类问题的算法,结果表明,提出的模型分类精度高,具有良好的鲁棒性和泛化性能。     

新型鲁棒孪生支持向量回归机

回归问题是模式识别与机器学习领域的基本问题之一,孪生支持向量回归机（TSVR）是在支持向量回归机（SVR）基础上发展而来的一种处理回归问题的新算法,它在处理无噪声数据时表现出较好的性能,但在处理有噪声数据时往往性能不佳。为了降低噪声对孪生支持向量回归机性能的影响,结合ε-不敏感损失函数与Huber损失函数构造了混合Hε损失函数,该损失函数可以有效地适应于不同分布类型的噪声;然后基于混合Hε损失函数和结构风险最小化（SRM）原则提出了一种鲁棒的孪生支持向量回归机（Hε-TSVR）,并在原始空间中利用牛顿迭代法求解模型。分别在有噪声和无噪声的人工数据集、UCI数据集上进行实验,与支持向量回归机和孪生支持向量回归机等算法比较,实验结果验证了所提算法的有效性。     

基于SVM的精确数-区间数回归模型建模方法

分析了现有的精确数输入和区间数输出回归算法存在的问题，提出了基于支持向量机的区间数回归建模算法,该算法把支持向量机从精确数回归分析方法推广到区间数回归分析建模方法，在小样本训练集下回归模型具有良好的泛化性能，有效地避免了现有算法中回归模型的下界可能大于上界的问题．以连续退火生产过程中冷却段出口带钢温度预测为例，通过仿真说明了该算法的有效性．     

迁移学习支持向量回归机

传统的回归系统构建方法假设用于建模的数据是充分的,但若当前场景中重要数据信息缺失,则基于此数据集训练所得系统泛化能力较差。针对此缺陷,以支持向量回归机(SVR)为基础,提出了具有迁移学习能力的回归机系统,即迁移学习支持向量回归机(T-SVR)。T-SVR不仅能充分利用当前场景的数据信息,而且能有效地利用历史知识来学习,具有通过迁移历史场景知识来弥补当前场景信息缺失的能力。具体地,通过控制目标函数中当前模型与历史模型的相似性,使当前模型能在信息缺失和不足时从历史场景中得到有益信息,得到增强的当前场景模型。在模拟数据和酒类光谱数据集上的实验研究亦验证了在信息缺失场景下T-SVR较之于传统回归系统建模方法的更好适应性。     

支持向量机在丁二酸发酵过程建模中的应用

支持向量机是一种新的机器学习算法,它采用结构风险最小化准则,能有效提高模型的泛化能力.本文针对生物转化法生产丁二酸发酵过程机理复杂、高度非线性、生物参数难以实时在线测量等特点,介绍了支持向量机回归建模算法在Matlab软件中的实现过程,对产物丁二酸浓度建立了预测模型,研究了SVM的小样本学习、泛化能力.仿真结果表明,与神经网络相比,SVM算法具有更好的推广能力,使得在未来工业化丁二酸发酵生产过程中针对丁二酸浓度的在线预估与优化控制成为可能.     

基于支持向量机的高速公路限速控制

提出用支持向量机回归方法实现高速公路限速控制,这是一个非线性系统建模问题。阐述了支持向量机回归算法,根据高速公路车辆群状态、路面性能、气象条件等,建立交通流速度限制支持向量机回归模型。仿真实验表明,支持向量机回归对小样本具有训练速度快、泛化能力好等优点。支持向量机回归方法为交通流限速控制的在线建模提供了一种切实可行的新思路。     

支持向量机在钻井工程数据拟合中的应用

支持向量机(SVM)是近年来发展起来的一种通用的机器学习方法,在小样本数据的拟合中已获得了很好的效果。对于常见的支持向量回归机方法:ε-支持向量回归机和最小二乘支持向量回归机进行了归纳总结,并给出了一具体应用案例。     

粗SVM方法及其在发动机故障诊断中的应用

支持向量机是一种具有完备统计学习理论基础和出色学习性能的新型机器学习方法,它能够较好地克服过学习和泛化能力低等缺陷.但是在利用支持向量机的分类算法处理实际问题时,该算法的计算速度较慢、处理问题效率较低.文中介绍了一种新的学习算法粗SVM分类方法,就是将粗糙集和支持向量机相结合,利用粗糙集对支持向量机的训练样本进行预处理,通过属性约简方法以减少属性个数,且在属性约简过程中选出几组合适的属性集组成新的属性集,使模型具有一定的抗信息丢失能力,同时充分利用SCM的良好推广性能,从而缩短样本的训练时间,实现快速故障诊断.对航空发动机故障诊断的实验结果表明了该方法的优越性. 型机器学习方法,它能够较好地克服过学习和泛化能力低等缺陷.但是在利用支持向量机的分类算法处理实际问题时,该算法的计算速度较慢、处理问题效率较低.文中介绍了一种新的学习算法粗SVM分类方法,就是将粗糙集和支持向量机相结合,利用粗糙集对支持向量机的训练样本进行预处理,通过属性约简方法以减少属性个数,且在属性约筒过程中选出几组合适的属性集组成新的属性集,使模型具有一定的抗信息丢失能力,同时充分利用SCM的良好推广性能,从而缩短样本的训练时间,实现快速故障诊 .对航空发动机故障诊断的实验结果表明了该方法的优越性. 型机器学习方法     

利用Lagrange支持向量回归机设计IDS的检测算法

为提高网络入侵检测系统中检测算法的分类精度,降低训练样本及学习时间,在基于支持向量回归机的基础上,提出一种新的利用Lagrange支持向量回归机设计IDS的检测算法。使用KDD CUP 1999数据集进行仿真实验,结果表明该算法较基于支持向量回归机的检测算法具有更良好的泛化性能、更快的迭代速度、更高的检测精度和更低的误报率。     

基于边界样本选择的支持向量机加速算法

针对支持向量机（Support Vector Machine,SVM）处理大规模数据集的学习时间长、泛化能力下降等问题,提出基于边界样本选择的支持向量机加速算法。首先,进行无监督的K均值聚类;然后,在各个聚簇内依照簇的混合度、支持度因素应用K近邻算法剔除非边界样本,获得最终的类别边界区域样本,参与SVM模型训练。在标准数据集上的实验结果表明,算法在保持传统支持向量机的分类泛化能力的同时,显著降低了模型训练时间。     

基于聚类算法的支持向量回归建模的新策略

针对支持向量机对时变的样本集采用单一模型建模困难的问题，提出了一种新的学习策略．首先，使用自组织映射(SOM)神经网络和k-means聚类算法对初始样本集合进行聚类．然后，针对每个聚类数据集合，通过最优加权组合不同核函数的支持向量回归模型建立最终的模型．实验表明，采用这种学习策略的建模精度要优于单一支持向量回归建模方法．     

一种改进的SVM回归估计算法

支持向量机是一种基于结构风险最小化原理的学习技术,也是一种新的具有很好泛化性能的回归方法。目前,如何设计快速有效的回归估计算法仍然是支持向量机实际应用中的问题之一。文中对标准SVM回归估计算法加以改进,提出一种改进的SVM回归估计算法,并从学习速度和回归估计精度两个方面对提出的改进的SVM回归估计算法与标准SVM回归估计算法进行了比较。实验结果表明,在学习速度与回归估计精度之间取折衷时,文中提出的回归估计算法自由度更大。     

柔性支持向量回归及其在故障检测中的应用

支持向量回归(Support vector regression, SVR)的学习性能及泛化性能取决于参数设置.在常规方法中,这些参数以固定值形式参与运算,而当面对复杂分布的数据集时, 可能无法挑选出一组能够胜任各种分布情况的参数,参数设置需要在过拟合和欠拟合之间进行取舍. 因此,本文提出一种能够根据样本分布进行参数自我调整的柔性支持向量回归算法(Flexible support vector regression, F-SVR).该算法根据样本分布的复杂度,将训练样本划分为多个区域,在训练过程中, F-SVR为不同 区域设置不同的训练参数,有效避免了过拟合与欠拟合.本文首先采用一组人工数据对所提算法有效性进行验证,在实验中, F-SVR在 保持学习能力的同时,具备较传统方法更优秀的泛化性能.最后,本文将该算法运用至高频电源故障的实际检测,效果良好.     

基于支持向量回归的非线性多功能传感器信号重构

在多功能传感器信号重构中,通常采用经验风险最小化准则实现函数回归,在小样本情况下,该方法易导致泛化性差和过拟合问题.本文利用支持向量回归方法实现非线性多功能传感器信号重构,支持向量机是基于结构风险最小化准则的新型机器学习方法,可有效抑制过拟合问题并改善泛化性能.仿真结果表明经该算法重构后的信号重构误差率在0.4%以下,重构效果较好,验证了该算法的有效性.     

基于最小二乘支持向量机的航煤干点软测量应用研究

传统支持向量机是近几年发展起来的一种基于统计学习理论的学习机器,在非线性函数回归估计方面有许多应用。最小二乘支持向量机用等式约束代替传统支持向量机方法中的不等式约束,利用求解一组线性方程得出对象模型,避免了求解二次规划问题。本文采用最小二乘支持向量机解决了航空煤油干点的在线估计问题,结果表明,最小二乘支持向量机学习速度快、精度高,是一种软测量建模的有效方法。在相同样本条件下,比RBF网络具有较好的模型逼近性和泛化性能,比传统支持向量机可节省大量的计算时间。     

一种向量预选取的分段支持向量机回归算法

针对数据波动剧烈时,一组特定的支持向量机回归参数无法满足随数据分布而改变的要求,导致回归曲线达不到所要求的精度的问题,同时针对如何有效删除在回归过程中某些非必要的数据以加快求解速度的问题,本文提出一种向量预选取的分段支持向量机回归算法．该算法首先根据数据空间分布特点删除一些非必要数据,然后根据不同区域样本的复杂程度对区间进行分段,针对各个区域设置相应的参数．仿真实验证明：p-p-SVR算法在保持回归精度的同时,较传统方法具有更好的泛化性能．     

基于LS-SVM的小样本费用智能预测

最小二乘支持向量机引入最小二乘线性系统到支持向量机中,代替传统的支持向量机采用二次规划方法解决函数估计问题。该文推导了用于函数估计的最小二乘支持向量机算法,构建了基于最小二乘支持向量机的智能预测模型,并对机载电子设备费用预测进行了研究。结果表明最小二乘支持向量机具有比多元对数回归更高的小样本费用预测精度。     

基于支持向量机回归的T-S模糊模型自组织算法及应用

结合模糊聚类算法和支持向量机回归算法提出了一种新的T-S模糊模型自组织算法. 该算法首先利用一种改进模糊聚类算法提取模糊规则和辨识前件参数,然后将T-S模糊模型后件变换为标准线性支持向量机回归模型,并利用支持向量机回归算法辨识后件参数. 仿真结果表明,相比现有的自组织算法,本文提出的T-S模糊模型自组织算法在规则数较少的情况下,仍然具有较高的辨识精度和较好的泛化能力. 最后,利用提出的T-S模糊模型自组织算法较好地建立了直拉硅单晶炉加热器和空气预热器的温度模型.     

基于特征加权的支持向量回归机研究

基于统计学习理论的支持向量回归机有比较好的泛化能力,然而当样本含有与该问题不完全相关甚至完全无关的特征时,会使得各个特征对问题的相关程度差异很大,从而使得支持向量回归机的效果受到影响。为了解决这个问题,提出了一种基于特征加权的支持向量回归机。模拟的计算结果显示出此方法的有效性。     

动态粒度支持向量回归机

粒度支持向量机(granular support vector machine,简称GSVM)可以有效提高支持向量机(support vectormachine,简称SVM)的学习效率,但由于经典GSVM 通常将粒用个别样本替代,且粒划和学习在不同空间进行,因而不可避免地改变了原始数据分布,从而可能导致泛化能力降低.针对这一问题,通过引入动态层次粒划的方法,设计了动态粒度支持向量回归(dynamical granular support vector regression,简称DGSVR)模型.该方法首先将训练样本映射到高维空间,使得在低维样本空间无法直接得到的分布信息显示出来,并在该特征空间中进行初始粒划.然后,通过衡量样本粒与当前回归超平面的距离,找到含有较多回归信息的粒,并通过计算其半径和密度进行深层次的动态粒划.如此循环迭代,直到没有信息粒需要进行深层粒划时为止.最后,通过动态粒划过程得到的不同层次的粒进行回归训练,在有效压缩训练集的同时,尽可能地使含有重要信息的样本在最终训练集中保留下来.在基准函数数据集及UCI 上的回归数据集上的实验结果表明,DGSVR 方法能够以较快的速度完成动态粒划的过程并收敛,在保持较高训练效率的同时可有效提高传统粒度支持向量回归机(granular support vector regression machine,简称GSVR)的泛化性能.