多项式光滑的支持向量回归机一般模型的收敛性研究

2005年Lee等人提出光滑的支持向量回归机模型ε-SSVR(smooth ε-support vector regression),2008年熊金志等人提出一个多项式光滑的支持向量回归机模型ε-PSSVR(polynomial smooth ε-support vector regression),使回归性能及效率得到了一定改善.然而,这种支持向量回归机是否存在一个一般模型,以及一般模型的收敛性等问题没有解决.为此,将一类多项式函数作为新的光滑函数,使用光滑技术,把多项式光滑模型ε-PSSVR推广到一般情形,提出一个多项式光滑的支持向量回归机一般模型ε-dPSSVR(dth-order polynomial smooth ε-support vector regression).并用数学归纳法证明该一般模型的全局收敛性.研究表明:1)多项式光滑的支持向量回归机存在无穷多个模型,可以用一个一般模型来表示;2)该一般模型是全局收敛的,其收敛上界比ε-SSVR缩小半个数量级.成功解决了多项式光滑的支持向量回归机的一般形式及其收敛性问题,为进一步研究多项式光滑的支持向量回归机提供了基本的理论支持.     

基于大训练样本集的ε-SVR改进算法研究

在改进算法的研究中,从大训练样本集中进行样本抽样是构建大样本支持向量回归机的重要手段.根据ε-SVR支持向量分布的特有属性和支持向量逐步回归机算法求解ε-SVR的缺陷,为改善训练时间,优化收敛性,从大训练样本集中抽取的小样本集的ε-SVR超平面出发,通过计算大训练样本集样本点距近似超平面距离d,剔除大训练样本集中在ε≤d≤dmax外的训练样本点,逐步搜索SVs,建立大训练样本集ε-SVR.提出了构建大训练样本集ε-SVR的逐步搜索算法,理论分析和仿真实验验证了搜索算法的收敛性和有效性.     

基于小样本SVR的迁移学习及其应用

当前机器学习的技术已经运用到很多工程项目中,但大部分机器学习的算法只有在样本数量充足且运用在单一场景中的时候,才能获得良好的结果。其中,经典的支持向量回归机是一种具有良好泛化能力的回归算法。但若当前场景的样本数量较少时,则得到的回归模型泛化能力较差。针对此问题,以加权ε支持向量回归机为基础,提出了一种小样本数据的迁移学习支持向量回归机算法。该算法以加权ε支持向量回归机为Bagging算法的基学习器,使用与目标任务相关联的源域数据,通过自助采样生成多个子回归模型,采用简单平均法合成一个总回归模型。在UCI数据集和现实数据集——玉米棒与花生粒储藏环节损失数据集上的实验结果表明,该算法较标准ε-SVR算法与改进的RMTL算法在小数据样本上有更好的泛化能力。     

ε-支持向量回归机算法及其应用

针对现有传统的一些图像去噪方法难以获得清晰图像边缘的问题,提出了利用ε-SVR技术构建图像去噪滤波器的新方法。ε-支持向量回归机通过引入ε不敏感损失函数,可以实现具有较强鲁棒性的回归,而且回归估计是稀疏的,保留了SVM的所有优点。分析了ε-支持向量回归机理论算法及其在图像去噪中的应用,使用ε-支持向量回归机对图像进行滤波并且与最小值滤波、均值滤波和维纳滤波等常用的滤波方法相比较,还比较了SVM各种核函数对不同噪声的滤波效果和分析了不同阶数的Multinomial核的滤波效果。实验结果表明了ε-支持向量回归机能够有效地去除噪声,不但信噪比较高而且比较清晰,同时具有良好的稀疏性。     

支持向量回归机的光滑函数研究

光滑数能将不光滑模型变为光滑模型,改善支持向量机的回归性能和效率.Lee等人用一个光滑函数逼近ε-不敏感损失函数的平方,提出ε-不敏感的光滑支持向量回归机模型(ε-SSVR).本文为求ε-不敏感支持向量回归机的新光滑函数,运用插值函数和复合函数的方法,首先求正号函数的光滑逼近,然后将其复合成ε-不敏感损失函数平方的光滑函数,得到一类新的光滑函数.并从理论上证明该类光滑函数的逼近精度比以往的光滑函数高一个数量级.实验结果表明回归效果得到改善,从而为支持向量回归机提供一类新的光滑函数.     

动态粒度支持向量回归机

粒度支持向量机(granular support vector machine,简称GSVM)可以有效提高支持向量机(support vectormachine,简称SVM)的学习效率,但由于经典GSVM 通常将粒用个别样本替代,且粒划和学习在不同空间进行,因而不可避免地改变了原始数据分布,从而可能导致泛化能力降低.针对这一问题,通过引入动态层次粒划的方法,设计了动态粒度支持向量回归(dynamical granular support vector regression,简称DGSVR)模型.该方法首先将训练样本映射到高维空间,使得在低维样本空间无法直接得到的分布信息显示出来,并在该特征空间中进行初始粒划.然后,通过衡量样本粒与当前回归超平面的距离,找到含有较多回归信息的粒,并通过计算其半径和密度进行深层次的动态粒划.如此循环迭代,直到没有信息粒需要进行深层粒划时为止.最后,通过动态粒划过程得到的不同层次的粒进行回归训练,在有效压缩训练集的同时,尽可能地使含有重要信息的样本在最终训练集中保留下来.在基准函数数据集及UCI 上的回归数据集上的实验结果表明,DGSVR 方法能够以较快的速度完成动态粒划的过程并收敛,在保持较高训练效率的同时可有效提高传统粒度支持向量回归机(granular support vector regression machine,简称GSVR)的泛化性能.     

新的稀疏支持向量回归机算法及实验研究

支持向量回归机是一种解决回归问题的重要方法,其预测速度与支持向量的稀疏性成正比。为了改进支持向量回归机的稀疏性,提出了一种直接稀疏支持向量回归算法DSKR（Direct Sparse Kernel Support Vector Regression）,用于构造稀疏性支持向量回归机。DSKR算法对ε-SVR（ε-Support Vector Regression）增加一个非凸约束,通过迭代优化的方式,得到稀疏性好的支持向量回归机。在人工数据集和真实世界数据集上研究DSKR算法的性能,实验结果表明,DSKR算法可以通过调控支持向量的数目,提高支持向量回归机的稀疏性,且具有较好的鲁棒性。     

基于 v-SVR 的海洋环境下武器效能评估

海洋环境中各种气象水文要素对海军武器装备的作战效能影响显著,且影响机理复杂,这大大增加了海军武器装备作战效能的评估难度.针对武器装备作战效能评估问题中的小样本、非线性和高维度等问题,文中提出将 v-支持向量回归机(v-support vector regression, v-SVR)模型应用到该作战效能评估问题中. v-支持向量回归机模型最终转化为凸二次规划问题,文中采用基于分解思想的序列最小优化(sequential minimal optimization, SMO)算法进行求解,并对参数选取问题进行了讨论.针对某作战平台的作战效能评估实例,基于 v-支持向量回归机建立了评估模型,实验结果表明了所提评估模型的有效性.基于 v-支持向量回归机的评估模型能够降低对专家经验的依赖,其评估结果具有较高的客观性     

基于ε-SVR的JPEG无参考图像质量评价

为了更准确地评价无参考的JPEG图像的质量,提出一种基于ε-支持向量回归机(ε-SVR)的评价方法。考虑到亮度能更好地反映块平坦度的平坦区域情况,而纹理对块效应失真的影响较大,提出利用亮度对比度对块平坦度加权,纹理复杂度对块效应失真加权,得到更符合人眼特性的综合特征,再采用ε-SVR进行预测得到客观评价值——支持向量回归客观得分(SVROS)。实验结果表明,提取的特征能很好地反映人类视觉系统(HVS)特性,采用ε-SVR方法得出的客观评价结果与恶化平均意见得分DMOS(Degredation Mean Opinion Score)值具有较好的一致性,在性能上优于其他参考文献方法。     

光滑CHKS孪生支持向量回归机

针对目前光滑孪生支持向量回归机（smooth twin support vector regression ,STSVR）中采用的Sigmoid光滑函数逼近精度不高,从而导致算法泛化能力不够理想的问题,引入一种具有更强逼近能力的光滑（chen‐harker‐kanzow‐smale ,CHKS）函数,采用CHKS函数逼近孪生支持向量回归机的不可微项,并用 Newton‐Armijo 算法求解相应的模型,提出了光滑 CHKS 孪生支持向量回归机（smooth CHKS twin support vector regression ,SCTSVR）。不仅从理论上证明了SCTSVR具有严格凸,能满足任意阶光滑和全局收敛的性能,而且在人工数据集和UCI数据集上的实验表明了SCTSVR比STSVR具有更好的回归性能。     

无偏置v- 支持向量回归优化问题研究

在高维特征空间中,具有支持向量机形式的学习机的决策超平面倾向于通过原点,并不需要偏置.但在-支持向量回归机（ν-SVR）中存在偏置,为了研究偏置在ν-SVR中的作用,提出了无偏置的ν-SVR优化问题并给出其求解方法.在标准数据集上的实验表明,无偏置ν-SVR的泛化性能好于ν-SVR.根据对偶优化问题的解空间分析,偏置不应包含在-SVR优化问题中,ν-SVR的决策超平面在高维特征空间中应通过原点.     

基于密度估计的逻辑回归模型

介绍了一种基于密度的逻辑回归（Density-based logistic regression,DLR）分类模型以解决逻辑回归中非线性分类的问题. 其主要思想是根据Nadarays-Watson密度估计将训练数据映射到特定的特征空间,然后组建优化模型优化特征权重以及Nadarays-Watson 密度估计算法的宽度. 其主要优点在于:它不仅优于标准的逻辑回归,而且优于基于径向基函数（Radial basis function,RBF）内核的核逻辑回归（Kernel logistic regression,KLR）. 特别是与核逻辑回归分析和支持向量机（Support vector machine,SVM）相比,该方法不仅达到更好的分类精度,而且有更好的时间效率. 该方法的另一个显著优点是,它可以很自然地扩展到数值类型和分类型混合的数据集中. 除此之外,该方法和逻辑回归（Logistic regression,LR）一样,有同样的模型可解释的优点,这恰恰是其他如核逻辑回归分析和支持向量机所不具备的.     

基于支持向量机的软测量方法研究

针对所有样本点均出现在最小二乘支持向量机模型中的缺陷,提出一种改进的最小二乘支持向量机回归方法．根据最小二乘支持向量机模型学习误差的大小,去除原变量空间中大部分误差较小的样本点,从而获得回归模型的“稀疏”特性,大大简化了模型复杂程度．同时,将此方法应用于生物发酵过程,建立青霉素发酵过程中产物浓度的软测量模型,实现青霉素浓度的在线预估．实验结果表明,该方法为生物发酵过程中难于在线测量质量参数的实时监测提供了一个有效的手段．     

基于差异演化的ε-SVRM参数优化

参数优化是ε-支持向量回归机研究领域的重要问题,其本质是一个优化搜索的过程.基于差异演化算法在求解优化问题上的有效性,提出了以差异演化算法寻优技巧的ε-支持向量回归机参数优化方法.将该算法应用于受噪声影响的标准函数,与采用遗传算法、蚁群算法、粒子群算法对支持向量机进行优化的仿真实验结果对比表明由DE算法所确定的ε-支持向量回归机具有较好的预测性能.     

SORR回归算法在胆固醇测定中的应用

借鉴分类问题的算法,推广到回归问题中去,针对用于分类问题的SOR(successive overrelaxation for support vector)支持向量机算法,提出SORR(successive overrelaxation for support vector regression)支持向量回归算法,并应用于医学上三类血浆脂蛋白(VLDL、LDL、HDL)测定样本中胆固醇的含量。数值实验表明:SORR算法有效,与标准的支持向量回归SVR算法相比,保持了相同的回归精度,提高了学习速度,为临床上测定胆固醇含量提供新的有效方法。     

一种新的最小二乘支持向量机算法

基于核方法的学习算法在机器学习领域占有很重要的地位（如支持向量机support vector machines,简称SVM）。但该方法在处理回归问题时的计算复杂度为数据量的立方级。最小二乘支持向量机(least squares support vector machines 简称LS-SVM)在计算复杂性方面对传统的支持向量机的作了很大改进,但是它的计算量也达到样本点数目的平方级。在处理海量数据回归问题时,求解LS-SVM占用大量的CPU和内存资源。本文提出了一种带非齐次多项式核的最小二乘支持向量机算法,由于特征向量中含有常数分量,所以本文去掉了模型中的偏差因子,简化了LS-SVM的回归模型。新方法特别适合于海量数据回归问题。实验显示新方法的求解速度比传统LS-SVM要快很多,同时新方法的准确性却丝毫不亚于LS-SVM     

支持向量机在钻井工程数据拟合中的应用

支持向量机(SVM)是近年来发展起来的一种通用的机器学习方法,在小样本数据的拟合中已获得了很好的效果。对于常见的支持向量回归机方法:ε-支持向量回归机和最小二乘支持向量回归机进行了归纳总结,并给出了一具体应用案例。     

模糊支持向量机的训练算法研究

支持向量机(support vector machine,SVM)是在统计学习理论基础上发展起来的一种新的数据挖掘方法,并已广泛应用于模式识别与回归分析等领域.并且传统的支持向量机由于噪音教据的存在而易出现过学习现象,因而有必要消除噪音的影响.基于以上考虑,提出了一种模糊支持向量机模型.本论文主要针对该类型的模糊支持向量机进行研究.     

基于ε-支持向量回归理论的区域交通信号智能控制

城市交通信号控制是当前智能交通领域的研究热点之一.针对区域交通信号协同控制的实时性和准确性,提出一种基于ε-支持向量回归(SVR)非线性回归理论的智能控制方法(ICSRTS).该方法在无线传感网络结构的基础上结合已有的数据汇聚算法,并采用分簇策略将区域交通控制系统建模成一类集成信息调度与控制的离散切换系统.在离散切换系统中,不仅考虑了数据包传输的网络时延和丢包率,而且观测器利用改进的ε-SVR训练方法实现对多数据源融合的交通信号状态的在线预测并通过控制器进行总体协调控制.运用Lyapunov函数方法验证了该系统的渐近稳定性及其可调度性.仿真结果表明,ICSRTS方法相比普通模糊神经网络控制和普通ε-SVR预测算法在交叉口平均延误时间方面具有较好的性能.因此,该方法能实时、有效地对区域交通信号进行协调控制,从而减少了区域内的交通拥堵和能源消耗.     

基于鲁棒小波ν-支持向量机的产品销售预测模型

针对产品销售时序具有正态高斯分布、幅值较大、奇异点等混合噪音, 设计一种鲁棒损失函数, 并采用小波核函数, 由此得到一种新的小波ν-支持向量机, 即鲁棒小波ν-支持向量机(Robust wavelet ν-support vector machine, RWν-SVM). 它可以有效地压制销售时序的多种噪音和奇异点, 具有很强的鲁棒性, 而且它比标准小波ν-支持向量机(Wν-SVM)具有更简洁的对偶优化问题. 最后进行了汽车销售预测的实例分析, 结果表明基于RWν-SVM的预测模型是有效可行的.