支持向量机的一步光滑牛顿法

基于支持向量机的一个修正模型,将支持向量机优化问题转化为与之对偶规划等价的互补问题,简化了原二次规划问题.并利用Fischer-Burmeister互补函数,给出了一个求解该问题的一步光滑化牛顿算法.该算法每次迭代只需求解一个线性方程组,执行一次线性搜索,提高了运算效率,且算法可以任意选取初始点并具有二次收敛性质.初步的仿真实验表明该算法是可行有效.     

二次规划问题的一个全局收敛的内点型算法

目标函数是二次函数而约束函数是线性函数的规划问题称为二次规划问题,它是最简单的一类非线性规划问题,利用二次规划问题的约束函数为线性函数的这个特点,结合约束优化问题的一阶最优性条件,提出了二次规划问题的一个全局收敛的内点型算法.算法比较简单,每一步只需要求解一个线性方程组,不需要大量的计算就可以得到可行下降方向,再设置一组参数,沿着该方向进行线性搜索.算法每次迭代都能保持不等式约束函数的严格可行性,具有内点法的特点,而且在不需要凸性的假设下证明了算法是具有全局收敛性的.最后给出了数值实验,进一步证实了算法的可行性与收敛性.     

鲁棒支持向量机及其稀疏算法

基于非凸光滑损失的鲁棒支持向量机分类模型对异常点具有鲁棒性,但已有求解算法需迭代求解二次规划,计算量大且收敛速度慢,不适合训练大规模数据问题。为了克服这些缺点,首先给出收敛速度更快的方法求解鲁棒支持向量机模型;然后基于最小二乘的思想,提出了一种推广的指数鲁棒最小二乘支持向量机模型及其快速收敛的求解算法,并从理论上解释了模型的鲁棒性;最后利用核矩阵的低秩近似,提出了适于处理大规模训练问题的稀疏鲁棒支持向量机算法和稀疏指数鲁棒最小二乘支持向量机算法。实验结果表明,新算法在收敛速度、测试精度和训练时间等方面均优于相关算法。     

回归型模糊最小二乘支持向量机

为了克服最小二乘支持向量机对于孤立点过分敏感的问题,将模糊隶属度概念引入最小二乘支持向量机中,提出了基于支持向量域描述的模糊最小二乘支持向量回归机.该方法先对样本进行数据域描述得到一个包含该组数据的最小半径的超球,再根据特征空间中样本与超球球心的距离确定它们的隶属度,减少了奇异点(噪声)的影响;把所要求解的约束凸二次优化问题转化为正定线性方程组,并采用快速Cholesky分解的方法求解该方程组.实验结果表明该方法在不牺牲训练速度的前提下,比支持向量机和最小二乘支持向量机具有更高的预测精度.     

光滑孪生参数化不敏感支持向量回归机

作为机器学习方法之一的孪生参数化不敏感支持向量回归机(TPISVR)有着简洁的数学模型,良好的学习性能,特别适合于求解带有结构异方差噪声的数据回归问题,然而TPISVR的训练速度较低,训练效率有待提高.TPISVR的传统算法可以归结为通过转化对偶问题的方法求解2个带有不等式约束的二次规划问题,然而这种求解二次规划问题的...     

基于最小二乘孪生支持向量机的不确定数据学习算法

孪生支持向量机通过计算2个二次规划问题,得到2个不平行的超平面,用于解决二分类问题。然而在实际的应用中,数据通常包含不确定信息,这将会对构建模型带来困难。对此,提出了一种用于求解带有不确定数据的最小二乘孪生支持向量机模型。首先,对于每个实例,该方法都分配一个噪声向量来构建噪声信息。其次,将噪声向量结合到最小二乘孪生支持向量机,并在训练阶段得到优化。最后,采用一个2步循环迭代的启发式框架求解得到分类器和更新噪声向量。实验表明,跟其他对比方法比较,本方法采用噪声向量对不确定信息进行建模,并将孪生支持向量机的二次规划问题转化为线性方程,具有更好的分类精度和更高的训练效率。     

支持向量机原始问题研究综述

支持向量机学习器往往是通过求解原二次优化问题的对偶问题获得的。诸多研究表明,支持向量机原始问题同样可以适当地处理约束项,同时,突破以前原二次优化问题不能利用核函数的认识误区,通过引入核函数建立一个无约束优化问题,利用传统优化方法进行求解。理论分析和实验表明,支持向量机原始问题也能实现对数据的高效学习,而且在大规模数据学习问题上,较之求解对应的对偶问题获得的近似解更可靠,参数选择也更好进行。     

基于最小二乘支持向量机的时用水量预测模型

针对神经网络存在结构较难确定,训练易陷入局部最优以及容易过学习等问题,提出将最小二乘支持向量机用于预测时用水量.最小二乘支持向量机(LSSVM)基于结构风险最小化,能够较好地协调经验风险最小化和学习机器VC维之间的关系,并且LSSVM在支持向量机(SVM)的基础上,通过将价值函数改为最小二乘价值函数以及用等式约束代替不等式约束,将求解的二次规划问题转变为一组等式方程,采用径向基核函数,得到LSSVM模型的待定参数比标准支持向量机少,仅为2个.根据时用水序列具有周期性和趋势性的特点,建立了基于最小二乘支持向量机的时用水量模型.实例分析表明,与基于BP网络的时用水量模型相比,基于最小二乘支持向量机的时用水量模型具有更强的预测能力.     

一类线性-二次双层规划问题的解法

利用广义逆矩阵理论来研究线性－二次双层规划的求解问题。利用正定二次规划解的唯一性,首先把具有等式约束的线性－二次双层规划问题转化为容易求解的线性规划问题来求解,进而把等式约束问题推广到不等式约束上来。给出了一些线性－二次双层规划解的最优性条件和求解线性－二次双层规划解的算法。这些最优性条件丰富了非线性双层规划的理论,而其求解算法为求解实际问题提供了有利的工具。     

基于双重正则化支持向量机的肿瘤基因选择

针对标准L2范数支持向量机和L1范数支持向量机在肿瘤基因分类分析中表现出的优缺点,在利用Bhattacharyya距离剔除部分对分类无关紧要特征基因,从而得到少数高相关至关重要特征基因的基础上,将一种双重正则化支持向量机应用到DNA微阵列分类中。用一种二次多项式损失函数把这种有约束的优化问题改变为无约束且可微的优化问题,这可以用BFGS算法来求解,通过对两种肿瘤特征基因数据集实验分析知,该算法对肿瘤特征基因分类具有较强的可行性和有效性。     

一个线性约束问题的算法及二次终止性

给出一个线性约束非线性规划问题的新算法,同时证明了该算法对于二次规划问题具有有限步终止性。     

求解线性二层规划的割平面法

基于线性二层规划的全局最优解可在其约束域的极点上达到这一性质,利用约束域顶点的相邻极点产生割平面,设计了一种求解上层带约束的线性二层规划的割平面法,并给出了算例。     

关于DEA模型的一种有效求解方法

“数据包络分析”（Ｄａｔａ Ｅｎｖｅｌｏｐｍｅｎｔ Ａｎａｌｙｓｉｓ,简称ＥＤＡ）是运筹学的一个新的研究领域。它是研究具有相同类型的部门（或单位）间的相对有效性的十分有用的方法;也是处理一类多目标决策问题理论上非常完备的方法;更是经济理论中估计具有多个输入,特别是具有多个输出的“生产前沿函数”（也称生产前铅面）的有力工具。ＤＥＡ模型经过Ｃｈａｒｎｅｓ－Ｃｏｏｐｅｒ变换,可以转化为一个等价的线性规划     

针对鲁棒性三维声源定位问题的全局性算法

针对到达时间差度量误差和声源具有鲁棒性的三维声源定位问题,提出了一种用半正定规划方法求解的线性校正总体最小二乘全局性算法（LCTLS SDP）. 将带二次等式约束的分式二次规划声源定位模型转化为带二次不等式约束的非凸齐次二次优化问题;利用对偶理论设计算法求出该模型的最优解. 理论证明LCTLS SDP算法能找到问题的最优解. 实验结果显示,LCTLS SDP算法有稳健的定位结果.     

关于二次规划问题的一个新算法

用线性的方法研究了一个二次规划的算法问题。对于一般的二次规划的算法常导致极端Kuhn-Tucker点被改变成一些有限点总是后,严格的凸二次规划总是就有限收敛了。     

具有约束的离散时间线性二次型最优控制

本文给出离散时间线性二次型最优控制系统具有控制约束问题的新方法。该方法以动态规划基本方程为基础,将非线性规划的技巧与微分动态规划方法相结合,把约束问题化为无约束问题,通过递推方程求得最优控制序列。本文给出了算法的收敛性证明以及计算实例。     

离散半无限规划的一个超线性收敛的SQP算法

讨论离散半无限规划问题,结合更新离散指标集的技术,提出一种新的可行序列二次规划(FSQP)算法求解由半无限规划(SIP)转化到离散半无限(DSI)问题,使得可行下降方向仅通过求解一个QP子问题可获得,为克服马太效应,高阶校正通过求解带有包含某个约束集的线性方程组所得.在适当的条件下,证明了算法的全局收敛性和超线性收敛性.