一种新型的多元分类支持向量机

最小二乘支持向量机采用最小二乘线性系统代替传统的支持向量机采用二次规划方法解决模式识别问题。该文详细推理和分析了二元分类最小二乘支持向量机算法，构建了多元分类最小二乘支持向量机，并通过典型样本进行测试，结果表明采用多元分类最小二乘支持向量机进行模式识别是有效、可行的。     

基于最小二乘支持向量机的汽轮机故障诊断

提出一种小波包分析与最小二乘支持向量机相结合的汽轮机故障诊断模型．对故障信号功率谱进行小波分解，简化了故障特征向量的提取．用二次损失函数取代支持向量机中的不敏感损失函数，将不等式约束条件变为等式约束．从而将二次规划问题转变为线性方程组的求解．选用RBF函数作为核函数。并提出对核函数的参数进行动态选取。提高了诊断的准确率．仿真结果表明该模型具有较强的非线性处理和抗干扰能力．     

最小二乘支持向量机在故障诊断中的应用

为了提高机械设备故障诊断的精度，将小波包分析与最小二乘支持向量机进行了有机的结合。首先对故障信号功率谱进行小波分解，简化了故障特征向量的提取。然后提出了一种基于最小二乘支持向量机的故障诊断模型，用二次损失函数取代支持向量机中的不敏感损失函数，将不等式约束条件变为等式约束，从而将二次规划问题转变为线性方程组的求解，用最小二乘法实现了支持向量机算法，并提出对核函数的σ参数进行动态选取，提高了诊断的准确率。仿真结果表明该模型具有较强的非线性处理和抗干扰能力。     

基于LS-SVM的小样本费用智能预测

最小二乘支持向量机引入最小二乘线性系统到支持向量机中,代替传统的支持向量机采用二次规划方法解决函数估计问题。该文推导了用于函数估计的最小二乘支持向量机算法,构建了基于最小二乘支持向量机的智能预测模型,并对机载电子设备费用预测进行了研究。结果表明最小二乘支持向量机具有比多元对数回归更高的小样本费用预测精度。     

KPCA-LSSVM建模方法及在钢材淬透性中的应用研究

通过等式约束条件修改普通的支持向量机可以得到最小二乘支持向量机，不需要再次求解复杂的二次规划问题,提出了利用核主元分析进行特征提取，在高维特征空间中计算主元，降低样本的维数，然后用最小二乘支持向量机进行建模．仿真结果表明了该方法的有效性和优越性．     

基于支持向量机的发酵过程建模研究

发酵过程有众多关键性的变量难以在线检测，给过程优化策略的有效实施带来了障碍。最小二乘支持向量机（LS-SVM）是标准支持向量机（SVM）的一种扩展，LS-SVM算法精度高，速度快，适合于在线预估。将该算法用于青霉素发酵过程建模，用具有RBF核函数的LS-SVM建立菌体浓度、青霉素浓度的模型，并通过仿真实验与标准支持向量机进行比较。结果表明，最小二乘支持向量机是青霉素发酵过程建模与控制的一种有效的方法。     

结合遗传算法与LSSVC的网络异常检测

计算机网络攻击的多样性及隐蔽性,导致了其难以被检测,针对保护网络的安全性,准确识别网络异常问题,为了克服传统网络异常检测技术检测精度低等缺点,提出基于遗传算法优化的最小二乘支持向量机的网络异常检测方法.最小二乘支持向量机分类器(LSSVC)是一种进化的支持向量机分类器(SVC),通过构造新的二次损失函数以解决支持向量机中的二次规划问题.遗传算法用于选择合适的最小二乘支持向量机参数.选取KDDCup99数据测试采用提出的方法检测性能.实验结果表明遗传算法优化的最小二乘支持向量机分类器的网络异常检测精度高,效果好,为网络安全提供了保证.     

稀疏最小二乘支持向量机及其应用研究

提出一种构造稀疏化最小二乘支持向量机的方法．该方法首先通过斯密特正交化法对核矩阵进 行简约,得到核矩阵的基向量组;再利用核偏最小二乘方法对最小二乘支持向量机进行回归计算,从而使最 小二乘向量机具有一定稀疏性．基于稀疏最小二乘向量机建立了非线性动态预测模型,对铜转炉造渣期吹炼 时间进行滚动预测．仿真结果表明,基于核偏最小二乘辨识的稀疏最小二乘支持向量机具有计算效率高、预 测精度好的特点．     

基于改进粒子群的隐空间支持向量机

在隐空间中支持向量机求解过程中,引入改进粒子群算法用于搜索空间的迭代。基于粒子群算法的隐空间支持向量机不需要核函数满足正定条件,从而扩展了支持向量机核函数的选择范围。由于采用了仿生类的粒子群算法,对比隐空间支持向量机产生的约束凸二次规划获得了一定的优势,并且通过了仿真实验的验证。     

支持向量机的多层动态自适应参数优化

首先提出了基于多层动态自适应搜索技术的最小二乘支持向量机参数优化方法，然后采用最小二乘支持向量机对典型非线性控制系统的辨识进行了研究．辨识结果表明，最小二乘支持向量机可以用于非线性控制系统辨识，多层动态自适应搜索方法确定了最优支持向量机参数，从而获得精确的非线性控制系统辨识结果．     

基于边界近邻的最小二乘支持向量机实现

最小二乘支持向量机采用最小二乘线性系统代替传统的支持向量即采用二次规划方法解决模式识别问题,能够有效地减少计算的复杂性。但最小二乘支持向量机失去了对支持向量的稀疏性。文中提出了一种基于边界近邻的最小二乘支持向量机,采用寻找边界近邻的方法对训练样本进行修剪,以减少了支持向量的数目。将边界近邻最小二乘支持向量机用来解决由1-a-r(one-against-rest)方法构造的支持向量机分类问题,有效地克服了用1-a-r(one-against-rest)方法构造的支持向量机分类器训练速度慢、计算资源需求比较大、存在拒分区域等缺点。实验结果表明,采用边界近邻最小二乘支持向量机分类器,识别精度和识别速度都得到了提高。     

最小二乘支持向量机算法研究

1 引言支持向量机(SVM,Support Vector Machines)是基于结构风险最小化的统计学习方法,它具有完备的统计学习理论基础和出色的学习性能,在模式识别和函数估计中得到了有效的应用(Vapnik,1995,1998)。支持向量机方法一方面通过把数据映射到高维空间,解决原始空间中数据线性不可分问题;另一方面,通过构造最优分类超平面进行数据分类。神经网络通过基于梯度迭代的方法进行数据学习,容易陷入局部最小值,支持向量机是通过解决一个二次规划问题,来获得     

基于支持向量机的非线性离散动力学系统控制

提出了一种用支持向量机辨识系统状态空间模型的非线性离散动力学系统控制新方法. 在本方法中, 采用最小二乘支持向量机在每一个工作点辨识非线性系统的局部最优线性化模型. 针对该模型, 采用常规的线性控制方法在每个工作点设计局部线性控制器, 并在整个控制任务的每个工作点重复此设计过程.用该方法对两个典型的非线性离散系统采用极点配置技术进行了仿真验证, 结果显示系统对参考输入具有满意的跟踪性能, 证明该方法是有效和可行的.     

Benchmarking Least Squares Support Vector Machine Classifiers

In Support Vector Machines (SVMs), the solution of the classification problem is characterized by a (convex) quadratic programming (QP) problem. In a modified version of SVMs, called Least Squares SVM classifiers (LS-SVMs), a least squares cost function is proposed so as to obtain a linear set of equations in the dual space. While the SVM classifier has a large margin interpretation, the LS-SVM formulation is related in this paper to a ridge regression approach for classification with binary targets and to Fisher's linear discriminant analysis in the feature space. Multiclass categorization problems are represented by a set of binary classifiers using different output coding schemes. While regularization is used to control the effective number of parameters of the LS-SVM classifier, the sparseness property of SVMs is lost due to the choice of the 2-norm. Sparseness can be imposed in a second stage by gradually pruning the support value spectrum and optimizing the hyperparameters during the sparse approximation procedure. In this paper, twenty public domain benchmark datasets are used to evaluate the test set performance of LS-SVM classifiers with linear, polynomial and radial basis function (RBF) kernels. Both the SVM and LS-SVM classifier with RBF kernel in combination with standard cross-validation procedures for hyperparameter selection achieve comparable test set performances. These SVM and LS-SVM performances are consistently very good when compared to a variety of methods described in the literature including decision tree based algorithms, statistical algorithms and instance based learning methods. We show on ten UCI datasets that the LS-SVM sparse approximation procedure can be successfully applied.     

最小二乘支持向量机的一种稀疏化算法

介绍了一种稀疏化最小二乘支持向量机的剪枝算法。由于支持值图谱中小的支持值所对应的训练样本在算法执行阶段所起的作用较小,所以删除它们不会引起性能的显著下降。仿真实验表明,该算法不但简单、易于实现,而且能够保持良好的分类性能。     

密度加权近似支持向量机

标准的近似支持向量机(PSVM)用求解正则化最小二乘问题代替了求解二次规划问题,它可以得到一个解析解,从而减少训练时间。但是标准的PSVM没有考虑数据集中正、负样本的分布情况,对所有的样本都赋予了相同的惩罚因子。而在实际问题中,数据集中样本的分布是不平衡的。针对此问题,在PSVM的基础上提出了一种基于密度加权的近似支持向量机(DPSVM),其先计算样本的密度指标,不同的样例有不同的密度信息,因此对不同的样例给予不同的惩罚因子,并将原始优化问题中的惩罚因子由数值变为一个对角矩阵。在UCI数据集上用这种方法进行了实验,并与SVM和PSVM方法进行了比较,结果表明,DPSVM在正负类样本分布不平衡的数据集上有较好的分类性能。     

Least Squares Support Vector Machine Classifiers

In this letter we discuss a least squares version for support vector machine (SVM) classifiers. Due to equality type constraints in the formulation, the solution follows from solving a set of linear equations, instead of quadratic programming for classical SVM's. The approach is illustrated on a two-spiral benchmark classification problem.