多尺度最小二乘小波支持向量机的回归建模

普通最小二乘支持向量机算法用于多尺度回归建模时精度较低。针对该问题,选取墨西哥草帽小波函数作为最小二乘支持向量机的核函数,设计一种基于小波核的多尺度最小二乘小波支持向量机。在此基础上,通过解二次优化问题求出多尺度回归建模问题的全局最优解,最终得出的多尺度回归模型能够有效地逼近多尺度信号。仿真结果表明,该算法具有较高的精度。     

混合核函数稀疏LS-SVM软测量建模与应用

针对最小二乘支持向量机存在的稀疏性欠缺和单核函数局限性问题,本文提出一种基于混合核函数稀疏最小二乘支持向量机的软测量建模方法.该方法使用多项式核函数和RBF核函数线性加权构成混合核函数,兼顾最小二乘支持向量机的全局拟合能力与局部拟合能力,以矢量基学习作为稀疏解算法,改善最小二乘支持向量机的稀疏性,在精简模型结构的同时,避免冗余信息中的噪声过多的拟合到模型参数中,进而采用粒子群算法优化模型部分参数.将此方法分别应用于Mackey- Glasss混沌模型的时间序列预测和乙烯精馏塔塔釜乙烯浓度预测,应用结果表明该方法较最小二乘支持向量机、稀疏最小二乘支持向量机以及混合核最小二乘支持向量机具有更好的泛化效果和预报精度,兆示出其良好的应用潜力.     

一种基于Cholesky分解的动态无偏LS-SVM学习算法

针对最小二乘支持向量机用于在线建模时存在的计算复杂性问题,提出一种动态无偏最小二乘支持向量回归模型.该模型通过改进标准最小二乘支持向量机结构风险的形式消除了偏置项.得到了无偏的最小二乘支持向量机,简化了回归系数的求解.根据模型动态变化过程中核函数矩阵的特点,设计了基于Cholesky分解的在线学习算法.该算法能充分利用历史训练结果,减少计算复杂性.仿真实验表明了所提出模型的有效性.     

稀疏最小二乘支持向量机及其应用研究

提出一种构造稀疏化最小二乘支持向量机的方法．该方法首先通过斯密特正交化法对核矩阵进 行简约,得到核矩阵的基向量组;再利用核偏最小二乘方法对最小二乘支持向量机进行回归计算,从而使最 小二乘向量机具有一定稀疏性．基于稀疏最小二乘向量机建立了非线性动态预测模型,对铜转炉造渣期吹炼 时间进行滚动预测．仿真结果表明,基于核偏最小二乘辨识的稀疏最小二乘支持向量机具有计算效率高、预 测精度好的特点．     

基于SVR的用电负荷特征三维回归模型

针对用电负荷的周期性特点,将用电负荷特征学习建模为小时、天数、负荷数3个维度的回归问题,提出一种基于支持向量回归机的三维回归模型。将支持向量机的核函数设计为多个核函数的线性组合分别进行参数训练,并给出多路径逐步逼近的参数训练算法。仿真结果表明,与三层神经网络、最小二乘非线性拟合模型相比,该模型具有较好的用电负荷特征学习与预测能力。     

组合核支持向量机的模式分析新方法

基于支持向量机核函数的条件,将Sobolev Hilbert空间的再生核函数和多项式核函数进行有效的线性组合,给出一种新的支持向量机的组合核函数,提出一种基于再生核的组合核函数支持向量机的模式分析方法,该方法兼具了全局核函数与局部核函数的优点,且算法的复杂度被降低。仿真实验结果表明：支持向量机的核函数采用基于再生核的组合核函数是可行的,且此核函数不仅具有核函数的非线性映射特征,而且也继承了核函数对非线性逐级精细逼近的特征,模式分析的效果比单核函数可以更加细腻。     

最小二乘支持向量机在故障诊断中的应用

为了提高机械设备故障诊断的精度，将小波包分析与最小二乘支持向量机进行了有机的结合。首先对故障信号功率谱进行小波分解，简化了故障特征向量的提取。然后提出了一种基于最小二乘支持向量机的故障诊断模型，用二次损失函数取代支持向量机中的不敏感损失函数，将不等式约束条件变为等式约束，从而将二次规划问题转变为线性方程组的求解，用最小二乘法实现了支持向量机算法，并提出对核函数的σ参数进行动态选取，提高了诊断的准确率。仿真结果表明该模型具有较强的非线性处理和抗干扰能力。     

基于核模糊聚类的多模型LSSVM回归建模

针对大规模数据采用单模型回归存在精度差和计算量较大的问题,提出一种基于核模糊聚类的多模型最小二乘支持向量回归建模方法.该方法首先使用基于条件正定核的模糊C均值聚类算法对数据集做出聚类划分;然后针对每个聚类做最小二乘支持向量回归估计;同时根据每个聚类内数据分布的特征,给出了一种简单的核参数选择方法.利用数值仿真实验进行非线性函数估计,实验结果表明了所提出的方法具有良好的精度和泛化能力.     

基于LSSVM的卫星姿态控制系统故障诊断

提出了一种基于最小二乘支持向量机(LSSVM)非线性观测器的卫星姿态控制系统故障诊断方法。与标准的支持向量机回归算法相比,最小二乘支持向量机回归算法收敛速度快,适用于在线训练。该方法利用其回归逼近非线性函数的能力,设计基于最小二乘支持向量机的非线性系统状态观测器,在线训练最小二乘支持向量机回归,并用于估计卫星姿态控制系统故障。最后,通过仿真验证了这种方法可以快速准确地估计出卫星姿态控制系统的故障。     

基于压缩感知的多尺度最小二乘支持向量机

提出一种基于压缩感知(Compressive sensing, CS)和多分辨分析(Multi-resolution analysis, MRA)的多尺度最小二乘支持向量机(Least squares support vector machine, LS-SVM). 首先将多尺度小波函数作为支持向量核, 推导出多尺度最小二乘支持向量机模型, 然后基于压缩感知理论, 利用最小二乘匹配追踪(Least squares orthogonal matching pursuit, LS-OMP)算法对多尺度最小二乘支持向量机的支持向量进行稀疏化, 最后用稀疏的支持向量实现函数回归. 实验结果表明, 本文方法利用不同尺度小波核逼近信号的不同细节, 而且以比较少的支持向量能达到很好的泛化性能, 大大降低了运算成本, 相比普通最小二乘支持向量机, 具有更优越的表现力.     

A multiple-kernel LSSVR method for separable nonlinear system identification

In some nonlinear dynamic systems, the state variables function usually can be separated from the control variables function, which brings much trouble to the identification of such systems. To well solve this problem, an improved least squares support vector regression （LSSVR） model with multiple-kernel is proposed and the model is applied to the nonlinear separable system identification. This method utilizes the excellent nonlinear mapping ability of Morlet wavelet kernel function and combines the state and control variables information into a kernel matrix. Using the composite wavelet kernel, the LSSVR includes two nonlinear functions, whose variables are the state variables and the control ones respectively, in this way, the regression function can gain better nonlinear mapping ability, and it can simulate almost any curve in quadratic continuous integral space. Then, they are used to identify the two functions in the separable nonlinear dynamic system. Simulation results show that the multiple-kernel LSSVR method can greatly improve the identification accuracy than the single kernel method, and the Morlet wavelet kernel is more efficient than the other kernels.     

压电陶瓷驱动器非线性建模研究

压电陶瓷驱动器电压位移之间的非线性特点严重影响着它的位移控制精度,建立压电陶瓷驱动器非线性模型是纳米级微位移测控中的关键环节.采用支持向量机回归的方法,通过引入核函数和损失函数将非线性回归转化成线性问题并提高回归精度,建立了一种新的压电陶瓷驱动器外环非线性模型,并就模型的准确性与其它建模方法进行了比较.试验证明,所建的基于支持向量回归的压电陶瓷驱动器非线性模型很好的描述了压电陶瓷驱动器外环非线性特点,误差控制在2%以内,并且建模过程简单,准确性高.     

最小二乘Littlewood-Paley小波支持向量机

基于小波分解理论和支持向量机核函数的条件，提出了一种多维允许支持向量核函数——Littlewood-Paley小波核函数．该核函数不仅具有平移正交性，而且可以以其正交性逼近二次可积空间上的任意曲线，从而提升了支持向量机的泛化性能．在Littlewood-Paley小波函数作为支持向量核函数的基础上，提出了最小二乘Littlewood-Paley小波支持向量机(LS-LPWSVM)．实验结果表明，LS-LPWSVM在同等条件下比最小二乘支持向量机的学习精度要高，因而更适用于复杂函数的学习问题．     

基于支持向量机的激光焊接过程的非线性辨识

针对激光焊接过程非线性系统建模困难的问题,研究基于支持向量机的非线性系统回归建模方法.支持向量机由核函数与训练集完全刻画,进一步提高支持向量机性能的关键是针对给定的系统设计恰当的核函数.用改进的核函数,对具有典型非线性特性的焊接过程进行辨识.仿真结果验证了该方法的有效性.     

基于改进PSO算法和LS-SVM的短期电力负荷预测

针对电力负荷的小样本、非线性、高维数和局部极小点等问题,提出采用最小二乘支持向量机方法建模,以历史负荷、温度、湿度等数据作为输入量,对短期电力负荷进行预测;针对最小二乘支持向量机在建模中存在的参数选取问题,采用一种根据种群多样性信息来指导初始种群选取和避免粒子早熟收敛现象的改进粒子群优化算法来优化最小二乘支持向量机的惩罚因子和核参数。仿真结果表明,基于改进粒子群优化算法和最小二乘支持向量机的短期电力负荷预测方法较最小二乘支持向量机预测方法、基于基本粒子群优化算法和最小二乘向量机的预测方法具有更好的预测精确度。     

基于最小二乘支持向量回归的水质预测

水质系统是一个开放的、复杂的、非线性动力学系统,具有时变复杂性,针对水质预测方法的研究虽然已经取得了一些成果,但也存在预测精度与计算复杂度等难题。为此,本文提出一种基于最小二乘支持向量回归的水质预测算法。支持向量机是机器学习中一种常用的分类模型,通过核函数将非线性数据从低维映射到高维空间,在高维空间实现线性分类和回归,最小二乘支持向量回归（LS-SVR）利用所有的样本参与回归拟合,使得回归的损失函数不再只与小部分支持向量样本有关,而是由所有样本参与学习修正误差,提高预测精度;同时该算法将标准SVR求解问题由不等式的约束条件及凸二次规划问题转化成线性方程组来求解,提高了运算速度,解决了非线性复杂特性的水质预测问题。     

基于测度学习支持向量机的钢琴乐谱难度等级识别

现有钢琴乐谱难度分类主要由人工方式完成,效率不高,而自动识别乐谱难度等级的算法对类别的拟合度较低。因此,与传统将乐谱难度等级识别归结为回归问题不同,本文直接将其建模为基于支持向量机的分类问题。并结合钢琴乐谱分类主观性强、特征之间普遍存在相关性等特点,利用测度学习理论有难度等级标签乐谱的先验知识,依据特征对难度区分的贡献度,改进高斯径向基核函数,从而提出一种测度学习支持向量机分类算法——ML-SVM算法。在9类和4类难度两个乐谱数据集上,我们将ML-SVM算法与逻辑回归,基于线性核函数、多项式核函数、高斯径向基核函数的支持向量机算法以及结合主成分分析的各个支持向量机算法进行了对比,实验结果表明我们提出算法的识别正确率优于现有算法,分别为68.74%和84.67%。所提算法有效提高了基于高斯径向基核函数支持向量机算法在本应用问题中的分类性能。     

基于改进最小噪声分离变换的特征提取与分类

在最小噪声分离变换的基础上,引入核方法,采用小波核函数代替传统核函数对最小噪声分离变换予以改进。小波核函数的多分辨率分析特性可进一步提高算法的非线性映射能力。相关向量机高光谱图像分类是一种较新的高光谱图像分类方法,将新型核最小噪声分离变换方法与相关向量机相结合,对高光谱影像数据进行分类实验。仿真实验结果表明,基于小波核最小噪声分离变换的方法体现了高光谱影像的非线性特征,将所提出的方法应用于HYDICE系统在Washington DC Mall上空拍摄的数据,与对照算法相比,分类精度可提高3%~8%,并可有效地提高小样本区域的分类精度。     

A new optimizing parameter approach of LSSVM multiclass classification model

The parameter values of kernel function affect classification results to a certain extent. In the paper, a multiclass classification model based on improved least squares support vector machine (LSSVM) is presented. In the model, the non-sensitive loss function is replaced by quadratic loss function, and the inequality constraints are replaced by equality constraints. Consequently, quadratic programming problem is simplified as the problem of solving linear equation groups, and the SVM algorithm is realized by least squares method. When the LSSVM is used in multiclass classification, it is presented to choose parameter of kernel function on dynamic, which enhances preciseness rate of classification. The Fibonacci symmetry searching algorithm is simplified and improved. The changing rule of kernel function searching region and best shortening step is studied. The best multiclass classification results are obtained by means of synthesizing kernel function searching region and best shortening step. The simulation results show the validity of the model.