一种快速稀疏最小二乘支持向量回归机

将Jiao法直接应用于最小二乘支持向量回归机上的效果并不理想,为此采用不完全抛弃的策略,提出了改进的Jiao法,并将其应用于最小二乘支持向量回归机.数据集测试的结果表明,基于改进Jiao法的稀疏最小二乘支持向量回归机,无论在支持向量个数和训练时间上都取得了一定的优势.与其他剪枝算法相比,在不丧失回归精度的情况下,改进的Jiao法可大大缩短训练时间.另外,改进的Jiao法同样适用于分类问题.     

支持向量回归的一种网络优化策略

提出一种用于支持向量回归的网络优化策略．学习策略分为两个阶段：首先训练支持向量机，得到支持向量回归的初始结构和参数，构造一个无阈值的支持向量回归网络；然后通过带有遗忘因子的递归最小二乘算法，优化计算支持向量回归网络的权值，以达到更好的函数拟合精度．与支持向量回归相比，这种策略可以得到最优的权值和阈值．仿真结果表明，该网络性能优良，具有在线应用的潜力．     

在线模糊最小二乘支持向量机的时间序列预测

基于模糊最小二乘支持向量机和在线学习算法,提出了一种模糊最小二乘支持向量机的增量式算法。传统最小二乘支持向量机引入模糊加权系数后,有效地提高了其抗噪性能。同时利用递推的核函数计算方法增强了该算法的在线学习能力。仿真结果表明,这一算法在运算精度和运算速度上都优于传统的支持向量机算法。     

基于SVR的用电负荷特征三维回归模型

针对用电负荷的周期性特点,将用电负荷特征学习建模为小时、天数、负荷数3个维度的回归问题,提出一种基于支持向量回归机的三维回归模型。将支持向量机的核函数设计为多个核函数的线性组合分别进行参数训练,并给出多路径逐步逼近的参数训练算法。仿真结果表明,与三层神经网络、最小二乘非线性拟合模型相比,该模型具有较好的用电负荷特征学习与预测能力。     

多尺度最小二乘小波支持向量机的回归建模

普通最小二乘支持向量机算法用于多尺度回归建模时精度较低。针对该问题,选取墨西哥草帽小波函数作为最小二乘支持向量机的核函数,设计一种基于小波核的多尺度最小二乘小波支持向量机。在此基础上,通过解二次优化问题求出多尺度回归建模问题的全局最优解,最终得出的多尺度回归模型能够有效地逼近多尺度信号。仿真结果表明,该算法具有较高的精度。     

一种实用的火电厂飞灰含碳量软测量建模方法

提出了同时利用自适应加权融合和最小二乘支持向量机建模的实用新方法。首先,给出了基于小波的自适应加权融合和最小二乘支持向量机算法;其次,将BP神经网络、最小二乘支持向量机和基于小波的自适应加权融合的最小二乘支持向量机算法进行建模精度比较;最后,采用真实火电厂飞灰含碳量数据进行模型验证与预测,仿真结果表明基于小波的自适应加权融合的最小二乘支持向量机算法具有较好的建模精度和实用性。     

基于改进PSO优化LSSVM的传感器补偿研究

针对最小二乘支持向量机在对传感器进行补偿时,正则化参数和核函数参数对补偿精度影响较大的问题,提出一种利用改进的粒子群优化算法优化最小二乘支持向量机模型参数的传感器补偿方法。该方法利用改进的粒子群优化算法优化最小二乘支持向量机模型的正则化参数和核函数参数,避免了人工选择参数的盲目性,提高了最小二乘支持向量机模型的预测精度。仿真实验表明,在传感器的补偿时,该方法比最小二乘支持向量机模型的补偿精度更高。     

最小二乘支持向量机用于水量预测

针对标准支持向量机建模时间长的缺点,为了城市用水量准确预测,需建立有效的预测模型.采用的最小二乘支持向量机基于结构风险最小化,并在支持向量机的基础上,将求解二次规划问题转化线性方程组,采用径向基核函数,使最小二乘支持向量机模型的待定参数比标准支持向量机少,可大大加快建模速度,同时还采用了人工免疫系统的自适应动态克隆选择算法,在寻优过程中能够准确、快速地搜索最小二乘支持向量机的最优参数.把上述模型用于城市日用水量预测,具有学习速度快.也具有良好的非线性建模和泛化能力,而且预测精度较高.     

基于AdaBoost算法的加权二乘向量回归机

针对二乘向量机(LS-SVM)对所有样本误差惩罚相同、预测精度不高的问题,提出了一种基于AdaBoost模型的二乘向量回归机。该算法使用多个二乘向量机按照某种学习规则协调各二乘向量机的输出,同时根据回归精度,建立各二乘向量机中每一个样本的误差惩罚权重,以突出样本的惩罚差异性,提高算法的泛化性能。实验结果表明,提出的算法提高了二乘向量回归机的预测精度,优化了学习机的性能。     

稀疏结构化最小二乘双支持向量回归机

最小二乘双支持向量回归机（LSTSVR）通过引入最小二乘损失将双支持向量回归机（TSVR）中的二次规划问题简化为两个线性方程组的求解,从而大大减少了训练时间。然而,LSTSVR最小化基于最小二乘损失的经验风险易导致以下不足：（1）“过学习”问题;（2）模型的解缺乏稀疏性,难以训练大规模数据。针对（1）,提出结构化最小二乘双支持向量回归机（S-LSTSVR）以提升模型的泛化能力;针对（2）,进一步利用不完全Choesky分解对核矩阵进行低秩近似,给出求解S-LSTSVR的稀疏算法SS-LSTSVR,使模型能有效地训练大规模数据。人工数据和UCI数据集中的实验证明SS-LSTSVR不但可以避免“过学习”,而且能够高效地解决大规模训练问题。     

回归型支持向量机的简化算法

针对支持向量机应用于函数估计时支持向量过多所引起的计算复杂性,提出一种简化算法,可以大幅度地减少支持向量的数量,从而简化其应用.采用简化算法还可以将最小平方支持向量机算法和串行最小化算法结合起来,达到学习效率高且生成的支持向量少的效果.     

一种改进的在线最小二乘支持向量机回归算法

针对一般最小二乘支持向量机处理大规模数据集会出现训练速度幔、计算量大、不易在线训练的缺点,将修正后的遗忘因子矩形窗方法与支持向量机相结合,提出一种基于改进的遗忘因子矩形窗算法的在线最小二乘支持向量机回归算法,既突出了当前窗口数据的作用,又考虑了历史数据的影响.所提出的算法可减少计算量,提高在线辨识精度.仿真算例表明了该方法的有效性.     

两种基于等式约束支持向量回归机比较研究

为了减小支持向量回归机(SVR)的计算复杂度、缩短训练时间,将应用于分类问题的近似支持向量机(PSVM)扩展到回归问题中,针对其原始优化问题采用直接法求取最优解,而不是转换为对偶问题求解,给出了近似支持向量回归机(PSVR)线性和非线性回归算法.并与同样基于等式约束的最小二乘支持向量回归机(LSSVR)进行了比较,在一维、二维函数回归以及不同规模通用数据集上的测试结果表明,PSVR算法简单,训练速度快,尤其在大规模数据集处理上更具优势.     

Recurrent sparse support vector regression machines trained by active learning in the time-domain

A method for the sparse solution of recurrent support vector regression machines is presented. The proposed method achieves a high accuracy versus complexity and allows the user to adjust the complexity of the resulting model. The sparse representation is guaranteed by limiting the number of training data points for the support vector regression method. Each training data point is selected based on the accuracy of the fully recurrent model using the active learning principle applied to the successive time-domain data. The user can adjust the training time by selecting how often the hyper-parameters of the algorithm should be optimised. The advantages of the proposed method are illustrated on several examples, and the experiments clearly show that it is possible to reduce the number of support vectors and to significantly improve the accuracy versus complexity of recurrent support vector regression machines.     

基于递推最小二乘支持向量回归估计的建模与预报

提出一种新的递推最小二乘支持向量回归估计算法（RLS-SVR），该算法具有实时性高、更新速度快的特点．充分应用RLS-SVR在线学习和训练的实时性，避免辨识模型的维数过高而降低估计精度，本文进一步提出了基于RLS-SVR的混合训练—估计辨识结构．TE过程的组分软测量建模和预报验证了该方法的有效性和优越性．     

Error tolerance based support vector machine for regression

Most existing online algorithms in support vector machines (SVM) can only grow support vectors. This paper proposes an online error tolerance based support vector machine (ET-SVM) which not only grows but also prunes support vectors. Similar to least square support vector machines (LS-SVM), ET-SVM converts the original quadratic program (QP) in standard SVM into a group of easily solved linear equations. Different from LS-SVM, ET-SVM remains support vectors sparse and realizes a compact structure. Thus, ET-SVM can significantly reduce computational time while ensuring satisfactory learning accuracy. Simulation results verify the effectiveness of the newly proposed algorithm.     

支持向量机在鼻咽癌患者5年生存状态预测中的应用

利用最小二乘支持向量机和文献[10]中的半监督学习算法,我们对鼻咽癌患者5年生存状态进行了预测.实验结果表明:当已标注数据比较少时,两种方法的判别精度都比较低;随着已标注数据的增多,最小二乘支持向量机的推广能力逐渐增加,而半监督学习算法并没有给出更好的结果.这说明:对于鼻咽癌患者5年生存状态预测问题,最小二乘支持向量机比半监督学习方法更具有优势.     

基于核学习方法的短时交通流量预测

基于核学习的强大非线性映射性能,针对短时交通流量预测,提出一类基于核学习方法的预测模型。核递推最小二乘(KRLS)基于近似线性依赖(approximate linear dependence,ALD) 技术可降低计算复杂度及存储量,是一种在线核学习方法,适用于较大规模数据集的学习;核偏最小二乘(KPLS)方法将输入变量投影在潜在变量上,利用输入与输出变量之间的协方差信息提取潜在特征;核极限学习机(KELM)方法用核函数表示未知的隐含层非线性特征映射,通过正则化最小二乘算法计算网络的输出权值,能以极快的学习速度获得良好的推广性。为验证所提方法的有效性,将KELM、KPLS、ALD-KRLS用于不同实测交通流数据中,在同等条件下,与现有方法进行比较。实验结果表明,不同核学习方法的预测精度和训练速度均有提高,体现了核学习方法在短时交通流量预测中的应用潜力。     

Recursive reduced least squares support vector regression

Combining reduced technique with iterative strategy, we propose a recursive reduced least squares support vector regression. The proposed algorithm chooses the data which make more contribution to target function as support vectors, and it considers all the constraints generated by the whole training set. Thus it acquires less support vectors, the number of which can be arbitrarily predefined, to construct the model with the similar generalization performance. In comparison with other methods, our algorithm also gains excellent parsimoniousness. Numerical experiments on benchmark data sets confirm the validity and feasibility of the presented algorithm. In addition, this algorithm can be extended to classification.     

基于- 范数约束的LSSVR 多核学习算法

针对核函数选择对最小二乘支持向量机回归模型泛化性的影响, 提出一种新的基于????- 范数约束的最小二乘支持向量机多核学习算法. 该算法提供了两种求解方法, 均通过两重循环进行求解, 外循环用于更新核函数的权值, 内循环用于求解最小二乘支持向量机的拉格朗日乘数, 充分利用该多核学习算法, 有效提高了最小二乘支持向量机的泛化能力, 而且对惩罚参数的选择具有较强的鲁棒性. 基于单变量和多变量函数的仿真实验表明了所提出算法的有效性.