联合lp/l2,p范数极小化的序列子空间聚类算法

为了有效挖掘序列数据的时空信息,提出联合l_p和l_2,p范数极小化的序列子空间聚类算法.首先,定义依赖于样本距离的权重,构造基于l_2,p范数的时序图,刻画数据在时间维度上的局部相似性.然后,考虑到非凸l_p0l₁范数,能更有效地切断语义无关数据间的联系,所以采用l_p范数度量表示矩阵的稀疏性.最后,通过线性化交替方向法求解优化模型.在视频、运动、人脸数据上的实验表明文中算法的有效性.     

基于PSO的LS-SVM特征选择与参数优化算法

针对最小二乘支持向量机特征选择及参数优化问题,提出了一种基于PSO的LS-SVM特征选择与参数同步优化算法。首先产生若干种群（特征子集）,然后用PSO算法对特征及参数进行优化。在UCI标准数据集上进行的仿真实验表明,该算法可有效地找出合适的特征子集及LS-SVM参数,且与基于遗传算法的最小二乘支持向量机算法（GALS-SVM）和传统的LS-SVM算法相比具有较好的分类效果。     

深度优先搜索的支持向量机参数优化算法

研究支持向量机参数优化问题,由于算法要求准确选择SVM参数,支持向量机在处理大样本数据集时和最优模型参数确定时,消耗的时间长、占有内存大,易获得局部最优解的难题.为了解决支持向量机存在的不足,采用深度优先搜索算法对其参数优化机机制进行改进.将向量机参数优化视成一个组合优化问题,将支持向量机模型的分类误差作为优化目标函数,采用深度优先算法对其进行求解,最后将模型应用于3个标准分类数据集.仿真结果表明,优化参数后的支持向量机加快模型的训练速度度,提高了分类的准确率,很好的解决了支持向量机参数优化难题.     

基于确定性退火聚类的LSSVM短期负荷预测

提出了确定性退火聚类和最小二乘支持向量机(Least square Support Vectormachine.LSSVM)相结合的电力系统短期负荷预测方法.考虑影响负荷变化的各种因素构造负荷样本数据,利用确定性退火聚类算法对样本数据进行分类,得到的分类样本数据作为最小二乘支持向量机的学习样本,保证最小二乘支持向量机具有较高的预测精度.利用某电力公司2007年负荷数据和气象数据进行仿真实验,仿真结果表明该方法具有较高的预测精度.     

基于支持向量机和最小二乘支持向量机的入侵检测比较

将支持向量机和最小二乘支持向量机用于入侵检测之中,利用主元分析对数据进行约简,然后使用SVM和 LS-SVM对数据进行训练和测试.基于KDDCUP'99做了三组对比实验,对支持向量机和最小二乘支持向量机的性能做了统计.实验结果表明,SVM比LS-SVM分类能力强,但是LS-SVM耗时较少.     

基于LSSVM的VVP推力系数预报

针对神经网络存在结构较难确定、训练易陷入局部最优以及容易过学习等问题和标准SVM训练速度较慢等问题,提出最小二乘支持向量机算法,最小二乘支持向量机算法(LS-SVM)具有比其他非线性函数逼近方法具有更强的泛化能力;并且LS-SVM采用径向基核函数,得到LSSVM模型的待定参数比标准支持向量机少,仅为2个.将最小二乘支持...     

最小二乘分解算法在车型识别中的应用

提出一种最小二乘支持向量机的序贯最小分类分解算法.针对最小二乘支持向量机,通过对核函数的相关变换,将二阶的误差信息归结到优化方程的一阶信息中,从而简化运算过程.采用最优函数梯度二阶信息选择工作集,实现最小二乘支持向量机分解算法,提高了算法的收敛性.采用径向基核函数和交叉验证网格搜索的方法验证算法的分类准确性.实验结果表明,提出的分类算法应用于车型识别中,可以得到比其他分类方法更好的分类准确度.     

一种新的最小二乘支持向量机算法

基于核方法的学习算法在机器学习领域占有很重要的地位（如支持向量机support vector machines,简称SVM）。但该方法在处理回归问题时的计算复杂度为数据量的立方级。最小二乘支持向量机(least squares support vector machines 简称LS-SVM)在计算复杂性方面对传统的支持向量机的作了很大改进,但是它的计算量也达到样本点数目的平方级。在处理海量数据回归问题时,求解LS-SVM占用大量的CPU和内存资源。本文提出了一种带非齐次多项式核的最小二乘支持向量机算法,由于特征向量中含有常数分量,所以本文去掉了模型中的偏差因子,简化了LS-SVM的回归模型。新方法特别适合于海量数据回归问题。实验显示新方法的求解速度比传统LS-SVM要快很多,同时新方法的准确性却丝毫不亚于LS-SVM     

一种模糊最小二乘孪生支持向量回归机的改进算法

模糊最小二乘孪生支持向量机模型融合了模糊函数和最小二乘孪生支持向量机算法特性,以解决训练数据集存在孤立点噪声和运算效率低下问题。针对回归过程基于统计学习结构风险最小化原则,对该模型进行L_2范数正则化改进。考虑到大规模数据集的训练效率问题,对原始模型进行了L_1范数正则化改进。基于增量学习特性,对数据集训练过程进行增量选择迭加以加快训练速度。在UCI数据集上验证了相关改进算法的优越性。     

迭代重加权最小二乘支持向量机快速算法研究

迭代重加权(Iteratively Reweighted)方法是提高最小二乘支持向量机(LS-SVM)稳健性的重要手段,但由于涉及到多次加权和重复训练,该方法需要大量运算,无法广泛应用.通过数值推导,获得了求解迭代重加权最小二乘支持向量机(IRLS-SVM)的快速算法,大幅度减少了其运算复杂度.引入了3种经典的加权函数,并在多个仿真数据集和实际数据集上进行实验,证实了IRLS-SVM能获得相当稳健的学习结果,所提出的快速算法也确实能够大幅度减少训练时间.实验结果同时表明,在快速训练算法的框架下,3种不同的权重函数可能要求不同的训练时间.     

A normal least squares support vector machine (NLS-SVM) and its learning algorithm

Least squares support vector machine (LS-SVM) is a successful method for classification or regression problems, in which the margin and sum square errors (SSEs) on training samples are simultaneously minimized. However, LS-SVM only considers the SSEs of input variable. In this paper, a novel normal least squares support vector machine (NLS-SVM) is proposed, which effectively considers the noises on both input and response variables. It introduces a two-stage learning method to solve NLS-SVM. More importantly, a fast iterative updating algorithm is presented, which reaches the solution of NLS-SVM with lower computational complexity instead of directly adopting the two-stage learning method. Several experiments on artificial and real-world datasets are simulated, in which the results show that NLS-SVM outperforms LS-SVM.     

基于网格聚类LS-SVM 的铝电解生产过程极距软测量

针对铝电解生产过程的复杂性,建立了基于网格共享近邻聚类（GNN）最小二乘支持向量机（LS-SVM）的铝电解生产过程极距软测量模型.该模型采用GNN算法将训练集分成具有不同聚类中心的子集,对各子集分别采用LS-SVM进行训练并建立子模型,同时通过参数转化实现模型对新数据样本的动态学习.仿真结果表明,基于GNN最小二乘方法建立的铝电解极距软测量模型具有精度高、泛化性能好等特点,能够为铝电解生产过程操作优化提供实时准确的信息.     

Adaptive pruning algorithm for least squares support vector machine classifier

As a new version of support vector machine (SVM), least squares SVM (LS-SVM) involves equality instead of inequality constraints and works with a least squares cost function. A well-known drawback in the LS-SVM applications is that the sparseness is lost. In this paper, we develop an adaptive pruning algorithm based on the bottom-to-top strategy, which can deal with this drawback. In the proposed algorithm, the incremental and decremental learning procedures are used alternately and a small support vector set, which can cover most of the information in the training set, can be formed adaptively. Using this set, one can construct the final classifier. In general, the number of the elements in the support vector set is much smaller than that in the training set and a sparse solution is obtained. In order to test the efficiency of the proposed algorithm, we apply it to eight UCI datasets and one benchmarking dataset. The experimental results show that the presented algorithm can obtain adaptively the sparse solutions with losing a little generalization performance for the classification problems with no-noises or noises, and its training speed is much faster than sequential minimal optimization algorithm (SMO) for the large-scale classification problems with no-noises.     

GPU的并行支持向量机算法(英文)

提出了一种新的并行增量式支持向量机算法来解决图形处理单元(GPU)中大规模数据集的分类问题。SVM以及核相关方法可以用来创建精确分类模型,但学习过程需要大量内存和很长时间。扩展了Suykens和Vandewalle提出的最少次方SVM(LS-SVM)方法来建立增量和并行算法。新算法使用图形处理器以低代价获得高系统性能。实现表明,在UCI和Delve数据集上,基于GPU并行增量算法较CPU实现方法快130倍,而且比现行算法,如LibSVM、SVM-perf和CB-SVM等快的多(超过2500倍)。     

基于最小二乘支持向量机的特征增量学习算法

本文针对传统的增量学习算法无法处理后采集到的样本中含有新增特征的问题,设计适应样本特征维数增加的训练算法。在基于最小二乘支持向量机的基础上,提出了特征增量学习算法。该算法充分利用先前训练得到的分类器的结构参数,仅对新增特征采用最小二乘支持向量机进行学习。实验结果表明,该算法能够在保证分类精度的同时,有效效地提高训练速度并降低存储空间。     

一种高效的最小二乘支持向量机分类器剪枝算法

针对最小二乘支持向量机丧失稀疏性的问题,提出了一种高效的剪枝算法.为了避免解初始的线性代数方程组,采用了一种自下而上的策略.在训练的过程中,根据一些特定的剪枝条件,块增量学习和逆学习交替进行,一个小的支持向量集能够自动形成.使用此集合,可以构造最终的分类器.为了测试新算法的有效性,把它应用于5个UCI数据集.实验结果表明:使用新的剪枝算法,当增量块的大小等于2时,在几乎不损失精度的情况下,可以得到稀疏解.另外,和SMO算法相比,新算法的速度更快.新的算法不仅适用于最小二乘支持向量机分类器,也可向最小二乘支持向量回归机推广.     

基于改进PSO算法和LS-SVM的短期电力负荷预测

针对电力负荷的小样本、非线性、高维数和局部极小点等问题,提出采用最小二乘支持向量机方法建模,以历史负荷、温度、湿度等数据作为输入量,对短期电力负荷进行预测;针对最小二乘支持向量机在建模中存在的参数选取问题,采用一种根据种群多样性信息来指导初始种群选取和避免粒子早熟收敛现象的改进粒子群优化算法来优化最小二乘支持向量机的惩罚因子和核参数。仿真结果表明,基于改进粒子群优化算法和最小二乘支持向量机的短期电力负荷预测方法较最小二乘支持向量机预测方法、基于基本粒子群优化算法和最小二乘向量机的预测方法具有更好的预测精确度。     

基于Moreau-包络的近似平滑迭代磁共振图像重建算法

针对基于压缩感知（CS）的磁共振成像（MRI）稀疏重建中存在的两个非平滑正则项问题,提出了一种基于Moreau包络的近似平滑迭代算法（PSIA）。基于CS的经典MRI稀疏重建是求解一个由最小二乘保真项、小波变换稀疏正则项和总变分（TV）正则项线性组合成的目标函数最小化问题。首先,对目标函数中的小波变换正则项作平滑近似;然后,将数据保真项与平滑近似后的小波正则项的线性组合看成一个新的可以连续求导的凸函数;最后,采用PSIA对新的优化问题进行求解。该算法不仅可以同时处理优化问题中的两个正则约束项,还避免了固定权重带来的算法鲁棒性问题。仿真得到的体模图像及真实磁共振图像的实验结果表明,所提算法与四种经典的稀疏重建算法：共轭梯度（CG）下降算法、TV1范数压缩MRI（TVCMRI）算法、部分k空间重建算法（RecPF）和快速复合分离算法（FCSA）相比,在图像信噪比、相对误差和结构相似性指数上具有更好的重建结果,且在算法复杂度上与现有最快重建算法即FCSA相当。     

基于贝叶斯回归LS-SVM的非线性系统观测

基于回归最小均方支持向量机(LS-SVM),针对一类单输入单输出不确定非线性控制系统,提出了一种新的观测器的设计方法.在这个算法中,主要假设LS-SVM的最优逼近参数向量和标称参数向量之差的范数和逼近误差的界限是未知的.LS-SVM的最终解可以化为一个具有线性约束的二次规划问题,不存在局部极小;考虑到LS-SVM本身参数对LS-SVM性能的影响,文中利用贝叶斯证据框架对LS-SVM的参数进行优化和软测量建模,从而提高LS-SVM的逼近能力.理论研究和仿真例子证实了所提方法的可行性和有效性.