一种基于密度加权的最小二乘支持向量机稀疏化算法

针对最小二乘支持向量机失去标准支持向量机稀疏特性的问题,提出了一种基于密度加权的稀疏化算法.首先计算样本的密度信息,对样本估计误差进行密度加权获得该样本对模型的可能贡献度;然后选取具有最大可能贡献度的样本作为支持向量,同时对支持向量样本邻域内的其他样本密度信息进行削减,从而避免相似样本被选中为支持向量;再选择剩余样本中具有最大可能贡献度的样本添加到支持向量集中,直到模型性能满足要求.仿真和实际应用表明,与Suykens提出的标准稀疏化算法相比,所提出的算法能有效剔除冗余支持向量,具有更好的稀疏性和鲁棒性.     

模糊均值聚类和最小二乘支持向量机相融合在遥感图像分类中的应用

为了提高遥感图像分类精度,提出一种模糊均值聚类(FCM)和最小二乘支持向量机(LSSVM)相融合的遥感图像分类方法(FCM-LSSVM).首先对遥感图像样本进行模糊均值聚类,得到隶属度矩阵,然后根据隶属度矩阵选择遥感图像的训练样本,最后将训练样本输入到最小二乘支持向量机进行学习,并采用粒子群优化最小二乘支持向量机参数,建立遥感图像分类模型.通过仿真实验对算法性能进行测试,结果表明FCM-LSSVM提高了遥感图像分类效率和分类精度.     

基于稀疏化鲁棒LS--SVR与多目标优化的铁水硅含量软测量建模

针对高炉炼铁过程的关键工艺指标———铁水硅含量[ Si]难以直接在线检测且化验过程滞后的问题,提出一种基于稀疏化鲁棒最小二乘支持向量机( R-S-LS-SVR)与多目标遗传参数优化的铁水[ Si]动态软测量建模方法。首先,针对标准最小二乘支持向量机( LS-SVR)的拉格朗日乘子与误差项成正比导致最终解缺少稀疏性的问题,提取样本数据在特征空间映射集的极大无关组来实现训练样本集的稀疏化,降低建模的计算复杂度;其次,标准最小二乘支持向量机的目标函数鲁棒性不足的问题将IGGIII加权函数引入稀疏化后的最小二乘支持向量机模型进行鲁棒性改进,得到鲁棒性较强的稀疏化鲁棒最小二乘支持向量机模型;最后,针对常规均方根误差评价模型性能的不足,提出从建模误差与估计趋势评价建模性能的多目标评价指标。在此基础上,利用非支配排序的带有精英策略的多目标遗传算法优化模型参数,从而获得具有最优参数的铁水[ Si]在线软测量模型。工业实验及比较分析验证了所提方法的有效性和先进性。     

构造稀疏最小二乘支持向量机的网络入侵检测模型

从最小二乘支持向量机的稀疏表达出发,构建高效的基于稀疏最小二乘支持向量机的网络入侵检测模型,提出了一种通过基于核空间近似策略的有效低秩逼近来有效减小原始训练样本集中的支持向量数来实现最终模型的稀疏表达.以MIT KDD99数据集为基础,对所提出方法进行有效性验证,并与利用剪枝策略通过递归过程中不断减少模型中支持向量个数的稀疏化方法、基本最小二乘支持向量机以及标准支持向量机方法的性能进行对比.结果表明:基于核空间近似的最小二乘支持向量机稀疏化与标准最小二乘支持向量机相当;此外稀疏最小二乘支持向量机能够提高入侵检测响应速度.     

基于多模型模糊核聚类方法的污水处理过程软测量建模

针对污水处理过程高度非线性及强耦合性的特点,基于多个模型的组合可以提高模型精度和鲁棒性的思想,提出了一种基于模糊核聚类的多最小二乘支持向量机的软测量建模方法。该方法根据不同工况使用模糊核聚类算法对输入数据进行聚类划分,针对每个聚类子集用最小二乘支持向量机方法建立子模型,最终通过子模型切换策略得到系统输出。在污水处理过程仿真平台展开验证工作,对生化需氧量BOD的软测量进行建模,获得了良好的实验结果。     

球磨机制粉过程煤粉粒度FCM-SVRs软测量建模

根据多个模型相加可以提高整体预测精度和鲁棒性的思想,提出了一种基于模糊C均值聚类(FCM)算法的煤粉粒度多最小二乘支持向量机回归(MLS-SVRs)软测量模型.采用变长度染色体的遗传算法同时优化模糊聚类数和聚类中心,每种聚类子集用LS-SVRs进行局部模型的建立和训练,再用模糊聚类后产生的隶属度将各子模型的输出加权求和得到最后软测量结果.仿真结果表明该软测量模型具有更好的泛化结果和预测精度,可以满足煤粉制备过程实时控制的在线软测量要求.     

基于聚类的鲁棒最小二乘支持向量机

现实数据集通常是呈非线性分布的,虽然很多最小二乘支持向量机算法利用分治策略可以对这一类数据集进行建模,但是由于子模型缺乏鲁棒性,所建的总体模型易受噪声的干扰进而失效。为了对带有噪声的数据集建模,提出了一种基于聚类的鲁棒的最小二乘支持向量机。首先,使用聚类方法将样本分成几个子数据集,每一个子数据集对可以相应地建立一个局部的最小二乘支持向量机来获取对应子数据集的局部动态性。其次,通过在损失函数里加入一个全局正则化因子,使得局部子模型间能够智能地协调,保证建立的全局模型不仅是光滑连续的,同时具有良好的泛化性和鲁棒性。数学和实际例子表明,对于含有噪声的样本集,所提出的方法具有更好的建模效果。     

一种改进的LSSVM支持向量预选取算法

解的稀疏性的丧失——所有的训练样本均作为支持向量,是最小二乘支持向量机的缺点之一,针对导致模型复杂度提高和模型训练、识别速度降低的问题,从数据挖掘和支持向量的几何分布含义两个方面出发,提出了一种新的支持向量预选取算法。一方面对原数据集的每类数据分别进行K均值聚类,将所有的类中心作为原始数据的表征集;另一方面对原数据集用K最近邻方法提取原数据集的边界样本;最后将这两种方法提取的所有样本点的并集作为预选支持向量进行训练和预测。UCI数据库的实验表明:该方法充分融合了K均值和K最近邻预选取算法的优点,能有效的预选取出支持向量,同时保持较高的识别率,而且稀疏效果更稳定,稀疏性能优于经典的迭代剪枝算法。     

稀疏最小二乘支持向量机及其应用

提出基于特征向量选择(feature vector selection,FVS)的稀疏最小二乘支持向量机(sparse least squares support vector machine,SLS-SVM)模型,解决最小二乘支持向量机(least squares support vector machine,LS-SVM)稀疏化问题。采用FVS在特征空间构建特征向量子集,对训练样本进行稀疏线性重构;将稀疏化的特征向量作为支持向量,从而实现对LS-SVM稀疏化建模。将SLS-SVM模型进行弓网系统的仿真对比实验,结果表明SLS-SVM模型在取得高预报精度的同时,可实现支持向量的高度稀疏化,从而加快模型预报速度。     

基于模糊支持向量的多标签分类方法

单实例多标签分类是指一个样本拥有多个标签的分类问题,对此提出了一种基于半模糊核聚类和模糊支持向量机的多标签分类算法.该算法采用一对一分解策略将多类多标签数据集分解为多个两类双标签数据子集,在每个子集上训练两类双标签模糊支持向量机.为提高分类器的性能引入了半模糊核聚类技术.实验结果表明,与现有的一些算法相比新算法具有其优...     

一种基于聚类的支持向量机增量学习算法

提出了一种基于聚类的支持向量机增量学习算法.先用最近邻聚类算法将训练集分成具有若干个聚类子集,每一子集用支持向量机进行训练得出支持向量集;对于新增数据首先聚类到相应的子集,然后计算其与聚类集内的支持向量之间的距离,给每个训练样本赋以适当的权重;而后再建立预估模型.此算法通过钢材力学性能预报建模的工业实例研究,结果表明:与标准的支持向量回归算法相比,此算法在建模过程中不仅支持向量个数明显减少,而且模型的精度也有所提高.     

A fast SVM training algorithm based on the set segmentation and k-means clustering

At present, studies on training algorithms for support vector machines (SVM) are important issues in the field of machine learning. It is a challenging task to improve the efficiency of the algorithm without reducing the generalization performance of SVM. To face this challenge, a new SVM training algorithm based on the set segmentation and k-means clustering is presented in this paper. The new idea is to divide all the original training data into many subsets, followed by clustering each subset using k-means clustering and finally train SVM using the new data set obtained from clustering centroids. Considering that the decomposition algorithm such as SVMlight is one of the major methods for solving support vector machines, the SVMlight is used in our experiments. Simulations on different types of problems show that the proposed method can solve efficiently not only large linear classification problems but also large nonlinear ones.     

基于免疫遗传和顺序支持向量分类机的DTG健康状态评估

针对无监督情况下动调陀螺仪健康状态评估问题,提出一种两阶段健康状态评估模型. 首先,在利用HHT数据预处理的基础上,为克服FCM算法初值敏感及遗传算法过早收敛等问题,提出一种加权免疫遗传模糊C均值聚类模型;其次,针对聚类结果数据的顺序性,建立基于顺序支持向量分类机的健康状态评估模型. 实例结果表明提出的聚类模型具有较高的收敛精度和收敛速度,评估模型具有较高的准确率和效率.      

基于AP算法支持向量机的设计与应用

设计一种基于AP聚类算法和SVM分类器相融合的新的混合分类器, 使用AP聚类算法优化数据集, 得到了高质量、 小样本的SVM分类器训练集. 实验结果表明: 与传统的SVM分类器相比, 混合分类器具有更高的分类精度; 在心脏病预测上, 该分类器的效果较好.     

基于核模糊C均值的异常检测方法

探索聚类方法在异常检测中的应用,提出了一种基于核的模糊C均值的异常检测方法.该方法使用核的模糊C均值对网络数据进行聚类,并使用基于簇内距离的判断规则对聚类结果进行标定,从而识别出攻击.使用KDD CUP1999数据集进行实验,结果表明本文表现出了高检测率和低误报率的良好性能.     

基于正则化的模糊C-均值聚类算法及其在T-S模糊系统辨识问题中的应用

在模糊C-均值聚类问题目标函数中使用正则化泛函,将聚类中心解的误差指标引入到模糊聚类的目标函数中,构造出新的模糊C-均值聚类算法RBFCM(Regularization based Fuzzy C-means)算法.算法RBFCM不仅具有较高的聚类精度,且计算结果具有更好的稳定性.进一步,将此RBFCM算法应用于基于T-S模糊模型的系统辨识问题.由于RBFCM算法优化了模糊系统的输入空间划分,提高了隶属度函数的精度,使得后继得到的T-S模糊系统辨识精度也有所提高,且系统辨识过程的收敛速度也有所改善.最后,通过对经典IRIS数据集、带有噪声的IRIS数据集的聚类算例和对Box-Jenkins煤气炉数据集进行辨识算例,验证了RBFCM算法的有效性和优越性.     

基于高维特征聚类优化的随机森林算法研究

针对传统的随机森林算法（RF）在对高维特征数据集计算速度慢、聚类效果不佳的缺陷,提出了一种基于高维特征聚类的随机森林算法（HDFC-RF）,首先用传统RF方法对初始高维数据集聚类后,使用K均值聚类（KM）和模糊C-均值（FCM）结合,计算样本相似度,并对聚类特征划分族群,最后通过计算DBI指标,并与相关性阈值δ比较和排序,得到最终的高维特征序列。将HDFC-RF算法应用于高维特征数据集Colon Tumor,与传统的RF和FSRF算法比较。实验结果表明,HDFC-RF算法对于高维特征的数据集具有更好的聚类效果、训练速度也更快,具备良好的可行性。     

基于自适应神经网络集成的电子设备故障预测方法

为了实现装备的主动维修,针对电子设备故障预测问题,提出了一种基于自适应神经网络集成(ANNE)的电子设备故障预测方法。首先利用FCM 聚类算法生成个体网络训练样本,从而确定了神经网络集成的规模。ANNE 根据故障序列样本与个体网络训练样本的相似度动态调整权值,自适应神经网络集成根据装备故障历史数据建立故障预测模型,根据当前时间预测故障间隔时间。仿真实例证明,该方法对平稳的故障间隔时间数据进行故障预测的精度较高。