云计算环境的并行支持向量机

针对基于GPU和MPI并行的支持向量机（SVM）算法不适合于云计算环境,设计了一种基于多级SVM的并行支持向量机模型,实现了云计算环境下的序列最小优化（SMO）的并行算法。该算法通过MapReduce系统将大规模训练数据集划分为若干小训练集,再由这些小训练集开发多级的SVM,最后收集每一个SVM最优超平面附近的样本数据来训练另一个新的SVM。实验结果表明,该算法在时间消耗与分类正确率等综合方面比单机算法和传统并行算法获得更好的效果。     

支持向量机的训练算法

大量数据下支持向量机(SVM)的训练算法是SVM研究的一个重要方向和广大研究者关注的焦点。该文回顾了近几年来这一领域的研究情况。该文从分析SVM训练问题的实质和难点出发,结合目前一些主要的SVM训练方法及它们之间的联系,重点阐述当前最有代表性的一种算法——序贯最小优化(SMO)算法及其改进算法。从中可以看到,包括SMO在内的分解算法通过求解一系列规模较小的子问题逐步逼近最优解,从而避免存储整个Hessian矩阵,是解决大规模SVM训练问题的主要方法。而工作集的选择对于分解算法的收敛与否和收敛速度至关重要。     

基于粒度和信息熵的并行支持向量机算法

针对大数据环境下并行支持向量机(support vector machine,SVM)算法存在噪声数据较敏感、训练样本数据冗余等问题,提出基于粒度和信息熵的GIESVM-MR(the SVM algorithm by using granularity and information entropy based on MapReduce)算法.该算法首先提出噪声清除策略(noise cleaning,NC)对每个特征属性的重要程度进行评价,获得样本与类别之间的相关度,以达到识别和删除噪声数据的目的;其次提出基于粒度的数据压缩策略(data compression based on granulation,GDC),通过筛选信息粒的方式保留类边界样本删除非支持向量,得到规模较小的数据集,从而解决了大数据环境下训练样本数据冗余问题;最后结合Bagging的思想和MapReduce计算模型并行化训练SVM,生成最终的分类模型.实验表明,GIESVM-MR算法的分类效果更佳,且在大规模的数据集下算法的执行效率更高.     

基于双支持向量机的大样本分类算法

针对支持向量机(Support Vector Machine,SVM)处理大规模样本分类的学习效率降低问题,提出两阶段学习的支持向量机算法。该方法首先在正负类分别进行无监督聚类,提取各个聚类质心组成约简训练集,进行初次SVM训练;然后,根据初次训练结果选取边界样本集,参与第二次SVM训练。在UCI数据集上的实验结果表明,所提方法在保持分类泛化性能的同时,提高了模型的训练速度。     

基于改进粒子群SVM的海洋赤潮监测算法设计

为克服传统的海洋赤潮监测算法滞后性问题,提出了一种改进粒子群SVM的海洋赤潮监测算法。首先,给出基于改进粒子群SVM的海洋赤潮监测算法的基本原理,采用改进粒子群算法来对SVM的参数进行优化。优化后的SVM模型作为初始模型,采用有标签的样本数据对SVM进行训练,得到训练好的SVM模型。测试当前数据时,将其输入到训练好的SVM模型,通过投票方法统计得到该数据对应的预测结果。仿真实验结果表明,预测结果较为精确,与其他方法相比,具有监测精度高和时间开销小等优点。     

基于CUDA和布谷鸟算法的SVM在工控入侵检测中的应用

为了提升SVM算法的分类速度和精度,提出了一种基于CUDA和布谷鸟搜索算法(CSA)的CCS-SVM (CUDA and Cuckoo Search based Support Vector Machine)算法。考虑到SVM算法在大规模数据下训练速度慢的缺点,利用基于CUDA的并行技术对SVM进行并行化。针对布谷鸟搜索算法寻优精度低和收敛速度慢的问题,提出了两点改进:第一,考虑了寻优过程中个体适应度对莱维飞行步长因子α的影响;第二,在偏好随机游动环节引入惯性权重。最后利用CCS-SVM算法对工控网络标准数据集进行入侵检测仿真实验,结果表明:该算法在保证入侵检测准确率的同时,检测速度提升了近3倍。     

一种新的支撑矢量机快速训练算法

用支撑矢量机（SVM）分类时，针对大规模数据集，SVM的训练成为一个难题，提出了一种采用样本至某一类的马氏距离来提取可能为支撑矢量的数据的方法，同时阐明了如何解决在输入空间和特征空间中求马氏距离所遇到的问题，利用特征值，特征矢量及伪逆运算的并行计算方法，建立了一种提取支撑矢量的快速算法，用该方法对训练数据进行预处理后，可以加快SVM的训练速度，实验结果也表明了该方法的有效性。     

基于KPCA与SVM的混合核交通流数据检测

目的针对当前交通流数据识别问题,提出基于KPCA与SVM的混合核交通流数据识别算法,以提高交通流数据识别准确率.方法运用KPCA对数据进行预处理,采用SVM训练分类模型,利用所训练的模型进行识别;以多轿厢电梯交通状态为对象,分别从交通流数据识别分析和仿真实验两方面对所提方法的可行性与精确性进行验证.结果通过与SVM算法、BP神经网络算法进行对比,表明所提方法具有很强的通用性,能有效地预测出交通流,交通流数据识别的准确率达到97. 2%.结论笔者提出的基于KPCA与SVM的混合核交通流数据识别算法可以提高交通流数据识别的准确率,通用性较高,可以实现对目标的实时检测.     

基于支持向量机和遗传算法融合的入侵检测

为了研究网络异常入侵检测问题,将支持向量机（SVM）和遗传（GA）算法融合并应用于入侵检测领域,区分正常和异常的用户行为,实现对网络系统的入侵检测.传统SVM算法易产生训练参数选择不当,难以获得较高的检测效率和分类精度等问题.针对此问题,提出了一种优化的基于SVM-GA融合的入侵检测方法,首先对网络入侵数据进行归一化处理简化输入,然后通过遗传算法对SVM训练参数进行同步优化,最后采用SVM算法对网络数据进行检测,分类识别得到网络入侵结果.仿真实验结果表明,该融合算法训练时间短、检测精度高、误报率和漏报率低,是一种有效可行的入侵检测方法.     

基于改进加权压缩近邻与最近边界规则SVM训练样本约减选择算法

大规模的训练集中通常含有许多相似样本和大量对分类器模型构造"无用"的冗余信息,利用全部样本进行训练不但会增加训练时间,还可能因为出现"过拟合"现象而导致泛化能力下降。针对这一问题,本文从最具代表性样本与最近边界样本两个角度综合考虑,提出一种基于改进加权压缩近邻与最近边界规则SVM训练样本约减选择算法。该算法考虑到有价值训练样本对SVM分类器性能的重要影响,引进减法聚类利用改进的加权压缩近邻方法选择最具代表性的样本进行训练,在此基础上利用最近边界规则在随机小样本池中选择边界样本提高分类精度。在UCI和KDDCup1999数据集上的实验结果表明,本文的算法能够有效地去除大训练集中的冗余信息,以较少的样本获得更好的分类性能。     

基于遗传算法与支持向量机的水质预测模型

水质预测是众多水务相关问题的重要内容之一,通过水质预测,可以发现水质恶化的预兆,方便决策者提前采取措施.依据常见的水质数据,使用基于遗传算法与支持向量机的水质预测模型在实际应用环境下自行适配污染物权重,提高预测准确率.本模型首先使用遗传算法,训练当前数据的特征权重向量,使得权重适配当前预测问题,然后使用该特征权重向量应用于SVM模型训练.在以重庆某污水处理厂数据为对象进行实验后,验证了该模型在实际应用中的可行性,为水质预测提供了一种新思路.     

一种新的SVM多类分类算法

给出了一种基于编码二叉树的支持向量机(SVM,Support Vector Machine)的多类分类算法.首先,定义了一种构造编码二叉树的方法,在此基础上合理的使用每个训练样本对应的编码来对多类样本进行划分,使之转化为两类分类问题.由算法的实现过程可以看出,本算法可以大大减少子分类器的构造个数,从而简化了多类SVM分类算法.     

SVM自适应波束成形

支持向量机(Support Vector Machine,SVM)是机器学习领域的最新成果,它有较强的泛化能力,收敛快以及低复杂度等优点.本文通过对训练样本进行数据格式的转化,继而转化为libsvm和lssvm分类所要求的数据格式.然后在上行波束成形中使用SVM算法,提高空域滤波的分辨率,仿真结果显示:与LMS(LeastMean Squares,最小均方值,又叫随机梯度下降法)、MMSE(Minimum Mean-Square Error,最小均方误差)经典算法相比,误码率有了明显改善.     

用于不平衡数据分类的模糊支持向量机算法

作为一种有效的机器学习技术,支持向量机已经被成功地应用于各个领域.然而当数据不平衡时,支持向量机会产生次优的分类模型;另一方面,支持向量机算法对数据集中的噪声点和野点非常敏感.为了克服以上不足,提出了一种新的用于不平衡数据分类的模糊支持向量机算法.该算法在设计样本的模糊隶属度函数时,不仅考虑训练样本到其类中心距离,而且考虑样本周围的紧密度.实验结果表明,所提模糊支持向量机算法可以有效地处理不平衡和噪声问题.     

一种SVM增量学习算法

分析了SVM理论中SV（支持向量）集的特点，给出一种SVM增量学习算法，通过在增量学习中使用SV集与训练样本集的分类等价性，使得新的增量训练无需在整个训练样本空间进行，理论分析和实验结果表明，该算法能然保证分类精度的同时有效地提高训练速度。     

基于Fisher准则的SVM参数选择算法

支持向量机(support vector machine,SVM)分类性能主要受到SVM模型选择(包括核函数的选择和参数的选取)的影响,目前SVM模型参数选择的方法并不能较好地确定模型参数。为此基于Fisher准则提出了SVM参数选择算法。该算法利用样本在特征空间中的类别间的线性可分离性,结合梯度下降算法进行参数寻优,并基于Matlab实现选择算法。实验结果表明参数选择算法既提高了SVM训练性能,又大大减少了训练时间。     

改进的SVM决策树分类算法

为解决多类分类问题,在分析SVM决策树分类器及存在问题的基础上,通过引入类间可分离性测度,并将其扩展到核空间,提出一种改进的SVM决策树分类器。实验表明了该分类算法对提高分类正确率的有效性。     

Hybrid Optimization of Support Vector Machine for Intrusion Detection

Support vector machine （SVM） technique has recently become a research focus in intrusion detection field for its better generalization performance when given less priori knowledge than other soft-computing techniques. But the randomicity of parameter selection in its implement often prevents it achieving expected performance. By utilizing genetic algorithm （GA） to optimize the parameters in data preprocessing and the training model of SVM simultaneously, a hybrid optimization algorithm is proposed in the paper to address this problem. The experimental results demonstrate that it＇s an effective method and can improve the performance of SVM-based intrusion detection system further.     

基于分块回归的SVM逼近方法

通过将海量的样本集合合理地分为数目比较小的几个子集,并在每个子集上分别作回归或逼近,使得训练SVM所需二次规划问题的维数大大降低。这样大大降低了训练SVM的运算量,同时提高了局部逼近和预测的能力,为SVM在回归或预测中的实时应用创造了条件。     

基于K-CV 优化的PCA 和SVM 人脸识别算法

为解决常规的PCA( Principal Component Analysis) 和SVM( Support Vector Machines) 人脸识别算法准确率 不高的问题,提出了用改进的网格搜索和交叉验证( K-CV: K-fold Cross Validation) 算法对SVM 参数寻优的方 法,并联合了PCA 和SVM 的人脸识别算法。该算法利用K-CV 算法结合改进网格搜索方法寻找最佳参数, 尽可能消除由于个别样本误差对预测模型的影响,减少了搜索时间,提高了人脸识别的准确率。在Matlab 软 件上测试结果表明,该算法在YALE 人脸库的识别准确率比常规的PCA 和SVM 联合算法高9． 08%。