针对大规模训练集的支持向量机的学习策略

当训练集的规模很大特别是支持向量很多时．支持向量机的学习过程需要占用大量的内存,寻优速度非常缓慢,这给实际应用带来了很大的麻烦．该文提出了一种针对大规模样本集的学习策略：首先用一个小规模的样本集训练得到一个初始的分类器,然后用这个分类器对大规模训练集进行修剪,修剪后得到一个规模很小的约减集,再用这个约减集进行训练得到最终的分类器．实验表明,采用这种学习策略不仅大幅降低了学习的代价,而且这样获得的分类器的分类精度完全可以与直接通过大规模样本集训练得到的分类器的分类精度相媲美,甚至更优,同时分类速度也得到大幅提高．     

大规模训练数据的支持向量机学习新方法

支持向量机不能直接对大规模的训练数据进行学习。提出一种新的减小样本集规模的方法;在映射后的高维空间中寻找两种类别的交界部分,交界部分上的样本作为学习样本。并且指出,不需涉及具体映射的形式只用核函数即可找到交界部分的样本。实验表明,新方法优于直接在低维样本空间中寻找交界部分样本的方法。     

基于壳向量和中心向量的支持向量机

针对支持向量机(Support vector machines,SVMs)中大规模样本集训练速度慢且分类精度易受野点影响的问题,提出一个基于样本几何信息的支持向量机算法.其基本步骤是,首先分别求取每类样本点的壳向量和中心向量,然后将求出的壳向量作为新的训练集进行标准的SVM训练得到超平面的法向量,最后利用中心向量来更新法向量从而减少野点的影响得到最终的分类器.实验表明,采用这种学习策略,不仅加快了训练速度,而且在一般情况下也提高了分类精度.     

支持向量机处理大规模问题算法综述

支持向量机在处理大规模问题时存在训练时间过长和内存空间需求过大的问题.分析了支持向量机在处理大规模问题时存在的局限性;对利用支持向量机处理大规模问题的各种算法进行了分类,并对每种算法的研究状况进行了较全面而深入的综述;对该领域内值得进一步研究的问题进行了讨论.     

支持向量机训练算法比较研究

论文介绍了一种年轻的机器学习方法——支持向量机,详细论述了目前主要的支持向量机的训练算法,包括:二次规划算法,分解算法和增量算法。通过实验验证了普通二次规划算法的缺陷,比较了三种典型的SVM分解训练算法的性能,说明了其相对于二次规划算法的优点和对SVM训练问题的适用性,指出了训练速度优劣的原因。最后指出了未来支持向量机训练算法研究的方向。     

基于支持向量机集成的分类

支持向量机是一种基于结构风险最小化原理的分类技术,本文提出了将支持向量机分类器进行集成的分类思想。首先．在原始样本的基础上形成子支持向量机,得到待检样本的子预测;进而对子预测进行适当的组合,以确定样本最终的类别预报。模拟实验结果表明,该方法具有明显优于单一支持向量机的更高的分类准确率。     

支持向量机研究进展

基于统计学习理论的支持向量机((Support vector machines, SVM)以其优秀的学习能力受到广泛的关注。但传统支持向量机在处理大规模二次规划问题时会出现训练时间长、效率低下等问题。对SVM训练算法的最新研究成果进行了综述,对主要算法进行了比较深入的分析和比较,指出了各自的优点及其存在的问题,并且着重介绍了目前研究的新进展—模糊SVM和粒度SVM。接着论述了SVM主要的两方面应用—分类和回归。最后给出了今后SVM研究方向的预见。     

基于支持向量机集成的故障诊断

为提高故障诊断的准确性,提出了一种基于遗传算法的支持向量机集成学习方法,定义了相应的遗传操作算子,并探讨了集成下的分类器的构造策略。对汽轮机转子不平衡故障诊断的仿真实验结果表明,集成学习方法的性能通常优于单个支持向量机,而所提方法性能则优于Bagging与Boosting等传统集成学习方法,获得的集成所包括的分类器数目更少,而且结合多种分类器构造策略可提高分类器的多样性。该方法能容易地推广到神经网络、决策树等其他学习算法。     

一种大规模支持向量机的高效求解算法

现有大规模支持向量机求解算法需要大量的内存资源和训练时间,通常在大集群并行环境下才能实现。提出了一种大规模支持向量机(SVM)的高效求解算法,以在个人PC机求解大规模SVM。它包括3个步骤:首先对大规模样本进行子采样来降低数据规模;然后应用随机傅里叶映射显式地构造随机特征空间,使得可在该随机特征空间中应用线性SVM来一致逼近高斯核SVM;最后给出线性SVM在多核环境下的并行实现方法以进一步提高求解效率。标准数据集的对比实验验证了该求解算法的可行性与高效性。     

支持向量机训练算法综述

训练SVM的本质是解决二次规划问题,在实际应用中,如果用于训练的样本数很大,标准的二次型优化技术就很难应用.针对这个问题,研究人员提出了各种解决方案,这些方案的核心思想是先将整个优化问题分解为多个同样性质的子问题,通过循环解决子问题来求得初始问题的解.由于这些方法都需要不断地循环迭代来解决每个子问题,所以需要的训练时间很长,这也是阻碍SVM广泛应用的一个重要原因.文章系统回顾了SVM训练的三种主流算法:块算法、分解算法和顺序最小优化算法,并且指出了未来发展方向.     

集成SVM在微阵列数据分析中的应用

微阵列技术的出现使得从不同角度对生物体的多个参量同时进行研究成为可能。然而,微阵列数据样本小、维数高、非线性的特征成为实验中的难点。本文针对这种情况提出集成SVM的方法。对数据集进行规范化之后,采用信噪比的方法提取最具表达的基因用于分类分析。采用bagging算法产生用于集成的个体分类器,最后采用相对多数投票法决定类别归属。实验证明,集成的SVM分类器性能优于单个分类器。     

基于自适应增强SVM集成算法的风机故障诊断

提出了自适应增强支持向量机集成算法,并结合风机噪声信号的人耳听觉谱特征,对风机故障进行分类识别.现场实测数据的识别实验证明,该算法可正确识别99%的正常机器,并且对故障类型诊断的正确识别率比单个支持向量机分类器高1.88%～2.50%.     

基于支持向量机的中文文本分类模型研究

支持向量机是在统计学习理论基础上发展起来的新一代学习算法,适宜构造高维有限样本模型,具有很好的分类精度和泛化性能。文中介绍了中文文本分类过程,将支持向量机应用于中文文本分类模型中,对分类器参数选择进行了分析和讨论。实验分析表明,该系统在较小训练集条件下可以取得较好的分类效果。     

基于SVM的传感器动态模型辩识方法

提出了一种传感器动态模型辩识新方法,给出了相应的辩识过程及学习算法.该方法采用支持向量机模型,与常规模型辩识方法比较,其优点是明显的.其采用了结构风险最小化准则,在最小化样本误差的同时减小模型泛化误差的上界,提高了模型的泛化能力;而且将学习算法转换为求解二次规划问题,使得整个模型参数辩识过程中有且仅有一个全局极值点,确定了结果的唯一性.最后,仿真和实际试验结果均表明应用支持向量机对传感器动态模型进行辩识有效.     

基于拆分集成的不均衡数据分类算法

为改进SVM对不均衡数据的分类性能,提出一种基于拆分集成的不均衡数据分类算法,该算法对多数类样本依据类别之间的比例通过聚类划分为多个子集,各子集分别与少数类合并成多个训练子集,通过对各训练子集进行学习获得多个分类器,利用WE集成分类器方法对多个分类器进行集成,获得最终分类器,以此改进在不均衡数据下的分类性能.在UCI数据集上的实验结果表明,该算法的有效性,特别是对少数类样本的分类性能.     

一种核心子集选择训练的大规模中文网页分类方法

针对Web页面分类方法一般只能处理小规模数据的问题,提出一种核心子集选择训练的大规模中文网页分类方法.该方法通过将支持向量机的最优化求解问题转化为等价的近似最小闭包球求解问题,使得只需选择数据集的核心子集参与分类器训练;并且,在特征选择阶段采用改进的基于词性的互信息特征选择模型,有效提高Web页面分类的大规模数据处理能力.在搜狗实验室提供的大规模Web页面数据集上进行了实验,实验结果表明不仅准确率可达到支持向量机同等的效果,且训练时间大大减少;而对不均衡类别数据的测试结果表明,该方法在处理不均衡类别数的Web网页分类上也能获得很好的效果.     

Training SVM email classifiers using very large imbalanced dataset

The Internet has been flooded with spam emails, and during the last decade there has been an increasing demand for reliable anti-spam email filters. The problem of filtering emails can be considered as a classification problem in the field of supervised learning. Theoretically, many mature technologies, for example, support vector machines (SVM), can be used to solve this problem. However, in real enterprise applications, the training data are typically collected via honeypots and thus are always of huge amounts and highly biased towards spam emails. This challenges both efficiency and effectiveness of conventional technologies. In this article, we propose an undersampling method to compress and balance the training set used for the conventional SVM classifier with minimal information loss. The key observation is that we can make a trade-off between training set size and information loss by carefully defining a similarity measure between data samples. Our experiments show that the SVM classifier provides a better performance by applying our compressing and balancing approach.     

基于动态粗糙集约简的选择性支持向量机集成

支持向量机集成是提高支持向量机泛化性能的有效手段,个体支持向量机的泛化能力及其之间的差异性是影响集成性能的关键因素。为了进一步提升支持向量机整体泛化性能,提出利用动态粗糙集的选择性支持向量机集成算法。首先在利用Boosting算法对样本进行扰动基础上,采用遗传算法改进的粗糙集与重采样技术相结合的动态约简算法进行特征扰动,获得稳定、泛化能力较强的属性约简集,继而生成差异性较大的个体学习器;然后利用模糊核聚类根据个体学习器在验证集上的泛化误差来选择最优个体;并用支持向量机算法对最优个体进行非线性集成。通过在UCI数据集进行仿真,结果表明算法能明显提高支持向量机的泛化性能,具有较低的时、空复杂性,是一种高效、稳定的集成方法。     

基于支持向量机的TSK模糊模型辨识与控制

研究非线性系统TSK模糊模型的辨识与控制,利用TSK模型,可以将线性控制理论应用于非线性系统控制。基于支持向量机和递推最小二乘法,辨识出TSK模糊模型,并且通过遗传算法优化隶属度函数参数,最小化辨识误差。针对TSK模型进行控制,控制器包括两个部分：权重最大子系统反馈控制及其监督控制,监督控制保证了系统的稳定性。辨识和控制仿真结果证明了算法的有效性。