基于Fisher向量投影的支持向量机增量算法

针对支持向量机训练样本冗余导致训练效率低下的问题,提出一种基于Fisher向量投影的支持向量机增量算法。该算法根据支持向量机中支持向量的分布特性对初始训练集及增量集进行预处理,减少训练样本个数;通过判断初始样本是否满足新增样本集的卡罗需-库恩-塔克(Karush-Kuhn-Tucker conditions,KKT)条件,剔除对最终结果无用的样本,减少参与训练的样本数目。实验结果表明,与标准支持向量机算法和基于向量投影的支持向量机增量算法相比,基于Fisher向量投影的支持向量机增量算法的训练速度分别提升了86%和33%左右。该方法可用于大规模样本集的分类识别问题。     

支持向量机的快速分类算法

支持向量机（SVM）算法在训练集的规模很大特别是支持向量很多时,支持向量机的学习过程需要占用大量的内存,算法的速度较慢。为此,笔者提出一种新的SVM快速分类算法。该算法通过选择边界向量,构造新的训练样本,减少了参与训练的样本数目。实验证明,该算法不仅能保证原算法的精度,具有良好的推广能力,而且提高了算法的速度。     

基于支持向量机的增量学习算法研究

分析了支持向量机理论中支持向量的特性,利用支持向量与样本空间划分的等价性,提出一种新的基于支持向量机的增量学习算法.该算法考虑新增样本集的分布可能改变对已有样本的分类结果,利用支持向量的分布特性,用对样本的划分差集构造新的支持向量集和分类平面,使差集中的样本点对分类贡献尽可能最大,有效提高了分类精度.同时差集操作简单易行,有效降低了问题的计算复杂度.实验结果表明,与常规增量算法相比,该算法在不改变时间复杂度量级的前提下对分类精度有显著提高.     

边界偏转覆盖增量支持向量机

为了利用不断积累的网络样本提高故障诊断效能,针对标准支持向量机不直接支持增量学习的问题,提出一种边界偏转覆盖增量支持向量机. 根据违背Karush Kuhn Tucker条件的新增样本在特征空间中可引起原分类边界改变的情况,设计边界偏转覆盖算法预选支持向量再生区作为增量训练工作集,解决了难以确定的非支持向量向支持向量的转化问题. 理论分析和实验结果表明,该方法能有效简化训练工作集,在保证故障诊断精度的同时大幅度提高增量训练效率.     

改进的球结构SVM多分类增量学习算法

针对球结构支持向量机(support vector machine,SVM)增量学习算法在训练时间和分类精度上的不足,提出了一种改进的球结构SVM多分类增量学习算法.该算法首先构造一个完全二叉树用于多类分类;分析新增样本的加入对原支持向量集的影响,将新增样本集中部分样本和原始训练集中的支持向量以及分布在球体一定范围内的样本合并做为新的训练集,完成分类器的重构.实现通过减少训练样本缩短训练时间和完善分类器提高分类精度的目的.通过UCI标准数据集实验,结果表明,该算法在所需训练的样本数、训练时间以及准确率3方面都优于球结构SVM增量学习算法,尤其当样本分布不平衡时,该算法有更高的分类准确率.     

基于多支持向量机分类器的增量学习算法研究

为了将一般增量学习算法扩展到并行计算环境中,提出一种基于多支持向量机分类器的增量学习算法.该算法根据多分类器对新增样本集的分类结果,以样本到分类超平面的平均距离为条件重新构造支持向量集更新分类器,直到所有分类器的分类精度满足指定阈值.实验结果表明了该算法的可行性和正确性.     

一种改进的支持向量机E-SVM算法

在文本分类中,应用支持向量机(SVM)算法能使分类在小样本的条件下具有良好的泛化能力,但支持向量机的参数取值决定了其学习性能和泛化能力.为提高支持向量机算法的性能,提出了一种支持向量机优化算法E-SM,引入信息熵来表征惩罚系数C,提出了加权系数,算法实现了SVM训练过程中参数的智能化,减少了对支持向量机参数选择的盲目性,减少了部分训练样本集数目,提高了SVM性能.实验表明,E-SVM算法较传统算法具有更好的分类精度和时间效率.     

基于聚类粒度的模糊支持向量机

为了提高模糊支持向量机在大规模数据集上的训练效率,提出了一种基于聚类粒度的模糊支持向量机算法.首先在每类训练样本上执行无监督聚类算法,产生聚类颗粒.在综合考虑了聚类中心、半径和聚类中的样本数目等聚类信息基础上,找到每个聚类内部的边缘点和交叉点集合,去除对分类贡献很小的聚类内部点,最终形成了新的用于模糊支持向量机训练的样本集合.随后的试验结果表明,由聚类颗粒生成的约简样本集合,很好的表示了原有样本的分布,不仅提高了训练效率,同时保持了较好的分类效果.     

入侵检测中的多分类SVM增量学习算法

通过分析入侵检测样本的分布特点,提出了一种多分类SVM增量学习算法.该算法通过衡量同类样本点和样本中心之间的距离来确定用于训练的支持向量,以选择对分类贡献较大的边缘向量进行训练,通过求解多个超平面的方法划分出不同类别样本的区域,实现了多分类的增量学习.在保证检测率的同时,减少了样本学习数量.利用KDDCUP99标准数据集进行测试,证明该算法可以大幅度降低训练的时间和空间复杂度.     

精简训练样本与支持向量

支持向量机基于统计学习理论并能较好地解决小样本问题,对许多含有大数量样本的数据库来说,支持向量机并不非常合适.训练样本的数量严重影响训练的速度与支持向量的数量.实验表明,保留训练样本的邻界样本,去除部分非邻界样本可以明显地减少训练样本的数量和支持向量的个数,而泛化能力几乎没有下降.     

并行PSVM算法及其在入侵检测中的应用(英文)

基于并行PSVM(proximal support vector machine)分类法,利用ε-支持向量与原数据集等价的特点,将PSVM和cascade SVM模型高效结合,加速训练入侵数据集.提出一种新的PSVM增量学习方法,它能快捷更新分类器.通过大量基于著名的KDD CUP1999数据集实验,研究表明,该算法相对其他SVM方法,在保证较高检测率和较低误报率的同时,其训练时间降低80%,且能通过增量学习新数据集来有效更新分类器.     

基于径向基函数网络估计密度函数的数据分类

针对样本总体分布已知的分类问题，提出了一种新的分类方法.通过非线性映射将训练样本映射到高维特征空间，基于向量投影法从训练样本中选择边界向量，运用多维二叉树搜索法确定每个边界向量同类中的k-近邻，运用统计理论中的大数定理估计样本的类条件概率密度函数，由边界向量与相应的密度函数构成新的训练样本对.对每一类数据建立一个径向基函数（RBF）网络，以相应类的边界向量作为中心，通过训练以RBF网络来估计样本的类条件概率密度，并采用基于最小错误率的贝叶斯决策来实现分类.对机器学习数据的仿真研究结果表明该方法具有与支持向量机（SVM）相似的识别率，并且能快速有效地实现多类分类.     

一种新型的增式SVM训练算法

针对传统的增式支持向量机算法在计算时间和分类效率上的不足,提出了一种新型的增式SVM训练算法。该算法不是简单地保留上一步训练的支持向量,而是通过增加KKT(Karush-Kuhn-Tucke)限制条件并对决策函数的输出设定一个阈值,使得保留下来的样本都是最有效的样本,从而可减少训练样本的数目。在仿真实验中,选择了一组UCI数据,并选用RBF核函数作为核函数。实验结果表明:与传统增式算法相比,新算法在保证传统SVM性能的同时,在迭代速度和分类放率上分别提高了14%和4.39%。     

一种具有统计不相关性的最优边界鉴别向量集

为了解决现有维数约简算法受样本分布影响较大、不支持小样本学习等问题,在分析线性鉴别分析(LDA)中最优鉴别向量与支持向量机(SVM)中分类超平面法向量之间关系的基础上,基于统计不相关最优鉴别向量集优于正交最优鉴别向量集的事实,提出了通过对改进的SVM的二次优化问题进行递归求解来获取具有统计不相关性的最优边界鉴别向量集的算法,并使用核方法将其推广到可以解决非线性特征抽取问题.结果表明:在采用相同参数并使用k-最近邻分类器进行训练和测试的情况下,提出的算法对实际数据集Waveform,Heart,Diabetis的分类精度均高于SVM和RSVM,不会出现当抽取超过最优维数时随着抽取维数的增加分类精度反而降低的现象,体现了本算法在抽取不相关特征向量方面的有效性.     

Improved Approach Based on SVM for License Plate Character Recognition

An improved approach based on support vector machine （SVM） called the center distance ratio method is presented for license plate character recognition. First the support vectors are pre-extraeted. A minimal set called the margin vector set, which contains all support vectors, is extracted. These margin vectors compose new training data and construct the classifier by using the general SVM optimized. The experimental resuhs show that the improved SVM method does well at correct rate and training speed.