基于向量投影的支持向量机增量算法

提出一种新的基于向量投影的支持向量机增量式学习算法.该算法根据支持向量的几何分布特点,采用向量投影的方法对初始样本及增量样本在有效地避免预选取失效情况下进行预选取.选取最有可能成为支持向量的样本形成边界向量集,并在其上进行支持向量机训练.通过对初始样本是否满足新增样本集KKT条件的判断,解决非支持向量向支持向量转化的问题,有效地处理历史数据.实验表明,基于向量投影的支持向量机增量算法可以有效地减少训练样本数,积累历史信息,提高训练的速度,从而具有更好的推广能力.     

一种改进的基于支持向量机的多类分类方法

针对现有支持向量机多类分类算法在分类精度上的不足,提出一种改进的支持向量机决策树多类分类算法。为了最大限度地减少误差积累的影响,该算法利用投影向量的思想作为衡量类分离性的标准,由此构建非平衡决策树,并且在决策树节点处对正负样本选取不同的惩罚因子来处理不平衡数据集的影响,最后引入KNN算法与SVM共同识别数据集。通过在手写体数字识别数据集上的仿真实验,分析比较各种方法,表明该方法能有效提高分类精度。     

支持向量机组合分类及其在文本分类中的应用

针对标准支持向量机对野值点和噪音敏感，分类时明显倾向于大类别的问题，提出了一种同时考虑样本差异和类别差异的双重加权支持向量机。并给出了由近似支持向量机结合支持向量识别算法，识别野值点和计算样本重要性权值的方法．双重加权支持向量机和近似支持向量机组合的新分类算法尤其适用于样本规模大、样本质量不一、类别不平衡的文本分类问题．实验表明新算法改善了分类器的泛化性能。比传统方法具有更高的查准率和查全率．     

大规模数据集下支持向量机训练样本的缩减策略

大量数据下支持向量机的训练算法是SVM研究的一个重要方向和焦点。该文从分析SVM训练问题的实质和难点出发，提出一种在训练前先求出类别质心，去除非支持向量对应的样本，从而达到缩小样本集的方法。该方法在不损失分类正确率的情况下具有更快的收敛速度，并从空间几何上解释了支持向量机的原理。仿真实验证明了该方法的可行性和有效性。     

一种基于SVM后验概率的网络流量识别方法

为解决网络样本标注的难题,实现多种网络流量环境中的主动学习,提出一种基于支持向量机后验概率的网络流量识别方法。结合支持向量机输出和Sigmoid函数拟合样本所属类别后验概率,用其中较大的2类概率信息熵值衡量样本影响分,借助支持向量机和不确定性采样策略实现主动学习过程,形成流量识别模型。实验结果表明,该方法能取得较好的识别效果。     

基于改进的加权向量机的假币识别算法

支持向量机在处理样本类别不平衡时,对样本数量少的类别,其分类误差大,针对这一问题提出了一种多核心的加权向量机。将纸币的RGB色彩空间转换到YIQ色彩空间,使用直方图对样本进行特征的提取。在特征空间使用边界区间处理分类问题,加入最小化小样本误识率的机制,使用一种改进的加权支持向量机来识别样本。对样本的不同区域使用不同的核函数。实验表明本算法可行、可靠。     

核聚类启发式转导SVM

传统转导支持向量机有效地利用了未标记样本,具有较高的分类准确率,但是计算复杂度较高。针对该不足,论文提出了一种基于核聚类的启发式转导支持向量机学习算法。首先将未标记样本利用核聚类算法进行划分,然后对划分后的每一簇样本标记为同一类别,最后根据传统的转导支持向量机算法进行新样本集合上的分类学习。所提方法通过对核聚类后同一簇未标记样本赋予同样的类别,极大地降低了传统转导支持向量机算法的计算复杂度。在MNIST手写阿拉伯数字识别数据集上的实验表明,所提算法较好地保持了传统转导支持向量机分类精度高的优势。     

可补偿类别差异的加权支持向量机算法

支持向量机(SVM)算法在各类别样本数多少不同时,样本数量多的类别,其分类误差小,而样本数量少的类别,其分类误差大.针对这种倾向性问题,在分析其产生原因的基础上,提出了加权SVM算法,从而克服了常规SVM算法不能灵活处理每一个样本的缺陷,同时补偿了这种倾向性造成的不利影响.这种以牺牲大类别精度来提高小类别精度的加权支持向量机方法,可应用于诸如故障诊断等关注小类别分类精度的场合.户外图象识别的实验结果证明,该算法是有效的.     

权向量投影多平面支持向量机

提出一个多平面支持向量机算法——权向量多平面支持向量机(WMPSVM)。该方法利用差代替Rayleigh商问题,从而避免广义特征值的奇异问题。与传统分类器不同,该方法无需求解具体的超平面,仅求解两个权向量。其决策是将测试样本归为距样本投影均值距离最近的所在的类。从广义支持向量机(GEPSVM)求解目的出发,该方法在保证得到与GEPSVM相当的计算效率的前提下,能较好地求解异或问题以及一些复杂异或问题。最后在人工数据集和UCI数据集上显示,该方法的性能要好于GEPSVM。     

基于特征选择的质心向量构建方法

基于质心的文本分类方法对模型较敏感,分类性能较差。为此,提出一种基于特征选择的类别质心向量构建方法FSCC。计算特征与类别之间的特征选择值,利用质心特征权重计算公式得到类别的质心向量,并采用非归一化的余弦相似度计算文档与质心间的距离,实现文本分类。实验结果表明,与基于质心的方法和支持向量机方法相比,FSCC方法的分类效果更好。     

基于粒子群算法优化支持向量机汽车故障诊断研究

汽车故障检测和诊断技术一直是国内外研究热点问题。支持向量机用于汽车故障诊断时,其多分类组合决策对分类正确率及诊断时间有很大影响,为了有效提高汽车系统故障诊断的效率和精度,提出了一种基于粒子群算法优化层次支持向量机汽车故障诊断检测方法。针对分解支持向量机具有测试时间短、结构难以确定的特点,利用粒子群算法,依据最大间隔距离原则优化层次支持向量机模型,使每个节点的支持向量机具有最大分类间隔,减少了误差积累,从而优化了多级二叉树结构的SVM,实现故障的分级诊断。仿真实验结果表明,提出的算法在所有参比模型中精度最高,能高效地对汽车系统的故障进行检测与定位,具有较强的泛化能力,同时缩短了故障诊断时间。     

基于样本之间紧密度的模糊支持向量机方法

针对传统支持向量机方法中存在对噪声或野值敏感的问题,提出了一种基于紧密度的模糊支持向量机方法.在确定样本的隶属度时,不仅考虑了样本与类中心之间的关系,还考虑了类中各个样本之间的关系.通过样本之间的紧密度来描述类中各个样本之间的关系,利用包围同一类中样本的最小球半径大小来度量样本之间的紧密度.样本的隶属度依据样本在球中的位置,按照不同的规律确定与基于样本与类中心之间关系构建的模糊支持向量机方法相比,该方法有利于将野值或含噪声样本与有效样本进行区分.实验结果表明,与传统支持向量机方法及基于样本与类中心之间关系的模糊支持向量机方法相比,基于紧密度的模糊支持向量机方法具有更好的抗噪性能及分类能力.     

Vector projection method for unclassifiable region of support vector machine

Unclassifiable region (UR) in conventional multi-classification support vector machine (MSVM) decreased the classification capacity and generalization ability of MSVM. To overcome the disadvantage, vector projection method (VPM) was presented. VPM first projects the samples in UR onto the line linking every two class centers, then computes the feature distance between each projecting point and corresponding class center. For one sample, the class with smaller feature distance will be voted one time and the sample belongs to the class which owns the most votes. Experimental results on synthetic and benchmark datasets show that VPM resolved the UR problem effectively and improved the classification capacity and generalization ability of MSVM.     

Nonlinear adaptive control system design with asymptotically stable parameter estimation error

The paper presents a new general method for nonlinear adaptive system design with asymptotic stability of the parameter estimation error. The advantages of the approach include asymptotic unknown parameter estimation without persistent excitation and capability to directly control the estimates transient response time. The method proposed modifies the basic parameter estimation dynamics designed via a known nonlinear adaptive control approach. The modification is based on the generalised prediction error, a priori constraints with a hierarchical parameter projection algorithm, and the stable data accumulation concepts. The data accumulation principle is the main tool for achieving asymptotic unknown parameter estimation. It relies on the parametric identifiability system property introduced. Necessary and sufficient conditions for exponential stability of the data accumulation dynamics are derived. The approach is applied in a nonlinear adaptive speed tracking vector control of a three-phase induction motor.     

基于中心距离比值的增量支持向量机

研究了支持向量、中心距离比值、边界向量以及增量学习之间的关系,提出了基于中心距离比值的增量支持向量机。与传统方法相比,基于中心距离比值的增量支持向量机有效的利用了中心距离比值,解决了CDRM+SVM的阈值选取问题;且适合于增量学习;从而在保证了支持向量机的分类能力没有受到影响的前提下提高了支持向量机的训练速度。     

基于类向心度的模糊支持向量机

传统支持向量机(SVM)训练含有噪声或野值点的数据时,容易产生过拟合,而模糊支持向量机可以有效地处理这种问题。针对使用样本与类中心之间的距离关系来构建模糊支持向量机隶属度函数的不足,提出了一种基于类向心度的模糊支持向量机(CCD FSVM)。该方法不仅考虑到样本与类中心之间的关系,还考虑到类中各个样本之间的联系,并用类向心度来表示。将类向心度应用于模糊隶属度函数的设计,能够很好地将有效样本与噪声、野值点样本区分开来,而且可以通过向心度的大小,对混合度比较高的样本进行区分,从而达到提高分类精度的效果。实验结果表明,基于类向心度的模糊支持向量机其分类正确率比支持向量机高,在使用三种不同隶属度函数的FSVM中,该方法的抗噪性能最好,分类性能最强。     

模糊支持向量机中隶属度的确定与分析

针对目前模糊支持向量机方法中，一般使用特征空间中样本与类中心之间的距离关系构建隶属度函数的不足，提出了一种新的有效地反映样本不确定性的隶属度计算方法——基于样本紧密度的隶属度方法。在确定样本的隶属度时，不仅考虑了样本与类中心之间的关系，还考虑了类中各个样本之间的关系，并采用模糊连接度来度量类中各个样本之间的关系。将其应用于模糊支持向量机方法中，较好地将支持向量与含噪声或野值样本区分开。实验结果表明，采用模糊支持向量机方法，其分类错误率比采用支持向量机方法的错误率低，在使用的3种隶属度函数中，采用基于紧密度隶属度的模糊支持向量机方法抗噪性能最好，分类性能最强。     

基于混合隶属度的模糊简约双支持向量机研究

双支持向量机是一种新的非平行二分类算法,其处理速度比传统支持向量机快很多,但是双支持向量机在训练之前要进行大量的复杂逆矩阵计算;在非线性情况下,它不能像传统支持向量机那样把核技巧直接运用到对偶优化问题中;并且双支持向量机没有考虑不同输入样本点会对最优分类超平面产生不同的影响。针对这些情况,提出了一种模糊简约双支持向量机。该模糊简约双支持向量机通过对二次规划函数和拉格朗日函数的改进,省略大量的逆矩阵计算,同时核技巧能直接运用到非线性分类情况下;对于混合模糊隶属度函数,不仅每个样本点到类中心的距离影响着该混合模糊隶属度,而且该样本点的邻域密度同样影响着该混合模糊隶属度。实验结果表明,与支持向量机、标准双支持向量机、双边界支持向量机、模糊双支持向量机相比,具有该混合模糊隶属度函数的简约双支持向量机不仅分类时间短,计算简单,而且分类精度高。     

模糊支持向量机在路面识别中的应用

利用模糊支持向量机进行路面不平度识别。针对支持向量机对样本中的噪声点和野值点特别敏感的缺点,采用将样本到类中心的距离作为样本的模糊隶属度,并结合改进的粒子群算法对模糊支持向量机的参数进行优化。通过对实验数据的训练和测试,该方法的最高平均识别率提高到了77.5%,高于一般支持向量机的72.5%的识别率。数据处理表明模糊隶属度的引入强化了有效样本对分类的影响,减弱了噪声点和野值点对分类的影响,提高了路面不平度识别率。     

针对不平衡数据的PSO-DEC-IFSVM分类算法

针对不平衡数据集下,传统的模糊支持向量机（Fussy support vector machine,FSVM）算法分类效果不够明显,引入的参数未做优化等缺点,本文提出一种基于粒子群算法（Particle swarm optimization,PSO）优化的改进模糊支持向量机算法,即PSO-DEC-IFSVM算法。该算法首先综合考虑训练样本到其类中心的间距、样本周围的紧密度以及样本的信息量设计模糊隶属度函数,然后将此改进的模糊支持向量机与不同惩罚因子(Different error costs, DEC)算法相结合得到DEC-IFSVM算法,最后利用粒子群算法对DEC-IFSVM算法引入的参数进行优化。实验证明：对于UCI公共数据集中的Pima等6种不平衡数据集,相比已有的FSVM及其改进算法,PSO-DEC-IFSVM算法具有更好的正负类分类效果以及更强的鲁棒性。