一种无约束凸规划多平面修正TWSVM

对支持向量机（Twin Support Vector Machine,TWSVM）的优化思想源于基于广义特征值近似支持向量机（Proximal SVM based on Generalized Eigenvalues,GEPSVM）。该算法将传统SVM问题分解为两个凸规划问题,使得训练速度缩减到原来的1/4。对TWSVM做了修正,基于新的优化准则设计了一种特殊TWSVM（GTWSVM）,在此基础上,提出了快速GTWSVM（FGTWSVM）,其将GTWSVM转换为无约束凸规划问题求解。该算法在保证得到与TWSVM相当的分类性能以及较快的计算速度的同时,还减少了输入空间的特征数以及内存占用。对于非线性问题,FGTWSVM可以减少核函数数目。     

基于原型超平面的多类最接近支持向量机

基于广义特征值的最接近支持向量机（proximal support vector machine via generalized eigenvalues，GEPSVM）摒弃了传统意义下支持向量机典型平面的平行约束，代之以通过优化使每类原型平面尽可能接近本类样本，同时尽可能远离它类样本的准则来解析获得原型平面；从而避免了SVM的二次规划，其分类性能达到甚至超过了SVM．但GEPSVM仍存在如下不足：①仅对两分类问题而提出，无法直接求解多分类问题；②存在正则化因子的选择问题；③求解原型平面的广义特征值问题中所涉及的矩阵一般仅为半正定，容易导致奇异性问题．通过定义新的准则，构建了一个能直接求解多个原型超平面的多分类方法，称之为基于原型超平面的多类最接近支持向量机，较之GEPSVM，该方法优势在于：①无正则化因子选择的困扰；②可同时求解多个超平面，对两分类问题，分类性能达到甚至优于GEPSVM；③超平面的选择问题转化为简单特征值而非广义特征值求解问题；④原型平面的选择只依赖于本类样本，故不必考虑多分类情形时的数据不平衡问题．     

基于马氏距离的孪生多分类支持向量机

孪生支持向量机(TWSVM)的研究是近来机器学习领域的一个热点。TWSVM具有分类精度高、训练速度快等优点,但训练时没有充分利用样本的统计信息。作为TWSVM的改进算法,基于马氏距离的孪生支持向量机(TMSVM)在分类过程中考虑了各类样本的协方差信息,在许多实际问题中有着很好的应用效果。然而TMSVM的训练速度有待提高,并且仅适用于二分类问题。针对这两个问题,将最小二乘思想引入TMSVM,用等式约束取代TMSVM中的不等式约束,将二次规划问题的求解简化为求解两个线性方程组,得到基于马氏距离的最小二乘孪生支持向量机(LSTMSVM),并结合有向无环图策略(DAG)设计出基于马氏距离的最小二乘孪生多分类支持向量机。为了减少DAG结构的误差累积,构造了基于马氏距离的类间可分性度量。人工数据集和UCI数据集上的实验均表明,所提算法不仅有效,而且相对于传统多分类SVM,其分类性能有明显提高。     

一种快速支持向量机增量学习算法

经典的支持向量机(SVM)算法在求解最优分类面时需求解一个凸二次规划问题,当训练样本数量很多时,算法的速度较慢,而且一旦有新的样本加入,所有的训练样本必须重新训练,非常浪费时间.为此,提出一种新的SVM快速增量学习算法.该算法首先选择那些可能成为支持向量的边界向量,以减少参与训练的样本数目;然后进行增量学习.学习算法是一个迭代过程,无需求解优化问题.实验证明,该算法不仅能保证学习机器的精度和良好的推广能力,而且算法的学习速度比经典的SVM算法快,可以进行增量学习.     

权向量投影多平面支持向量机

提出一个多平面支持向量机算法——权向量多平面支持向量机(WMPSVM)。该方法利用差代替Rayleigh商问题,从而避免广义特征值的奇异问题。与传统分类器不同,该方法无需求解具体的超平面,仅求解两个权向量。其决策是将测试样本归为距样本投影均值距离最近的所在的类。从广义支持向量机(GEPSVM)求解目的出发,该方法在保证得到与GEPSVM相当的计算效率的前提下,能较好地求解异或问题以及一些复杂异或问题。最后在人工数据集和UCI数据集上显示,该方法的性能要好于GEPSVM。     

一种改进的支持向量机的文本分类算法

在文本分类中,应用支持向量机(SVM)算法能使分类在小样本的条件下具有良好的泛化能力.但支持向量机的参数取值决定了其学习性能和泛化能力.为提高支持向量机算法的性能,提出了一种采用免疫算法对支持向量机参数进行优化的文本分类算法(IA-SVM).算法减少了对支持向量机参数选择的盲目性,提高了SVM的预测精度.实验表明,IA-SVM算法在文本分类问题上明显提高了分类正确牢,学习速度也有提高.     

求解互补支持向量机的非单调信赖域算法

求解支持向量机的核心问题是对一个大规模凸二次规划问题进行求解。基于支持向量机的修正模型,得到一个与之等价的互补问题,利用Fischer-Burmeister互补函数,从一个新的角度提出了求解互补支持向量机的非单调信赖域算法。新算法避免了求解Hesse矩阵或矩阵求逆运算,减少了工作量,提高了运算效率。在不需要任何假设的情况下,证明算法具有全局收敛性。数值实验结果表明,对于大规模非线性分类问题,该算法的运行速度比LSVM算法和下降法快,为求解SVM优化问题提供了一种新的可行方法。     

Ll-norm Regularized SVM Clustering Algorithm

提出L1范数正则化支持向量机(SVM)聚类算法.该算法能够同时实现聚类和特征选择功能.给出LI范数正则化SVM聚类原问题和对偶问题形式,采用类似迭代坐标下降的方法求解困难的混合整数规划问题.在多组数据集上的实验结果表明,L1范数正则化SVM聚类算法聚类准确率与L2范数正则化SVM聚类算法相近,而且能够实现特征选择.     

一种快速最小二乘支持向量机分类算法

最小二乘支持向量机不需要求解凸二次规划问题,通过求解一组线性方程而获得最优分类面,但是,最小二乘支持向量机失去了解的稀疏性,当训练样本数量较大时,算法的计算量非常大。提出了一种快速最小二乘支持向量机算法,在保证支持向量机推广能力的同时,算法的速度得到了提高,尤其是当训练样本数量较大时算法的速度优势更明显。新算法通过选择那些支持值较大样本作为训练样本,以减少训练样本数量,提高算法的速度;然后,利用最小二乘支持向量机算法获得近似最优解。实验结果显示,新算法的训练速度确实较快。     

定点孪生支持向量机

孪生支持向量机(TWSVM)以及最近提出的各种变体模型均是在高维空间内独立求解两个带有约束条件的对偶二次规划问题(QPP).然而,由于每个对偶的QPP所需求解的对偶变量的数量由他类样本的数量决定,当需要处理大规模数据集时,这种直接求解标准QPP的方法将会导致非常高的计算复杂度.为此,提出一种改进的孪生支持向量机模型,称为定点孪生支持向量机(FP-TWSVM).所提模型将传统的TWSVM及其变体模型中处在高维空间内的对偶QPP转化成一系列有限个一维空间内的单峰函数优化问题.可以采用高效的线性搜索方法求解这些一维的单峰函数优化问题,例如斐波那契算法、黄金分割法.在标准数据集包括大规模数据集上的数值实验验证了FP-TWSVM算法的有效性.实验结果表明,FP-TWSVM在保持与其他模型相当的分类精度的同时,具有更快的训练速度,消耗更少的内存空间.     

孪生支持向量机综述

孪生支持向量机(Twin Support Vector Machine,TWSVM)是在支持向量机(Support Vector Machine,SVM)的基础上发展而来的一种新的机器学习方法。作为一种二分类的分类器,其基本思想为寻找两个超平面,使得每一个分类面靠近本类样本点而远离另一类样本点。作为一种新兴的机器学习方法,孪生支持向量机自提出以来便引起了国内外学者的广泛关注,已经成为机器学习领域的研究热点。对孪生支持向量机的最新研究进展进行综述,首先介绍了孪生支持向量机的基本概念与基本模型;然后对近几年来新型的孪生支持向量机模型与研究进展进行了总结,并对其代表算法进行了优缺点分析和实验比较;最后对将来的研究工作进行了展望。     

基于混合模糊隶属度的模糊双支持向量机研究

双支持向量机是近年提出的一种新的支持向量机.在处理模式分类问题时,双支持向量机速度远远超过传统支持向量机,而且显示出较好的推广能力.但双支持向量机没有考虑不同输入样本点可能会对分类超平面的形成产生不同影响,在某些实际问题中具有局限性.为了克服这个缺点,提出了一种基于混合模糊隶属度的模糊双支持向量机.该算法设计了一种结合距离和紧密度的模糊隶属度函数,给不同的训练样本赋予不同的模糊隶属度,构建两个最优非平行超平面,最终实现二值分类.实验证明,该模糊双支持向量机的分类性能优于传统的双支持向量机.     

灰狼优化的混合参数多分类孪生支持向量机

孪生支持向量机(TWSVM)是在支持向量机(SVM)的基础上产生的一种高效二分类算法,由于现实中存在的问题大多数是多分类的,将二分类孪生支持向量机扩展到多分类孪生支持向量机(MTWSVM)是非常重要的。目前常用的MTWSVM一般是基于“一对一”策略,但该策略中各子分类器都采用相同的惩罚参数以及核参数,忽略了不同子分类器之间的差异,不能使其发挥最好的作用。通过提出一种基于混合参数的多分类孪生支持向量机(MP-MTWSVM),为不同的子分类器选取合适的参数,保持分类器的多样性,进而根据“一对一”策略构建MTWSVM。TWSVM本就面临着参数难确定的问题,而MP-MTWSVM算法又引入了大量的参数,通过灰狼算法(GWO)对MP-MTWSVM的参数进行寻优,进一步提出了基于灰狼优化的混合参数多分类孪生支持向量机(GWO-MP-MTWSVM)。通过实验表明,GWO可以快速找到各子分类器的最优参数,并进一步提升了算法的准确率。     

An overview on twin support vector machines

Twin support vector machines (TWSVM) is based on the idea of proximal SVM based on generalized eigenvalues (GEPSVM), which determines two nonparallel planes by solving two related SVM-type problems, so that its computing cost in the training phase is 1/4 of standard SVM. In addition to keeping the superior characteristics of GEPSVM, the classification performance of TWSVM significantly outperforms that of GEPSVM. However, the stand-alone method requires the solution of two smaller quadratic programming problems. This paper mainly reviews the research progress of TWSVM. Firstly, it analyzes the basic theory and the algorithm thought of TWSVM, then tracking describes the research progress of TWSVM including the learning model and specific applications in recent years, finally points out the research and development prospects.     

基于主次原型超平面最接近支持向量机

基于广义特征值的最接近支持向量机GEPSVM是一种新的具有与SVM性能相当的两类分类方法,通过求解广义特征值来获得两个彼此不平行的拟合两类样本的超平面,其决策规则是将测试样本归为距其最近的超平面所在的类。然而,该规则在某些情形会导致较差的分类结果。对此,本文提出了在利用GEPSVM产生一个主原型超平面的基础上,再利用主原型超平面及它类样本的信息构造一个次原型超平面,形成一个由主次原型超平面共同决策的最接近支持向量机。该方法不仅简单且易于实现,而且具有较GEPSVM更优的分类性能。在UCI数据集上的实验验证了它的有效性。     

局部化的广义特征值最接近支持向量机

基于广义特征值的最接近支持向量机(Proximal Support Vector Machine via Generalized Eigenvalues,GEPSVM)是一种新的具有与SVM性能相当的两分类方法,通过求解广义特征值来获得两个彼此不平行的拟合两类样本的超平面.其决策是将测试样本归为距其最近的超平面所在的类.然而,该规则在某些情形会导致较差的分类结果.对此,在GEPSVM基础上,通过在类拟合超平面上寻找一个包含了所有训练样本投影的局部凸区域,来决定样本的类别.该局部方法不仅具有较GEPSVM更优的分类性能,同时还衍生出了求解超平面上凸壳的简单且易于核化的新算法.最后在人工和UCI数据集上获得了验证.     

一种新的孪生大间隔分布机算法

为了提高孪生支持向量机的泛化能力,提出一种新的孪生大间隔分布机算法,以增加间隔分布对于训练模型的影响.理论研究表明,间隔分布对于模型的泛化性能有着非常重要的影响.该算法在标准孪生支持向量机优化目标函数上增加了间隔分布的影响,间隔分布通过一阶和二阶数据统计特征来体现.在标准数据集上的实验结果表明,所提出的算法比SVM、TWSVM、TBSVM算法的分类精确度更高.     

An efficient weighted Lagrangian twin support vector machine for imbalanced data classification

In this paper, we propose an efficient weighted Lagrangian twin support vector machine (WLTSVM) for the imbalanced data classification based on using different training points for constructing the two proximal hyperplanes. The main contributions of our WLTSVM are: (1) a graph based under-sampling strategy is introduced to keep the proximity information, which is robustness to outliers, (2) the weight biases are embedded in the Lagrangian TWSVM formulations, which overcomes the bias phenomenon in the original TWSVM for the imbalanced data classification, (3) the convergence of the training procedure of Lagrangian functions is proven and (4) it is tested and compared with some other TWSVMs on synthetic and real datasets to show its feasibility and efficiency for the imbalanced data classification.