基于特征贡献度加权高斯核函数的粗糙one-class支持向量机

粗糙one-class支持向量机(ROCSVM)是一种一类支持向量机,它通过核函数映射,定义上近似超平面和下近似超平面,使得训练样本能根据在粗糙间隔中的位置,自适应地对决策超平面产生影响.由于ROCSVM训练集只有正类样本,因此充分挖掘和利用训练样本的分类特征对于提高ROCSVM的分类性能有重要意义.为此,提出了一种基于训练样本分类特征贡献度的加权高斯核函数(λRBF):先对训练样本做主成分分析(PCA)得到按特征值排序的向量集,以此向量集构造核函数,使得特征值较大的维度在核函数中起较大的作用.在UCI标准数据集和仿真数据上的实验结果表明:与一般RBF的ROCSVM相比,基于λ-RBF的ROCSVM有着更好的泛化性和更高的识别率.     

粗糙one-class支持向量机

粗糙集理论是处理不确定性和不完备信息的重要方法之一.通过将粗糙集理论引入到one-class支持向量机,提出了一种新颖的粗糙one-class支持向量机.通过定义上近似超平面和下近似超平面,使得训练样本能根据在粗糙间隔中的位置,自适应地对决策超平面产生影响.并且,outlier样本由于距离上近似超平面较近并产生较小的间隔误差,不会导致决策超平面对它们产生明显的过拟合.实验结果表明,粗糙one-class支持向量机的泛化性能优异,识别率和误识率均优于传统的one-class支持向量机.     

基于层次K-均值聚类的支持向量机模型

针对支持向量机SVM分类效率低下的问题,提出一种基于层次K-均值聚类的支持向量机HKSVM(Hierarchical K-means SVM)学习模型。该方法首先对每类样本分别进行K-均值聚类,计算每类中心并训练SVM,得到初始分类器;然后根据超平面与聚类结果的关系,将聚类所得结果划分为活动类集和静止类集,并对超平面附近的活动类集进行深层聚类,以得到更小的类别同时计算类中心来训练新的SVM模型,并校正分类超平面,如此循环往复,直到得到较为精确的分类器为止。采用基于层次K-均值聚类的SVM模型,通过对活动类集进行不断地深层次聚类,从而在分类超平面附近得到较多样本点,而在距离超平面较远处则取少量训练样本,以有效压缩训练集规模,在保持SVM训练精度的同时大幅度提高其学习效率。标准数据集上的实验结果表明,HKSVM方法在大规模数据集上同时得到了较高的分类效率和测试精度。     

基于中间分类超平面的SVM入侵检测

在网络入侵检测中,大规模数据集会导致支持向量机(SVM)方法训练时间长、检测速度慢。针对该问题,提出一种基于中间分类超平面的SVM入侵检测方法。通过对正常和攻击样本的聚类分析,定义聚类簇中心的边界面接近度因子,实现对标准SVM二次式的改进;用簇中心对其训练,获取一个接近最优超平面的中间分类超平面;确定距离阈值,以选取潜在支持向量,实现训练样本的缩减。在KDDCUP1999数据集上进行实验,结果表明,与聚类支持向量机方法相比,该方法能简化训练样本,提高SVM的训练和检测速度。     

基于Fisher类内散度的支持向量机分类面修正方法

针对支持向量机(SVM)训练不平衡样本数据产生最优分类面的偏移会降低分类模型泛化性的问题,提出一种基于Fisher类内散度平均分布比的分类面修正方法。对样本数据进行SVM训练后获得分类面的法向量;通过计算两类样本在该法向量方向上的Fisher类内散度来评价这两类样本的分布情况;依据类内散度综合考虑样本个数所得到的平均分布比重新修正最优分类面的位置。在benchmarks数据集上的实验结果说明该方法能够提高SVM分类模型在处理不均衡数据集时对于少数类的识别率,从而有助于提高模型的泛化性。     

一种基于混合二叉树结构的多类支持向量机分类算法

为提高多类支持向量机的分类效率,提出了一种基于混合二叉树结构的多类支持向量机分类算法。该混合二叉树中的每个内部结点对应一个分割超平面,该超平面通过计算两个距离最远的类的质心而获得,即该超平面为连接两质心线段的垂直平分线。每个终端结点(即决策结点)对应一个支持向量机,它的训练集不再是质心而是两类(组)样本集。该分类模型通常是超平面和支持向量机的混合结构,其中超平面实现训练早期的近似划分,以提升分类速度;而支持向量机完成最终的精确分类,以保证分类精度。实验结果表明,相比于经典的多类支持向量机方法,该算法在保证分类精度的前提下,能够有效缩短计算时间,提升分类效率。     

增强型单类支持向量机

现有基于超平面的单类分类器,包括one-class SVM(OCSVM)和马氏one-class SVM(MOCSVM),由于未考虑数据的结构信息或粒度较粗,寻找的超平面很可能是次优解.为此,增强型单类支持向量机(enhanced OCSVM,EnOCSVM)通过在现有SVM算法中加入数据先验信息以克服其不足.首先,EnOCSVM通过聚类得到数据的内在分布簇,而后将各簇结构信息嵌入到OCSVM框架中,最大化间隔的同时,优化输出空间中各簇数据的繁性.由于保留了SVM框架不变,EnOCSVM仍具备原算法的全部优点,并因结合了数据的簇结构信息而具有更好的推广性.标准数据集上的实验表明,EnOCSVM的推广性能较OCSVM和MOCSVM均有显著提高.     

一类新型快速模糊支持向量机

针对一般模糊支持向量机训练时间过长,训练效率低下的问题,通过定义了一种新的隶属度函数的方法,来改进算法,从而得到了一种快速模糊支持向量机。本算法中的新定义的隶属度函数能够对离分类超平面较远、不可能成为支持向量的数据赋予较小的隶属度,使训练样本集中的数据大大减少。同时,在将二类模糊支持向量机推广到k类时,采用了DAGSVMs方法,进一步提高了多类分类问题的分类效率。实验表明,提出的快速模糊支持向量机在保证测试精度的同时,减少了训练时间。     

一类新型快速模糊支持向量机

针对一般模糊支持向量机训练时间过长,训练效率低下的问题,通过定义了一种新的隶属度函数的方法,来改进算法,从而得到了一种快速模糊支持向量机。本算法中的新定义的隶属度函数能够对离分类超平面较远、不可能成为支持向量的数据赋予较小的隶属度,使训练样本集中的数据大大减少。同时,在将二类模糊支持向量机推广到k类时,采用了DAGSVMs方法,进一步提高了多类分类问题的分类效率。实验表明,提出的快速模糊支持向量机在保证测试精度的同时,减少了训练时间。     

一种新的支持向量机大规模训练样本集缩减策略

支持向量机(SVM)在许多实际应用中由于训练样本集规模较大且具有类内混杂孤立点数据,引发了学习速度慢、存储需求量大、泛化能力降低等问题,成为直接使用该技术的瓶颈。针对这些问题,通过在点集理论的基础上分析训练样本集的结构,提出了一种新的支持向量机大规模训练样本集缩减策略。该策略运用模糊聚类方法快速的提取出潜在支持向量并去除类内非边界孤立点,在减小训练样本集规模的同时,能够有效地避免孤立点数据所造成的过学习现象,提高了SVM的泛化性能,在保证不降低分类精度的前提下提高训练速度。     

Enhanced algorithm for high-dimensional data classification

Minimum class variance support vector machine (MCVSVM) and large margin linear projection (LMLP) classifier, in contrast with traditional support vector machine (SVM), take the distribution information of the data into consideration and can obtain better performance. However, in the case of the singularity of the within-class scatter matrix, both MCVSVM and LMLP only exploit the discriminant information in a single subspace of the within-class scatter matrix and discard the discriminant information in the other subspace. In this paper, a so-called twin-space support vector machine (TSSVM) algorithm is proposed to deal with the high-dimensional data classification task where the within-class scatter matrix is singular. TSSVM is rooted in both the non-null space and the null space of the within-class scatter matrix, takes full advantage of the discriminant information in the two subspaces, and so can achieve better classification accuracy. In the paper, we first discuss the linear case of TSSVM, and then develop the nonlinear TSSVM. Experimental results on real datasets validate the effectiveness of TSSVM and indicate its superior performance over MCVSVM and LMLP.     

p-Margin Kernel Learning Machine with Magnetic Field Effect for Both Binary Classification andNovelty Detectio

A novel p-margin kernel learning machine (p-MKLM) with magnetic field effect is proposed in allusion to pattern classification problem in this paper. In the Mercer induced feature space, p-MKLM can effectively resolve one-class/binary classification problems. By introducing an adjustable magnetic field density q, the basic idea of p-MKLM is to find an optimal hyperplane with magnetic field effect such that the distance between one class and the hyperplane is as small as possible due to the magnetic attractive effect, while at the same time the margin between the hyperplane and the other class is as large as possible due to magnetic repulsion, thus implementing both maximum between-class margin and minimum within-class volume so as to improve the generalization capability of the proposed method. To construct such a hyperplane with magnetic field effect, it is only needed to solve a convex quadratic programming problem which can be effciently solved with the off-the- shelf software packages for training learning machine. Experimental results obtained with benchmarking datasets show that the proposed algorithm is effective and competitive to other related methods in such cases as two-class and one-class (or novelty detection) pattern classification respectively.     

A locality correlation preserving support vector machine

This paper proposes a locality correlation preserving based support vector machine (LCPSVM) by combining the idea of margin maximization between classes and local correlation preservation of class data. It is a Support Vector Machine (SVM) like algorithm, which explicitly considers the locality correlation within each class in the margin and the penalty term of the optimization function. Canonical correlation analysis (CCA) is used to reveal the hidden correlations between two datasets, and a variant of correlation analysis model which implements locality preserving has been proposed by integrating local information into the objective function of CCA. Inspired by the idea used in canonical correlation analysis, we propose a locality correlation preserving within-class scatter matrix to replace the within-class scatter matrix in minimum class variance support machine (MCVSVM). This substitution has the property of keeping the locality correlation of data, and inherits the properties of SVM and other similar modified class of support vector machines. LCPSVM is discussed under linearly separable, small sample size and nonlinearly separable conditions, and experimental results on benchmark datasets demonstrate its effectiveness.     

基于RST修正核单类SVM的程序行为控制系统

程序行为控制系统对程序行为进行建模、检测和响应。单类支持向量机(SVM)在有限样本的情况下用于异常检测,具有较好的分类精度和泛化能力。针对以前利用单类支持向量机进行异常检测的研究中没有考虑属性权重的问题,该文提出利用粗糙集理论(RST),引入反映属性重要性程度的权重值。给出通过找出决策系统中所有约简的集合确定属性权重的方法,并利用属性权重修正单类SVM的核函数。实验表明基于RST修正核的单类SVM具有更好的检测能力。     

A rough margin based support vector machine

By introducing the rough set theory into the support vector machine (SVM), a rough margin based SVM (RMSVM) is proposed to deal with the overfitting problem due to outliers. Similar to the classical SVM, the RMSVM searches for the separating hyper-plane that maximizes the rough margin, defined by the lower and upper margin. In this way, more data points are adaptively considered rather than the few extreme value points used in the classical SVM. In addition, different support vectors may have different effects on the learning of the separating hyper-plane depending on their positions in the rough margin. Points in the lower margin have more effects than those in the boundary of the rough margin. From experimental results on six benchmark datasets, the classification accuracy of this algorithm is improved without additional computational expense compared with the classical ν-SVM.     

基于粗糙集边界的v-支持向量机混合分类算法

针对v-支持向量机在样本集规模较大的情况下,需要占用大量训练时间的问题,提出基于粗糙集边界的v-支持向量机混合分类算法。该算法根据粗糙集理论边界区域的优点,生成分类数据的边界集,使其包括全部的支持向量,用此边界向量集替代原始样本作为训练集,减少训练集的数量,则可以在不影响分类精度和泛化性能的前提下显著缩短v-支持向量机的训练时间。仿真结果表明该算法的有效性。     

单类支持向量机融合深度自编码器的异常检测模型

大规模高维不平衡数据是异常检测中的重大挑战.单类支持向量机在处理不平衡数据方面非常有效,但不适合大规模高维数据,同时单类支持向量机的核函数对检测性能也具有重要的影响.文中提出了一个深度自编码器与单类支持向量机相结合的异常检测模型,深度自编码器不仅负责提取特征和降维,同时拟合出了一个自适应核函数.深度自编码器与单类支持向...     

基于One-class SVM的实时入侵检测系统

将One-class支持向量机和Online训练算法应用于入侵检测研究中，把入侵检测看作是一种单值分类问题，能够在有噪声的数据集中进行训练，降低了对训练集的要求，提高了检测准确性。同时解决了基于SVM的入侵检测系统实时训练的问题，在实际运用中可以实时地添加新的训练样本对新出现的攻击手段进行分类。在KDD CUP’99标准入侵检测数据集上进行实验，系统缩短了训练时间并且获得了较高的检测准确率。