基于核鲁棒k-均值的模糊支持向量机算法

支持向量机对训练数据中的噪声敏感,为了解决这一问题,本文提出基于核鲁棒k-均值算法的模糊支持向量机算法。算法首先在每类训练样本上应用核鲁棒k-均值算法,得到每个样本的模糊隶属度,将该隶属度赋予训练样本,得到模糊训练集,然后在模糊训练集上训练模糊支持向量机,得到分类决策函数。实验表明,对于带噪声的训练样本,本文的算法能够为噪声样本赋予小的隶属度,提高分类准确率。     

一种基于类融合向量的支持向量机及其在语音识别系统中的应用

支持向量机可以通过产生的支持向量来概括数据集合中的信息,其分类函数仅依赖于一小部分训练样本,即支持向量,这使得它对噪声数据非常敏感.本文采用数据融合的方法加以改进,提出了一种新的基于类融合向量的支持向量机,降低了对噪声数据和较大偏差值的敏感性,提高了算法的容噪性能,并成功地应用于语音识别系统中,取得了较好的效果.     

基于pinball损失的结构模糊孪生支持向量机

孪生支持向量机通过求解较小的二次规划问题,提高了分类器的性能,然而,该方法主要利用了类间可分的特性,并使用hinge损失函数构建相应的模型,它们并未充分考虑不同类中数据的结构信息以及不同样本对分类的影响,导致该方法对噪声具有较强的敏感性以及重取样的不稳定性.为了进一步提高孪生支持向量机的性能,基于pinball损失函数,将数据集中不同类的结构信息以及不同样本的作用引入到孪生支持向量机中,获得了基于pinball损失的结构模糊孪生支持向量机模型,从理论上导出了基于pinball损失的结构模糊孪生支持向量机算法pin-sftsvm,通过选取人工生成数据集与UCI标准数据集,对pin-sftsvm算法进行了实验,并与tbsvm、s-tsvm和pin-tsvm算法进行了性能比较,表明了提出算法的有效性.     

混合策略超球支持向量机算法

针对多类别分类超球支持向量机算法的重叠区域数据分类问题,提出了一种混合策略决策算法.首先对超球相交区域的数据分布情况分析得到数据分布的特点,然后根据数据分布特点采用不同的决策策略.如果用两球相交面直接可以把两类数据分开,则直接用相交面作为分类平面.如果两类数据近似线性可分,构造最优二分超平面作为分类平面.如果两类数据非线性可分,则引入核函数构造最优二分超平面为分类球面.如果相交区域只包含一个类别的数据,则采用排它法作为测试样本的决策规则.实验结果表明所提出的算法性能优于单一决策策略的超球支持向量机算法,在提高分类精度的同时,降低了决策规则求解的复杂度.     

一种基于内壳向量的SVM增量式学习算法

本文针对支持向量机难以快速有效地进行增量式学习的问题,提出了一种基于内壳向量的支持向量机增量式学习算法.算法通过线性规划运算求得最可能包含支持向量的壳向量和内壳向量集合,在保证分类精度的前提下最大程度地缩小训练集规模,进而在新的训练集中快速训练支持向量机.将该算法应用于公开数据及低空飞行声目标分类识别,结果表明,新算法...     

海量信息中模糊数据定位数学模型设计

海量信息中的模糊数据具有特征不确定性和发散性,对其准确定位的难度较大,因此提出基于支持向量机二次规划的海量信息中模糊数据定位数学模型设计方法。在凸空间内构造模糊数据定位的高阶线性微分方程,求得模糊数据定位的极大线性无关组,采用支持向量机模型求得数据定位的聚类中心,以聚类中心的邻域数据集为训练模板集,通过凸组合二次规划方法进行Lyapunove泛函,实现模糊数据定位。数据测试结果表明,采用该方法进行数据定位的精度较高,收敛性较好。     

一种基于粗糙间隔的模糊支持向量机

 以模糊支持向量机(FSVM)为基础,同时考虑样本在间隔中的位置对决策超平面的影响,提出了基于粗糙间隔的模糊支持向量机(RFSVM).通过计算各个数据点的模糊隶属度,并利用最大化粗糙间隔方法,对具有隶属度的数据进行训练以获得决策超平面.在此算法中,位于下间隔中的训练点比边界域中的训练点具有较大的惩罚值,以便更好地减少噪声或野点对超平面的影响.利用选择的标准数据集对几种不同算法进行了实验比较,结果表明了RFSVM算法的有效性.     

用于多类别分类的一种加权超球支持向量机算法

在One‐Class基础上发展起来的超球支持向量机算法能有效地解决多类别分类问题。但是原始的超球支持向量机算法仍有很多需要改进的地方。经过推导和实验,得到如下结论,即超球支持向量机算法过度依赖于每个训练样本,即使该训练样本为噪音数据或是离群异常数据。因此提出在训练之前加入预处理算法,通过相似度计算删除噪音点和异常点。在训练过程中,根据公式计算每个样本的权值,区别对待每个训练样本,确保SMO求解过程迅速收敛。在测试阶段,根据测试点的位置合理选择分类规则进行正确分类。实验结果表明提出的算法可以有效减少噪音数据和异常数据对分类结果的影响,同时提高了分类精度。     

基于相似度量的模糊支持向量机算法研究

基于统计学习理论,核被看做是一种相似度测量模型.核函数是支持向量机算法的核心,利用核函数可以将低维不可分数据映射到高维空间,并进行最优分类研究.但孤立点或噪声数据都会影响最优分类平面和最优分类函数,所以提出利用相似度测量构建模糊核函数.相比高斯核函数和模糊sigmoid核函数的分类支持向量模型,本文提出的模糊相似核函数在支持向量机运算中计算成本最低,可以提供更高的准确率,同时可以避免传统模糊核函数的限制.     

一种粒子群算法与FCSS相结合的模糊球壳聚类算法

模糊球壳聚类算法（FCSS）广泛应用于模式识别与机器学习领域。由于其采用传统的基于梯度法和交替寻优策略求解模型,对初始值比较敏感,往往只能得到模型的局部极值点,从而影响聚类的效果,甚至使所采用的方法失效。本文将现代全局优化方法之一的粒子群优化算法与模糊球壳聚类算法（FCSS）相结合,利用粒子群算法良好的全局收敛能力来改善传统聚类算法易于陷入局部极值的缺陷,从而得到一种新的球壳聚类算法（PSO-FCSS）,数值实验表明,新方法对球壳形数据有令人满意的聚类效果。     

面向大规模噪声数据的软性核凸包支持向量机

现有的面向大规模数据分类的支持向量机（support vector machine,SVM）对噪声样本敏感,针对这一问题,通过定义软性核凸包和引入pinball损失函数,提出了一种新的软性核凸包支持向量机（soft kernel convex hull support vector machine for large scale noisy datasets,SCH-SVM）.SCH-SVM首先定义了软性核凸包的概念,然后选择出能代表样本在核空间几何轮廓的软性核凸包向量,再将其对应的原始空间样本作为训练样本并基于pinball损失函数来寻找两类软性核凸包之间的最大分位数距离.相关理论和实验结果亦证明了所提分类器在训练时间,抗噪能力和支持向量数上的有效性.     

基于L1范数凸包数据描述的多观测样本分类算法

为建立高维空间样本分布的最佳覆盖为目标来实现覆盖分类,该文提出基于L1范数凸包数据描述的多观测样本分类算法。首先对训练集的每个类别以及测试集的多观测样本分别构造凸包模型,这样多观测样本的分类就转化为凸包模型的相似性度量问题。若测试集的凸包模型与训练集无重叠,采用L1范数距离测度进行凸包模型之间的相似性度量;若有重叠,采用L1范数距离测度进行收缩凸包(reduced convex hulls)之间的相似性度量。然后采用最近邻准则作为多观测样本的分类决策。在3个数据库上进行的实验结果,表明该文提出方法对于多观测样本分类具有可行性和有效性。     

One-Class Classification Framework Based on Shrinkage Methods

Statistical machine learning, such as kernel methods, have been widely used to discover hidden regularities and patterns in data. In particular, one-class classification algorithms gained a lot of interest in a large number of applications where the only available data designate a unique class, as in industrial processes. In this paper, we propose a sparse framework for one-class classification problems, by investigating the hypersphere enclosing the samples in a Reproducing Kernel Hilbert Space (RKHS). The center of this hypersphere is approximated using a sparse solution, by selecting an appropriate set of relevant samples. For this purpose, we investigate well-known shrinkage methods, namely Least Angle Regression, Least Absolute Shrinkage and Selection Operator, and Elastic Net. We revisit these methods and adapt their algorithms for estimating the sparse center in the RKHS. The proposed framework is extended to include the truncated Mahalanobis distance, which is necessary when dealing with heterogenous input variables. We also provide some theoretical results on the projection error and on the error of the first kind. The proposed algorithms are compared with well-known one-class classification approaches, with experiments conducted on simulated and real datasets.     

基于三维凹包学习算法的海面小目标检测方法

对于特征类的海面小目标检测方法,现有3特征检测器通常采用凸包分类算法完成检测。在实际应用时发现,该分类算法生成的判决区域在某些情况下不能很好地反映海杂波样本集合在特征空间中的分布情况,进而对检测器性能造成一定程度的损失。相比之下,使用凹包算法生成的判决区域是由凸包内剖得到的,它能更加贴合海杂波样本的分布,因此该文将判决区域的形式由凸包转化为凹包,并在此基础之上提出一种基于3维凹包学习算法的海面小目标检测方法。同时,针对现有3维凹包算法存在的内剖效率低、无法实现恒虚警检测的缺点,该文通过优化内剖点选择方法、增加“外补”环节的方式对算法进行改进。最后,经实测CSIR数据及X波段试验雷达数据共同验证,在其他参数均相同时,该文方法的检测性能要优于已有的多特征检测方法,并且通过对凹包算法的复杂度分析证明了所提方法的应用潜力。     

基于L1范数稀疏距离测度学习的单类分类算法

 已有单类分类算法通常采用欧氏测度描述样本间相似关系,然而欧氏测度有时难以较好地反映一些数据集样本的内在分布结构,为此提出一种用于改善单类分类器描述性能的高维空间单类数据距离测度学习算法,与已有距离测度学习算法相比,该算法只需提供目标类数据,通过引入样本先验分布正则化项和L1范数惩罚的距离测度稀疏性约束,能有效解决高维空间小样本情况下的单类数据距离测度学习问题,并通过采用分块协调下降算法高效的解决距离测度学习的优化问题.学习得到的距离测度能容易地嵌入到单类分类器中,仿真实验结果表明采用学习得到的距离测度能有效改善单类分类器的描述性能,特别能够改善覆盖分类的描述能力,从而使得单类分类器具有更强的推广能力.     

基于数据挖掘技术的网络热门舆情分类研究

以提升网络热门舆情分类准确率,降低分类时间为目标,提出了基于数据挖掘技术的网络热门舆情分类方法.将小波核函数和支持向量机结合构成小波模糊支持向量机,采用增量学习机制和贝叶斯分类算法建立增量贝叶斯分类算法,组成小波模糊支持向量机-增量贝叶斯分类算法解决测试样本易分类失误以及类条件独立假定性很难获取问题,通过计算待测样本和...     

改进的kNN分类算法在工业物联网中的应用

在工业物联网中,k近邻分类(kNN)被广泛应用于缺陷产品识别和异常检测。但kNN自身存在计算复杂度高、不适用于分布式环境等缺点。因此,文中提出了一种安全有效的分布式kNN分类算法,以防止信息泄漏和控制流泄漏,同时支持分布式服务器上的大规模数据分类。首先设计了一个安全有效的向量同态加密方案。在该方案的基础上,提出了DkNN,有效地实现了数据流的机密性、kNN查询和类标记,同时实现了对加密数据的同态操作。实验结果表明,提出的DkNN算法能够满足实际需要。     

基于随机下采样和SMOTE的不均衡SVM分类算法

传统的支持向量机（SVM）算法在数据不均衡的情况下,分类效果很不理想。为了提高SVM算法在不均衡数据集下的分类性能,提出随机下采样与SMOTE算法结合的不均衡分类方法。该方法首先利用随机下采样对多数类样本进行采样,去除样本中大量重叠的冗余样本,使得在减少数据的同时保留更多有用信息;而对少数类样本则是利用SMOTE算法进行过采样。实验部分将其应用在UCI数据集中并同其他采样算法比较,结果表明文中算法不但能有效提高SVM算法在不均衡数据中少数类的分类性能,而且总体分类性能也有所提高。     

Application of smoothing technique on twin support vector hypersphere

In order to improve the learning speed and reduce computational complexity of twin support vector hypersphere (TSVH), this paper presents a smoothed twin support vector hypersphere (STSVH) based on the smoothing technique. STSVH can generate two hyperspheres with each one covering as many samples as possible from the same class respectively. Additionally, STSVH only solves a pair of unconstraint differentiable quadratic programming problems (QPPs) rather than a pair of constraint dual QPPs which makes STSVH faster than the TSVH. By considering the differentiable characteristics of STSVH, a fast Newton-Armijo algorithm is used for solving STSVH. Numerical experiment results on normally distributed clustered datasets ( NDC) as well as University of California Irvine (UCI) data sets indicate that the significant advantages of the proposed STSVH in terms of efficiency and generalization performance.