基于L1正则化的贝叶斯网络分类器

目前基于节点排序的贝叶斯网络分类器忽略了节点序列中已选变量和类标签之间的信息,导致分类器的准确率很难进一步提高。针对这个问题,提出了一种简单高效的贝叶斯网络分类器的学习算法:L1正则化的贝叶斯网络分类器(L1-BNC)。通过调整Lasso方法中的约束值,充分利用回归残差的信息,结合点序列中已选变量和类标签的信息,形成一条优秀的有序变量拓扑序列(L1正则化路径);基于该序列,利用K2算法生成优良的贝叶斯网络分类器。实验表明,L1-BNC在分类精度上优于已有的贝叶斯网络分类器。L1-BNC也与SVM,KNN和J48分类算法进行了比较,在大部分数据集上,L1-BNC优于这些算法。     

利用SVM改进Adaboost算法的人脸检测精度

提出利用SVM分类方法改进Adaboost算法的人脸检测精度。该方法先通过Adaboost算法找出图像中的候选人脸区域,根据训练样本集中的人脸和非人脸样本训练出分类器支持向量机(SVM),然后通过SVM分类器从候选人脸区域中最终确定人脸区域。实验结果证明,SVM分类算法可以提高检测精度,使检测算法具有更好的检测效果。     

基于对支持向量机的多类分类算法在入侵检测中的应用

针对基于传统支持向量机(SVM)的多类分类算法在处理大规模数据时训练速度上存在的弱势,提出了一种基于对支持向量机(TWSVM)的多类分类算法。该算法结合二叉树SVM多类分类思想,通过在二叉树节点处构造基于TWSVM的分类器来达到分类目的。为减少二叉树SVM的误差累积,算法分类前首先通过聚类算法得到各类的聚类中心,通过比较各聚类中心之间的距离来衡量样本的差异以决定二叉树节点处类别的分离顺序,最后将算法用于网络入侵检测。实验结果表明,该算法不仅保持了较高的检测精度,在训练速度上还表现了一定优势,尤其在处理稍大规模数据时,这种优势更为明显,是传统二叉树SVM多类分类算法训练速度的近两倍,为入侵检测领域大规模数据处理提供了有效参考价值。     

基于覆盖算法的SVM雷达辐射源识别

传统的支持向量机(SVM)多值分类算法在构造多个二值分类器时存在计算量较大和分类速度较低的问题。为此,将覆盖思想引入SVM分类算法中,提出一种基于覆盖的SVM多分类算法,通过构造覆盖集寻找更紧致的优化区域,从而提高分类速度。将该算法应用到雷达辐射源识别中,仿真结果表明,该算法能够获得较好的识别效果。     

粒子群优化支持向量机的入侵检测算法

为了提高网络入侵的检测正确率,针对网络入侵检测中特征选择问题,将二值粒子群优化算法(BPSO)用于网络入侵特征选择,结合支持向量机(SVM)提出了一种基于BPSO-SVM的网络入侵检测算法。该算法将网络入侵检测转化为多分类问题,采用wrapper特征选择模型,以SVM为分类器,通过样本训练分类器,根据分类结果,利用BPSO算法在特征空间中进行全局搜索,选择最优特征集进行分类。实验结果表明,BPSO-SVM有效降低了特征维数,显著提高了网络入侵的检测正确率,还大大缩短了检测时间。     

基于SVM和AdaBoost的人脸检测算法

论文提出了一种结合SVM和AdaBoost的人脸检测算法。该算法先根据训练样本中的人脸和非人脸区域训练作为分量分类器的支持向量机（SVM）,然后通过AdaBoost算法把这些分量分类器组合成一个总体分类器;再利用该总体分类器来区分测试样本中的人脸和非人脸区域,并得到置信图。最后通过均值漂移算法找到置信图的峰值,得到人脸区域的新位置。实验结果表明,该算法不但提高了识别的正确率,而且大大提高了检测速度。     

基于选择性集成学习的高速列车故障识别研究*

在SVM分类识别中,分类器模型一经训练得到,对所有测试样本进行无差别的识别。但在高速列车故障中,样本的分类识别是存在区域分类精度的。本文提出了一种基于选择性集成学习的SVM多分类器融合算法,该方法选取测试样本最邻近的k个训练样本,然后选择对其分类效果好的SVM分类器进行融合,以提高分类准确率。最后使用高速列车故障数据进行了实验,并与AdaBoost、KNN、Bayes、SVM分类方法进行了比较。实验结果表明,该算法提高了分类识别准确率。     

一种新的分裂层次聚类SVM多值分类器

提出一种分裂层次聚类SVM分类树分类方法.该方法通过融合模糊聚类技术和支持向量机算法,利用分裂的层次聚类策略,有选择地重新构造学习样本集和SVM子分类器,得到了一种树形多值分类器.研究结果表明,对于k类别模式识别问题,该方法只需构造k-1个SVM子分类器,克服了SVM子分类器过多以及存在不可区分区域的缺点,具有良好的分类性能.实验结果验证了该方法的优越性.     

基于球结构的完全二叉树SVM多类分类算法*

针对一般的SVM方法不能有效地处理不平衡样本数据及现有的偏二叉树结构SVM分类器速度慢的这两个问题,提出了一种基于球结构的完全二叉树SVM多分类算法。该算法利用球结构的SVM考虑了每个类的分布情况,能有效地处理不平衡样本数据;构建完全二叉树结构,使得同层节点所代表的SVM分类器可以并行工作,能提高其训练和分类速度,分类速度相当于折半查找。实例验证两者结合后的算法可实现准确且高效的多类分类。     

双层分类策略及其实现算法*

针对常见分类算法在全局和局部区域性能不一致的问题,提出了双层分类策略及其实现算法。双层分类策略的思想是离线地建立全局分类器,当全局分类器决策信用度低于指定阈值时,在线生成局部分类器进行决策修正。实现算法以支持向量机(support vector machine,SVM)和模糊分类器(fuzzy classifier)作为全局与局部分类器,命名为SFC。为全局分类器定义了SVM决策信用度的评估机制,并以此给出局部分类器的启动条件。为局部分类器设计了基于新测度的模糊隶属度函数完成决策修正。实验结果表明,SFC     

后验概率在多分类支持向量机上的应用

支持向量机是基于统计学习理论的一种新的分类规则挖掘方法。在已有多分类支持向量机基础上,首次提出了几何距离多分类支持向量分类器;随后,将二值支持向量机的后验概率输出也推广到多分类问题,避免了使用迭代算法,在快速预测的前提下提高了预测准确率。数值实验的结果表明,这两种方法都具有很好的推广性能,能明显提高分类器对未知样本的分类准确率。     

基于对偶随机投影的线性核支持向量机

针对大型支持向量机（SVM）经随机投影特征降维后分类精度下降的问题,结合对偶恢复理论,提出了面向大规模分类问题的基于对偶随机投影的线性核支持向量机（drp-LSVM）。首先,分析论证了drp-LSVM相关几何性质,证明了在保持与基于随机投影降维的支持向量机（rp-LSVM）相近几何优势的同时,其划分超平面更接近于用全部数据训练得到的原始分类器。然后,针对提出的drp-LSVM快速求解问题,改进了传统的序列最小优化（SMO）算法,设计了基于改进SMO算法的drp-LSVM分类器。最后实验结果表明,drp-LSVM在继承rp-LSVM优点的同时,减小了分类误差,提高了训练精度,并且各项性能评价更接近于用原始数据训练得到的分类器;设计的基于改进SMO算法的分类器不但可以减少内存消耗,同时可以拥有较高的训练精度。     

基于混淆矩阵和集成学习的分类方法研究

针对多分类问题,本文提出一种基于混淆矩阵和集成学习的分类方法。从模式间的相似性关系入手,基于混淆矩阵产生层次化分类器结构;以支持向量机(SVM)作为基本的两类分类器,对于分类精度不理想的SVM,通过AdaBoost算法对SVM分类器进行加权投票。以变电站环境监控中的目标识别为例(涉及到人、动物、普通火焰(红黄颜色火焰)、白色火焰、白炽灯),实现了变电站环境监控中的目标分类。实验表明,所提出的方法有效提高了分类精度。     

一种新的基于ART的支持向量机多类分类方法

基于支持向量机的二值分类原理，提出了一种由自适应共振理论方法与支持向量机相结合的改进型多类分类方法,此方法改进了传统支持向量机的一对一多类分类方法；对于每个二值分类器的结果进行决策时没有采用投票原则，而是采用自适应共振理论网络融合二值分类器的输出信息，从而克服了当分类器输出结果接近于O时投票法容易出现决策错误和票数相同时无法决策的不足．此算法已应用于玻璃的分类．仿真实验证明，此方法具有较好的分类效果．     

基于代价敏感支持向量机的推荐系统托攻击检测方法

基于标准支持向量机的托攻击检测方法不能体现由于用户误分代价不同对分类效果带来的影响,提出了一种基于代价敏感支持向量机的托攻击检测新方法,该方法在代价敏感性学习机制下引入支持向量机作为分类工具,对支持向量机输出进行后验概率建模,建立了基于类别隶属度的动态代价函数,更准确地反映不同样本的分类代价,在此基础上设计了代价敏感支持向量机分类器。将该分类器应用在推荐系统托攻击检测中,并与标准的支持向量机方法、代价敏感支持向量机方法进行比较,实验结果表明,本方法可以更精确地控制代价敏感性,进一步提高对攻击用户的检测精度,降低总体的误分类代价。     

一种面向不平衡数据的结构化SVM集成分类器

为改进面向不平衡数据的SVM分类器性能,以结构化SVM为基础,提出一种基于代价敏感的结构化支持向量机集成分类器模型.该模型首先通过训练样本的聚类,得到隐含在数据中的结构信息,并对样本进行初始加权.运用AdaBoost策略对各样本的权重进行动态调整,适当增大少数类样本的权重,使小类中误分的样本代价增大,以此来改进不平衡数据的分类性能.实验结果表明,该算法可有效提高不平衡数据的分类性能.     

基于KNN和RVM的分类方法——KNN RVM分类器

针对相关向量机(RVM)算法分类精度低、核参数选择困难等问题,文中提出临界滑动阈值的概念并以其为基础将RVM与K近邻(KNN)算法结合构建分类器——KNN-RVM分类器。从理论上提出并证明KNN-RVM分类过程等价于带软间隔约束的支持向量机的分类过程、KNN-RVM分类器等价于每类只选一个代表点的1-NN分类器、KNN-RVM分类效果优于RVM这3个结论。对这3个不同数据集进行实验证明临界滑动阈值的临界性与滑动性及KNN-RVM分类器的准确性、适应性及全局最优性,提高分类精度,减轻算法对核参数的依赖性,进而证明KNN-RVM分类器是一种有效的分类器。     

基于K型支持向量机的遥感图像分类新算法

为了提高遥感图像的分类精度和识别速度,提出了一种基于K型支持向量机（SVM）的遥感图像分类新算法,该算法将灰度共生矩阵提取的纹理特征与光谱特征相结合进行分类。对两组Landsat ETM+数据进行分类仿真实验,结果表明,在多光谱遥感图像的分类中,新算法提高了分类效率、分类精度和泛化能力,K型SVM是一种优于径向基函数SVM的分类器。     

基于快速SVM的大规模网络流量分类方法

支持向量机方法具有良好的分类准确率、稳定性与泛化性,在网络流量分类领域已有初步应用,但在面对大规模网络流量分类问题时却存在计算复杂度高、分类器训练速度慢的缺陷。为此,提出一种基于比特压缩的快速SVM方法,利用比特压缩算法对初始训练样本集进行聚合与压缩,建立具有权重信息的新样本集,在损失尽量少原始样本信息的前提下缩减样本集规模,进一步利用基于权重的SVM算法训练流量分类器。通过大规模样本集流量分类实验对比,快速SVM方法能在损失较少分类准确率的情况下,较大程度地缩减流量分类器的训练时间以及未知样本的预测时间,同时,在无过度压缩前提下,其分类准确率优于同等压缩比例下的随机取样SVM方法。本方法在保留SVM方法较好分类稳定性与泛化性能的同时,有效提升了其应对大规模流量分类问题的能力。     

广义最大间隔球形支持向量机

针对多类分类问题,提出一种超球支持向量机算法——广义最大间隔球形支持向量机,该算法利用两同心超球将正负类样本分隔开来,最大化两超球半径的差异,从而挖掘正负类样本的鉴别信息,同时对超球类支持向量机算法判决规则进行改进,引入模糊隶属度补充判决,弥补二类分类器投票决策的缺陷.理论分析了算法的相关性质,通过仿真实验验证了该算法的有效性.