多分类簇支持向量机方法

针对支持向量机的多分类问题,提出一种新颖的基于非平行超平面的多分类簇支持向量机。它针对k模式分类问题分别训练产生k个分割超平面,每个超平面尽量靠近自身类模式而远离剩余类模式;决策时,新样本的类别由它距离最近的超平面所属的类决定,克服了一对一（OAO）和一对多（OAA）等传统方法存在的“决策盲区”和“类别不平衡”等缺陷。基于UCI和HCL2000数据集的实验表明,新方法在处理多分类问题时,识别精度显著优于传统多分类支持向量机方法。     

基于主次原型超平面最接近支持向量机

基于广义特征值的最接近支持向量机GEPSVM是一种新的具有与SVM性能相当的两类分类方法,通过求解广义特征值来获得两个彼此不平行的拟合两类样本的超平面,其决策规则是将测试样本归为距其最近的超平面所在的类。然而,该规则在某些情形会导致较差的分类结果。对此,本文提出了在利用GEPSVM产生一个主原型超平面的基础上,再利用主原型超平面及它类样本的信息构造一个次原型超平面,形成一个由主次原型超平面共同决策的最接近支持向量机。该方法不仅简单且易于实现,而且具有较GEPSVM更优的分类性能。在UCI数据集上的实验验证了它的有效性。     

一种基于混合二叉树结构的多类支持向量机分类算法

为提高多类支持向量机的分类效率,提出了一种基于混合二叉树结构的多类支持向量机分类算法。该混合二叉树中的每个内部结点对应一个分割超平面,该超平面通过计算两个距离最远的类的质心而获得,即该超平面为连接两质心线段的垂直平分线。每个终端结点(即决策结点)对应一个支持向量机,它的训练集不再是质心而是两类(组)样本集。该分类模型通常是超平面和支持向量机的混合结构,其中超平面实现训练早期的近似划分,以提升分类速度;而支持向量机完成最终的精确分类,以保证分类精度。实验结果表明,相比于经典的多类支持向量机方法,该算法在保证分类精度的前提下,能够有效缩短计算时间,提升分类效率。     

基于混合重采样的非平衡数据SVM训练方法

针对传统的SVM算法在非平衡数据分类中分类效果不理想的问题,提出一种基于分类超平面和SMOTE过采样方法(HB_SMOTE)。该方法首先对原始训练样本集使用WSVM算法找到分类超平面,然后按一定标准剔除负类中被错分的样本、靠近分类超平面的样本以及远离分类超平面的样本。在UCI数据集上的实验结果表明:与RU_SMOTE等重采样方法相比,HB_SMOTE方法对正类样本和负类样本都具有较高的分类准确率。     

一种基于类中心最大间隔的支持向量机

传统的支持向量机分类超平面对噪声和野值非常敏感．使用传统的支持向量机对含有噪声的数据分类时，所得到的超平面往往不是最优超平面．为了解决这个问题，本文以两个类中心距离最大为准则建立分类超平面，构造一个新的支持向量机,称作类中心最大间隔支持向量机．理论分析和仿真实验结果证明了该方法的正确性和有效性．     

基于相似度空间寻优的开集人脸识别方法

提出了一种对相似度空间进行寻优的新方法,以提高开集人脸识别的准确率。该方法首先将开集识别问题转化为二分类问题,然后引入寻优方法寻找分割相似度空间的最优超平面,该超平面能够将相似度空间分割为接受空间和拒绝空间两部分。在判别过程中,利用相似度向量在空间中的位置判断样本是否为已知类。由于利用了相似度空间中向量分布的信息,训练出的特征具有更强的分类能力。通过不同人脸库的实验表明,相对于传统的方法,本文所提的方法能显著地提高开集识别的准确率。     

非均衡数据的支持向量机新方法*

为了弥补支持向量机对非均衡样本集分类时倾向于较大类的不足,提出一种平衡策略。基于Fisher判别思想,计算出两类样本在分类超平面法向量上投影后的均值和方差,再依据两类错分概率相等准则,给出新的阈值计算方法对超平面进行调整。该方法可补偿非平衡数据分类的倾向性,提高预测分类精度。最后在非均衡的人工和真实数据集上的数值实验表明了该方法的可行性与有效性。     

基于混合采样的非平衡数据分类算法

过采样和欠采样方法是处理非平衡数据集分类的常用方法,但使用单一的采样算法可能造成少数类样本过拟合或者丢失含有重要信息的样本。提出了基于分类超平面的混合采样算法SVM_HS(hybrid sampling algorithm based on support vector machine),旨在克服SVM算法在处理非平衡数据时分类超平面容易偏向少数类样本的问题。该算法首先利用SVM算法得到分类超平面。然后迭代进行混合采样,主要包括:(1)删除离分类超平面较远的一些多数类样本;(2)对靠近真实类边界的少数类样本用SMOTE(synthetic minority oversampling technique)过采样,使分类超平面向着真实类边界方向偏移。实验结果表明相比其他相关算法,该算法的F-value值和G-mean值均有较大提高。     

局部化的广义特征值最接近支持向量机

基于广义特征值的最接近支持向量机(Proximal Support Vector Machine via Generalized Eigenvalues,GEPSVM)是一种新的具有与SVM性能相当的两分类方法,通过求解广义特征值来获得两个彼此不平行的拟合两类样本的超平面.其决策是将测试样本归为距其最近的超平面所在的类.然而,该规则在某些情形会导致较差的分类结果.对此,在GEPSVM基础上,通过在类拟合超平面上寻找一个包含了所有训练样本投影的局部凸区域,来决定样本的类别.该局部方法不仅具有较GEPSVM更优的分类性能,同时还衍生出了求解超平面上凸壳的简单且易于核化的新算法.最后在人工和UCI数据集上获得了验证.     

SVM中不平衡数据的分离超平面的校正方法

针对两类不平衡数据的分离超平面的偏移问题提出一种平衡方法。首先,对两类样本数据在核空间中进行核主成分分析,分别求出两类样本数据的在特征空间中的主要特征值;然后,根据两样本容量以及各自的特征值所提供的信息,对两类数据给出惩罚因子比例;最后,通过优化训练,产生一个新的分离超平面。该分类面校正了标准的支持向量机的分类误差。实验显示了所提出方法的有效性,即与标准的支持向量机相比,不仅平衡了错分率而且还能减少错分率。     

An off-line oriental character recognition system (OOCRS): synergy of distortion modeling, hidden Markov models and vector quantization

Off-line handwritten oriental character recognition is a difficult task due to the large category and stroke variety. These oriental characters are made up of components known as radicals, which are often written in a distorted proportion and size. All these factors lead to a difficult recognition problem, which unfortunately cannot be solved using direct classification approach like the neural network classifier and a preprocessing module. This paper proposes several novel preprocessing approaches and synergy of classifiers to achieve good performance. Novel classification approaches, comprising rough and coarse classification modules are proposed which when combined appropriately produced a high-performance recognition system capable of producing high accuracy classification in off-line oriental character recognition. The recognition accuracy of the system is a high of 97% and a 99% for the top 5 candidate selection scores.     

核仿射子空间最近点分类算法

受支持向量机的几何解释和最近点问题启发,提出一种新型的模式分类算法——核仿射子空间最近点分类算法。该算法在核空间中,将支持向量机几何模型中的最近点搜索区域由2类训练特征集凸包推广到2类特征样本各自生成的仿射子空间,以仿射子空间作为特征样本分布的粗略估计,通过仿射子空间中的最近的2个点构造平分仿射子空间间隔的最优分类超平面。该算法在ORL人脸识别数据库上的比较实验中取得了较好的识别效果。     

A bio-statistical mining approach for classifying multivariate clinical time series data observed at irregular intervals

In medical information system, the data that describe patient health records are often time stamped. These data are liable to complexities such as missing data, observations at irregular time intervals and large attribute set. Due to these complexities, mining in clinical time-series data, remains a challenging area of research. This paper proposes a bio-statistical mining framework, named statistical tolerance rough set induced decision tree (STRiD), which handles these complexities and builds an effective classification model. The constructed model is used in developing a clinical decision support system (CDSS) to assist the physician in clinical diagnosis. The STRiD framework provides the following functionalities namely temporal pre-processing, attribute selection and classification. In temporal pre-processing, an enhanced fuzzy-inference based double exponential smoothing method is presented to impute the missing values and to derive the temporal patterns for each attribute. In attribute selection, relevant attributes are selected using the tolerance rough set. A classification model is constructed with the selected attributes using temporal pattern induced decision tree classifier. For experimentation, this work uses clinical time series datasets of hepatitis and thrombosis patients. The constructed classification model has proven the effectiveness of the proposed framework with a classification accuracy of 91.5% for hepatitis and 90.65% for thrombosis.     

基于SVM-KNN算法的情绪脑电识别

情绪识别与日常生活的诸多领域都有很大联系.然而,通过单一算法难以获得较高的情绪识别准确率,为此,提出一种基于支持向量机(support vector machine,SVM)和K近邻(K-nearest neighbors,KNN)融合算法(SVMKNN)的情绪脑电识别模型.在情绪分类时,首先计算待识别样本与最优分类超平面的空间距离,若两者距离大于提前设定的阈值,选用SVM分类器对情绪样本分类,否则选用KNN分类器.最后在SEED情感数据集上进行实验测试,通过对比实验,得出SVM-KNN算法提高了情绪三分类的准确率.运用该模型可有效地对情绪类型进行识别,对于医疗护理方面获取表达障碍患者的情绪状态有积极意义.     

基于模糊支持向量机与决策树的文本分类器

针对模糊支持向量机在文本分类应用中的隶属度函数确定问题,提出了一种基于模糊支持向量机与决策树的文本分类器的构建方法。该方法不仅考虑了样本与类中心之间的关系,还根据传统支持向量机中包含支持向量且平行于分类面的平面构建切球,来确定类中各个样本之间的关系,由样本点与球的位置关系计算其隶属度,可以合理地区分有效样本和噪音、孤立点样本。并与决策树方法相结合,实现多类分类。实验结果表明,该方法具有良好的分类效果。     

车辆牌照上英文和数字字符的结构特征分析及提取

为了研制高性能的车辆牌照自动识别系统，在详细分析车辆牌照上英文和数字字符结构特点的基础上，选择字符图象中的闭合曲线作为其整体特征，将笔画端点，三叉点和四叉点作为其细节特征，同时将笔画中的拐角点作为其辅助结构特征，三者可分别用于字符的粗分类，细分类和相似字符区分，进而提基于图论和细节点特征的闭合曲线检测算法以及基于二值图象外边缘轮廓线的笔画拐角点检测算法，将上述结构特征用于车辆牌照上英文和数字字符识别，测得识别率达96％，用PⅢ550计算机完成结构特征抽取和字符识别所用时间约20ms／字符，表明这些结构特征适用于车辆牌照上英文和数字字符的快速识别。     

一种粗糙集-决策树结合的入侵检测方法

针对入侵检测系统收集数据海量、高维、检测模型复杂和检测准确率低等问题,采用粗糙集属性约简的优势寻找与判断入侵与否相关的属性,利用决策树分类算法生成模型并对网络连接进行入侵预测分类检测,从而提出了一种粗糙集属性约简和决策树预测分类相结合的网络入侵检测方法.实验结果表明,该方法在入侵检测准确率上有很大的提高,对DoS攻击、Probe攻击和R2L攻击的检测效果均有所提高,同时大大降低了检测的误报率.     

仿射子空间最近点分类算法

为了取得更好的识别效果,受支持向量机的几何解释和最近点问题启发,提出了一种新的模式分类算法——仿射子空间最近点算法。该算法是将支持向量机最近点法的最近点搜索区域由两类训练集凸包推广到两类训练样本各自张成的仿射子空间,并以仿射子空间作为样本分布的粗略估计,通过仿射子空间中的最近点对来构造平分仿射子空间间隔的最优分类超平面。该算法在ORL人脸识别数据库上进行的比较实验中取得了较好的识别效果,从而证实了该方法的可行性和有效性。     

基于粗糙集的决策树构造算法

针对ID3算法构造决策树复杂、分类效率不高问题,基于粗糙集理论提出一种决策树构造算法。该算法采用加权分类粗糙度作为节点选择属性的启发函数,与信息增益相比,能全面地刻画属性分类的综合贡献能力,并且计算简单。为消除噪声对选择属性和生成叶节点的影响,利用变精度粗糙集模型对该算法进行优化。实验结果表明,该算法构造的决策树在规模与分类效率上均优于ID3算法。     

基于粗糙集理论与CAIM准则的C4.5改进算法

C4.5算法是一种非常有影响力的决策树生成算法,但该方法生成的决策树分类精度不高,分支较多,规模较大.针对C4.5算法存在的上述问题,本文提出了一种基于粗糙集理论与CAIM准则的C4.5改进算法.该算法采用基于CAIM准则的离散化方法对连续属性进行处理,使离散化过程中的信息丢失程度降低,提高分类精度.对离散化后的样本用基于粗糙集理论的属性约简方法进行属性约简,剔除冗余属性,减小生成的决策树规模.通过实验验证,该算法可以有效提高C4.5算法生成的决策树分类精度,降低决策树的规模.