最大间隔椭球形多类分类算法

针对多类分类问题中现有算法精度不高的问题,基于一类分类马氏椭球学习机,提出一种最大间隔椭球形多类分类算法,将每一类数据用超椭球来界定,数据空间由若干个超椭球组成,每个超椭球包围一类样本点,并以最大间隔排除不属于该类的样本点,该算法同时考虑了不同类样本点的协方差矩阵,即分布信息。真实数据上的实验结果表明该方法能提高分类精度。     

基于超椭球支持向量机的兼类文本分类算法

提出一种基于超椭球支持向量机的多类文本分类算法。对每一类样本,利用超椭球支持向量机方法在特征空间求得一个超椭球,使其包含该类尽可能多的样本,同时将噪音点排除在外。分类时,利用待分类样本映射到每个超椭球球心的马氏距离确定其类别。在标准数据集Reuters 21578上的实验结果表明,该算法有效地提高了分类精度。     

一类分类马氏椭球学习机的直推式学习

针对一类分类马氏椭球学习机当训练样本点比较少而待分类的样本点比较多时,分类精度不高,系统适应性不强的问题,提出直推式一类分类马氏椭球学习机.为解决上述问题,在训练过程中利用已知的训练样本点和待分类的样本点的信息,将待分类样本点逐渐加人到学习机中,并能有效地利用历史训练结果对其进行识别和分类,具有增量学习的特点.与一类分类马氏椭球学习机相比,方法能在很小的训练样本集规模下提高学习机的分类精度,从而使系统的适应性更好.仿真数据和真实数据的实验表明直推式一类分类马氏椭球学习机能大幅度地提高学习的精度.     

基于超椭球的多类文本分类算法研究

提出一种基于超椭球的多类文本分类算法。对每一类样本,在特征空间求得一个包围该类尽可能多样本的最小超椭球,使得各类样本之间通过超椭球隔开。对待分类样本,通过判断其是否被超椭球包围来确定类别。实验结果表明,与超球方法相比,该方法具有较高的分类精度和分类速度。     

一种新的类增量学习方法

提出一种新的基于超椭球的类增量学习算法。对每一类样本,在特征空间求得一个包围该类尽可能多样本的最小超椭球,使得各类样本之间通过超椭球隔开。类增量学习过程中,只对新增类样本进行训练。分类时,通过计算待分类样本是否在超椭球内判定其所属类别。实验结果证明,该方法较超球方法提高了分类精度和分类速度。     

不等距超球体支持向量机

针对现实中经常遇到的各类样本分布范围相差很多、将各类样本误判的危害程度不同、或者各类样本数量差异悬殊等情况,提出了一种基于不等距超球体的SVM（NMS-SVM）算法。该算法以最大间隔为优化目标建立分类模型,同时引入距离比例参数λ,调整最优分类面到两类之间的距离。通过UCI数据库中数据集的分类仿真实验,比较了该算法与普通超球体算法以及最大间隔超球体算法的分类精度,证明了该算法的有效性。     

一种新的兼类文本分类方法

提出了一种基于超椭球的兼类文本分类算法。对每一类样本,在特征空间求得一个包围该类样本的最小超椭球,使得各类样本之间通过超椭球隔开。对待分类样本,通过判断其是否在超椭球内确定其类别。若没有超椭球包围待分类样本,则通过隶属度确定其所属类别。在标准数据集Reuters 21578上的实验结果表明,该方法较超球方法提高了分类精度和分类速度。     

改进的超球支持向量机算法

超球支持向量机算法用于解决多类别数据的分类问题。对超球重叠区域的数据正确分类对球结构支持向量机的分类性能至关重要。在分析这些样本点特点的基础上,提出了一种新的分类规则,使超球支持向量机算法的泛化性能高于现有的算法。实验结果表明该算法有效可行,提高了最小包围球分类器的分类精度。     

一种新的兼类样本类增量学习算法

提出了一种基于超椭球的兼类样本类增量学习算法。对兼有同一类别的样本,在特征空间构建一个能包围该类尽可能多样本的最小超椭球,使各类样本之间通过超椭球球面分开。增量学习过程中,对新增样本中的每一新类别构建超椭球,对新增样本中的各历史类别重新构建超椭球,使得算法在很小的空间代价下实现了兼类样本类增量学习,同时保留了与新增样本类别无关的历史类训练结果。分类过程中,根据待分类样本是否在超椭球内或隶属度来确定其所属类别。实验结果表明,该算法较超球方法具有较快的分类速度和较高的分类精度。     

一种K-means聚类和超球结合的多类分类算法

提出一种k-means聚类算法和超球结合的多类分类算法。对每一类样本,使用k-means算法获得子类,再在各个子类上构造最小超球,由此,对每类都获得一个超球集,这些超球将样本空间分割,根据样本点所在空间的位置,综合得到决策函数,用于对输入样本点进行类别判断。     

基于主动学习不平衡多分类AdaBoost算法的心脏病分类

针对不平衡分类中小类样本识别率低问题,提出一种基于主动学习不平衡多分类AdaBoost改进算法。首先,利用主动学习方法通过多次迭代抽样,选取少量的、对分类器最有价值的样本作为训练集;然后,基于不确定性动态间隔的样本选择策略,降低训练集的不平衡性;最后,利用代价敏感方法对多分类AdaBoost算法进行改进,对不同的类别给予不同的错分代价,调整样本权重更新速度,强迫弱分类器"关注"小类样本。在临床经胸超声心动图（TTE）测量数据集上的实验分析表明：与多分类支持向量机（SVM）相比,心脏病总体识别率提升了5.9%,G-mean指标提升了18.2%,瓣膜病（VHD）识别率提升了0.8%,感染性心内膜炎（IE）（小类）识别率提升了12.7%,冠心病（CAD）（小类）识别率提升了79.73%;与SMOTE-Boost相比,总体识别率提升了6.11%,G-mean指标提升了0.64%,VHD识别率提升了11.07%,先心病（CHD）识别率提升了3.69%。在TTE数据集和4个UCI数据集上的实验结果表明,该算法在不平稳多分类时能有效提高小类样本识别率,并且保证其他类别识别率不会大幅度降低,综合提升分类器性能。     

基于多分类AdaBoost改进算法的TEE标准切面分类

针对超声图像样本冗余、不同标准切面因疾病导致的高度相似性、感兴趣区域定位不准确问题,提出一种结合特征袋（BOF）特征、主动学习方法和多分类AdaBoost改进算法的经食管超声心动图（TEE）标准切面分类方法。首先采用BOF方法对超声图像进行描述;然后采用主动学习方法选择对分类器最有价值的样本作为训练集;最后,在AdaBoost算法对弱分类器的迭代训练中,根据临时强分类器的分类情况调整样本更新规则,实现对多分类AdaBoost算法的改进和TEE标准切面的分类。在TEE数据集和三个UCI数据集上的实验表明,相比AdaBoost.SAMME算法、多分类支持向量机（SVM）算法、BP神经网络和AdaBoost.M2算法,所提算法在各个数据集上的G-mean指标、整体分类准确率和大多数类别分类准确率都有不同程度的提升,且比较难分的类别分类准确率提升最为显著。实验结果表明,在包含类间相似样本的数据集上,分类器的性能有显著提升。     

基于仿射聚类的主动SVM多类分类方法

针对现有的主动学习算法在多分类器应用中存在准确率低、速度慢等问题,将基于仿射传播(AP)聚类的主动学习算法引入到多分类支持向量机中,每次迭代主动选择最有利于改善多类SVM分类器性能的N个新样本点添加到训练样本点中进行学习,使得在花费较小标注代价情况下,能够获得较高的分类性能。在多个不同数据集上的实验结果表明,新方法能够有效地减少分类器训练时所需的人工标注样本点的数量,并获得较高的准确率和较好的鲁棒性。     

基于多类数据分类的改进克隆选择算法

针对传统的克隆选择算法(CSA)只依次单独针对某一类样本数据进行监督学习从而造成分类效率和精确度不高的问题,提出一种基于改进克隆选择算法的多类监督分类算法。算法通过进化学习可以同时获得多类样本数据的最佳聚类中心,进化过程中抗体适度值的计算综合考虑各类的类内相似性和类间差异性,从而保证得到的最佳聚类中心更具代表性。后续的分类实验中,分别利用常用的4组UCI数据和红树林多光谱TM遥感图像对算法进行验证,实验结果表明遥感图像的分类总精度达到92%,Kappa系数为0.91,UCI数据分类结果也较好,证明该算法是一种有效的多类数据分类算法。     

基于遗传算法的SVM多分类决策树优化算法研究

设计一种基于遗传算法(GA)的支持向量机(SVM)多分类决策树优化算法,以克服因传统SVM多分类决策树结构固定,单个SVM节点在树中位置随意而引起"误差积累"现象严重的缺陷.采用了SVM分类间隔作为GA适应度函数.利用GA在每一决策节点自动选择最优或近优的分类决策,最终自适应地实现了对决策树的优化.仿真实验表明,与传统方法相比,所提出的方法可使"误差积累"现象明显降低,分类质量大大提高.     

A genetically optimized neural network model for multi-class classification

Multi-class classification is one of the major challenges in real world application. Classification algorithms are generally binary in nature and must be extended for multi-class problems. Therefore, in this paper, we proposed an enhanced Genetically Optimized Neural Network (GONN) algorithm, for solving multi-class classification problems. We used a multi-tree GONN representation which integrates multiple GONN trees; each individual is a single GONN classifier. Thus enhanced classifier is an integrated version of individual GONN classifiers for all classes. The integrated version of classifiers is evolved genetically to optimize its architecture for multi-class classification. To demonstrate our results, we had taken seven datasets from UCI Machine Learning repository and compared the classification accuracy and training time of enhanced GONN with classical Koza’s model and classical Back propagation model. Our algorithm gives better classification accuracy of almost 5% and 8% than Koza’s model and Back propagation model respectively even for complex and real multi-class data in lesser amount of time. This enhanced GONN algorithm produces better results than popular classification algorithms like Genetic Algorithm, Support Vector Machine and Neural Network which makes it a good alternative to the well-known machine learning methods for solving multi-class classification problems. Even for datasets containing noise and complex features, the results produced by enhanced GONN is much better than other machine learning algorithms. The proposed enhanced GONN can be applied to expert and intelligent systems for effectively classifying large, complex and noisy real time multi-class data.     

A new maximal-margin spherical-structured multi-class support vector machine

Support vector machines (SVMs), initially proposed for two-class classification problems, have been very successful in pattern recognition problems. For multi-class classification problems, the standard hyperplane-based SVMs are made by constructing and combining several maximal-margin hyperplanes, and each class of data is confined into a certain area constructed by those hyperplanes. Instead of using hyperplanes, hyperspheres that tightly enclosed the data of each class can be used. Since the class-specific hyperspheres are constructed for each class separately, the spherical-structured SVMs can be used to deal with the multi-class classification problem easily. In addition, the center and radius of the class-specific hypersphere characterize the distribution of examples from that class, and may be useful for dealing with imbalance problems. In this paper, we incorporate the concept of maximal margin into the spherical-structured SVMs. Besides, the proposed approach has the advantage of using a new parameter on controlling the number of support vectors. Experimental results show that the proposed method performs well on both artificial and benchmark datasets.     

基于多类邻域三支决策模型的不平衡数据分类

不平衡数据分类是一种重要的数据分类问题。对于不平衡数据中规模较小的类,传统的分类算法的分类效果较差。对此,提出一种多类邻域三支决策模型的不平衡数据分类算法。首先,将传统的三支决策在混合数据和多个类的情形下进行推广,提出了混合数据的多类邻域三支决策模型;然后,在该模型中给出一种自适应代价函数的设定方法,并基于该方法提出了多类邻域三支决策模型的不平衡数据分类算法。仿真实验的结果表明,所提出的分类算法对于不平衡数据具有更好的分类性能。     

以多类支持向量机为基础的小样本信息融合策略*

通过将多类支持向量机作为分类器,运用Dempster-Shafer理论等信息融合方法对分类结果进行融合,实现对小样本的分类。主要采用对多类支持向量机的分类结果进行求和后取最大值、Dempster-Shafer理论以及使用Dempster-Shafer理论后第二次使用支持向量机三种方式进行融合。由于支持向量机本身是适用于小样本的机器学习算法,Dempster-Shafer理论又可以较好地处理不确定性,两者的结合可以较好地处理小样本分类问题,并提高最终的分类精度。实验结果表明,提出的几种融合策略确实可以在小样