交互迭代一对一分类算法

在基于支持向量机的多分类算法中,一对一算法表现出较好的性能.然而此算法却存在不可分区域,落入该区域的样本不能有效被识别,因此影响了一对一算法的性能.为解决这个难题,提出交互迭代一对一分类算法,同时给出算法的有效性分析和计算复杂度证明.为了验证该算法解决不可分区域的能力,我们选用UCI数据集来做对比实验.实验结果显示,本文算法不但可以较成功解决不可分区域问题而且表现出比其它算法更好的性能.     

基于SVM概率建模的硬件实现优化算法

在2种基于一对一分类策略的支持向量机(SVM)多类概率建模算法中,Pairwise Coupling概率建模算法不适合FPGA硬件实现,而投票概率建模算法分类性能较差。为此,提出一种基于Sigmoid函数的SVM概率建模的硬件实现优化算法,该算法基于合并计算及Log-add计算方法。理论分析结果表明,该算法可避免复杂的迭代计算和大量指数计算,减少运算量,并易于FPGA硬件实现。     

基于LSA和SVM的文本分类模型的研究

为了提高文本分类的准确性,研究并设计了一个基于潜在语义分析和支持向量机的多类文本分类模型.利用潜在语义分析进行特征抽取,消除多义词和同义词在文本表示时造成的偏差,并实现文本向量的降维.使用具有良好分类精度和泛化能力的支持向量机进行分类,提出一种改进的一对一多类分类算法,改善不可分问题.实验结果表明,该模型在类别数目较少时具有较好的分类效果.     

改进的二叉树支持向量机在多分类中的应用

在多分类问题中,分类算法的优劣直接影响到最终分类结果的好坏。现有的多分类算法中,基于支持向量机的多分类算法在综合性能方面要优于其他算法,但是,这些较优算法同样面临一些多分类中常见的问题,如不可分问题和效率低问题。针对这些问题,文中提出了一种改进的二叉树支持向量机多分类算法,该算法综合考虑了两个类之间的距离和分布情况对可分离性的影响,并采用最容易分离的类最先分割出来的策略来建立树的结构。通过在不同的数据集上进行测试,表明该方法不仅解决了多分类的不可分问题,还能提高分类的效率和准确度,可更好地解决现实中的多分类问题。     

基于一对一极限学习机的人脸表情识别方法

为了克服极限学习机(ELM)稳定性差、识别率不高的缺陷, 利用支持向量机(SVM)一对一投票式分类算法准确度高的优势, 提出一种改进的表情识别方法. 该方法将一对一分类算法和ELM算法相结合形成一个新的算法即OAO-ELM(One-Against-One-Extreme Learning Machine), 首先, 对样本采用一对一的分类并利用ELM训练成一个弱分类器, 然后, 将这些弱分类器组合成一个最终的强分类器. 预测结果, 采用投票方式. 用Gabor滤波提取表情特征, 由于提取后特征维度很高, 冗余大, 引入主成分分析(PCA)来降维. 基于JAFFE数据库实验结果表明, 该算法在人脸表情识别上具有较高分类识别率和稳定性.     

基于SVM一对一多分类算法的二次细分法研究

在研究了支持向量机(SVM)多分类算法的基础之上,针对一对一多分类算法出现不可分区域问题,提出了基于SVM一对一多分类算法的二次细分方法,并将该方法应用于弹簧应力小样本数据的多分类仿真实验。通过与原始方法的仿真结果进行对比,改进方法在多花费了极短时间的前提下,显著提高了分类正确率。针对改进方法可能存在的问题,又通过10次仿真实验验证了该方法的可行性,同时也为SVM在小样本分类领域提供了新的思路。     

基于粗糙集理论和模糊SVM的车牌识别技术研究

针对传统的SVM多分类存在不可分区域,提出一种粗糙FSVM识别算法。该算法根据粗糙集理论对训练样本进行建立决策表、离散决策表、约简决策表、提取分类规则等推理过程设计。不但有效改善训练时间,而且解决了传统的SVM多分类存在不可分区域的问题。实验表明,将该识别算法应用于车牌字符识别,取得在相同的条件下比支持向量机方法更为理想的识别效果。     

一种基于L_2范数的软核感知机

感知机只能解决线性可分问题。支持向量机中的L2范数软边缘算法可以将线性不可分问题转化为线性可分问题。基于这一事实,提出一种基于L2范数的软核感知机(SoftKernelPerceptron,SKP),将感知机算法直接用于求解L2范数软边缘算法决定的线性可分问题。通过使用核技巧,得到一种普适的非线性分类方法。实际数据库的测试结果表明,SKP算法能够有效地解决非线性问题,并且继承了感知机运算简单速度快的优点。     

有向无环图-双支持向量机的多类分类方法

针对多分类支持向量机算法中的低效问题和样本不平衡问题,提出一种有向无环图-双支持向量机DAG-TWSVM(directed acyclic graph and twin support vector machine)的多分类方法。该算法综合了双支持向量机和有向无环图支持向量机的优势,使其不仅能够得到较好的分类精度,同时还能够大大缩减训练时间。在处理较大规模数据集多分类问题时,其时间优势更为突出。采用UCI(University of California Irvine)机器学习数据库和Statlog数据库对该算法进行验证,实验结果表明,有向无环图-双支持向量机多分类方法在训练时间上较其他多分类支持向量机大大缩短,且在样本不平衡时的分类性能要优于其他多分类支持向量机,同时解决了经典支持向量机一对一多分类算法可能存在的不可分区域问题。     

基于改进的二叉树SVM模拟电路故障诊断方法

分类器一直是模拟电路故障诊断研究中比较重要的一环,大多数的分类器都是二分类分类器.传统的SVM分类结构是一对一和一对多,但当分类的种类较多时,一对一需要构建多个分类器,而一对多结构要重复训练样本,任务量大,花费时间较多,并且这两种方法存在不可分区域.本文提出基于二叉树结构的SVM分类算法用于模拟电路的故障识别,二叉树结构的SVM分类原则是将最容易识别的故障先识别出来,再识别其他的类.本文先将各个类与其他类的相似方向计算出来,再构建二叉树SVM分类器,并使用遗传优化算法寻找最优参数,达到最优效果.     

用于支持向量机拒识区域的加权k近邻法

为解决1-v-r和1-v-1支持向量机中存在的拒识区域问题,提出一种加权k近邻法。该方法计算落入拒识区域中的样本,即拒识样本到所有训练样本的距离,选择最近的k个样本为拒识样本的类别投票,并根据距离大小进行加权,得票多的类即拒识样本的所属类。实验结果表明,加权k近邻法实现了零拒识,提高了传统多分类支持向量机的分类性能。     

一种新的分裂层次聚类SVM多值分类器

提出一种分裂层次聚类SVM分类树分类方法.该方法通过融合模糊聚类技术和支持向量机算法,利用分裂的层次聚类策略,有选择地重新构造学习样本集和SVM子分类器,得到了一种树形多值分类器.研究结果表明,对于k类别模式识别问题,该方法只需构造k-1个SVM子分类器,克服了SVM子分类器过多以及存在不可区分区域的缺点,具有良好的分类性能.实验结果验证了该方法的优越性.     

A decision based one-against-one method for multi-class support vector machine

The support vector machine (SVM) has a high generalisation ability to solve binary classification problems, but its extension to multi-class problems is still an ongoing research issue. Among the existing multi-class SVM methods, the one-against-one method is one of the most suitable methods for practical use. This paper presents a new multi-class SVM method that can reduce the number of hyperplanes of the one-against-one method and thus it returns fewer support vectors. The proposed algorithm works as follows. While producing the boundary of a class, no more hyperplanes are constructed if the discriminating hyperplanes of neighbouring classes happen to separate the rest of the classes. We present a large number of experiments that show that the training time of the proposed method is the least among the existing multi-class SVM methods. The experimental results also show that the testing time of the proposed method is less than that of the one-against-one method because of the reduction of hyperplanes and support vectors. The proposed method can resolve unclassifiable regions and alleviate the over-fitting problem in a much better way than the one-against-one method by reducing the number of hyperplanes. We also present a direct acyclic graph SVM (DAGSVM) based testing methodology that improves the testing time of the DAGSVM method.     

针对不平衡数据的过采样和随机森林改进算法

针对数据不平衡带来的少数类样本识别率低的问题,提出通过加权策略对过采样和随机森林进行改进的算法,从数据预处理和算法两个方面降低数据不平衡对分类器的影响。数据预处理阶段应用合成少数类过采样技术(Synthetic Minority Oversampling Technique,SMOTE)降低数据不平衡度,每个少数类样本根据其相对于剩余样本的欧氏距离分配权重,使每个样本合成不同数量的新样本。算法改进阶段利用Kappa系数评价随机森林中决策树训练后的分类效果,并赋予每棵树相应的权重,使分类能力更好的树在投票阶段有更大的投票权,提高随机森林算法对不平衡数据的整体分类性能。在KEEL数据集上的实验表明,与未改进算法相比,改进后的算法对少数类样本分类准确率和整体样本分类性能有所提升。     

基于三支决策的KNN渐进式文本分类方法

在传统的文本分类中,KNN算法以其简单、分类准确率高、非参数得到了广泛的应用。但是传统KNN算法在进行文本分类的过程中,需要计算待分类文本与每一个训练样本的相似度,当面对海量的文本时,分类的效果会明显降低。针对此问题,提出了一种基于三支决策的KNN渐进式文本分类方法用于提高其分类效率,结合三支决策在分类问题中的优势,将三支决策与KNN算法相结合,对标题、摘要、关键词等进行渐进式的分类处理,从而完成待分类文本的分类,提高文本分类的效率和性能。实验表明,该算法能够在确保KNN算法分类准确率的基础上,同时提高分类效率。     

基于聚类和SVDD的一类入侵检测模型

为了解决传统支持向量数据描述算法(SVDD)中样本不集中导致算法包括非己空间样本,从而形成噪声影响检测性能的问题,建立一种基于SVDD算法和聚类算法相结合的入侵检测模型.首先通过K-means算法对正常样本数据进行聚类;然后利用SVDD对聚类后的数据集合进行描述;最后利用多个判决函数对样本进行判别.实验中对核函数参数的选择进行了分析,并同其他检测算法比较,验证了该思想的正确性.     

基于属性约简的决策树算法研究

针对数据集中无关的、干扰的属性会降低决策树算法性能的问题,提出了一个新的决策树算法,此算法根据对测试属性进行约简选择,提出以测试属性和决策属性的相似性作为决策树的启发规则来构建决策树,同时使用了分类阈值设定方法简化决策树的生成过程.实验证明,该算法运行效率和预测精度都优于传统的ID3算法.     

基于属性约简的决策树算法研究

针对数据集中无关的、干扰的属性会降低决策树算法性能的问题,提出了一个新的决策树算法,此算法根据对测试属性进行约简选择,提出以测试属性和决策属性的相似性作为决策树的启发规则来构建决策树,同时使用了分类阈值设定方法简化决策树的生成过程。实验证明,该算法运行效率和预测精度都优于传统的ID3算法。