基于支持向量机的兼类文本分类算法研究

针对兼类文本,提出了两种基于支持向量的分类算法.一种是采用1-a-1方法训练子分类器,通过子分类器得到待分类样本的隶属度矩阵,依据隶属度矩阵每行元素和判定该文本所属类别.另一种是采用1-a-r方法训练子分类器,通过子分类器得到待分类样本的隶属度向量,根据隶属度向量判定该文本所属的类别.实验结果表明,这两种算法都具有较好的准确率,召回率和F1值.     

多主题文本分类的实现算法

针对一个文本具有多主题属性,提出一种基于模糊支持向量机的多主题文本分类算法。用1-a-r方法训练子分类器,计算待分类文本到每个超平面的距离,依据距离得到隶属度向量,根据隶属度向量判定该文本所属的主题。实验结果表明,该算法在保证单主题文本分类精度的前提下,实现了多主题文本分类,并且有较好的准确率、召回率和F1值。     

基于超球支持向量机的多主题文本分类算法

针时标准支持向量机多分类算法不能解决多主题文本分类问题,提出了一种基于超球支持向量机的多主题文本分类算法.该算法用超球支持向量机训练得到每个超球,计算待分类文本到每个超球球心的距离,依据距离得到隶属度向量,最后根据隶属度向量判定该文本所属的主题.实验结果表明,该算法具有更好的召回率,准确率和F1值.     

基于最大间隔最小体积超球支持向量机的多主题分类算法

针对多主题分类,结合最大间隔最小体积超球支持向量机和模糊理论,提出一种多主题最大间隔最小体积超球支持向量机来实现多主题分类.该算法首先基于最大间隔最小体积超球支持向量机,采用1-a-r方法训练子分类器,通过子分类器得到待分类样本的隶属度向量,再依据隶属度向量判定该待分类样本所属类别.实验结果表明,该算法具有较好的准确率、召回率、F1值.     

基于加权模糊隶属度的二叉树多分类算法

针对二叉树支持向量机多分类算法准确率与分类效率较低的问题,提出了一种基于加权模糊隶属度的二叉树支持向量机多分类算法（binary tree support vector machines multi-classification algorithm based on weighted fuzzy membership,PF-BTSVM）。该算法依据最大最小样本距离与质心距离构造出一个近似完全二叉树,提高了整体结构的分类效率;利用模糊隶属度函数以及正负辅助惩罚因子对训练集进行筛选,剔除掉对分类无用的样本与噪声值,实现了训练集的提纯并且削弱了不平衡分类时超平面的偏移。在数据集上的实验结果表明,与其他二叉树多分类算法相比,该算法在提高了分类准确率以及稳定性的的同时还加快了训练与分类的速度,而且这种优势当分类的不平衡度越大时越明显。     

一种基于R-FSVM的文本分类算法

目前模糊支持向量机使用的隶属度很大程度上依赖于先验知识、后验概率和多个自由参数,应用面不广、计算复杂、较难执行性能调优。为独立于学科领域知识,让模糊支持向量机利用样本集构造出性能更优的分类器,引入了一种更具鲁棒性的隶属度计算方法:R-FSVM,该算法使用重构误差计算每个文档相对于归属类别的隶属度。最后构造了文本分类实验系统,实验结果表明改进算法在准确率、召回率、F1值上具有更好的性能。     

基于模糊支持向量机与决策树的文本分类器

针对模糊支持向量机在文本分类应用中的隶属度函数确定问题,提出了一种基于模糊支持向量机与决策树的文本分类器的构建方法。该方法不仅考虑了样本与类中心之间的关系,还根据传统支持向量机中包含支持向量且平行于分类面的平面构建切球,来确定类中各个样本之间的关系,由样本点与球的位置关系计算其隶属度,可以合理地区分有效样本和噪音、孤立点样本。并与决策树方法相结合,实现多类分类。实验结果表明,该方法具有良好的分类效果。     

基于混合隶属度的模糊简约双支持向量机研究

双支持向量机是一种新的非平行二分类算法,其处理速度比传统支持向量机快很多,但是双支持向量机在训练之前要进行大量的复杂逆矩阵计算;在非线性情况下,它不能像传统支持向量机那样把核技巧直接运用到对偶优化问题中;并且双支持向量机没有考虑不同输入样本点会对最优分类超平面产生不同的影响。针对这些情况,提出了一种模糊简约双支持向量机。该模糊简约双支持向量机通过对二次规划函数和拉格朗日函数的改进,省略大量的逆矩阵计算,同时核技巧能直接运用到非线性分类情况下;对于混合模糊隶属度函数,不仅每个样本点到类中心的距离影响着该混合模糊隶属度,而且该样本点的邻域密度同样影响着该混合模糊隶属度。实验结果表明,与支持向量机、标准双支持向量机、双边界支持向量机、模糊双支持向量机相比,具有该混合模糊隶属度函数的简约双支持向量机不仅分类时间短,计算简单,而且分类精度高。     

支持向量机和蚁群算法的网页分类研究

网页分类技术是Web数据挖掘的基础与核心,是基于自然语言处理技术和机器学习算法的一个典型的具体应用。基于统计学习理论和蚁群算法理论,提出了一种基于支持向量机和蚁群算法相结合的构造网页分类器的高效分类方法,实验结果证明了该方法的有效性和鲁棒性,弥补了仅利用支持向量机对于大样本训练集收敛慢的不足,具有较好的准确率和召回率。     

一种新的模糊支持向量机多分类算法*

在模糊多分类问题中,由于训练样本在训练过程中所起的作用不同,对所有数据包括异常数据赋予一个隶属度。针对模糊支持向量机（fuzzy support vector machines,FSVM）的第一种形式,引入类中心的概念,结合一对多1-a-a(one-against-all)组合分类方法,提出了一种基于一对多组合的模糊支持向量机多分类算法,并与1-a-1(one-against-one)组合和1-a-a组合的分类算法比较。数值实验表明,该算法是有效的,有较高的分类准确率,有更好的泛化能力。     

适用于非平衡数据的多关系多分类模型

针对多关系多分类的非平衡数据,提出一种分类模型。在预处理阶段,建立目标类纠错输出编码(ECOC)、目标关系与背景关系间的虚拟连接并完成属性聚集处理,进而划分训练集和验证集。在训练阶段,依据一对多划分思想,结合CrossMine算法构造多个子分类器,采用AUC法评估验证各子分类器。在验证阶段,比较目标类ECOC与各子分类器分类结果连接字的海明距离,选择最小海明距离的目标类为最终分类。经合成和真实数据的实验,验证了模型有效性及分类效果。     

基于超球支持向量机的兼类文本分类算法研究

针对兼类文本,提出了一种分类算法。对属于同一类别的文本,利用超球支持向量机在特征空间中求得一个能包围该类尽可能多文本的最小超球,使各类文本之间通过超球分隔开,达到分类效果。对待分类文本,计算它到各超球球心的距离,根据距离判定该文本所属的类别。实验结果证明,该算法不仅具有较快的分类速度,而且具有较高的分类精度。     

改进的多类支持向量机递归特征消除在癌症多分类中的应用

为处理癌症多分类问题,已经提出了多类支持向量机递归特征消除(MSVM-RFE)方法,但该方法考虑的是所有子分类器的权重融合,忽略了各子分类器自身挑选特征的能力。为提高多分类问题的识别率,提出了一种改进的多类支持向量机递归特征消除(MMSVM-RFE)方法。所提方法利用一对多策略把多类问题化解为多个两类问题,每个两类问题均采用支持向量机递归特征消除来逐渐剔除掉冗余特征,得到一个特征子集;然后将得到的多个特征子集合并得到最终的特征子集;最后用SVM分类器对获得的特征子集进行建模。在3个基因数据集上的实验结果表明,改进的算法整体识别率提高了大约2%,单个类别的精度有大幅度提升甚至100%。与随机森林、k近邻分类器以及主成分分析(PCA)降维方法的比较均验证了所提算法的优势。     

基于模糊粒度计算的文本聚类研究

典型的文本聚类算法是一种硬划分,但是实际上由于中文文本的多样性和大量性更适合进行软划分,模糊集理论的提出为这种软划分提供了有力的分析工具。传统的模糊聚类方法大都是通过对隶属度的矩阵逐步迭代得到模糊等价矩阵或模糊划分的方法实现聚类,这个过程需要大量的存储空间。基于模糊粒度计算的文本聚类算法是在文档集合的模糊粒度空间上给定一个归一化的距离函数d（d_i,d_j）,对距离小于粒度d_λ的文本进行动态聚类。通过实验证明此方法在解决文本聚类问题时具有降低计算复杂度和空间复杂度,适于大量文本的聚类处理。     

Minimizer of the Reconstruction Error for multi-class document categorization

In the present article we introduce and validate an approach for single-label multi-class document categorization based on text content features. The introduced approach uses the statistical property of Principal Component Analysis, which minimizes the reconstruction error of the training documents used to compute a low-rank category transformation matrix. Such matrix transforms the original set of training documents from a given category to a new low-rank space and then optimally reconstructs them to the original space with a minimum reconstruction error. The proposed method, called Minimizer of the Reconstruction Error (mRE) classifier, uses this property, and extends and applies it to new unseen test documents. Several experiments on four multi-class datasets for text categorization are conducted in order to test the stable and generally better performance of the proposed approach in comparison with other popular classification methods.     

OCSVM集成模型解决支持向量机的大规模训练问题

该文针对集成方法实现支持向量机大规模训练的相关问题进行了深入研究,提出了一种称为"DD-Boosting"的成员分类器产生算法,能够在大规模数据集情况下利用类似Boosting技术产生稳定、高泛化性能的成员分类器。在此基础上,推导出基于OCSVM的分类器集成模型,实验仿真表明,该集成模型能够获得比主投票方法更好的泛化性能,且通过调整正则参数避免了训练过拟合问题。