基于GA和KNN的SVM决策树分类方法研究

文章提出了一种基于遗传算法和K近邻的SVM决策树方法,并将其应用于解决SVM多分类问题。算法以基于类分布的类间分离性测度为准则,利用遗传算法对传统的SVM决策树进行优化,生成最优（较优）决策树。在分类阶段,对容易分的节点利用SVM进行分类,而对可分离性差的节点采用SVM和K近邻相结合的分类方法,最终实现多类别分类。实验结果表明,与传统的分类方法相比,该算法的实验效果较好,是一种有效的分类方法。     

一种改进的SVM决策树及在遥感分类中的应用*

针对遥感图像分类问题提出了一种基于遗传算法和K近邻的SVM决策树方法。算法以基于类分布的类间分离性测度为准则,利用遗传算法对传统的SVM决策树进行优化,生成最优(较优)决策树。在分类阶段,对容易分的节点利用SVM进行分类,而对可分离性差的节点采用SVM和K近邻相结合的分类方法,最终实现多类别分类。实验结果表明,与传统的分类方法相比,该算法的实验效果较好,可有效地提高遥感图像的分类精度。     

基于遗传算法的SVM多分类决策树优化算法研究

设计一种基于遗传算法(GA)的支持向量机(SVM)多分类决策树优化算法,以克服因传统SVM多分类决策树结构固定,单个SVM节点在树中位置随意而引起"误差积累"现象严重的缺陷.采用了SVM分类间隔作为GA适应度函数.利用GA在每一决策节点自动选择最优或近优的分类决策,最终自适应地实现了对决策树的优化.仿真实验表明,与传统方法相比,所提出的方法可使"误差积累"现象明显降低,分类质量大大提高.     

融合渐近性的灰狼优化支持向量机模型

大数据的发展对数据分类领域的分类准确性有了更高的要求;支持向量机(Support Vector Machine,SVM)的广泛应用需要一种高效的方法来构造一个分类能力强的SVM分类器;SVM的核函数参数与惩罚因子以及特征子集对预测模型的复杂度和预测精度有着重要影响。为提高SVM的分类性能,文中将SVM的渐近性融合到灰狼优化(Grey Wolf Optimization,GWO)算法中,提出了新的SVM分类器模型,该模型对SVM的参数与数据的特征子集同时进行优化,融合SVM渐近性的新灰狼个体将灰狼优化算法的搜索空间导向超参数空间中的最佳区域,能够更快地获得最优解;此外,将获得的分类准确率、所选特征个数和支持向量个数相结合,提出了一种新的适应度函数,新的适应度函数与融合渐近性的灰狼优化算法将搜索引向最优解。采用UCI中的多个经典数据集对所提模型进行验证,将其与网格搜素算法、未融合渐近性的灰狼优化算法以及其他文献中的方法进行对比,其分类准确率在不同数据集上均有不同程度的提升。实验结果表明,所提算法能找到SVM的最优参数与最小特征子集,具有更高的分类准确率和更短的平均处理时间。     

基于 HOG 特征提取与 SVM 驾驶员注意力分散行为检测方法研究

驾驶员注意力分散是导致交通事故的主要原因,该文以驾驶员注意力分散行为图像为分类 目标,提出了一种基于方向梯度直方图(Histogram of Oriented Gradient,HOG)与支持向量机(Support Vector Machine,SVM)的行为检测方法。首先,获取图像中的感兴趣区域,并对图像进行增强、去噪及归一化处理;然后,提取图像 HOG 特征,进而采用交叉验证法对 SVM 分类器中的参数进行优化;最后,对视频图像中驾驶员的不同行为进行分类识别。实验中,通过与传统 SVM 算法以及基于局部二值模式的 SVM 算法进行对比,验证了所提方法具有更好的识别准确率。     

基于遗传算法的SVM多分类决策树优化算法研究

设计一种基于遗传算法(GA)的支持向量机(SVM)多分类决策树优化算法,以克服因传统SVM 多分类决策树结构固定,单个SVM 节点在树中位置随意而引起"误差积累"现象严重的缺陷.采用了SVM 分类间隔作为GA适应度函数.利用GA在每一决策节点自动选择最优或近优的分类决策,最终自适应地实现了对决策树的优化.仿真实验表明,与传统方法相比,所提出的方法可使"误差积累"现象明显降低,分类质量大大提高.

     

基于改进的代价敏感决策树的网络贷款分类

在网络贷款用户数据集中，贷款成功和贷款失败的用户数量存在着严重的不平衡，传统的机器学习算法在解决该类问题时注重整体分类正确率，导致贷款成功用户的预测精度较低。针对此问题，在代价敏感决策树敏感函数的计算中加入类分布，以减弱正负样本数量对误分类代价的影响，构建改进的代价敏感决策树；以该决策树作为基分类器并以分类准确度作为衡量标准选择表现较好的基分类器，将它们与最后阶段生成的分类器集成得到最终的分类器。实验结果表明，与已有的常用于解决此类问题的算法（如MetaCost算法、代价敏感决策树、AdaCost算法等）相比，改进的代价敏感决策树对网络贷款用户分类可以降低总体的误分类错误率，具有更强的泛化能力。     

基于模糊多核学习的改进支持向量机算法研究

针对传统SVM对噪声点和孤立点敏感的问题,以及不能解决样本特征规模大、含有异构信息、在特征空间中分布不平坦的问题,将模糊隶属度融入多核学习中,提出了一种模糊多核学习的方法；通过实验验证了模糊多核学习比传统SVM、模糊支持向量机以及多核学习具有更好的分类效果,从而验证了所提方法能够有效的克服传统SVM对噪声点敏感以及数据分布不平坦的问题。     

基于改进斑点鬣狗优化算法的同步优化特征选择

针对传统支持向量机（SVM）在封装式特征选择中分类精度低、特征子集选择冗余以及计算效率差的不足,利用元启发式优化算法同步优化SVM与特征选择。为改善SVM分类效果以及选择特征子集的能力,首先,利用自适应差分进化（DE）算法、混沌初始化与锦标赛选择策略对斑点鬣狗优化（SHO）算法改进,以增强其局部搜索能力并提高其寻优效率与求解精度;其次,将改进后的算法用于特征选择与SVM参数调整的同步优化中;最后,在UCI数据集进行特征选择仿真实验,采取分类准确率、选择特征数、适应度值及运行时间来综合评估所提算法的优化性能。实验结果证明,改进算法的同步优化机制能够在高分类准确率下降低特征选择的数目,该算法比传统算法更适合解决封装式特征选择问题,具有良好的应用价值。     

基于改进随机森林算法的停电敏感用户分类

目前,我国电网企业对于识别停电投诉风险,开展用户停电敏感程度分析的研究工作还处在起步阶段.为了有效地分析停电用户的敏感程度,提出了一种基于改进随机森林算法的停电敏感用户分类算法.首先,对原始数据进行清洗、特征选择等预处理;接着,采用SMOTE算法增加少数敏感用户样本数据量,解决数据分布不均匀问题;然后,以Fisher比作为特征的重要性度量,按比例随机采样选取具有代表性的特征构成子特征空间;最后,利用随机森林算法识别停电敏感用户.通过在真实停电数据上的实验,验证了提出的方法不仅具有较好的准确性和时间性能,而且可以有效处理高维、冗余特征的数据.     

基于对支持向量机的多类分类算法在入侵检测中的应用

针对基于传统支持向量机(SVM)的多类分类算法在处理大规模数据时训练速度上存在的弱势,提出了一种基于对支持向量机(TWSVM)的多类分类算法。该算法结合二叉树SVM多类分类思想,通过在二叉树节点处构造基于TWSVM的分类器来达到分类目的。为减少二叉树SVM的误差累积,算法分类前首先通过聚类算法得到各类的聚类中心,通过比较各聚类中心之间的距离来衡量样本的差异以决定二叉树节点处类别的分离顺序,最后将算法用于网络入侵检测。实验结果表明,该算法不仅保持了较高的检测精度,在训练速度上还表现了一定优势,尤其在处理稍大规模数据时,这种优势更为明显,是传统二叉树SVM多类分类算法训练速度的近两倍,为入侵检测领域大规模数据处理提供了有效参考价值。     

基于核聚类的SVM多类分类方法

对支持向量机的多类分类问题进行研究，提出了一种基于核聚类的多类分类方法。利用核聚类方法将原始样本特征映射到高维特征进行聚类分组，对每一组使用一个支持向量机二值分类器进行分类，并用这些二值分类器组成决策树的节点，构成了一个决策分类树。给出决策树的生成算法，提出了利用交叠系数来控制交叠，从而克服错分积累，提高分类准确率。实验结果表明，采用该方法，手写体汉字识别速度和正确率都达到了实用的要求。     

Artificial bee colony-based support vector machines with feature selection and parameter optimization for rule extraction

Support vector machine (SVM) is a state-of-art classification tool with good accuracy due to its ability to generate nonlinear model. However, the nonlinear models generated are typically regarded as incomprehensible black-box models. This lack of explanatory ability is a serious problem for practical SVM applications which require comprehensibility. Therefore, this study applies a C5 decision tree (DT) to extract rules from SVM result. In addition, a metaheuristic algorithm is employed for the feature selection. Both SVM and C5 DT require expensive computation. Applying these two algorithms simultaneously for high-dimensional data will increase the computational cost. This study applies artificial bee colony optimization (ABC) algorithm to select the important features. The proposed algorithm ABC–SVM–DT is applied to extract comprehensible rules from SVMs. The ABC algorithm is applied to implement feature selection and parameter optimization before SVM–DT. The proposed algorithm is evaluated using eight datasets to demonstrate the effectiveness of the proposed algorithm. The result shows that the classification accuracy and complexity of the final decision tree can be improved simultaneously by the proposed ABC–SVM–DT algorithm, compared with genetic algorithm and particle swarm optimization algorithm.     

基于C5.0决策树算法的电力营销数据挖掘

为了对电力企业中不同部门的运行数据进行有效的挖掘,提出利用C5.0决策树算法对数据进行深层次分析,为管理人员提供有价值的决策支持.首先,对数据挖掘中先进的C5.0决策树算法原理进行分析,并通过引入信息熵对原有的属性选择方式进行改进,提高了信息增益比率计算的速度.然后根据设计的售电量关系模型进行对电厂管理信息系统中的数据...     

基于模糊优势互补互信息的有序决策树算法

传统决策树算法应用于有序分类任务时存在两个问题：传统决策树算法没有引入序关系,因此无法学习和抽取数据集中的序结构;现实生活中存在大量模糊而非精确的知识,而传统的决策树算法无法处理存在模糊属性取值的数据。针对上述问题,提出了基于模糊优势互补互信息的有序决策树算法。首先,使用优势集表示数据中的序关系,并引入模糊集来计算优势集以形成模糊优势集。模糊优势集不仅能反映数据中的序信息,而且能自动获取不精确知识。然后,在模糊优势集的基础上将互补互信息进行推广,并提出了模糊优势互补互信息。最后,使用模糊优势互补互信息作为启发式,设计出基于模糊优势互补互信息的有序决策树算法。在5个人工数据集及9个现实数据集上的实验结果表明,所提算法在有序分类任务上较经典决策树算法取得了更低的分类误差。     

基于决策树算法的医疗大数据填补及分类仿真

从大数据的基本特点和医疗大数据研究现状出发,分析处理过程中存在的问题,提出在决策树算法下的医疗大数据填补及分类方法。分析医疗数据的关联规则,采用关联分析(Apriori)算法和频繁模式树(Frequent Pattern Growth,FP-Growth)算法挖掘数据。以挖掘数据为基础填补其中的缺失数据,按照医疗数据特点搭建决策树,并运用ID3和C4.5决策树算法,实现医疗大数据的分类,得出数据分类结果。由仿真得出,与传统方法相比,填补量提高了50%,分类精度提高了11.40%、14.80%,无论从数据的填补方面还是分类方法,上述方法均有较高的应用价值,为医疗大数据体系的构建开辟了新的思路。     

支持向量机在网页信息分类中的应用研究

针对日益膨胀的网络信息,为方便用户准确定位所需的信息,将支持向量机(SVM)与二叉决策树结合起来进行网页信息的分类,并在构造决策支持向量机分类模型的基础上,进一步结合聚类的方法,解决多类分类问题,减少支持向量机的训练样本数,提高分类训练速度和分类准确率.     

基于关联规则的决策树算法

通过将关联规则与决策树算法相结合,形成一种基于关联规则的决策树算法。该算法对不同时期同一事务的异种数据结构进行处理,得到一种可扩展的多分支分类决策树,使得改进后的决策树算法具有良好的可扩展性。该算法解决了传统分类算法在数据集维度发生变化时分类过程无法持续进行的问题。     

A subspace decision cluster classifier for text classification

In this paper, a new classification method (SDCC) for high dimensional text data with multiple classes is proposed. In this method, a subspace decision cluster classification (SDCC) model consists of a set of disjoint subspace decision clusters, each labeled with a dominant class to determine the class of new objects falling in the cluster. A cluster tree is first generated from a training data set by recursively calling a subspace clustering algorithm Entropy Weighting k-Means algorithm. Then, the SDCC model is extracted from the subspace decision cluster tree. Various tests including Anderson–Darling test are used to determine the stopping condition of the tree growing. A series of experiments on real text data sets have been conducted. Their results show that the new classification method (SDCC) outperforms the existing methods like decision tree and SVM. SDCC is particularly suitable for large, high dimensional sparse text data with many classes.     

基于球结构的完全二叉树SVM多类分类算法*

针对一般的SVM方法不能有效地处理不平衡样本数据及现有的偏二叉树结构SVM分类器速度慢的这两个问题,提出了一种基于球结构的完全二叉树SVM多分类算法。该算法利用球结构的SVM考虑了每个类的分布情况,能有效地处理不平衡样本数据;构建完全二叉树结构,使得同层节点所代表的SVM分类器可以并行工作,能提高其训练和分类速度,分类速度相当于折半查找。实例验证两者结合后的算法可实现准确且高效的多类分类。