AdaBoost的多样性分析及改进

针对AdaBoost算法下弱分类器间的多样性如何度量问题以及AdaBoost的过适应问题,在分析并研究了4种多样性度量与AdaBoost算法的分类精度关系的基础上,提出一种基于双误度量改进的AdaBoost方法。首先,选择Q统计、相关系数、不一致度量、双误度量在UCI数据集上进行实验。然后,利用皮尔逊相关系数定量计算多样性与测试误差的相关性,发现在迭代后期阶段,它们都趋于一个稳定的值;其中双误度量在不同数据集上的变化模式固定,它在前期阶段不断增加,在迭代后期基本上不变,趋于稳定。最后,利用双误度量改进AdaBoost的弱分类器的选择策略。实验结果表明,与其他常用集成方法相比,改进后的AdaBoost算法的测试误差平均降低1.5个百分点,最高可降低4.8个百分点。因此,该算法可以进一步提高分类性能。     

基于投票信息熵的AdaBoost改进算法

针对AdaBoost算法不能有效提升NB(Naive Bayesian)的分类性能,提出一种改进的样本权重维护策略.权重的调整不仅依据样本是否分错,还需考虑前几轮的多个基分类器对它的投票分歧.基分类器的信任度不但与错误率有关,还与基分类器间的差异性有关.这样可以提高基分类器的正确性,增加基分类器的差异性.实验结果表明,改进的BoostVE-NB算法能有效地提升NB文本分类性能.     

AdaBoost算法的一种改进方法

Boosting是一种改善任意给定的机器学习算法准确性的通用方法．主要针对AdaBoost算法，介绍了AdaBoost算法的研究背景．分析了实验过程中出现的退化问题以及目标类权重分布扭曲的现象，提出了一种基于调整权重分布，限制权重扩张的改进方法，最后给出了实验结果和分析．     

基于GA-CFS和AdaBoost算法的网络流量分类

鉴于特征属性选择在网络流量分类中占据重要地位,为了确定最优特征子集,利用CFS作为适应度函数的改进遗传算法(GA-CFS),从网络流量的249个属性空间中提取主要属性并最终选定18个特征组合作为最优特征子集。通过AdaBoost算法把一系列的弱分类器提升为强分类器,对网络流量进行了深入的分类研究。实验结果表明,基于GA-CFS和AdaBoost的流量组合分类方法较弱分类器具有较高的分类准确率。     

改进的AdaBoost算法与SVM的组合分类器

提出了一种改进的AdaBoost算法与支持向量机组合的分类方法,用来处理多类别分类。采用规则抽样来解决支持向量机分类中正负样本的不平衡性,改进AdaBoost算法,使其在初始化时考虑样本分布稀疏的重要性,有利于稀有类样本的正确划分。实验结果表明,此方法与标准支持向量机分类器相比,泛化性能有一定程度的提高。     

一种新的改进AdaBoost弱分类器训练算法

AdaBoost是机器学习中比较流行的分类算法.通过研究弱分类器的特性,提出了两种新的弱分类器的阈值和偏置计算方法,二者可以使弱分类器识别率大于50%,从而保证在弱分类器达到一定数目的情况下,AdaBoost训练收敛.对两种阈值和偏置计算方法的仿真实验结果表明,在错分率降可接受的范围内,二者均使用较少的弱分类器便可获得高识别率的强分类器.     

基于AdaBoost分类器的车牌字符识别算法研究*

提出了一种基于模板匹配的改进AdaBoost算法的字符识别方法。针对AdaBoost算法的退化现象,根据样本在权重上的分布情况,对权重进行适当的调整,较好地解决了经典 AdaBoost算法中存在的退化现象。最后给出了实验结果及实现方案。     

一种改进的级联AdaBoost分类器

在基于级联结构的AdaBoost分类器中引入了辅助判决函数。当样本被某级AdaBoost分类器判为假后,使用该级的辅助判决函数对其进行二次判决。辅助判决函数不仅考虑了当前级分类器的判决结果,还考虑前面分类器的历史判决信息。实验结果表明,该方法相对级联AdaBoost分类器以及二维级联AdaBoost具有更好的识别效果。     

新的软间隔AdaBoost弱分类器权重调整算法

为避免硬间隔算法过分强调较难分类样本而导致泛化性能下降的问题,提出一种新的基于软间隔的AdaBoost-QP算法。在样本硬间隔中加入松弛项,得到软间隔的概念,以优化样本间隔分布、调整弱分类器的权重。实验结果表明,该算法能降低泛化误差,提高 AdaBoost算法的泛化性能。     

基于损失函数的AdaBoost改进算法

针对AdaBoost集成时难分样本权重扩张导致训练样本在更新时分布失衡的问题,提出一种基于正负类样本损失函数(LF)的权重更新策略。权重的调整不仅与训练误差有关,还考虑到基分类器对不同类别样本的正确分类能力,从而避免训练样本过度集中于某一类的异常现象。实验结果表明,基于LF的AdaBoost能在提高收敛性能的情况下,提高算法精度,克服样本分布失衡问题。偏差方差分析的结果显示,该算法在改善偏差的情况下,能有效地减小错误率中的方差成分,提高集成的泛化能力。     

基于AdaBoost和匹配追踪的选择性集成算法

为了平衡集成学习中差异性和准确性的关系并提高学习系统的泛化性能, 提出一种基于AdaBoost 和匹配追踪的选择性集成算法. 其基本思想是将匹配追踪理论融合于AdaBoost 的训练过程中, 利用匹配追踪贪婪迭代的思想来最小化目标函数与基分类器线性组合之间的冗余误差, 并根据冗余误差更新AdaBoost 已训练基分类器的权重, 进而根据权重大小选择集成分类器成员. 在公共数据集上的实验结果表明, 该算法能够获得较高的分类精度.     

改进的基于AdaBoost算法的人脸检测方法*

针对传统AdaBoost算法的不足,分析了训练过程中出现的退化问题及样本权重扭曲的现象,并提出了解决这一问题的有效方法.该方法对样本权重的更新规则进行了适当的调整,即为每一轮循环设定一个权重更新阈值,根据样本是否被错误分类以及当前权重是否大于该阈值来更新样本权重,从而限制了困难样本权重的过分增大.使用该方法训练级联人脸检测器,试验结果表明,该方法较好地解决了传统AdaBoost算法所出现的退化问题,在保证检测率的同时降低了误检率.     

基于协方差特征的裁剪AdaBoost算法

针对Haar-like特征的缺陷以及AdaBoost算法存在训练耗时的问题,提出一种基于协方差特征的改进AdaBoost人脸检测算法。该方法用协方差特征代替Haar-like特征进行特征提取;然后使用特征裁剪和动态权重裁剪相结合的裁剪AdaBoost算法,训练得到基于协方差特征的强分类器。实验结果表明,相对于基于Haar-like特征的AdaBoost算法,该算法性能没有明显退化且很大程度上提高了训练速度。     

基于主动学习不平衡多分类AdaBoost算法的心脏病分类

针对不平衡分类中小类样本识别率低问题,提出一种基于主动学习不平衡多分类AdaBoost改进算法。首先,利用主动学习方法通过多次迭代抽样,选取少量的、对分类器最有价值的样本作为训练集;然后,基于不确定性动态间隔的样本选择策略,降低训练集的不平衡性;最后,利用代价敏感方法对多分类AdaBoost算法进行改进,对不同的类别给予不同的错分代价,调整样本权重更新速度,强迫弱分类器"关注"小类样本。在临床经胸超声心动图（TTE）测量数据集上的实验分析表明：与多分类支持向量机（SVM）相比,心脏病总体识别率提升了5.9%,G-mean指标提升了18.2%,瓣膜病（VHD）识别率提升了0.8%,感染性心内膜炎（IE）（小类）识别率提升了12.7%,冠心病（CAD）（小类）识别率提升了79.73%;与SMOTE-Boost相比,总体识别率提升了6.11%,G-mean指标提升了0.64%,VHD识别率提升了11.07%,先心病（CHD）识别率提升了3.69%。在TTE数据集和4个UCI数据集上的实验结果表明,该算法在不平稳多分类时能有效提高小类样本识别率,并且保证其他类别识别率不会大幅度降低,综合提升分类器性能。     

基于AdaBoost的组合分类器在遥感影像分类中的应用

运用组合分类器的经典算法AdaBoost将多个弱分类器-神经网络分类器组合输出,并引入混合判别多分类器综合规则,有效提高疑难类别的分类精度,进而提高分类的总精度.最后以天津地区ASTER影像为例,介绍了基于AdaBoost的组合分类算法,并在此基础上实现了天津地区的土地利用分类.分类结果表明,组合分类器能有效提高单个分类器的分类精度,分类总精度由81.13%提高到93.32%.实验表明基于AdaBoost的组合分类是遥感图像分类的一种新的有效方法.     

基于PCA+AdaBoost算法的人脸识别技术

人脸识别技术是图像处理方面的重要技术,然而识别率不高却一直妨碍人脸识别技术的广泛应用。主成分分析（PCA）是人脸识别技术的一个重要算法,将PCA与AdaBoost算法相结合改进了原来的算法,并称新算法为PCA+AdaBoost算法。实验证明PCA+AdaBoost算法的识别率明显高于PCA算法,相对于Fisherface算法的识别率也有明显的提高。