基于AdaBoost-SVM级联分类器的行人检测

针对实时行人检测中AdaBoost级联分类算法存在的问题,改进AdaBoost级联分类器的训练算法,提出了Ada-Boost-SVM级联分类算法,它结合了AdaBoost和SVM两种算法的优点.对自定义样本集和PET图像库进行行人检测实验,实验中选择固定大小的窗口作为候选区域并利用类Haar矩形特征进行特征提取,通过AdaBoost-SVM级联分类器进行分类.实验结果表明AdaBoost-SVM级联分类器的分类器准确率达到99.5％,误报率低于0.05％,优于AdaBoost级联分类器,训练时间要远远小于SVM分类器.     

一种改进的级联AdaBoost分类器

在基于级联结构的AdaBoost分类器中引入了辅助判决函数。当样本被某级AdaBoost分类器判为假后,使用该级的辅助判决函数对其进行二次判决。辅助判决函数不仅考虑了当前级分类器的判决结果,还考虑前面分类器的历史判决信息。实验结果表明,该方法相对级联AdaBoost分类器以及二维级联AdaBoost具有更好的识别效果。     

基于主题模型的水利信息分类方案设计

水利信息分类是水利科学数据共享标准化最为重要的一项工作,因此对水利领域大量数据信息的分类十分有必要。针对水利文本数据非结构化的特点,设计一个基于主题模型的水利文本信息分类方案,通过结合LDA主题模型和GloVe词向量模型的优点,提出一种新的主题模型。利用AdaBoost算法改进KNN分类器,在迭代中对分类器的错误进行适应性调整,最终得到分类器的集合。实验结果表明,使用AdaBoost提升KNN对于水利文本分类效果良好,分类效果远好于常见的朴素贝叶斯和决策树,和原来的KNN分类器相比,微观准确率提高1.1个百分点,宏观准确率提高了4.1个百分点,说明在水利文本分类中使用AdaBoost算法可提升KNN分类器的有效性。     

基于快速级联分类的行人检测系统

行人检测系统难以同时具有高检测率、低误报率和较快的检测速度。为解决该问题,提出一种基于快速级联分类的行人检测系统。该系统包括预处理和分类检测2个部分,在分类检测阶段,利用AdaBoost算法选取部分最优的特征,通过固定训练样本的误报率,并结合串联分类器的优点,设计快速级联分类器(FastCascade),其中,单特征分类器使用快速排序策略,以提高系统的整体性能。仿真结果表明,该FastCascade的接收者操作特征曲线下面积、F-measure和G-mean结果均高于传统的AdaBoost算法、UnderSampling算法和EasyEnsemble算法。     

加权判决级联分类器人脸检测方法研究

AdaBoost算法要提高检测精度,需要级联更多的强分类器,这样会降低检测速度.针对这个问题,在AdaBoost级联分类器中引入加权判决函数,对其中相互独立的级联分类器判决结果进行信息融合,不增加级联的强分类器个数,提高了检测率.实验结果表明,该方法在保证检测速度的同时,提高了检测率,在CMU+MIT人脸测试库上取得较好的效果.     

一种基于新特征的车牌检测方法

车牌检测是车牌识别的关键所在,两种新的区域统计学特征能迅速排除大量的非车牌区域,在此基础上,采用增加了辅助判决的级联分类器来改进AdaBoost算法。实验表明,该算法与基于颜色特征分类器和传统的级联AdaBoost分类器相比,具有较快的检测速度、较高的检测率和较低的误检率。     

基于级联结构的不平衡数据集分类研究

受级联结构的启示,提出了一种针对不平衡数据集分类的新方法,基于级联结构的Bagging分类方法。该方法通过在每一级剔除一部分多数类样本的方式使数据集逐步趋于平衡,并应用欠取样技术得到训练集,用Bagging算法训练分类器,最后把每一级训练到的分类器集成为一个新的分类器。在10个UCI数据集上的实验结果表明,该方法在查全率和F-value值上优于Bagging和AdaBoost。     

基于AdaBoost的组合分类器在遥感影像分类中的应用*

运用组合分类器的经典算法AdaBoost将多个弱分类器-神经网络分类器组合输出,并引入混合判别多分类器综合规则,有效提高疑难类别的分类精度,进而提高分类的总精度.最后以天津地区ASTER影像为例,介绍了基于AdaBoost的组合分类算法,并在此基础上实现了天津地区的土地利用分类.分类结果表明,组合分类器能有效提高单个分类器的分类精度,分类总精度由81.13%提高到93.32%.实验表明基于AdaBoost的组合分类是遥感图像分类的一种新的有效方法.     

基于视频图像的人脸检测与统计

叙述如何在复杂背景下的图像或视频中判断是否有人脸,若有,则统计个数。实现原理是基于AdaBoost算法,提取Haar特征和训练得到的级联分类器对人脸进行识别。改进之处在于动态调整各级联分类器的权重,对识别率高的级联分类器（如正脸级联分类器）加大其权重,识别率低的级联分类器（如侧脸级联分类器）降低其权重。试验结果表明,该方法可以更加快速、更加准确地实现人脸检测,具有较好的实时性。     

基于信息熵的RVM-AdaBoost组合分类器

针对AdaBoost算法不能有效提高RVM分类性能的问题,提出一种基于信息熵的RVM与AdaBoost组合分类器。依据RVM输出的后验概率来定义样本的信息熵,信息熵越高的样本越容易错分。提出使用自适应信息熵阈值对数据进行筛选,筛选出的数据使用基于AdaBoost算法的集成分类器进行分类,样本的分类结果由RVM与集成分类器组合给出。把未筛选出且分类错误的极少样本作为噪声对待,增强了组合分类器的稳定性,避免了随着AdaBoost算法迭代次数增加集成分类器出现退化的现象。使用UCI数据集从分类正确率、分类效率和稳定性三方面对提出的组合分类器进行验证,实验结果表明了此分类器的有效性。     

An Efficient Algorithm for Generating Generalized Decision Forests

A shortcoming of univariate decision tree learners is that they do not learn intermediate concepts and select only one of the input features in the branching decision at each intermediate tree node. It has been empirically demonstrated that cascading other classification methods, which learn intermediate concepts, with decision tree learners can alleviate such representational bias of decision trees and potentially improve classification performance. However, a more complex model that fits training data better may not necessarily perform better on unseen data, commonly referred to as the overfitting problem. To find the most appropriate degree of such cascade generalization, a decision forest (i.e., a set of decision trees with other classification models cascaded to different degrees) needs to be generated, from which the best decision tree can then be identified. In this paper, the authors propose an efficient algorithm for generating such decision forests. The algorithm uses an extended decision tree data structure and constructs any node that is common to multiple decision trees only once. The authors have empirically evaluated the algorithm using 32 data sets for classification problems from the University of California, Irvine (UCI) machine learning repository and report on results demonstrating the efficiency of the algorithm in this paper.     

A machine discovery from amino acid sequences by decision trees over regular patterns

This paper describes a machine learning system that discovered a “negative motif”, in transmembrane domain identification from amino acid sequences, and reports its experiments on protein data using PIR database. We introduce a decision tree whose nodes are labeled with regular patterns. As a hypothesis, the system produces such a decision tree for a small number of randomly chosen positive and negative examples from PIR. Experiments show that our system finds reasonable hypotheses very successfully. As a theoretical foundation, we show that the class of languages defined by decesion trees of depth at mostd overk-variable regular patterns is polynomial-time learnable in the sense of probably approximately correct (PAC) learning for any fixedd, k≥0.     

Constrained cascade generalization of decision trees

While decision tree techniques have been widely used in classification applications, a shortcoming of many decision tree inducers is that they do not learn intermediate concepts, i.e., at each node, only one of the original features is involved in the branching decision. Combining other classification methods, which learn intermediate concepts, with decision tree inducers can produce more flexible decision boundaries that separate different classes, potentially improving classification accuracy. We propose a generic algorithm for cascade generalization of decision tree inducers with the maximum cascading depth as a parameter to constrain the degree of cascading. Cascading methods proposed in the past, i.e., loose coupling and tight coupling, are strictly special cases of this new algorithm. We have empirically evaluated the proposed algorithm using logistic regression and C4.5 as base inducers on 32 UCI data sets and found that neither loose coupling nor tight coupling is always the best cascading strategy and that the maximum cascading depth in the proposed algorithm can be tuned for better classification accuracy. We have also empirically compared the proposed algorithm and ensemble methods such as bagging and boosting and found that the proposed algorithm performs marginally better than bagging and boosting on the average.     

一种基于神经网络集成的决策树构造方法

神经网络集成方法具有比单个神经网络更强的泛化能力，却因为其黑箱性而难以理解；决策树算法因为分类结果显示为树型结构而具有良好的可理解性，泛化能力却比不上神经网络集成。该文将这两种算法相结合，提出一种决策树的构造算法：使用神经网络集成来预处理训练样本，使用C4．5算法处理预处理后的样本并生成决策树。该文在UCI数据上比较了神经网络集成方法、决策树C4．5算法和该文算法，实验表明：该算法具有神经网络集成方法的强泛化能力的优点，其泛化能力明显优于C4．5算法；该算法的最终结果昆示为决策树，显然具有良好的可理解性。     

基于关联规则的决策树算法

通过将关联规则与决策树算法相结合,形成一种基于关联规则的决策树算法。该算法对不同时期同一事务的异种数据结构进行处理,得到一种可扩展的多分支分类决策树,使得改进后的决策树算法具有良好的可扩展性。该算法解决了传统分类算法在数据集维度发生变化时分类过程无法持续进行的问题。     

基于粗糙集理论与CAIM准则的C4.5改进算法

C4.5算法是一种非常有影响力的决策树生成算法,但该方法生成的决策树分类精度不高,分支较多,规模较大.针对C4.5算法存在的上述问题,本文提出了一种基于粗糙集理论与CAIM准则的C4.5改进算法.该算法采用基于CAIM准则的离散化方法对连续属性进行处理,使离散化过程中的信息丢失程度降低,提高分类精度.对离散化后的样本用基于粗糙集理论的属性约简方法进行属性约简,剔除冗余属性,减小生成的决策树规模.通过实验验证,该算法可以有效提高C4.5算法生成的决策树分类精度,降低决策树的规模.     

基于神经网络的模糊决策树改进算法

传统决策树通过对特征空间的递归划分寻找决策边界,给出特征空间的“硬”划分。但对于处理大数据和复杂模式问题时,这种精确决策边界降低了决策树的泛化能力。为了让决策树算法获得对不精确知识的自动获取,把模糊理论引进了决策树,并在建树过程中,引入神经网络作为决策树叶节点,提出了一种基于神经网络的模糊决策树改进算法。在神经网络模糊决策树中,分类器学习包含两个阶段：第一阶段采用不确定性降低的启发式算法对大数据进行划分,直到节点划分能力低于真实度阈值[ε]停止模糊决策树的增长;第二阶段对该模糊决策树叶节点利用神经网络做具有泛化能力的分类。实验结果表明,相较于传统的分类学习算法,该算法准确率高,对识别大数据和复杂模式的分类问题能够通过结构自适应确定决策树规模。     

决策树学习算法ID3的研究

ID3是决策树学习的核心算法，为此详细叙述了决策树表示方法和ID3决策树学习算法，特别说明了决策属性的选取法则。通过一个学习实例给出该算法第一选取决策属性的详细过程，并且对该算法进行了讨论，一般情况下，ID3算法可以找出最优决策树。     

基于相关系数的MID3算法改进

针对决策树算法在分类时的多值偏向问题,提出了一种合理的基于相关系数的MID3算法的改进算法。该算法在生成决策树的过程中,将属性与分类结果之间的相关关系引入决策树节点的属性选择中,从而在一定程度上解决ID3算法的多值倾向问题,同时考虑系统两层节点从全局上优化树的结构。利用UCI数据集样本进行实验,将本文算法与ID3算法进行对比,得到了算法的效率的比较结果。实验结论表明,算法提高了数据的平均分类准确率,生成的决策树结构更加合理。     

不确定数据的决策树分类算法

经典决策树算法不能处理树构建和分类过程中的不确定数据。针对这一局限,将可用于不确定数据表达的证据理论与决策树分类算法相结合,把决策树分类技术扩展到含有不确定数据的环境中。为避免在决策树构建过程中出现组合爆炸问题,引入新的测量算子和聚集算子,提出了D-S证据理论决策树分类算法。实验结果表明,D-S证据理论决策树分类算法能有效地对不确定数据进行分类,有较好的分类准确度,并能有效避免组合爆炸。