基于PCA与ICA特征提取的入侵检测集成分类系统

入侵检测系统不仅要具备良好的入侵检测性能，同时对新的入侵行为要有良好的增量式学习能力．提出了一种入侵检测集成分类系统，将主成分分析（PCA）和独立成分分析（ICA）与增量式支持向量机分类算法相结合构造两个子分类器，采用集成技术对子分类器进行集成．系统利用支持向量集合对已有的入侵知识进行压缩表示，并采用遗传算法自适应地调整集成分类系统的权重．数值实验表明：集成分类系统通过自适应训练权重，综合了两种特征提取子分类器的优点。具有更好的综合性能。     

基于选择性集成分类器的面部表情识别研究*

为了提高面部表情的分类识别性能,基于集成学习理论,提出了一种二次优化选择性(Quadratic Optimization Choice, QOC)集成分类模型。首先,对于9个基分类器,依据性能进行排序,选择前30%的基分类器作为集成模型的候选基分类器。其次,依据组合规则产生集成模型簇。最后,对集成模型簇进行二次优化选择,选择具有最小泛化误差的集成分类器的子集,从而确定最优集成分类模型。为了验证QOC集成分类模型的性能,选择采用最大值、最小值和均值规则的集成模型作为对比模型,实验结果表明：相对基分类器,QOC集成分类模型取得了较好的分类效果,尤其是对于识别率较差的悲伤表情类,平均识别率提升了21.11%。相对于非选择性集成模型,QOC集成分类模型识别性能也有显著提高。     

基于神经网络的入侵检测集成分类系统

基于当前入侵检测系统检测性能不理想、自学习能力差的问题,提出入侵检测集成分类系统.通过特征提取方法核主成分分析(KPCA)和独立成分分析(ICA)分别与神经网络集成技术构造两个子分类器,对其结果进行加权集成,系统利用遗传算法自适应调整集成分类系统的权重.实验结果表明,集成分类系统具有较理想的入侵检测性能,并有较好的学习能力.     

基于遗传模糊分类的步态识别

提出基于遗传模糊分类的步态识别方法.采用新的特征提取方法,该方法将目标按人体结构特点划分为多个子区域,利用各个子区域的质心与头部质心形成的距离和夹角对步态特征进行描述.运用模糊聚类算法构建不同距离函数的分类器,并用遗传算法对分类器进行集成,组成的集成融合分类器对步态序列进行识别.实验结果表明该方法具有较高的识别性能.     

一种不平衡噪声数据流集成分类模型

针对不平衡噪声数据流的分类问题,本文利用基于平均概率的集成分类器AP与抽样技术,提出了一种处理不平衡噪声数据流的集成分类器(IMDAP)模型。实验结果表明,该集成分类器更能适应存在概念漂移与噪声的不平衡数据流挖掘分类,其整体分类性能优于AP集成分类器模型,能明显提升少数类的分类精度,并且具有与AP相近的时间复杂度。     

基于粗糙集约简的神经网络集成及其遥感图像分类应用

为降低集成特征选择方法的计算复杂性,提出了一种基于粗糙集约简的神经网络集成分类方法。该方法首先通过结合遗传算法求约简和重采样技术的动态约简技术,获得稳定的、泛化能力较强的属性约简集;然后,基于不同约简设计BP网络作为待集成的基分类器,并依据选择性集成思想,通过一定的搜索策略,找到具有最佳泛化性能的集成网络;最后通过多数投票法实现神经网络集成分类。该方法在某地区Landsat 7波段遥感图像的分类实验中得到了验证,由于通过粗糙集约简,过滤掉了大量分类性能欠佳的特征子集,和传统的集成特征选择方法相比,该方法时间开销少,计算复杂性低,具有满意的分类性能。     

多分类器选择集成方法

针对目前人们对分类性能的高要求和多分类器集成实现的复杂性,从基分类器准确率和基分类器间差异性两方面出发,提出了一种新的多分类器选择集成算法。该算法首先从生成的基分类器中选择出分类准确率较高的,然后利用分类器差异性度量来选择差异性大的高性能基分类器,在分类器集成之前先对分类器集进行选择获得新的分类器集。在UCI数据库上的实验结果证明,该方法优于bagging方法,取得了很好的分类识别效果。     

基于差异性度量的多分类器集成系统设计

为了解决在分类器集成过程中分类性能要求高和集成过程复杂等问题,分析常规集成方法的优缺点,研究已有的分类器差异性度量方法,提出了筛选差异性尽可能大的分类器作为基分类器而构建的一个层级式分类器集成系统.构建不同的基分类器,选择准确率较高的备选,分析其差异性,选出差异大的分类器作为系统所需基分类器,构成集成系统.通过在UCI数据集上进行的试验,获得了很好的分类识别效果,验证了这种分类集成系统的优越性.     

软件缺陷集成预测模型研究

利用单一分类器构造的缺陷预测模型已经遇到了性能瓶颈, 而集成分类器相比单一分类器往往具有显著的性能优势。以构造高效的集成缺陷预测模型为出发点, 比较了七种不同类型集成分类器的算法和特点。在14个基准数据集上的实验显示, 部分集成预测模型的性能优于基于朴素贝叶斯的单一预测模型。其中, 基于投票的集成分类框架具有最优的预测性能以及统计学意义上的性能优势显著性, 随机森林算法次之。Stacking集成框架也具有较强的泛化能力。     

基于集成主成分分析的人脸识别

设计了一种基于主成分分析的分类器集成方法。应用随机子空间法获得多个初始分类器,由它们的分类性能给出分类器的保留分值,从而确定它们的保留优先级别,最后由保留优先级别选择一组分类器组成集成。理论分析和在人脸数据库ORL上的实验结果表明,这种基于集成PCA的分类方法能够更好地对模式进行分类。     

多分类器系统的泛组合规则研究与应用

现有的多分类器系统采用固定的组合算子,适用性较差。将泛逻辑的柔性化思想引入多分类器系统中,应用泛组合运算模型建立了泛组合规则。泛组合规则采用遗传算法进行参数估计,对并行结构的多分类器系统具有良好的适用性。在时间序列数据集上的分类实验结果表明,泛组合规则的分类性能优于乘积规则、均值规则、中值规则、最大规则、最小规则、投票规则等固定组合规则。     

A ‘No Panacea Theorem’ for classifier combination

We introduce the ‘No Panacea Theorem’ (NPT) for multiple classifier combination, previously proved only in the case of two classifiers and two classes. In this paper, we extend the NPT to cases of multiple classifiers and multiple classes. We prove that if the combination function is continuous and diverse, there exists a situation in which the combination algorithm will give very bad performance. The proof relies on constructing ‘pathological’ probability density distributions that have high densities in particular areas such that the combination functions give incorrect classification. Thus, there is no optimal combination algorithm that is suitable in all situations. It can be seen from this theorem that the probability density functions (pdfs) play an important role in the performance of combination algorithms, so studying the pdfs becomes the first step of finding a good combination algorithm. Although devised for classifier combination, the NPT is also relevant to all supervised classification problems.     

Combining Classifiers with Meta Decision Trees

The paper introduces meta decision trees (MDTs), a novel method for combining multiple classifiers. Instead of giving a prediction, MDT leaves specify which classifier should be used to obtain a prediction. We present an algorithm for learning MDTs based on the C4.5 algorithm for learning ordinary decision trees (ODTs). An extensive experimental evaluation of the new algorithm is performed on twenty-one data sets, combining classifiers generated by five learning algorithms: two algorithms for learning decision trees, a rule learning algorithm, a nearest neighbor algorithm and a naive Bayes algorithm. In terms of performance, stacking with MDTs combines classifiers better than voting and stacking with ODTs. In addition, the MDTs are much more concise than the ODTs and are thus a step towards comprehensible combination of multiple classifiers. MDTs also perform better than several other approaches to stacking.     

基于遗传算法和模糊积分的多分类器集成

多分类器联合是解决复杂模式识别问题的有效办法。模糊积分是其中一种多分类器联合方法。但是对于模糊积分。如何计算模糊积分密度是一个尚未解决的问题。本文提出了一种基于模糊积分和遗传算法的分类器集成方法，该方法利用遗传算法计算模糊积分密度函数，再利用模糊积分把分类器输出信息联合起来。实验结果表明，该方法比其他方法能够得到更好的识别性能。     

基于遗传算法的学习分类器系统研究

分析了基于遗传算法的学习分类器系统的体系结构，并对消息与分类器匹配、桶队列算法信用分配以及基于遗传算法的规则发现等关键技术进行了研究，推导证明了利用桶队列算法更新分类器强度的收敛性理论,通过对六值布尔函数的学习，进一步对学习分类器系统的学习性能、分类器强度更新收敛性进行了仿真验证。     

一种新的启发式分类器选择方法

分类器选择是一种设计多分类器系统的有效方法,从给定候选分类器集中挑选出一个子集,使得该子集集成性能最佳。现有的分类器选择方法大多采用基于集成精度的随机搜索方法,但巨大的搜索复杂度限制了它们在更大系统中的应用。该文提出一种新的选择标准——IWCECR及一种基于IWCECR的启发式搜索算法,在手写体数字识别的实验中,从20个候选分类器中挑选子集,结果表明,该方法具有较高的搜索效率,在子集集成性能方面仅次于穷举法。     

A Cognitive Architecture Based on a Learning Classifier System with Spiking Classifiers

Learning classifier systems (LCS) are population-based reinforcement learners that were originally designed to model various cognitive phenomena. This paper presents an explicitly cognitive LCS by using spiking neural networks as classifiers, providing each classifier with a measure of temporal dynamism. We employ a constructivist model of growth of both neurons and synaptic connections, which permits a genetic algorithm to automatically evolve sufficiently-complex neural structures. The spiking classifiers are coupled with a temporally-sensitive reinforcement learning algorithm, which allows the system to perform temporal state decomposition by appropriately rewarding “macro-actions”, created by chaining together multiple atomic actions. The combination of temporal reinforcement learning and neural information processing is shown to outperform benchmark neural classifier systems, and successfully solve a robotic navigation task.     

基于支持向量机集成的故障诊断

为提高故障诊断的准确性,提出了一种基于遗传算法的支持向量机集成学习方法,定义了相应的遗传操作算子,并探讨了集成下的分类器的构造策略。对汽轮机转子不平衡故障诊断的仿真实验结果表明,集成学习方法的性能通常优于单个支持向量机,而所提方法性能则优于Bagging与Boosting等传统集成学习方法,获得的集成所包括的分类器数目更少,而且结合多种分类器构造策略可提高分类器的多样性。该方法能容易地推广到神经网络、决策树等其他学习算法。     

一种改进的AdaBoost算法在人脸检测系统中的应用

针对复杂背景条件下人脸检测的检测率低、速度慢的问题,提出了一种改进的AdaBoost算法,与遗传算法相结合,产生了一种识别率高、泛化能力好的强分类器,文中称之为GA-AdaBoost算法。该算法首先训练多个支持向量机作为弱分类器,然后用AdaBoost算法将多个弱分类器组合成一个强分类器,在组合的同时采用遗传算法对各弱分类器的权值进行全局寻优。最后,通过试验与传统AdaBoost进行对比,表明了该算法具有识别率高和速度快的优越性。     

A comparison of multiple classifier combinations using different voting-weights for remote sensing image classification

Remote sensing image classification is a common application of remote sensing images. In order to improve the performance of Remote sensing image classification, multiple classifier combinations are used to classify the Landsat-8 Operational Land Imager (Landsat-8 OLI) images. Some techniques and classifier combination algorithms are investigated. The classifier ensemble consisting of five member classifiers is constructed. The results of every member classifier are evaluated. The voting strategy is experimented to combine the classification results of the member classifier. The results show that all the classifiers have different performances and the multiple classifier combination provides better performance than a single classifier, and achieves higher overall accuracy of classification. The experiment shows that the multiple classifier combination using producer’s accuracy as voting-weight (MCC_mod2 and MCC_mod3) present higher classification accuracy than the algorithm using overall accuracy as voting-weight (MCC_mod1).And the multiple classifier combinations using different voting-weights affected the classification result in different land-cover types. The multiple classifier combination algorithm presented in this article using voting-weight based on the accuracy of multiple classifier may have stability problems, which need to be addressed in future studies.