基于最小代价的多分类器的动态集成

本文提出一种基于最小代价准则的分类器动态集成方法。与一般方法不同,动态集成是 根据“性能预测特征”,动态地为每一样本选择最适合的一组分类器进行集成。该选择基于使误识代价与时间代价最小化的准则,改变代价函数的定义可以方便地达到识别率与识别速度之间的不同折衷。本文中提出了两种分类器动态集成的方法,并介绍了在联机手写汉字识别中的具体应用。在实验中使了３个分类器进行动态集成,因此,得到７种分类组合,在预先     

基于边缘分类能力的动态集成选择算法

提出了一种新的基于边缘分类能力排序准则,用于基于排序聚集(ordered aggregation,OA)的分类器选择算法.为了表征分类器的分类能力,使用随机参考分类器对原分类器进行模拟,从而获得分类能力的概率模型.为了提高分类器集成性能,将提出的基于边缘分类能力的排序准则与动态集成选择算法相结合,首先将特征空间划分成不同能力的区域,然后在每个划分内构造最优的分类器集成,最后使用动态集成选择算法对未知样本进行分类.在UCI数据集上进行的实验表明,对比现有的排序准则,边缘分类能力的排序准则效果更好,进一步实验表明,基于边缘分类能力的动态集成选择算法较现有分类器集成算法具有分类正确率更高、集成规模更小、分类时间更短的优势.     

分类器的动态选择与循环集成方法

针对多分类器系统设计中最优子集选择效率低下、集成方法缺乏灵活性等问题, 提出了分类器的动态选择与循环集成方法 (Dynamic selection and circulating combination, DSCC). 该方法利用不同分类器模型之间的互补性, 动态选择出对目标有较高识别率的分类器组合, 使参与集成的分类器数量能够随识别目标的复杂程度而自适应地变化, 并根据可信度实现系统的循环集成. 在手写体数字识别实验中, 与其他常用的分类器选择方法相比, 所提出的方法灵活高效, 识别率更高.     

基于分类器判决可靠度估计的最优线性集成方法

多分类器集成的目标是充分利用每一个分类器的长处，既要发挥它们的最佳性能，又能克服单个分类器的弱点，以达到最优的系统识别性能，该文提出一种基于发类器判决可靠度估计的多分类器集成方法，利用各分类器对当前输入样本的判决兵验概率，实时估计它们的分类判决可靠度，并指导集成权重系数的分配，该方法能够使集成权重更灵活地适应不同的输入变化，充分利用每个分类器当前的识别能力，从而获得更好的集成效果，该文结合最小均方误差准则（MSE）下的最优线性集成方法给出了权重模型和训练算法，并与其它的线性集成模型作了比较，实验表明，不论在最优化准则下的最终误差还是在实际识别性能上，作者提出的方法都取得了最好的效果。     

一种自适应子融合集成多分类器方法

融合集成方法已经广泛应用在模式识别领域,然而一些基分类器实时性能稳定性较差,导致多分类器融合性能差,针对上述问题本文提出了一种新的基于多分类器的子融合集成分类器系统。该方法考虑在度量层融合层次之上通过对各类基多分类器进行动态选择,票数最多的类别作为融合系统中对特征向量识别的类别,构成一种新的自适应子融合集成分类器方法。实验表明,该方法比传统的分类器以及分类融合方法识别准确率明显更高,具有更好的鲁棒性。     

根据混合选择策略的直觉模糊核匹配追踪集成算法

为了从分类器集成系统中选择出一组差异性大的子分类器,从而提高集成系统的泛化能力,提出了一种基于混合选择策略的直觉模糊核匹配追踪算法.基本思想是通过扰动训练集和特征空间生成一组子分类器;然后采用k均值聚类算法将对所得子分类器进行修剪,删去其中的冗余分类器;最后根据实际识别目标动态选择出较高识别率的分类器组合,使选择性集成规模能够随识别目标的复杂程度而自适应地变化,并基于预期识别精度实现循环集成.实验结果表明,与其他常用的分类器选择方法相比,本文方法灵活高效,具有更好的识别效果和泛化能力.     

基于聚类和随机参考分类器的对海雷达目标识别算法*

为了进一步提高复杂干扰环境下对海雷达目标识别的泛化能力,提出基于k-medoids聚类和随机参考分类器(RRC)的动态选择集成算法(KMRRC).主要利用重采样技术生成多个基分类器,然后基于成对多样性度量准则将基分类器划分为多个簇,并基于校验数据集为每个基分类器构建相应的RRC模型,最后利用RRC从各个簇中动态选择竞争力最强的部分基分类器进行集成决策.通过寻优实验确定KMRRC的参数设置,随后利用Java调用Weka API在自建的目标全极化高分辨距离像(HRRP)样本库及17个UCI数据集上进行KMRRC与常用的9种集成算法和基分类算法的对比实验,并进一步研究多样性度量方法的选取对KMRRC性能的影响.实验验证文中算法在对海雷达目标识别领域的有效性.     

基于动态权值集成的手写数字识别方法

提出了一种基于动态权值集成的多分类器手写数字识别方法。该方法采用BP神经网络的方法,对不同的特征输入向量构建不同的神经网络分类器,通过设定动态权值,进而对不同的分类器的输出向量采用多类器集成方法进行系统集成。实验结果表明该方法具有较高的识别率和识别精度。     

一种新的启发式分类器选择方法

分类器选择是一种设计多分类器系统的有效方法,从给定候选分类器集中挑选出一个子集,使得该子集集成性能最佳。现有的分类器选择方法大多采用基于集成精度的随机搜索方法,但巨大的搜索复杂度限制了它们在更大系统中的应用。该文提出一种新的选择标准——IWCECR及一种基于IWCECR的启发式搜索算法,在手写体数字识别的实验中,从20个候选分类器中挑选子集,结果表明,该方法具有较高的搜索效率,在子集集成性能方面仅次于穷举法。     

人脸检测的继承式集成学习方法

基于"遗传+变异"模式,提出继承式集成学习方法框架,它可以训练出四种不同形式的层叠分类器。除了基于"无遗传"模式的基本层叠分类器与基于"全部遗传"模式的嵌入式层叠分类器两种传统方法之外,还有基于"部分遗传+部分变异"模式的特征继承层叠分类器与弱分类器继承层叠分类器。虽然后两种层叠分类器都有一定的继承代价,但是其拟合性更好,可以更好地均衡收敛速度和扩展性能,其综合性能优于传统方法。基于RAB、GAB算法与LUT弱分类器的正面直立人脸检测实验结果表明了新的继承式集成学习方法的有效性。     

Optimal linear combination of neural networks for improvingclassification performance

This paper presents a new method for linearly combining multiple neural network classifiers based on the statistical pattern recognition theory. In our approach, several neural networks are first selected based on which works best for each class in terms of minimizing classification errors. Then, they are linearly combined to form an ideal classifier that exploits the strengths of the individual classifiers. In this approach, the minimum classification error criterion is utilized to estimate the optimal linear weights. In this formulation, because the classification decision rule is incorporated into the cost function, a more suitable better combination of weights for the classification objective could be obtained. Experimental results using artificial and real data sets show that the proposed method can construct a better combined classifier that outperforms the best single classifier in terms of overall classification errors for test data     

Local Classifier Weighting by Quadratic Programming

It has been widely accepted that the classification accuracy can be improved by combining outputs of multiple classifiers. However, how to combine multiple classifiers with various (potentially conflicting) decisions is still an open problem. A rich collection of classifier combination procedures-many of which are heuristic in nature-have been developed for this goal. In this brief, we describe a dynamic approach to combine classifiers that have expertise in different regions of the input space. To this end, we use local classifier accuracy estimates to weight classifier outputs. Specifically, we estimate local recognition accuracies of classifiers near a query sample by utilizing its nearest neighbors, and then use these estimates to find the best weights of classifiers to label the query. The problem is formulated as a convex quadratic optimization problem, which returns optimal nonnegative classifier weights with respect to the chosen objective function, and the weights ensure that locally most accurate classifiers are weighted more heavily for labeling the query sample. Experimental results on several data sets indicate that the proposed weighting scheme outperforms other popular classifier combination schemes, particularly on problems with complex decision boundaries. Hence, the results indicate that local classification-accuracy-based combination techniques are well suited for decision making when the classifiers are trained by focusing on different regions of the input space.     

Class-specific multiple classifiers scheme to recognize emotions from speech signals

Automatic emotion recognition from speech signals is one of the important research areas, which adds value to machine intelligence. Pitch, duration, energy and Mel-frequency cepstral coefficients (MFCC) are the widely used features in the field of speech emotion recognition. A single classifier or a combination of classifiers is used to recognize emotions from the input features. The present work investigates the performance of the features of Autoregressive (AR) parameters, which include gain and reflection coefficients, in addition to the traditional linear prediction coefficients (LPC), to recognize emotions from speech signals. The classification performance of the features of AR parameters is studied using discriminant, k-nearest neighbor (KNN), Gaussian mixture model (GMM), back propagation artificial neural network (ANN) and support vector machine (SVM) classifiers and we find that the features of reflection coefficients recognize emotions better than the LPC. To improve the emotion recognition accuracy, we propose a class-specific multiple classifiers scheme, which is designed by multiple parallel classifiers, each of which is optimized to a class. Each classifier for an emotional class is built by a feature identified from a pool of features and a classifier identified from a pool of classifiers that optimize the recognition of the particular emotion. The outputs of the classifiers are combined by a decision level fusion technique. The experimental results show that the proposed scheme improves the emotion recognition accuracy. Further improvement in recognition accuracy is obtained when the scheme is built by including MFCC features in the pool of features.     

多分类器组合及其应用于手写体数字识别

在许多模式识别的应用中经常遇到这样的问题:组合多个分类器.提出了一种新的组合多个分类器的方法,这个方法由反向传播神经网络来控制,一个无标号的模式输入到每一个单独的分类器,它也同时输入到神经网络中来决定哪两个分类器作为冠军和亚军.让这两个分类器通过一个随机数发生器来决定最终的胜者.并且将这个方法应用到识别手写体数字.实验显示单个分类器的性能能够得到可观的改变.     

多分类器融合实现机型识别

针对空战目标识别中机型识别这一问题,提出了基于多分类器融合的识别方法。该方法以战术性能参数为输入,便于满足空战的实时性要求。通过广泛收集数据,得到机型识别的分类特征,选取分类特征的子集作为单分类器的特征,用BP网络设计单分类器,然后选用性能优良的和规则进行分类器融合,求得最终的决策。实验结果表明,多分类器融合的识别性能明显优于参与融合的分类器,也优于相同输入的单分类器。该方法的另一特点是能够进行缺省推理,因而有较强的抗干扰能力,适合真实战场环境的需要。     

Using the conflict in Dempster–Shafer evidence theory as a rejection criterion in classifier output combination for 3D human action recognition

In this paper, we propose a comprehensive solution to 3D human action recognition including feature extraction, classification, and multiple classifier combination. We effectively present two feature extraction methods, four different types of well-known classifiers, and four multiple classifier combination strategies including a specially designed belief based method. In order to enhance the recognition accuracy, we propose a new rejection criterion based on the conflict from the information sources: the classifier outputs. We test our method on the MSRAction 3D dataset. Discarding examples using the conflict based criterion shows superior results than other combination approaches. Moreover this criterion allows choosing a tradeoff between the performance and rejection rate.     

动态加权投票的多分类器聚合

在使用多分类器系统时,一种流行的方法是采用简单的多数投票策略来聚合多分类器。然而,当各个独立的分类器的性能不统一时,这种简单的多数投票规则会对分类结果造成负面影响。引入一种新的动态加权函数来聚合多个分类器,动态加权函数通过增加分类结果距离样本最近的分类器的权值来提高分类器的性能。在UCI机器学习数据库中的几个现实问题数据集上的实验结果表明动态加权的多分类器聚合方法比简单的多数投票方法能取得更好的分类结果。     

一种新的基于聚类的多分类器融合算法

提出了一种新的多分类器融合算法,该算法能找出各分类器在特征空间中局部性能较好的区域,并利用具有最优局部性能的分类器的输出作为最终的融合结果。首先,利用各分类器对训练样本进行分类,这样训练样本被划分为正确分类样本和错误分类样本两个集合;接着,对这两个样本集合分别进行聚类分析来划分特征空间,并计算各分类器在特征空间局部区域中的性能;在测试时,选择测试样本周围局部性能最优的分类器的输出作为最终的融合结果。基于ELENA数据集的实验显示了该算法的有效性。     

基于置信度的手写体数字识别多分类器动态组合

多分类器组合利用不同分类器、不同特征之间的互补性，提高了组合分类器的识别率。传统的组合方法里，各分类器在组合中所承担的角色是固定的，而实际应用中，对于不同的测试样本，每个分类器识别结果的可信度是不同的。该文根据分类器置信度理论，提出了各类别的置信度。用测试样本自身的置信度信息实现分类器的动态组合，并把这种动态组合方法具体应用到手写体数字的识别。这种方法还可以在不影响已有数据的情况下添加新的分类器进行组合。