基于K-medoids聚类的贝叶斯集成算法

朴素贝叶斯分类算法由于其计算高效在生活中应用广泛。本文根据集成算法的差异性特征,聚类算法聚类点的选择方式的可变性,提出了基于K-medoids聚类技术的贝叶斯集成算法,朴素贝叶斯的泛化性能得到了提升。首先,通过样本集训练出多个朴素贝叶斯基分类器模型;然后,为了增大基分类器之间的差异性,利用K-medoids算法对基分类器在验证集上的预测结果进行聚类;最后,从每个聚类簇中选择泛化性能最佳的基分类器进行集成学习,最终结果由简单投票法得出。将该算法应用于UCI数据集,并与其他类似算法进行比较可得,本文提出的基于K-medoids聚类的贝叶斯集成算法(NBKME)提高了数据集的分类准确率。     

基于SVDD的半监督入侵检测研究

提出了一种基于SVDD的半监督入侵检测算法.该算法利用少量有标记正常网络数据建立两个SVDD分类器,通过相互学习来挖掘未标记数据中的隐含信息,扩大有标记正常网络数据的数量.再利用所有已标记正常网络数据用不同的单分类方法建立多个单类分类器,通过集成学习的方法得到最终的分类器.实验表明,该算法具有良好的识别性能.     

加权解码在解决纠错输出编码Consistent-Diverse平衡问题的应用

 纠错输出编码作为解决多类分类问题的通用集成框架,能有效的把多类问题分解为二类问题从而使问题得以简化.然而在生成基分类器的过程中,经常面临提高基分类器之间的差异性和增加各基分类器与集成分类器学习的一致性的矛盾,称之为consistent-diverse平衡问题.在保证差异性的前提下减小由学习不一致性引起的分类错误率是解决该平衡问题的一个出发点,在此利用加权解码,通过对加权系数矩阵的再学习进而减弱和消除由基分类器学习不一致性产生的误差.实验利用人工数据集和UCI数据集分别加以验证,结果表明以集成分类器的分类错误率为适应度函数的遗传算法搜索出的最优加权系数矩阵相比其它方法产生的系数矩阵在解决consistent-diverse平衡问题更具有优越性.     

基于L1范数稀疏距离测度学习的单类分类算法

 已有单类分类算法通常采用欧氏测度描述样本间相似关系,然而欧氏测度有时难以较好地反映一些数据集样本的内在分布结构,为此提出一种用于改善单类分类器描述性能的高维空间单类数据距离测度学习算法,与已有距离测度学习算法相比,该算法只需提供目标类数据,通过引入样本先验分布正则化项和L1范数惩罚的距离测度稀疏性约束,能有效解决高维空间小样本情况下的单类数据距离测度学习问题,并通过采用分块协调下降算法高效的解决距离测度学习的优化问题.学习得到的距离测度能容易地嵌入到单类分类器中,仿真实验结果表明采用学习得到的距离测度能有效改善单类分类器的描述性能,特别能够改善覆盖分类的描述能力,从而使得单类分类器具有更强的推广能力.     

基于MapReduce技术的并行集成分类算法

由于计算机内存资源限制,分类器组合的有效性及最优性选择是机器学习领域的主要研究内容。经典的集成分类算法在处理小数据集时,拥有较高的分类准确性,但面对大量数据时,由于多基分类器学习、分类共用1台计算机资源,导致运算效率较低,这显然不适合处理当今的海量数据。针对已有集成分类算法只适合作用于小规模数据集的缺点,剖析了集成分类器的特性,采用基于聚合方式的集成分类器和云计算的MapReduce技术设计了并行集成分类算法(EMapReduce),达到并行处理大规模数据的目的。并在Amazon计算集群上模拟实验,实验结果表明该算法具有一定的高效性和可行性。     

基于优化Adaboost迭代过程的SVM集成算法

为提高Adaboost算法迭代过程中生成基分类器的分类精度以及简化整个集成学习系统的复杂度,文章提出了一种优化Adaboost迭代过程的SVM集成算法。该算法提出了一种在其迭代过程中加入样本选择和特征选择的集成方法。通过均值近邻算法对样本进行选择,并利用相对熵法进行特征选择,最后利用优化得到的特征样本子集对基分类器SVM进行训练,并用加权投票法融合各个SVM基分类器的决策结果进行最终判决。通过对UCI数据集的仿真结果表明,本算法与支持向量机集成算法相比,能够在更少的样本以及特征的基础上,实现较高的识别正确率。     

一种提高神经网络集成差异性的学习方法

集成学习已经成为机器学习的研究方向之一,它可以显著地提高分类器的泛化性能.本文分析了Bagging及AdaBoost集成方法,指出了这两种方法的缺陷;然后提出了一种新的基于神经网络的分类器集成方法DBNNE,该方法通过生成差异数据增加集成的差异性;另外,当生成一个分类器后,采用了测试方法确保分类器集成的正确率;最后针对十个标准数据集进行了实验研究,结果表明集成算法DBNNE在小规模数据集上优于Bagging及AdaBoost集成方法,而在较大数据集上也不逊色于这两种集成方法.     

基于神经网络的纠错输出编码方法研究

构造基于数据编码矩阵是目前利用纠错输出编码解决多类分类问题的研究重点.为此提出利用单层感知器作为学习框架,结合解码策略把输出编码矩阵各码元值映射为感知器网络中的权值,同时引入含权值取值约束的目标函数作为该网络代价函数,并对其进行学习,最终得到基于子类划分的数据编码矩阵.实验中利用人工数据集和UCI数据集并选择线性逻辑分类器作为基分类器分别进行测试,通过与几种经典编码方法比较,结果表明该编码方法能在编码长度较小情况下得到更好的分类效果.     

基于随机子空间和AdaBoost的自适应集成方法

如何构造差异性大且精确度高的基分类器是集成学习的重点,为此提出一种新的集成学习方法——利用PSO寻找使得AdaBoost依样本权重抽取的数据集分类错误率最小化的最优特征权重分布,依据此最优权重分布对特征随机抽样生成随机子空间,并应用于AdaBoost的训练过程中.这就在增加分类器间差异性的同时保证了基分类器的准确度.最后用多数投票法融合各基分类器的决策结果,并通过仿真实验验证该方法的有效性.     

一种SVM集成的图像分类方法研究*

针对单分类器没有充分考虑数据集的特征而不能很好地完成分类识别,提出了一种基于集成学习技术的SVM集成的图像分类方法。该方法是在基于较为流行的词袋(Bag-of-Words,BOW)模型的图像分类方法的基础上,利用训练生成的不同SVM分类器分类测试图像,并将分类结果采用集成学习算法进行集成。分别采用传统的BOW模型的图像分类方法和本文提出的方法进行分类实验,实验结果表明采用SVM集成的图像分类方法明显提高了分类精度,具有一定的稳健性。     

分类器组合技术的多样性研究

分类器组合技术可以提高模式识别的性能,受到了模式识别领域研究人员的广泛关注。实现成员分类器的多样性是提高分类器组合泛化能力主要手段。本文从成员分类器的生成介绍了实现成员分类器多样性的各种方法,同时介绍了度量成员分类器多样性的各种技术,并提出了一种如何训练多样性成员分类器的技术思路。     

Co-Occurrence Histogram Based Ensemble of Classifiers for Classification of Cervical Cancer Cells

To explore the potential of conventional image processing techniques in the classification of cervical cancer cells, in this work, a co-occurrence histogram method was employed for image feature extraction and an ensemble classifier was developed by combining the base classifiers, namely, the artificial neural network (ANN), random forest (RF), and support vector machine (SVM), for image classification. The segmented pap-smear cell image dataset was constructed by the k-means clustering technique and used to evaluate the performance of the ensemble classifier which was formed by the combination of above considered base classifiers. The result was also compared with that achieved by the individual base classifiers as well as that trained with color, texture, and shape features. The maximum average classification accuracy of 93.44% was obtained when the ensemble classifier was applied and trained with co-occurrence histogram features, which indicates that the ensemble classifier trained with co-occurrence histogram features is more suitable and advantageous for the classification of cervical cancer cells.     

一种集成式Beta过程最大间隔一类分类方法

一类分类是一种将目标类样本和其他所有的非目标类样本区分开的分类方法。传统的一类分类方法针对所有训练样本建立一个分类器,忽视了数据的内在结构,在样本分布复杂时,其分类性能会严重下降。为了提升复杂分布情况下的分类性能,该文提出一种集成式Beta过程最大间隔一类方法。该方法利用Dirichlet过程混合模型(DPM)对训练样本聚类,同时在每一个聚类学习一个Beta过程最大间隔一类分类器。通过多个分类器的集成,可以构造出一个描述能力更强的分类器,提升复杂分布下的分类效果。DPM聚类模型和Beta过程最大间隔一类分类器在同一个贝叶斯框架下联合优化,保证了每一个聚类样本的可分性。此外,在Beta过程最大间隔一类分类器中,加入了服从Beta过程先验分布的特征选择因子,从而可以降低特征冗余度以及提升分类效果。基于仿真数据、公共数据集和实测SAR图像数据的实验结果证明了所提方法的有效性。     

Automated diagnosis of diseases based on classification: dynamic determination of the number of trees in random forests algorithm

The accurate diagnosis of diseases with high prevalence rate, such as Alzheimer, Parkinson, diabetes, breast cancer, and heart diseases, is one of the most important biomedical problems whose administration is imperative. In this paper, we present a new method for the automated diagnosis of diseases based on the improvement of random forests classification algorithm. More specifically, the dynamic determination of the optimum number of base classifiers composing the random forests is addressed. The proposed method is different from most of the methods reported in the literature, which follow an overproduce-and-choose strategy, where the members of the ensemble are selected from a pool of classifiers, which is known a priori. In our case, the number of classifiers is determined during the growing procedure of the forest. Additionally, the proposed method produces an ensemble not only accurate, but also diverse, ensuring the two important properties that should characterize an ensemble classifier. The method is based on an online fitting procedure and it is evaluated using eight biomedical datasets and five versions of the random forests algorithm (40 cases). The method decided correctly the number of trees in 90% of the test cases.     

利用0-1矩阵分解集成的极化SAR图像分类

全极化合成孔径雷达(PolSAR)图像蕴含更丰富的散射信息,具有更多的可用特征。如何使用这些特征是极化SAR图像分类中非常重要的一步,但是目前尚未对此提出非常明确的准则。为了能够有效地解决上述问题,该文提出一种基于特征加权集成的极化SAR图像分类算法。该算法采用0-1矩阵分解集成方法对包括不同特征的数据集进行学习获得相应加权系数,并通过对每个特征集获得的预测结果进行加权集成来提高极化SAR图像分类性能。首先,输入极化SAR数据,获得极化特征作为原始特征集,并对其进行随机抽取获得不同的特征子集;然后,使用0-1矩阵集成算法得到每个特征值相对应的加权系数;最后,通过对各个特征子集的预测结果进行集成得到最终极化SAR图像分类结果。实测L波段和C波段极化数据的实验结果表明,该算法可以有效地提高极化SAR图像分类的准确度。     

Classification with ensembles and case study on functional magnetic resonance imaging

The ensemble is a technique that strategically combines basic models to achieve better accuracy rates. Diversity, combination methods, and selection topology are the main factors determining ensemble performance. Consequently, it is a challenging task to design an efficient ensemble scheme. Even though numerous paradigms have been proposed to classify ensemble schemes, there is still much room for improvement. This paper proposes a general framework for creating ensembles in the context of classification. Specifically, the ensemble framework consists of four stages: objectives, data preparing, model training, and model testing. It is comprehensive to design diverse ensembles. The proposed ensemble approach can be used for a wide variety of machine learning tasks. We validate our approach on real-world datasets. The experimental results show the efficiency of the proposed approach.     

基于局部线性变换的HUGO图像隐写检测

Pevny等人2010年提出一种最先进的高度不可检测的自适应空域隐写算法HUGO(Highly Undetectable Steganography),其保护了相邻四个像素的一阶统计特性,具有很强的抗检测性能,目前国内外针对HUGO检测缺乏有效的方法。由于用HUGO隐写算法进行隐写嵌入时改变部分纹理特征,本文提出一种新的检测方法,利用局部线性变换得到纹理残差图像,计算共生矩阵得到22130维特征向量,最后使用集成分类器进行分类。实验结果表明:在嵌入率为0.4bpp时,针对BOSSRank图像集,获得平均82.71%的检测率,优于Hugobreaker的80.3%和Guel的76.8%,并在低于0.4bpp嵌入率时,其检测效果有所提高。