基于增量贝叶斯的双偏振气象雷达降水粒子分类方法

面对降水粒子分类过程中可能存在的样本数不足,样本质量不高的问题,提出一种基于增量贝叶斯的双偏振气象雷达降水粒子分类方法。该方法首先处理有标签的训练数据集,获取属性节点和类节点之间的条件概率表构建朴素贝叶斯分类器;接着使用朴素贝叶斯分类器分类无标签数据,判断类置信度值后将符合条件的数据追加到训练数据集中,最后修正朴素贝叶斯分类器完成增量学习,得到增量贝叶斯分类器实现降水粒子分类。增量贝叶斯分类器不仅能够增加有效的数据样本,还能够及时更新分类器从而提高其泛化性和适应性,分类结果的准确性也得到了一定的改善。     

基于信息熵差异性度量的数据流增量集成分类算法

对分类器之间的差异性进行了研究,提出了一种基于信息熵差异性度量的增量集成分类算法,将信息熵差异性度量方法融入到基分类器选择过程中,通过对训练数据集的基分类结果的信息熵差异度计算,采用循环迭代优化的选择方法,以熵差异性最优化为约束目标,动态调整基分类器个数,实现了分类准确稳定,减少了系统开销。通过实验比对,证明了算法在数据流处理时比其他算法具有更小的开销和较强的适应性。     

基于混合多样性生成与修剪的集成单类分类算法

针对传统集成学习方法直接应用于单类分类器效果不理想的问题,该文首先证明了集成学习方法能够提升单类分类器的性能,同时证明了若基分类器集不经选择会导致集成后性能下降;接着指出了经典集成方法直接应用于单类分类器集成时存在基分类器多样性严重不足的问题,并提出了一种能够提高多样性的基单类分类器混合生成策略;最后从集成损失构成的角度拆分集成单类分类器的损失函数,针对性地构造了集成单类分类器修剪策略并提出一种基于混合多样性生成和修剪的单类分类器集成算法,简称为PHD-EOC。在UCI标准数据集和恶意程序行为检测数据集上的实验结果表明,PHD-EOC算法兼顾多样性与单类分类性能,在各种单类分类器评价指标上均较经典集成学习方法有更好的表现,并降低了决策阶段的时间复杂度。     

结合朴素贝叶斯和欧氏距离的二类非均衡数据集成方法

随着数据挖掘技术的发展,传统集成方法中的集成规则,例如 Max rule, Min rule, Product rule, 以及 Sum rule,已经不能满足现实中对于二类非均衡数据分类正确率的需要。因此本文提出了基于朴素贝叶斯和欧氏距离的二类非均衡数据集成方法。该集成方法是以朴素贝叶斯为基分类器,其集成规则通过引入测试数据与训练数据之间的欧式距离以及训练数据中多数类与少数类之间的关系,在空间距离上加强了最终的分类结果与原始训练数据之间的关联性。实验结果表明,该集成方法在处理二类非均衡数据时,Area Under roc Curve(AUC)值与现存的集成方法相比显著提高,从而具有更好的分类性能。因此,本文方法在处理二类非均衡数据时具有明显优势。      

一种基于遗传算法的数据抽样方法

朴素贝叶斯分类器是一种基于独立假设的贝叶斯定理的简单概率分类器,依靠精确的自然概率模型,在有监督学习的样本集中能获取得非常好的分类效果。本文以朴素贝叶斯分类器为基础,提出一种最优保存简单遗传算法为搜索方法,随机抽样分类测试作为适应性函数来设计实现实例选择算法。实验表明,该抽样方法在不降低朴素贝叶斯分类器精度的前提下明显降低计算代价,对部分数据集还可有效地提高分类器的分类精度。     

一种基于Bagging和混淆矩阵的自适应选择性集成

为了平衡集成学习中差异性和准确性的关系并提高学习系统的泛化性能,提出一种基于Bagging和混淆矩阵的选择性集成方法.基本思想是通过扰动训练集和特征空间生成基分类器,根据每一个基分类器的混淆矩阵构造一个基分类器间相关性的度量矩阵;然后基于相关性度量矩阵对基分类器集合进行子集划分,在每个划分中选择一个基分类器参与集成;最后用多数投票法融合所选基分类器的决策结果,并通过仿真实验验证该方法的有效性.     

一种分层多算法集成的微博情感分类方法

目前主观信息情感分类常用的方法主要有基于知识工程和基于统计两类,其中基于统计的机器学习方法在效率上优于基于知识的方法,但单一的机器学习算法有各自的优缺点,难以胜任复杂的分类任务。本文将微博情感判别任务分层,在不同层次选择合适的机器学习算法,提出了一种多算法集成的微博细粒度情感分类方法。首先采用朴素贝叶斯(NB)分类器对微博进行有无情绪分类,然后采用AdaBoost集成算法对KNN进行集成训练出多个分类器,对有情绪微博基于训练出的多个分类器通过线性组合模型进行情感判别。实验结果表明,在文本分类任务中合理集成不同机器学习算法,较单一机器学习算法和基于情感词典的方法能够提高分类性能。     

一种提高神经网络集成差异性的学习方法

集成学习已经成为机器学习的研究方向之一,它可以显著地提高分类器的泛化性能.本文分析了Bagging及AdaBoost集成方法,指出了这两种方法的缺陷;然后提出了一种新的基于神经网络的分类器集成方法DBNNE,该方法通过生成差异数据增加集成的差异性;另外,当生成一个分类器后,采用了测试方法确保分类器集成的正确率;最后针对十个标准数据集进行了实验研究,结果表明集成算法DBNNE在小规模数据集上优于Bagging及AdaBoost集成方法,而在较大数据集上也不逊色于这两种集成方法.     

基于贝叶斯分类器的图像隐写分析

集成分类器是目前用于图像隐写分析的主流分类器。为提高集成分类器的检测精度,针对集成分类器基分类器组合方法过于简单,无法体现基分类器之间的内在联系,不能从整体上对结果进行判定的缺点,依据图像特征在集成分类器分类超平面上的投影值服从多维正态分布这一特性,提出了一种基于贝叶斯分类器的图像隐写分析算法。首先基于随机森林算法生成若干基分类器,然后计算类条件概率密度函数与先验概率并训练贝叶斯分类器,最后使用经过训练的贝叶斯分类器代替简单投票方法进行分类判决。算法的检测错误率比以往算法平均降低了1.6%,ROC曲线比简单投票方法更接近于左上角,即具有更高的检测率,AUC值平均增长约2.12%,并且训练时间仅有少量提高,最大提高约2.610s。可以有效提高集成分类器的检测精度。     

基于多分类器集成的区块链网络层异常流量检测方法

为提升对区块链网络层混合型攻击流量的综合泛化特征感知能力,增强异常流量检测性能,提出一种具有支持异常数据综合判决机制和强泛化能力的基于多分类器集成的区块链网络层异常流量检测方法。首先,为扩大所用基分类器的输入特征子集差异度,提出基于区分度和冗余信息量特征子集选择算法,特征筛选过程中激励高区分度子集项输出,同时抑制冗余信息生成。其次,在Bagging集成算法中引入随机方差缩减梯度算法动态调整各基模型投票权重,提升对混合型攻击流量的检测泛化能力。最后,为了将集成算法输出的低维数值向量向高维空间映射,提出基于数据场概念的局部离群因子算法,并基于数据点间势差放大各样本数据点空间密度分布差异性,提升异常数据点检测召回率。实验结果表明,相较于单一分类检测器集成方法,所提方法的异常检测准确率、召回率分别平均提升1.57%、2.71%。     

分类器组合技术的多样性研究

分类器组合技术可以提高模式识别的性能,受到了模式识别领域研究人员的广泛关注。实现成员分类器的多样性是提高分类器组合泛化能力主要手段。本文从成员分类器的生成介绍了实现成员分类器多样性的各种方法,同时介绍了度量成员分类器多样性的各种技术,并提出了一种如何训练多样性成员分类器的技术思路。     

Co-Occurrence Histogram Based Ensemble of Classifiers for Classification of Cervical Cancer Cells

To explore the potential of conventional image processing techniques in the classification of cervical cancer cells, in this work, a co-occurrence histogram method was employed for image feature extraction and an ensemble classifier was developed by combining the base classifiers, namely, the artificial neural network (ANN), random forest (RF), and support vector machine (SVM), for image classification. The segmented pap-smear cell image dataset was constructed by the k-means clustering technique and used to evaluate the performance of the ensemble classifier which was formed by the combination of above considered base classifiers. The result was also compared with that achieved by the individual base classifiers as well as that trained with color, texture, and shape features. The maximum average classification accuracy of 93.44% was obtained when the ensemble classifier was applied and trained with co-occurrence histogram features, which indicates that the ensemble classifier trained with co-occurrence histogram features is more suitable and advantageous for the classification of cervical cancer cells.     

一种基于集成卷积神经网络的SAR图像目标识别算法

针对合成孔径雷达(Synthetic Aperture Radar, SAR)图像目标识别问题，提出了一种基于集成卷积神经网络(Convolutional Neural Network, CNN)的SAR图像目标识别方法。首先对原始数据集进行数据增强的预处理操作，以扩充训练样本；接着通过重采样的方法从训练样本中获取不同的训练子集，并在训练各基分类器时引入Dropout和Padding操作，有效增强了网络泛化能力；然后采用Adadelta算法与Nesterov动量法结合的思想来优化网络，提高了网络的收敛速度和识别精度；最后采用相对多数投票法对基分类器的分类结果进行集成。在MSTAR数据集上进行的实验结果表明，集成后的模型识别准确率达到99.30%,识别性能优于单个卷积神经网络，具有较强的泛化能力和较好的稳健性。     

一种基于证据理论的多类半监督分类算法

为了提高多类半监督分类的性能,提出了一种基于证据理论的多类协同森林算法（DSM-Co-Forest）.首先,通过"多对多"模式将有标记的多类数据随机拆分为多个二类数据集,并以此训练二类基分类器;然后,利用多个基分类器同时对未标记样本进行预测,并利用证据组合算法挑选出可信度较高的未标记样本;最后,将高可信度的未标记样本加入到原训练样本中,以迭代更新其他的基分类器,从而提高分类器的整体性能.通过在一些公共数据集上进行实验,并与其他半监督分类算法进行对比,验证了所提算法的可行性和有效性.     

基于图的Co-Training网页分类

 本文充分利用网页数据的超链接关系和文本信息,提出了一种用于网页分类的归纳式半监督学习算法:基于图的Co-training网页分类算法(Graph based Co-training algorithm for web page classification),简称GCo-training,并从理论上证明了算法的有效性.GCo-training在Co-training算法框架下,迭代地学习一个基于由超链接信息构造的图的半监督分类器和一个基于文本特征的Bayes 分类器.基于图的半监督分类器只利用少量的标记数据,通过挖掘数据间大量的关系信息就可达到比较高的预测精度,可为Bayes分类器提供大量的标记信息;反过来学习大量标记信息后的Bayes分类器也可为基于图的分类器提供有效信息.迭代过程中,二者互相帮助,不断提高各自的性能,而后Bayes分类器可以用来预测大量未见数据的类别.在Web→KB数据集上的实验结果表明,与利用文本特征和锚文本特征的Co-training算法和基于EM的Bayes算法相比,GCo-training算法性能优越.     

Pattern recognition algorithms based on space-filling curves andorthogonal expansions

The classical problem of constructing a multidimensional pattern classifier in the Bayesian framework is considered. Preprocessing of the learning sequence by a quasi-inverse of a space-filling curve is proposed and properties of space-filling curves which are necessary to obtain Bayes risk consistency are indicated. The learning sequence transformed into the unit interval is used to estimate the coefficients in an orthogonal expansion of the Bayes decision rule. To transform a new observation into the unit interval requires O(d) elementary operations, where d is the dimension of the observation space. Strong Bayes risk consistency of the classifiers is proved when distributions of the random pair of the observation vector and its class are absolutely continuous with respect to the Lebesgue measure. Attainable convergence rate of the Bayes risk is discussed. Details of the classification algorithm based on the Haar series and its properties are presented. Distribution-free consistency of the classifier is established. The performance of such a classifier is tested both on simulated data and on the standard benchmarks providing misclassification errors comparable to, or even better than the k nearest neighbors (k-NN) method     

一种基于维规约的属性加权朴素贝叶斯算法

朴素贝叶斯算法是一种简单而高效的分类算法,但它的属性的条件独立性假设在现实中往往不成立,而且算法本身对高维数据不敏感,如何提高高维数据的分类性能是一个重要的问题.通过确定权重系数进行算法改进,用改进的算法对基于条件信息熵、主成分分析和独立成分分析处理的数据进行分类,并分析性能.     

一种新的多类模式识别方法

提出了一种基于支撑向量机的多类分类器，用N-1个支撑向量机组合构成一个具有二叉树结构形式的N-多类分类器．讨论了该多类分类器的泛化推广能力，同时还提出了该多类分类器的基于特征空间的BTSVM学习算法，BTSVM算法使用核函数转换的方式计算特征空间的样本距离；采用类间最小距离最大化作为聚类准则，在每个决策结点产生两个最优子集；然后采用支撑向量机学习算法学习两个最优子集，确定决策结点的最优分类面．理论和实验结果表明，本文提出的基于支撑向量机的多类分类器在整体性能上要优于其它类似的分类器系统。