基于余弦相似度和实例加权改进的贝叶斯算法

面对大量样本特征时很多分类器无法取得较好的分类效果,样本数有限导致贝叶斯算法无法获得精确的联合概率分布估计,在样本局部构建高质量分类器需要有效的样本相似性度量指标. 针对以上问题,提出了一种基于余弦相似度进行实例加权改进的朴素贝叶斯分类算法. 算法考虑特征对分类的决策权重不同,使用余弦相似度度量样本的相似性,选出最优训练样本子集,用相似度值作为训练样本的权值来训练修正后的贝叶斯模型进行分类. 基于UCI数据集的对比实验结果表明,提出的改进算法易于实现且具有更高的平均分类准确率.     

基于信息熵加权去噪的半监督SVM分类器

基于半监督学习思想,采用支持向量机算法来构建分类器,用大量未标识样本来改善分类器性能。标记后的未标识样本可能存在标记错误,采用信息熵加权的欧氏距离去噪方法,减少噪声样本对最优分类面构建的影响,并且对测试错误的数据进行人工反馈提高分类器精度。实验证明了该方法的有效性,去噪提高了分类器的准确率。     

基于加权分类损失和核范数的领域自适应模型

领域自适应将源域上学习到的知识迁移到目标域上,使得在带标签数据少的情况下也可以有效地训练模型。采用伪标签的领域自适应模型未考虑错误伪标签的影响,并且在决策边界处样本的分类准确率较低,针对上述问题提出了基于加权分类损失和核范数的领域自适应模型。该模型使用带有伪标签的可信样本特征与带有真实标签的源域样本特征构建辅助域,在辅助域上设计加权分类损失函数,降低错误伪标签在训练过程中产生的影响;加入批量核范数最大化损失,提高决策边界处样本的分类准确率。在Office31、Office-Home、Image-CLEFDA基准数据集上与之前模型的对比实验表明,该模型有更高的精确度。     

多决策模板分类器融合

针对多类分类问题提出了一种新的度量层分类器融合方法,为每个模式类设置多个决策模板,每个决策模板针对一种容易发生的分类错误,从而能够有效地降低错误率;此外,采用模糊系统表示Meta层样本与各个决策模板之间的关系,能够比较准确地计算样本属于各个模式类的总分类置信度。从公用数据仓库中选取了三个较大规模数据集对新方法进行测试,并且与k-近邻规则、投票法、朴素贝叶斯法、线性规则、模板匹配法等常用的分类器融合方法进行了比较。大量实验结果表明,对于类别数在3~15之间的分类问题,该方法具有较好的综合性能。     

基于多分类器协同学习的卷积神经网络训练算法

卷积神经网络(CNN)是一类重要的深度神经网络,然而其训练过程需要大量的已标记样本,从而限制了其实际应用。针对这一问题,分析了CNN分类器的协同学习过程,给出了基于迭代进化的分类器协同训练算法CAMC。该算法结合了CNN和多分类器协同训练的优势,首先采用不同的卷积核提取出多种样本特征以产生不同的CNN分类器;然后利用少量的已标记样本和大量的未标记样本对多个分类器进行协同训练,以持续提高分类性能。在人脸表情标准数据集上的实验结果表明,相对于传统的表情特征识别法LBP和Gabor,CAMC能够在分类过程中利用未标记样本持续实现性能提升,从而具有更高的分类准确率。     

基于准确率爬坡的动态加权集成分类算法

传统集成分类算法中,一般将集成数目设置为固定值,这可能会导致较低分类准确率。针对这一问题,提出了准确率爬坡集成分类算法（C-ECA）。首先,该算法不再用一些基分类器去替换相同数量的表现最差的基分类器,而是基于准确率对基分类器进行更新,然后确定最佳集成数目。其次,在C-ECA的基础上提出了基于爬坡的动态加权集成分类算法（C-DWECA）。该算法提出了一个加权函数,其在具有不同特征的数据流上训练基分类器时,可以获得基分类器的最佳权值,从而提升集成分类器的性能。最后,为了能更早地检测到概念漂移并提高最终精度,采用了快速霍夫丁漂移检测方法（FHDDM）。实验结果表明C-DWECA的准确率最高可达到97.44%,并且该算法的平均准确率比自适应多样性的在线增强（ADOB）算法提升了40%左右,也优于杠杆装袋（LevBag）、自适应随机森林（ARF）等其他对比算法。     

使用PCA建立基于规则的组合分类器

提出了一种使用基于规则的基分类器建立组合分类器的新方法PCARules。尽管新方法也采用基分类器预测的加权投票来决定待分类样本的类,但是为基分类器创建训练数据集的方法与bagging和boosting完全不同。该方法不是通过抽样为基分类器创建数据集,而是随机地将特征划分成K个子集,使用PCA得到每个子集的主成分,形成新的特征空间,并将所有训练数据映射到新的特征空间作为基分类器的训练集。在UCI机器学习库的30个随机选取的数据集上的实验表明:算法不仅能够显著提高基于规则的分类方法的分类性能,而且与bagging和boosting等传统组合方法相比,在大部分数据集上都具有更高的分类准确率。     

基于Tri-training算法的构造性学习方法

构造性机器学习(CML)算法在训练分类器时需要大量有标记样本,而获取这些有标记样本十分困难。为此,提出一种基于Tri-　training算法的构造性学习方法。根据已标记的样本,采用不同策略构造3个差异较大的初始覆盖分类网络,用于对未标记数据进行标记,再将已标记数据加入到训练样本中,调整各分类网络参数,反复进行上述过程,直至获得稳定的分类器。实验结果证明,与CML算法和基于NB分类器的半监督学习算法相比,该方法的分类准确率更高。     

结合半监督聚类和加权KNN的协同训练方法

针对协同训练方法在迭代时选择加入的无标记样本所隐含的有用信息不够,以及协同训练方法多个分类器标记不一致带来错误标记无标记样本的问题,提出了一种结合半监督聚类和加权[K]最近邻的协同训练方法。该方法在每次迭代过程中,先对训练集进行半监督聚类,选择隶属度高的无标记样本给朴素贝叶斯分类,再用加权[K]最近邻算法对多个分类器分类不一致的无标记样本重新分类。利用半监督聚类能够选择出较好表现数据空间结构的样本,而采用加权[K]最近邻算法为标记不一致的无标记样本重新标记能够解决标记不一致带来的分类精度降低问题。在UCI数据集上的对比实验验证了该算法的有效性。     

基于模板匹配的AdaBoost演化算法

提出了基于模板匹配的集成学习AdaBoost演化算法。在该演化算法中,采取训练正反类样本加权模板的方法来构造各个弱学习分类器,克服了常规的基于单一特征构造弱分类器的不足。实验表明,该算法不仅对印刷体字符和部分手写体数字具有较高的识别率,而且减少了分类器构造的训练时间,是稳定、有效的算法。     

针对不平衡数据的过采样和随机森林改进算法

针对数据不平衡带来的少数类样本识别率低的问题,提出通过加权策略对过采样和随机森林进行改进的算法,从数据预处理和算法两个方面降低数据不平衡对分类器的影响。数据预处理阶段应用合成少数类过采样技术(Synthetic Minority Oversampling Technique,SMOTE)降低数据不平衡度,每个少数类样本根据其相对于剩余样本的欧氏距离分配权重,使每个样本合成不同数量的新样本。算法改进阶段利用Kappa系数评价随机森林中决策树训练后的分类效果,并赋予每棵树相应的权重,使分类能力更好的树在投票阶段有更大的投票权,提高随机森林算法对不平衡数据的整体分类性能。在KEEL数据集上的实验表明,与未改进算法相比,改进后的算法对少数类样本分类准确率和整体样本分类性能有所提升。     

一种改进的加权融合算法

该文以多个支持向量机分类器的输出向量为基础,运用决策模板来估计各个分类器的精度,然后使用常见的融合规则实现融合算法,并将其运用到蛋白质结构类分类当中。实验表明:该算法可有效提高分类精度,因此具有一定的应用价值。     

基于模板匹配的手写数字决策分类器设计

针对手写数字识别提出一种基于模板匹配决策分类器设计方法。就该方法下的模式识别分类器设计进行详细论述,给出该分类器算法实现。该算法在对手写的数字图像进行预处理的基础上从待识别的手写数字图像中提取若干特征量与事先建立的标准模板库中模板对应的特征量进行比较,计算待识别图像和标准模板特征量之间的距离,用最小距离法判定其所属类。实验结果表明,该决策分类器算法实现容易,匹配速度快,保证字符识别的正确率。     

基于模板匹配的手写数字决策分类器设计

针对手写数字识别提出一种基于模板匹配决策分类器设计方法。就该方法下的模式识别分类器设计进行详细论述,给出该分类器算法实现。该算法在对手写的数字图像进行预处理的基础上从待识剐的手写数字图像中提取若干特征量与事先建立的标准模板库中模板对应的特征量进行比较,计算待识别图像和标准模板特征量之间的距离,用最小距离法判定其所属类。实验结果表明,该决策分类器算法实现容易,匹配速度快,保证字符识别的正确率。     

基于决策树对支持向量机的医学图像分类新方法

针对传统对支持向量机多类分类算法（Multi-TWSVM）中出现的模糊性问题,提出了一种基于遗传算法的决策树对支持向量机（GA-DTTSVM）多类分类算法。GA-DTTSVM用遗传算法对特征数据建立决策树,通过构建决策树可以分离样本的模糊区域,提高模糊区域样本的识别率。在决策树的每个节点上用对支持向量机（TWSVM）训练分类器,最后用训练的分类器进行分类和预测。实验结果表明,与决策树对支持向量机（DTTSVM）多类分类算法以及Multi-TWSVM相比,GA-DTTSVM多类分类算法具有较高的分类精度和较快的训练速度。     

基于结构优化的DDAG-SVM上肢康复训练动作识别方法

针对上肢康复训练系统中训练评估方法核心的动作识别问题,提出一种面向Brunnstrom 4~5期患者上肢康复训练动作的SODDAG-SVM(Structure-optimized decision directed acyclic graph-support vector machine)多分类识别方法.首先将多分类问题分解成一组二分类问题,并使用支持向量机构建各二分类器,分别采用遗传算法和特征子集区分度准则对各二分类器的核函数参数及特征子集进行优化.然后使用类对的SVM二分类器泛化误差来衡量每个类对的易被分离程度,并由其建立类对泛化误差上三角矩阵.最后由根节点开始,依次根据各节点的泛化误差矩阵,通过选择其中最易被分离类对的SVM分类器构成该节点的方式,来构建SODDAG-SVM多分类器结构.当待预测的实例较少时,直接构建实例经过的SODDAG-SVM部分结构并对实例进行预测;当待预测的实例较多时,先构建完整的SODDAG-SVM结构,再代入所有实例进行预测.通过人体传感技术获得Brunnstrom 4~5阶段上肢康复训练的常用动作样本集,进行SODDAG-SVM动作识别实验,准确率达到了95.49%,结果均优于常规的决策有向无环图(Decision directed acyceic graph,DDAG)和MaxWins方法,实验表明本文方法能有效地提高上肢康复训练动作识别的准确率.     

Recognition of objects given by collections of multichannel images

This paper proposes a multiclass metric classifier of composite objects given by collections of multichannel images that are generated by various sources. The classifier is constructed in a space of multilayer tree-structured representations of the objects and based on making a decision by weighted voting of template objects. In the set of the object representations, we define a family of embedded measures, which provides a scheme of fusing the sources and channels by the general weighted measure. A computational gain of a proposed guided search algorithm as compared with an exhaustive search decision algorithm is estimated analytically. An efficiency of the classifier is demonstrated by experimental estimates of recognition error rates for biometric composite objects that are produced by a couple of sources which generate grayscale images of signatures and color images of faces. The recognition error rates over the individual channels of the sources, as well as over the couple of the sources, are given. An advantage of the fusion scheme by the general weighted measure in relation to the known fusion scheme by voting decisions over individual channels is shown.     

基于集成分类器的数据流分类算法

作为一种典型的大数据,数据流具有连续、无限、概念漂移和快速到达等特点,因此传统的分类技术无法直接有效地应用于数据流挖掘。本文在经典的精度加权集成（Accuracy weighted ensemble,AWE）算法的基础上提出概念自适应快速决策树更新集成（Concept very fast decision tree update ensemble,CUE）算法。该算法不仅在基分类器的权重分配方面进行了改进,而且在解决数据块大小的敏感性问题以及增加基分类器之间的相异性方面,有明显的改善。实验表明在分类准确率上,CUE算法高于AWE算法。最后,提出聚类动态分类器选择（Dynamic classifier selection with clustering,DCSC）算法。该算法基于分类器动态选择的思想,没有繁琐的赋权值机制,所以时间效率较高。实验结果验证了DCSC算法的有效和高效性,并能有效地处理概念漂移。     

Research on Hyperspectral Imagery Land Cover ClassificationMethod based on AdaBoost Improved Random Forest

In order to improve the classification accuracy of hyperspectral images,a new weighted random forest method based on AdaBoost is proposed.In this method,the concept of sample weight is introduced,and then the weight of each sample will be adjusted according to whether the sample is correctly classified.Those misclassified samples will be given higher weight value,to attract more attention of the classifier to improve the classification.Furthermore,the method gives the voting weight to every basic classifier according to their classification error rate.The basic classifier with higher classification accuracy will obtain larger voting weight.Two sets of Hyperspectral data(The CASI Hyperspectral Data acquired in Heihe region and CHRIS Hyperspectral Data acquired in the Yellow River Estuary) are used to verify the validity of the method.The results show that the weighted random forest has a better performance than the equal weight random forest and the SVM method in the overall classification accuracy,the average classification accuracy and the Kappa coefficient,which proves the efficiency of the proposed method.