TAN分类器结构等价类空间及其在分类器学习算法中的应用

为了认识树形贝叶斯网络(TAN)分类器结构中边的方向与分类精度的关系,以条件对数似然函数为优化目标,研究了TAN分类器结构空间和TAN分类器结构等价类空间,证明了随着训练数据集合的增大,TAN分类器结构中边的方向不对分类器的分类精度产生影响,并提出了一个不考虑边重定向的TAN分类器学习算法,用实验验证了其有效性.     

基于两阶段集成学习的分类器集成

为了学习集成函数,提高分类性能,提出了两阶段集成学习方法(two-phases ensemble learning,简称为TPEL).结合垃圾邮件过滤一个2类文本分类问题,在4个公用数据集上对TPEL进行了一系列实验.实验结果表明,TPEL受集成的个体分类器个数的影响甚微;利用TPEL集成异构的多个分类器时效果显著;利用TPEL集成多个同构分类器时,绝大部分情况下取得了优于朴素贝叶斯等算法的结果,对稳定或不稳定学习器的集成效果都很好;TPEL的时间复杂度较低.     

基于改进PLSA分类器的目标分类算法

通过SIFT描述目标特征,利用Bag-of-words模型将目标特征构建为codebook,通过PLSA分类器对目标进行分类,根据PLSA分类学习过程中存在迭代复杂的问题,将贝叶斯分类器中的直接统计方法替换PLSA中最大似然估计,为PLSA提供足够的先验知识,减少学习过程中迭代次数,实验结果表明,相比于传统PLSA分类算法,本文方法检测结果较为准确,算法切实可行。     

一种基于K2结构学习算法的石漠化数据特征选择方法

在石漠化信息的分类和提取过程中,冗余特征的存在影响分类器的性能,同时增加计算的复杂度。提出一种基于K2结构学习算法的石漠化数据特征选择方法,该方法通过BIC评分方法得到贝叶斯网络的结构,从中获得类节点的马尔可夫覆盖,继而进行特征选择。同时借用不同评分函数的等价性来确定结构学习时所需的样本数,并且给出了样本数的参考。实验表明,该方法由于结合了样本的分类信息,获得的特征子集是最优的,显著提高了分类精度,降低了计算复杂度。     

基于贝叶斯扩张树的文本分类算法

将文本的特征作为贝叶斯网络的节点,根据样本数据计算节点之间的互信息,并且将它们作为网络中边的权。利用 Kruskal 算法构造了一种简单的贝叶斯网络—贝叶斯扩张树,使它具有最大对数似然值。利用贝叶斯条件概率公式,将贝叶斯扩张树作为分类器对文档集中的文档进行分类。     

基于深度双向分类器链的多标签新闻分类算法

在多标签新闻分类问题中,针对传统分类器链算法难以确定标签依赖顺序、集成模型运行效率低和无法应用复杂模型作为基分类器的问题,提出基于深度神经网络的双向分类器链算法. 该方法利用正向分类器链获取每个标签和前面所有标签的依赖关系,引入逆向分类器链,从正向链最后一个基分类器的输出开始反向学习每个标签和所有其他标签的相关性. 为了提取非线性标签相关性和提高预测性能,使用深度神经网络作为基分类器. 结合2条分类器链的均方误差,使用随机梯度下降算法对目标函数进行有效优化. 在多标签新闻分类数据集RCV1-v2上,将所提算法与当前主流的分类器链算法和其他多标签分类算法进行对比和分析. 实验结果表明,利用深度双向分类器链算法能够有效提升预测性能.     

一种基于遗传算法的受限制的分类器学习算法

提出了一种基于遗传算法的受限制BAN分类器算法-GBAN(genetic algorithm based BAN)。新算法采用了遗传算法进行网络结构的学习,限制了所学习的BAN分类器结构的复杂度。同时对TAN分类器的结构进行了扩展,得到了一种受限制的BAN分类器。针对这种分类器的结构学习,设计了结合对数似然的适应度函数及相应的遗传算子,并给出了网络结构的编码方案,使得该算法能够收敛到全局最优的结构。实验结果表明,当数据集属性之间关系相对复杂的时候,GBAN比TAN的分类准确率高,分类效果较好。     

基于对比学习的双分类器无监督域适配模型

针对深度域适配问题中冗余信息导致模型性能不佳的问题,提出基于对比学习的双分类器域适配模型.该模型基于双分类器对抗理论,首先,将输入数据增强2次以获得2个视角的特征,通过将不同视角的特征输入不同的分类器提高分类器的多样性;其次,将双分类器方法和对比学习思想结合,使模型能够捕获数据的高层语义表征,减少不同类特征的混淆程度;最后,通过设立标签分布对齐正则项引导边界样本正确分类.实验结果表明,双分类器间的对比损失能提取数据中的有效信息,从而提升模型性能.     

一种基于多支持向量机分类器的并行学习算法

为了在并行计算系统中应用支持向量机,提出一种基于多支持向量机分类器的并行学习算法.分析了w-model算法的不足,并在训练过程中采用循环式反馈更新各支持向量机分类器以避免样本的分布状态对各分类器性能的影响,提高各分类器的训练精度.学习过程以平均分类精度为阈值,对部分分类器重新训练,实现对多分类器学习系统性能的全局优化.在UCI标准测试数据集上进行的实验结果表明,循环式反馈能有效地平衡多分类器学习性能相差过大的问题,算法较w-model具有更高的训练效率和分类效率.     

基于分组残差联合空间学习的人体活动识别

针对基于多传感器的交互性人体活动识别任务,提出了一种基于窗口预处理和分组残差联合空间学习的多传感器交互性活动识别算法。首先,针对多传感器交互性活动数据预处理过程中的滑动窗口处理方式对人体活动识别的影响进行了实验分析和实验对比,包括不同滑动窗口大小和覆盖率等;其次,基于多传感器的交互性活动识别的窗口预处理结论,利用分组残差联合空间学习进行活动识别与分类,并设计多组对比实验,分别对网络模型、损失函数和分类器等进行了优化;最后,在Opportunity活动数据集上进行对比试验,该算法性能超过了现有的大部分其他活动识别算法。实验结果验证了基于窗口预处理和分组残差联合空间学习的多传感器人体活动识别算法的有效性。     

利用判别字典学习的视觉跟踪方法

针对复杂背景及遮挡等引起目标跟踪性能显著下降的问题,提出一种目标跟踪方法。该方法首先根据目标时空局部相关性获取目标及背景样本。而后建立字典学习模型:基于误差项捕获遮挡等产生的异常值,利用极大极小凹加函数惩罚稀疏编码及误差矩阵,且对字典施加不一致约束项以提高字典的鲁棒性和判别性。针对所构建的非凸字典学习优化问题,利用优化最小化方法对其求解以获得较好的收敛性。最后,由所得判别字典计算候选目标的重构误差以构建目标观测模型,并基于贝叶斯推理框架实现目标精确跟踪。仿真结果表明,与现有主流算法相比,所提方法在复杂环境下可显著地提高目标跟踪的精度及鲁棒性。     

Machine learning-based classification of rock discontinuity trace: SMOTE oversampling integrated with GBT ensemble learning

This paper presents a hybrid ensemble classifier combined synthetic minority oversampling technique (SMOTE), random search (RS) hyper-parameters optimization algorithm and gradient boosting tree (GBT) to achieve efficient and accurate rock trace identification. A thirteen-dimensional database consisting of basic, vector, and discontinuity features is established from image samples. All data points are classified as either “trace” or “non-trace” to divide the ultimate results into candidate trace samples. It is found that the SMOTE technology can effectively improve classification performance by recommending an optimized imbalance ratio of 1:5 to 1:4. Then, sixteen classifiers generated from four basic machine learning (ML) models are applied for performance comparison. The results reveal that the proposed RS-SMOTE-GBT classifier outperforms the other fifteen hybrid ML algorithms for both trace and non-trace classifications. Finally, discussions on feature importance, generalization ability and classification error are conducted for the proposed classifier. The experimental results indicate that more critical features affecting the trace classification are primarily from the discontinuity features. Besides, cleaning up the sedimentary pumice and reducing the area of fractured rock contribute to improving the overall classification performance. The proposed method provides a new alternative approach for the identification of 3D rock trace.     

SVM with discriminative dynamic time alignment

In the past several years, support vector machines (SVM) have achieved a huge success in many fields, especially in pattern recognition. But the standard SVM cannot deal with length-variable vectors, which is one severe obstacle for its applications to some important areas, such as speech recognition and part-of-speech tagging. The paper proposed a novel SVM with discriminative dynamic time alignment (DDTA-SVM) to solve this problem. When training DDTA-SVM classifier, according to the category information of the training samples, different time alignment strategies were adopted to manipulate them in the kernel functions, which contributed to great improvement for training speed and generalization capability of the classifier. Since the alignment operator was embedded in kernel functions, the training algorithms of standard SVM were still compatible in DDTA-SVM. In order to increase the reliability of the classification, a new classification algorithm was suggested. The preliminary experimental results on Chinese confusable syllables speech classification task show that DDTA-SVM obtains faster convergence speed and better classification performance than dynamic time alignment kernel SVM (DTAK-SVM). Moreover, DDTA-SVM also gives higher classification precision compared to the conventional HMM. This proves that the proposed method is effective, especially for confusable length-variable pattern classification tasks.     

Regularized discriminative segmental feature transform method

In order to improve the stability of the frame based feature transform method, a segment based discriminative feature transform method is proposed, and the feature transform matrix of each speech segment is determined using the regularization technique. In the novel method, the feature transform is viewed as a parameter selection problem with limited data. In the training stage, an over-complete dictionary is constructed by the feature transform matrices of tied-state based region dependent linear transform. During testing, after the speech signal is segmented through force alignment, an appropriate regularization term is added to the likelihood objective function. An optimal subset of the transform matrices is selected from the dictionary and their corresponding coefficients are estimated following the fast iterative shrinkage thresholding optimization algorithm. Experimental results show that compared with the tied-state RDLT method, after combining L₁ and L₂ regularization, the recognition rate is increased by 1.30％ using the maximum likelihood training criterion. The performance gain is increased to 1.66％ after discriminative training.     

基于抗噪声的多任务多示例学习算法研究

在多示例学习中,当训练样本数量不充足或者训练样本中存在噪声信息时,分类器的分类性能将降低.针对该问题,本文提出了一种基于抗噪声的多任务多示例学习算法.一方面,针对训练样本中可能存在的噪声问题,该算法赋予包中示例不同的权值,通过迭代更新权值来降低噪声数据对预测结果的影响.另一方面,针对训练样本数量不充足问题,该算法运用多任务学习策略,通过同时训练多个学习任务,利用任务间的关联性来提高各个分类任务的预测性能.实验结果证明,与现有的分类算法相比,该方法在相同的实验条件下具有更优秀的性能.     

一种针对不平衡数据分类的集成学习算法

针对水声目标识别中常被忽略的数据不平衡问题,提出一种随机子空间AdaBoost算法(RSBoost)。通过随机子空间法在不同水声特征空间上提取子训练样本集,在各个子训练样本集上训练基分类器,将其中少类间隔均值最大的基分类器作为本轮选定的分类器,迭代形成最终集成分类器。在实测数据上进行试验,利用F-measure和G-mean两个准则对RSBoost算法和AdaBoost算法在不同特征集上的性能进行评价。试验结果表明:相对于AdaBoost算法, RSBoost算法在F-measure准则下的平均值由0.07提升到0.22,在G-mean准则下的平均值由0.18提升到0.25,说明在处理水声数据不平衡分类问题上, RSBoost算法优于AdaBoost算法。     

一种针对不平衡数据分类的集成学习算法

针对水声目标识别中常被忽略的数据不平衡问题,提出一种随机子空间AdaBoost算法(RSBoost)。通过随机子空间法在不同水声特征空间上提取子训练样本集,在各个子训练样本集上训练基分类器,将其中少类间隔均值最大的基分类器作为本轮选定的分类器,迭代形成最终集成分类器。在实测数据上进行试验,利用F-measure和G-mean两个准则对RSBoost算法和AdaBoost算法在不同特征集上的性能进行评价。试验结果表明:相对于AdaBoost算法, RSBoost算法在F-measure准则下的平均值由0.07提升到0.22,在G-mean准则下的平均值由0.18提升到0.25,说明在处理水声数据不平衡分类问题上, RSBoost算法优于AdaBoost算法。     

局部敏感判别直推学习机

为了充分挖掘样本内在的几何结构和蕴含的判别信息来指导样本数据分类,提出一种局部敏感的判别直推学习方法.该方法将局部敏感辨析（LSDA）的基本原理引入到直推学习中,在直推学习的正则化框架中同时引入有助于分类的样本局部结构信息和判别信息,在判别信息指导下构建了类内图和类间图来刻画类内紧性和类间散性,从而在每个局部邻域中进一步最大化类间样本的间隔.同时,用数学的形式给出了目标函数的解析表达,在几个典型数据集上的实验结果表明,相较传统的基于图的半监督学习算法,该方法能取得更高的分类效果.     

一种基于朴素贝叶斯的中文评论情感分类方法研究

提出一种新的基于朴素贝叶斯的中文文本情感分类方法。该方法用情感短语作为文本特征,通过情感词典与否定副词相结合,提取情感短语,通过CHI统计法设定阈值进行特征提取,再利用朴素贝叶斯分类器进行情感分类计算。对不同CHI阈值、不同语料库、以情感短语为特征和以情感词为特征进行分类实验。实验表明,以情感短语作为特征进行朴素贝叶斯分类,在不同领域的评论中均获得了较高的查准率和查全率,证明了该方法的可行性。