半监督学习的Co-training算法研究

介绍一种基于半监督学习的协同训练（Co-training）分类算法,当可用的训练样本比较少时,使用传统的方法进行分类,如决策树分类,将无法得到用户满意的结果,而且它们需要大量的标记样本。事实上,获取有标签的样本的代价是相当昂贵的。于是,使用较少的已标记样本和大量的无标记样本进行协同训练的半监督学习,成为研究者首选。     

流形与成对约束联合正则化半监督分类方法

半监督学习方法主要通过学习少量标记样本和大量未标记样本知识来提高学习效果,然而目前许多半监督方法注重在未标记样本的利用上深耕,忽略了对标记样本等监督信息的继续研究。鉴于此,结合流形正则化框架提出了一种流形与成对约束联合正则化半监督分类方法(semi-supervised classification method based on joint regularization of manifold and pairwise constraints,SSC-JRMPC)。SSC-JRMPC从两个方面进行研究:一方面该方法继承了流形正则化框架中的特点,将经验风险和结构风险最小化,以及对整个数据的内在数据分布进行运用;另一方面,通过将样本标签转化为成对约束的形式,并把这些扩展的知识并入到目标公式中来进一步探索监督信息包含的知识,一定程度上提高了SSC-JRMPC算法的分类准确性。通过在真实数据集上的实验,验证了上述优点。     

自适应主动半监督学习方法

主动学习从大量无标记样本中挑选样本交给专家标记.现有的批抽样主动学习算法主要受3个限制：（1）一些主动学习方法基于单选择准则或对数据、模型设定假设,这类方法很难找到既有不确定性又有代表性的未标记样本;（2）现有批抽样主动学习方法的性能很大程度上依赖于样本之间相似性度量的准确性,例如预定义函数或差异性衡量;（3）噪声标签问题一直影响批抽样主动学习算法的性能.提出一种基于深度学习批抽样的主动学习方法.通过深度神经网络生成标记和未标记样本的学习表示和采用标签循环模式,使得标记样本与未标记样本建立联系,再回到相同标签的标记样本.这样同时考虑了样本的不确定性和代表性,并且算法对噪声标签具有鲁棒性.在提出的批抽样主动学习方法中,算法使用的子模块函数确保选择的样本集合具有多样性.此外,自适应参数的优化,使得主动学习算法可以自动平衡样本的不确定性和代表性.将提出的主动学习方法应用到半监督分类和半监督聚类中,实验结果表明,所提出的主动学习方法的性能优于现有的一些先进的方法.     

主动协同半监督粗糙集分类模型

粗糙集理论是一种有监督学习模型,一般需要适量有标记的数据来训练分类器。但现实一些问题往往存在大量无标记的数据,而有标记数据由于标记代价过大较为稀少。文中结合主动学习和协同训练理论,提出一种可有效利用无标记数据提升分类性能的半监督粗糙集模型。该模型利用半监督属性约简算法提取两个差异性较大的约简构造基分类器,然后基于主动学习思想在无标记数据中选择两分类器分歧较大的样本进行人工标注,并将更新后的分类器交互协同学习。UCI数据集实验对比分析表明,该模型能明显提高分类学习性能,甚至能达到数据集的最优值。     

基于拉普拉斯回归主动学习的大数据流分类算法

实时数据流中标记样本所占比例较小,并且存在大量的噪声数据和冗余数据,导致数据流的实时分类准确率较低。针对这种情况,提出基于拉普拉斯回归主动学习的大数据流分类算法。为分类器设计相对支持度差异函数作为分类的决策方法,通过阈值判断当前数据流的标记样本量。设计基于约束规则的半监督主动学习算法,从无标记样本集选择信息量最丰富的样本。采用拉普拉斯正则最小二乘回归模型作为半监督学习的回归模型,迭代地扩展数据流的标记样本量。仿真结果表明,该算法有效地提高了数据流的分类准确率,并且满足实时性的需求。     

基于跨任务一致性的半监督肝脏CT图像分割

目前基于深度学习的医学图像分割方法往往需要大量带标记数据训练网络模型,然而医学影像的标记数据获取通常非常昂贵,半监督学习能使模型利用大量未标记数据和少量标记数据学习。该文提出了一种基于跨任务一致性的半监督学习框架来降低神经网络模型训练时需要的标记数据成本。该方法利用V-Net网络作为主干框架并添加两个辅助解码器,同时在解码器中引入一个辅助回归任务,提高模型分割性能,并在主副解码器的分割任务和回归任务之间施加正则化约束的跨任务一致性损失,该框架能够学习到大量未标记数据的几何先验信息。在LiTS2017 Challenges数据集上验证了该方法的有效性。在使用20%标记数据的实验中,该方法的Dice系数和Jaccard指数分别达到了93.95%和88.87%,相比全监督V-Net网络模型训练下的Dice系数和Jaccard系数分别提高了3.60百分点和5.78百分点。实验结果表明,该方法在使用少量带标记数据情况下达到接近100%带标记数据训练分割肝脏的精度,与其他的半监督方法相比分割精度更优。     

基于多影像中心磁共振成像数据的半监督膝盖异常分类

针对大量数据手工标记的繁重性和单一影像中心磁共振成像（MRI）数据的有限性问题,提出了一种利用多影像中心有标签与无标签MRI数据的用于磁共振的半监督学习（MRSSL）方法,并将其应用在膝盖异常分类任务中。首先,运用了数据扩增方法来提供模型所需的归纳偏置;接着,融合了分类损失项和一致性损失项来约束人工神经网络并使之从数据中提取出具有辨别力的特征;然后,将这些特征用于MRI膝盖异常分类。此外,也提出了对应的仅利用有标签数据的完全监督学习（MRSL）方法。在给出同样的有标签样本时,将MRSL与MRSSL进行了比较,结果表明MRSSL的模型分类性能与泛化性能明显优于MRSL。最后,将MRSSL与其他半监督学习方法进行了比较。结果表明数据扩增在性能提升中起到了重要作用,并且MRSSL凭借更强的MRI数据包容性取得了最优的膝盖异常分类性能。     

基于半监督学习的数据流混合集成分类算法

当前已有的数据流分类模型都需要大量已标记样本来进行训练,但在实际应用中,对大量样本标记的成本相对较高。针对此问题,提出了一种基于半监督学习的数据流混合集成分类算法SMEClass,选用混合模式来组织基础分类器,用K个决策树分类器投票表决为未标记数据添加标记,以提高数据类标的置信度,增强集成分类器的准确度,同时加入一个贝叶斯分类器来有效减少标记过程中产生的噪音数据。实验结果显示,SMEClass算法与最新基于半监督学习的集成分类算法相比,其准确率有所提高,在运行时间和抗噪能力方面有明显优势。     

基于数据增强和相似伪标签的半监督文本分类算法

为了减少对有标记数据的依赖,充分利用大量无标记数据,提出了一个基于数据增强和相似伪标签的半监督文本分类算法(semi-supervised text classification algorithm with data augmentation and similar pseudo-labels, STAP)。该算法利用EPiDA(easy plug-in data augmentation)框架和自训练对少量有标记数据进行扩充,采用一致性训练和相似伪标签考虑无标记数据及其增强样本之间的关系和高置信度的相似无标记数据之间的关系,在有监督交叉熵损失、无监督一致性损失和无监督配对损失的约束下,提高无标记数据的质量。在四个文本分类数据集上进行实验,与其他经典的文本分类算法相比,STAP算法有明显的改进效果。     

SUCE:基于聚类集成的半监督二分类方法

半监督学习和集成学习是目前机器学习领域中的重要方法。半监督学习利用未标记样本,而集成学习综合多个弱学习器,以提高分类精度。针对名词型数据,本文提出一种融合聚类和集成学习的半监督分类方法SUCE。在不同的参数设置下,采用多个聚类算法生成大量的弱学习器;利用已有的类标签信息,对弱学习器进行评价和选择;通过集成弱学习器对测试集进行预分类,并将置信度高的样本放入训练集;利用扩展的训练集,使用ID3、Nave Bayes、 kNN、C4.5、OneR、Logistic等基础算法对其他样本进行分类。在UCI数据集上的实验结果表明,当训练样本较少时,本方法能稳定提高多数基础算法的准确性。     

一种利用Universum的半监督分类算法

分类是机器学习领域的重要分支,利用少量的标签数据进行分类和高维数据的分类是近期研究的热点问题。传统的半监督方法能够有效利用标签样本数据或非标签样本数据,但忽略了相关的非样本数据,即Universum。利用Universum的半监督分类算法,基于线性回归和子空间学习模型,结合了传统半监督方法和利用Universum方法两者的优点,在不增加标签数据的条件下显著地提高了高维数据的分类效果。仿真实验和真实数据上的分类结果都验证了算法的有效性。     

一种基于EM和分类损失的半监督主动DBN学习算法

对于建立动态贝叶斯网络(DBN)分类模型时,带有类标注样本数据集获得困难的问题,提出一种基于EM和分类损失的半监督主动DBN学习算法.半监督学习中的EM算法可以有效利用未标注样本数据来学习DBN分类模型,但是由于迭代过程中易于加入错误的样本分类信息而影响模型的准确性.基于分类损失的主动学习借鉴到EM学习中,可以自主选择有用的未标注样本来请求用户标注,当把这些样本加入训练集后能够最大程度减少模型对未标注样本分类的不确定性.实验表明,该算法能够显著提高DBN学习器的效率和性能,并快速收敛于预定的分类精度.     

一种基于半监督主动学习的动态贝叶斯网络算法

本文提出一种基于半监督主动学习的算法，用于解决在建立动态贝叶斯网络(DBN)分类模型时遇到的难以获得大量带有类标注的样本数据集的问题．半监督学习可以有效利用未标注样本数据来学习DBN分类模型，但是在迭代过程中易于加入错误的样本分类信息，并因而影响模型的准确性．在半监督学习中借鉴主动学习，可以自主选择有用的未标注样本来请求用户标注．把这些样本加入训练集之后，能够最大程度提高半监督学习对未标注样本分类的准确性．实验结果表明，该算法能够显著提高DBN学习器的效率和性能，并快速收敛于预定的分类精度．     

基于两阶段学习的半监督支持向量机分类算法

提出了一种基于两阶段学习的半监督支持向量机(semi-supervised SVM)分类算法.首先使用基于图的标签传递算法给未标识样本赋予初始伪标识,并利用k近邻图将可能的噪声样本点识别出来并剔除;然后将去噪处理后的样本集视为已标识样本集输入到支持向量机(SVM)中,使得SVM在训练时能兼顾整个样本集的信息,从而提高SVM的分类准确率.实验结果证明,同其它半监督学习算法相比较,本文算法在标识的训练样本较少的情况下,分类性能有所提高且具有较高的可靠性.     

结合半监督与主动学习的时间序列PU问题分类

目前基于PU问题的时间序列分类常采用半监督学习对未标注数据集[U]中数据进行自动标注并构建分类器,但在这种方法中,边界数据样本类别的自动标注难以保证正确性,从而导致构建分类器的效果不佳。针对以上问题,提出一种采用主动学习对未标注数据集[U]中数据进行人工标注从而构建分类器的方法OAL（Only Active Learning）,基于投票委员会（QBC）对标注数据集构建多个分类器进行投票,以计算未标注数据样本的类别不一致性,并综合考虑数据样本的分布密度,计算数据样本的信息量,作为主动学习的数据选择策略。鉴于人工标注数据量有限,在上述OAL方法的基础上,将主动学习与半监督学习相结合,即在主动学习迭代过程中,将类别一致性高的部分数据样本自动标注,以增加训练数据中标注数据量,保证构建分类器的训练数据量。实验表明了该方法通过部分人工标注,相比半监督学习,能够为PU数据集构建更高准确率的分类器。     

基于分歧的半监督学习

传统监督学习通常需使用大量有标记的数据样本作为训练例,而在很多现实问题中,人们虽能容易地获得大批数据样本,但为数据 提供标记却需耗费很多人力物力.那么,在仅有少量有标记数据时,可否通过对大量未标记数据进行利用来提升学习性能呢？为此,半监督学习 成为近十多年来机器学习的一大研究热点.基于分歧的半监督学习是该领域的主流范型之一,它通过使用多个学习器来对未标记数据进行利用, 而学习器间的"分歧"对学习成效至关重要.本文将综述简介这方面的一些研究进展.     

一种基于Tri-training的半监督多标记学习文档分类算法

多标记学习主要用于解决因单个样本对应多个概念标记而带来的歧义性问题,而半监督多标记学习是近年来多标记学习任务中的一个新的研究方向,它试图综合利用少量的已标记样本和大量的未标记样本来提高学习性能。为了进一步挖掘未标记样本的信息和价值并将其应用于文档多标记分类问题,该文提出了一种基于Tri-training的半监督多标记学习算法(MKSMLT),该算法首先利用k近邻算法扩充已标记样本集,结合Tri-training算法训练分类器,将多标记学习问题转化为标记排序问题。实验表明,该算法能够有效提高文档分类性能。     

融合数据增强与半监督学习的药物不良反应检测

目前药物不良反应（ADR）研究使用的数据主要来源于英文语料,较少选用存在标注数据稀缺问题的中文医疗社交媒体数据集,导致对中文医疗社交媒体的研究有限。为解决标注数据稀缺的问题,提出一种新型的ADR检测方法。采用ERNIE预训练模型获取文本的词向量,利用BiLSTM模型和注意力机制学习文本的向量表示,并通过全连接层和softmax函数得到文本的分类标签。对未标注数据进行文本增强,使用分类模型获取低熵标签,此标签被作为原始未标注样本及其增强样本的伪标签。此外,将带有伪标签的数据与人工标注数据进行混合,在分类模型的编码层和分类层间加入Mixup层,并在文本向量空间中使用Mixup增强方法插值混合样本,从而扩增样本数量。通过将数据增强和半监督学习相结合,充分利用标注数据与未标注数据,实现ADR的检测。实验结果表明,该方法无需大量的标注数据,缓解了标注数据不足对检测结果的影响,有效提升了药物不良反应检测模型的性能。     

Optimizing area under the ROC curve using semi-supervised learning

Receiver operating characteristic (ROC) analysis is a standard methodology to evaluate the performance of a binary classification system. The area under the ROC curve (AUC) is a performance metric that summarizes how well a classifier separates two classes. Traditional AUC optimization techniques are supervised learning methods that utilize only labeled data (i.e., the true class is known for all data) to train the classifiers. In this work, inspired by semi-supervised and transductive learning, we propose two new AUC optimization algorithms hereby referred to as semi-supervised learning receiver operating characteristic (SSLROC) algorithms, which utilize unlabeled test samples in classifier training to maximize AUC. Unlabeled samples are incorporated into the AUC optimization process, and their ranking relationships to labeled positive and negative training samples are considered as optimization constraints. The introduced test samples will cause the learned decision boundary in a multi-dimensional feature space to adapt not only to the distribution of labeled training data, but also to the distribution of unlabeled test data. We formulate the semi-supervised AUC optimization problem as a semi-definite programming problem based on the margin maximization theory. The proposed methods SSLROC1 (1-norm) and SSLROC2 (2-norm) were evaluated using 34 (determined by power analysis) randomly selected datasets from the University of California, Irvine machine learning repository. Wilcoxon signed rank tests showed that the proposed methods achieved significant improvement compared with state-of-the-art methods. The proposed methods were also applied to a CT colonography dataset for colonic polyp classification and showed promising results.¹     

基于分布先验的半监督FCM的肺结节分类

肺结节的良恶性分类对于肺癌的早期发现及诊断具有重要意义。然而实际应用中,标记的图像数量较少,且获取标记将耗费大量的人力,在这种情况下,使用半监督学习算法是有效提高分类性能的一个思路。作为一种经典的半监督学习算法,传统的半监督FCM在未标记样本与标记样本分布不平衡情况下不能充分利用标记信息。针对此问题,本文提出了一种基于分布先验的半监督FCM算法。首先计算样本的先验分布概率,基于获得的先验概率,给样本赋予权重,并将其融入到半监督FCM聚类中,从而强化少量的标记样本在聚类过程中的指导作用。文中在LIDC数据库上进行了相应的实验,实验结果证明,相比较传统的半监督FCM算法,提出的算法能够取得更好的肺结节分类性能。