基于RSC模型和噪声去除的半监督训练方法

“半监督学习”是利用已经标记好的训练样本和未标记的训练样本一起训练分类器.传统的半监督训练过程对噪声不作辨别,这种做法会因噪声的存在破坏分类器的训练过程,进而影响分类器的分类效果.针对该问题,提出了基于RSC模型和噪声去除的半监督训练方法,在样本训练过程中,使用RSC标签扩展的方法,并添加噪声去除环节.实验表明,该算法能有效降低半监督学习中噪声对分类器的影响,得到更加精确的分类边界,最终提高算法的性能和稳定性.     

基于标签噪声鲁棒学习的疾病风险预测

疾病风险预测能够筛查易患人群, 并在早期进行预防干预措施以降低疾病的发生率及死亡率. 随着机器学习技术的快速发展, 基于机器学习的疾病风险预测得到了广泛应用. 然而, 机器学习十分依赖于高质量的标注信息, 医疗数据中存在的标签噪声会给构建高性能的疾病风险预测算法带来严峻挑战. 针对这一问题, 本文提出了一种基于深度神经网络和动态截断损失函数的噪声鲁棒学习方法用于疾病风险预测. 该方法引入动态截断损失函数, 融合了传统交叉熵函数的隐式加权特性和均方差损失函数的标签噪声鲁棒性; 通过构造训练损失下界, 并引入样本动态加权机制减小可疑样本的梯度, 限制可能的带噪样本在训练过程中的权重, 进一步增强模型的鲁棒性. 以脑卒中筛查数据集为例进行实验, 结果表明本文算法在各个标签噪声比例下均能取得良好的预测性能, 可降低疾病风险预测中标签噪声的负面影响, 实现了带有标签噪声数据的鲁棒学习.     

基于半监督学习的克里金插值方法

针对数据量较小时,克里金插值精度低的问题,将克里金插值模型与半监督学习理论相结合,利用未标记样本参与训练改进模型性能,提出基于半监督学习的克里金插值模型,即自训练克里金插值模型（STK）和协同训练克里金插值模型（CTK）。以北京地区2017年4月和5月的PM2.5浓度数据作为实验数据,采用克里金插值模型、STK和CTK进行对比实验。实验结果表明,这两个模型既具有半监督学习的优点,适用于只有少量标记样本的情况,又可以分析空间现象的分布模式。其中CTK采用两个模型协同训练,有效削弱了早期误差对后期训练的影响,利用未标记样本提升了模型的性能。     

一种鲁棒性的少样本学习方法

少样本学习是目前机器学习研究领域的一个热点,它能在少量的标记样本中学习到较好的分类模型.但是,在噪声的不确定环境中,传统的少样本学习模型泛化能力弱.针对这一问题,提出一种鲁棒性的少样本学习方法RFSL(Robust Few-Shot Learning).首先,使用核密度估计(Kernel Density Estimation,KDE)和图像滤波(Image Filtering)方法在训练集中加入不同的随机噪声,形成多个不同噪声下的训练集,并分别生成支持集和查询集.其次,利用关系网络的关系模块通过训练集端到端地学习多个基分类器.最后,采用投票的方式对各基分类器的最末Sigmoid层非线性分类结果进行融合.实验结果表明,RFSL模型可促进小样本学习快速收敛,同时,与R-Net以及其他主流少样本学习方法相比,RFSL具有更高的分类准确率,更强的鲁棒性.     

面向P2P网络流识别的改进主动学习机制

针对被动机器学习在P2P网络流识别中需要大量标记训练数据的问题,提出一种改进的主动学习机制,并将其与SVM分类模型相结合运用到P2P网络流识别。在采用锦标赛方法对未标记样本筛选过程中,引入样本差异性概念以避免标记样本同化而导致主动学习的早熟问题;在通过动态阈值调节因子加快主动学习收敛速度的同时,加入过拟合样本过滤策略以增强分类模型的泛化能力。理论分析和实验结果表明,该机制能有效提高未标记样本的利用率,避免主动学习可能产生的早熟收敛和过学习现象,提高P2P网络流识别精度。     

基于多学习器协同训练模型的人体行为识别方法

人体行为识别是计算机视觉研究的热点问题,现有的行为识别方法都是基于监督学习框架.为了取得较好的识别效果,通常需要大量的有标记样本来建模.然而,获取有标记样本是一个费时又费力的工作.为了解决这个问题,对半监督学习中的协同训练算法进行改进,提出了一种基于多学习器协同训练模型的人体行为识别方法.这是一种基于半监督学习框架的识别算法.该方法首先通过基于Q统计量的学习器差异性度量选择算法来挑取出协同训练中基学习器集,在协同训练过程中,这些基学习器集对未标记样本进行标记;然后,采用了基于分类器成员委员会的标记近邻置信度计算公式来评估未标记样本的置信度,选取一定比例置信度较高的未标记样本加入到已标记的训练样本集并更新学习器来提升模型的泛化能力.为了评估算法的有效性,采用混合特征来表征人体行为,从而可以快速完成识别过程.实验结果表明,所提出的基于半监督学习的行为识别系统可以有效地辨识视频中的人体动作.     

基于迁移学习的双层生成式对抗网络

在生成式对抗网络的对抗训练中,目标样本训练集不足会导致模型无法准确学习到对应的特征,但对于需要人工制作、标记的目标样本训练集又很难获取。针对这一问题,提出了基于迁移学习的双层生成式对抗网络模型,在第一层网络中通过伪目标样本让模型学习到目标样本在结构空间的大致分布后,利用迁移学习的思想进行模型迁移,并在第二层网络中根据少量目标样本进行调整。实验中,验证了该模型在中文字体生成与图片框架图转换中的提高,有效地在少量目标样本训练集中训练出更好的模型。     

基于深度贝叶斯主动学习的高光谱图像分类

针对高光谱图像分类中标记样本获取费时费力,无标记数据难以得到有效利用以及主动学习与深度学习结合难等问题,结合贝叶斯深度学习与主动学习的最新进展,提出一种基于深度贝叶斯的主动学习高光谱图像分类算法。利用少量标记样本训练一个卷积神经网络模型,根据与贝叶斯方法结合的主动学习采样策略从无标记样本中选择模型分类最不确定性的样本,选取的样本经人工标记后加入到训练集重新训练模型,减小模型不确定性,提高模型分类精度。通过PaviaU高光谱图像分类的实验结果表明,在少量的标记样本下,提出的方法比传统的方法分类效果更好。     

一种新型多标记懒惰学习算法

在多标记学习框架下,每个样本由单个实例进行表示并同时对应于多个概念标记.已有的多标记懒惰学习算法并未充分考察样本多个标记之间的相关性,因此其泛化性能将会受到一定程度的不利影响.针对上述问题,提出一种新型多标记懒惰学习算法IMLLA.该算法首先找出测试样本在训练集中与各个概念类对应的近邻样本,然后基于近邻样本的多标记信息构造一个标记计数向量,并提交给已训练的线性分类器进行预测.由于IMLLA在对每个概念类进行预测时利用了蕴含于其他概念类中的信息,因而充分考察了样本多个标记之间的相关性.在人工数据集以及真实世界数据集上的实验表明,IMLLA算法的性能显著优于常用的多标记学习算法.     

主动协同半监督粗糙集分类模型

粗糙集理论是一种有监督学习模型,一般需要适量有标记的数据来训练分类器。但现实一些问题往往存在大量无标记的数据,而有标记数据由于标记代价过大较为稀少。文中结合主动学习和协同训练理论,提出一种可有效利用无标记数据提升分类性能的半监督粗糙集模型。该模型利用半监督属性约简算法提取两个差异性较大的约简构造基分类器,然后基于主动学习思想在无标记数据中选择两分类器分歧较大的样本进行人工标注,并将更新后的分类器交互协同学习。UCI数据集实验对比分析表明,该模型能明显提高分类学习性能,甚至能达到数据集的最优值。     

Neural Learning from Unbalanced Data

This paper describes the result of our study on neural learning to solve the classification problems in which data is unbalanced and noisy. We conducted the study on three different neural network architectures, multi-layered Back Propagation, Radial Basis Function, and Fuzzy ARTMAP using three different training methods, duplicating minority class examples, Snowball technique and multidimensional Gaussian modeling of data noise. Three major issues are addressed: neural learning from unbalanced data examples, neural learning from noisy data, and making intentional biased decisions. We argue that by properly generated extra training data examples around the noise densities, we can train a neural network that has a stronger capability of generalization and better control of the classification error of the trained neural network. In particular, we focus on problems that require a neural network to make favorable classification to a particular class such as classifying normal(pass)/abnormal(fail) vehicles in an assembly plant. In addition, we present three methods that quantitatively measure the noise level of a given data set. All experiments were conducted using data examples downloaded directly from test sites of an automobile assembly plant. The experimental results showed that the proposed multidimensional Gaussian noise modeling algorithm was very effective in generating extra data examples that can be used to train a neural network to make favorable decisions for the minority class and to have increased generalization capability.     

一种新的结合Boosting技术的mFOIL算法

机器学习中的Boosting技术是给训练例赋予不同的权值,使得学习算法可以集中学习较难的训练例。另一方面,一阶规则学习中的mFOIL算法学习精度较高,但是用于估计候选子句精度的最佳m值很难确定。为了解决这一难题,提出了将Boosting技术用于一阶规则学习的BoostmFOIL算法,使得对于任意的m值也可以学到精度较高的规则集。此外,为了增强Boosting技术对噪声数据的鲁棒性,对噪声数据赋予相对较小的权值,使其对学习算法的精度影响甚微。在基准的规则学习领域的实验结果表明：a)对于任意的m值, Boos     

基于深度自学习的图像哈希检索方法

基于监督学习的卷积神经网络被证明在图像识别的任务中具有强大的特征学习能力。然而,利用监督的深度学习方法进行图像检索,需要大量已标注的数据,否则很容易出现过拟合的问题。为了解决这个问题,提出了一种新颖的基于深度自学习的图像哈希检索方法。首先,通过无监督的自编码网络学习到一个具有判别性的特征表达函数,这种方法降低了学习的复杂性,让训练样本不需要依赖于有语义标注的图像,算法被迫在大量未标注的数据上学习更强健的特征。其次,为了加快检索速度,抛弃了传统利用欧氏距离计算相似性的方法,而使用感知哈希算法来进行相似性衡量。这两种技术的结合确保了在获得更好的特征表达的同时,获得了更快的检索速度。实验结果表明,提出的方法优于一些先进的图像检索方法。     

Learning deterministic finite automata with a smart state labeling evolutionary algorithm

Learning a deterministic finite automaton (DFA) from a training set of labeled strings is a hard task that has been much studied within the machine learning community. It is equivalent to learning a regular language by example and has applications in language modeling. In this paper, we describe a novel evolutionary method for learning DFA that evolves only the transition matrix and uses a simple deterministic procedure to optimally assign state labels. We compare its performance with the evidence driven state merging (EDSM) algorithm, one of the most powerful known DFA learning algorithms. We present results on random DFA induction problems of varying target size and training set density. We also study the effects of noisy training data on the evolutionary approach and on EDSM. On noise-free data, we find that our evolutionary method outperforms EDSM on small sparse data sets. In the case of noisy training data, we find that our evolutionary method consistently outperforms EDSM, as well as other significant methods submitted to two recent competitions.     

Class Noise vs. Attribute Noise: A Quantitative Study

Real-world data is never perfect and can often suffer from corruptions (noise) that may impact interpretations of the data, models created from the data and decisions made based on the data. Noise can reduce system performance in terms of classification accuracy, time in building a classifier and the size of the classifier. Accordingly, most existing learning algorithms have integrated various approaches to enhance their learning abilities from noisy environments, but the existence of noise can still introduce serious negative impacts. A more reasonable solution might be to employ some preprocessing mechanisms to handle noisy instances before a learner is formed. Unfortunately, rare research has been conducted to systematically explore the impact of noise, especially from the noise handling point of view. This has made various noise processing techniques less significant, specifically when dealing with noise that is introduced in attributes. In this paper, we present a systematic evaluation on the effect of noise in machine learning. Instead of taking any unified theory of noise to evaluate the noise impacts, we differentiate noise into two categories: class noise and attribute noise, and analyze their impacts on the system performance separately. Because class noise has been widely addressed in existing research efforts, we concentrate on attribute noise. We investigate the relationship between attribute noise and classification accuracy, the impact of noise at different attributes, and possible solutions in handling attribute noise. Our conclusions can be used to guide interested readers to enhance data quality by designing various noise handling mechanisms.     

标签差网络在噪声标签数据集中的应用

噪声标签在实际数据集中普遍存在,这将严重影响深度神经网络的学习效果。针对此问题,提出了一种基于标签差学习的噪声标签数据识别与数据再标记方法。该方法设计两种不同的伪标签生成策略,利用基础网络所识别的干净数据生成人工噪声数据集,并计算该数据集的标签差向量或标签差矩阵;以强化相似类别间的关联性为目标,利用全连接层与单行卷积核,设计标签差向量网络与标签差矩阵网络等两种噪声学习网络直接学习样本数据的噪声概率;设计与噪声率线性相关的阈值,对干净数据与噪声数据进行判断。通过设计实验,对包括伪标签生成策略、网络结构、训练迭代次数等影响网络识别性能的因素进行分析。在公开数据集上的测试表明,在多种噪声分布情况中,该算法在保持干净数据的准确率与召回率基本稳定的前提下,能显著提高噪声数据的准确率与召回率,提高幅度最大为16.45%及21.01%。     

适应噪声环境的解释学习算法

在现实世界里，ＡＩ系统难免受到噪声的影响．系统有效工作与否取决于它对噪声的敏感性如何．解释学习ＥＢＬ（ｅｘｐｌａｎａｔｉｏｎ－ｂａｓｅｄｌｅａｒｎｉｎｇ）也不例外．本文探讨了在例子受到噪声影响的情况下，解释学习的处理问题，提出了一个算法ＮＲ－ＥＢＬ（ｎｏｉｓｅ－ｒｅｓｉｓｔａｎｔＥＢＬ）．与现有的解释学习方法不同，ＮＲ－ＥＢＬ在训练例子含有噪声时仍然可以学习，以掌握实际的问题分布；和类似的工作不同，ＮＲ－ＥＢＬ指出了正确识别概念对于噪声规律的依赖性，试图从训练例子集合发现和掌握噪声的规律．可以相信，在识别概念时，借助于对噪声规律的认识，ＮＲ－ＥＢＬ可比ＥＢＬ和类似工作有更高的识别率．ＮＲ－ＥＢＬ是解释学习和统计模式识别思想的结合．它把现有的解释学习模型推广到例子含有噪声的情形，原来的ＥＢＬ算法只是它的特例．     

基于优化样本分布抽样集成学习的半监督文本分类方法研究

针对现有文本分类方法在即时性文本信息上面临的挑战,考虑到即时性文本信息具有已标注数据规模小的特点,为了提高半监督学习的分类性能,该文提出一种基于优化样本分布抽样集成学习的半监督文本分类方法。首先,通过运用一种新的样本抽样的优化策略,获取多个新的子分类器训练集,以增加训练集之间的多样性和减少噪声的扩散范围,从而提高分类器的总体泛化能力;然后,采用基于置信度相乘的投票机制对预测结果进行集成,对未标注数据进行标注;最后,选取适量的数据来更新训练模型。实验结果表明,该方法在长文本和短文本上都取得了优于研究进展方法的分类性能。     

动态置信度的序列选择增量学习方法

贝叶斯在训练样本不完备的情况下,对未知类别新增训练集进行增量学习时,会将分类错误的训练样本过早地加入到分类器中而降低其性能,另外增量学习采用固定的置信度评估参数会使其效率低下,泛化性能不稳定.为解决上述问题,提出一种动态置信度的序列选择增量学习方法.首先,在现有的分类器基础上选出分类正确的文本组成新增训练子集.其次,利用置信度动态监控分类器性能来对新增训练子集进行批量实例选择.最后,通过选择合理的学习序列来强化完备数据的积极影响,弱化噪声数据的消极影响,并实现对测试文本的分类.实验结果表明,本文提出的方法在有效提高分类精度的同时也能明显改善增量学习效率.     

鞅在学习样本选择中的应用

样本训练集的选取对网络分类精度及泛化能力有很大影响,同样对回归分析中的两难问题“偏差-方差”影响很大。经典的简单抽样理论在现实中很难做到,数据之间关系受到噪音以及领域知识的限制而显得很复杂,尤其是离群点的影响不能忽视。故而有限样本集中学习,如何获得最优结果不仅与算法有关,且与样本集的选取有关。文章首先从学习的数学理论出发阐明样本训练集的选取方法必要性,进而提出样本选择的鞅性要求与样本训练集中的离群点定义,最后提出在无监督学习中,混合密度分布有限样本集且样本类别数不知情形下的聚类与离群点判别算法,试验结果表明该算法的可行性与有效性。