多源域分布下优化权重的无监督迁移学习Boosting方法

深度决策树迁移学习Boosting方法（DTrBoost）可以有效地实现单源域有监督情况下向一个目标域迁移学习,但无法实现多个源域情况下的无监督迁移场景。针对这一问题,提出了多源域分布下优化权重的无监督迁移学习Boosting方法,主要思想是根据不同源域与目标域分布情况计算出对应的KL值,通过比较选择合适数量的不同源域样本训练分类器并对目标域样本打上伪标签。最后,依照各个不同源域的KL距离分配不同的学习权重,将带标签的各个源域样本与带伪标签的目标域进行集成训练得到最终结果。对比实验表明,提出的算法实现了更好的分类精度并对不同的数据集实现了自适应效果,分类错误率平均下降2.4%,在效果最好的marketing数据集上下降6%以上。     

对抗学习遥感图像场景识别

目的 在高分辨率遥感图像场景识别问题中,经典的监督机器学习算法大多需要充足的标记样本训练模型,而获取遥感图像的标注费时费力。为解决遥感图像场景识别中标记样本缺乏且不同数据集无法共享标记样本问题,提出一种结合对抗学习与变分自动编码机的迁移学习网络。方法 利用变分自动编码机（variational auto-encoders,VAE）在源域数据集上进行训练,分别获得编码器和分类器网络参数,并用源域编码器网络参数初始化目标域编码器。采用对抗学习的思想,引入判别网络,交替训练并更新目标域编码器与判别网络参数,使目标域与源域编码器提取的特征尽量相似,从而实现遥感图像源域到目标域的特征迁移。结果 利用两个遥感场景识别数据集进行实验,验证特征迁移算法的有效性,同时尝试利用SUN397自然场景数据集与遥感场景间的迁移识别,采用相关性对齐以及均衡分布适应两种迁移学习方法作为对比。两组遥感场景数据集间的实验中,相比于仅利用源域样本训练的网络,经过迁移学习后的网络场景识别精度提升约10%,利用少量目标域标记样本后提升更为明显;与对照实验结果相比,利用少量目标域标记样本时提出方法的识别精度提升均在3%之上,仅利用源域标记样本时提出方法场景识别精度提升了10%~40%;利用自然场景数据集时,方法仍能在一定程度上提升场景识别精度。结论 本文提出的对抗迁移学习网络可以在目标域样本缺乏的条件下,充分利用其他数据集中的样本信息,实现不同场景图像数据集间的特征迁移及场景识别,有效提升遥感图像的场景识别精度。     

基于自步学习的开放集领域自适应

领域自适应的目的是将从源领域获得的知识泛化到具有不同数据分布的目标领域.传统的领域自适应方法假设源域和目标域的类别是相同的，但在现实世界的场景中并非总是如此.为了解决这个缺点，开放集领域自适应在目标域中引入了未知类以代表源域中不存在的类别.开放集领域自适应旨在不仅识别属于源域和目标域共享的已知类别样本，还要识别未知类别样本.传统的领域自适应方法旨在将整个目标域与源域对齐以最小化域偏移，这在开放集领域自适应场景中不可避免地导致负迁移.为了解决开放集领域自适应带来的挑战，提出了一种基于自步学习的新颖框架SPL-OSDA (self-paced learning for openset domain adaptation)，用于精确区分已知类和未知类样本，并进行领域自适应.为了利用未标记的目标域样本实现自步学习，为目标域样本生成伪标签，并为开放集领域自适应场景设计一个跨领域混合方法.这种方法最大程度地减小了伪标签的噪声，并确保模型逐步从简单到复杂的例子中学习目标域的已知类特征.为了提高模型在开放场景的可靠性以满足开放场景可信人工智能的要求，引入了多个准则以区分已知类和未知类样本.此外，与现有...     

面向开放集图像分类的模糊域自适应方法

目前大多的域自适应算法在源域与目标域具有相同类别的场景下,利用标签丰富的源域信息对标签稀少且分布相似的目标域数据进行迁移学习,取得了很多成果。然而,由于现实场景的复杂性和开放性,源域和目标域在类别空间上不尽相同,往往会各自包含一些类别未知且超出现有类别设定的样本。对于这样具有挑战性的开放集场景,传统的域自适应算法将无能为力。为了有效解决上述问题,提出一种面向开放集的模糊域自适应算法。该算法引用了不确定性的模糊化,计算目标域样本的模糊隶属度来学习源域特征到目标域特征空间的线性映射,通过迭代逐步将源域与目标域转化在同一特征空间下。通过对无监督和半监督的图像迁移任务的大量实验,验证了该算法对于开放集场景下图像分类的有效性。     

用于迁移学习的多尺度领域对抗网络

深度学习算法的有效性依赖于大量的带有标签的数据,迁移学习的目的是利用已知标签的数据集（源域）来对未知标签的数据集（目标域）进行分类,因此深度迁移学习的研究成为了热门。针对训练数据标签不足的问题,提出了一种基于多尺度特征融合的领域对抗网络（Multi-scale domain adversarial network, MSDAN）模型,该方法利用生成对抗网络以及多尺度特征融合的思想,得到了源域数据和目标域数据在高维特征空间中的特征表示,该特征表示提取到了源域数据和目标域数据的公共几何特征和公共语义特征。将源域数据的特征表示和源域标签输入到分类器中进行分类,最终在目标域数据集的测试上得到了较为先进的效果。     

基于类内最大均值差异的无监督领域自适应算法

传统的无监督领域自适应算法在对齐总体分布时存在分类信息流失问题,难以保证迁移学习效果。针对这个问题,提出了一种基于类内最大均值差异的分布对齐策略。该策略首先预测所有样本的伪标签,然后借助伪标签样本信息依次对齐每个类别的领域类内分布。在深度学习框架下,所提算法能够有效保留分类信息,提高了目标领域的预测能力。实验结果表明,与传统算法比较,所提算法在多个基准数据集上获得了最优的迁移学习效果。     

基于伪标签的无监督领域自适应分类方法

现有的领域自适应方法在匹配分布时并未完全考虑伪标签置信度或伪标签损失计算问题,针对此类问题,提出循环选择伪标签分类模型（CSPL）。利用深度网络提取图像特征,为目标域打上高置信度伪标签使得训练数据增强,采用MMD距离度量方法对齐源域和目标域的概率分布,同时设计伪标签损失同步迭代学习,更新模型作为下一次循环的训练模型直至模型收敛。在常用的领域自适应数据集Office31、Office-Home、ImageCLEF-DA以及Amazon-Review上实验表明,该模型相比之前域适应模型在准确度方面平均提升4%~8%且模型的鲁棒性也明显增加。     

聚类中心对齐的无监督域适应网络

深度学习在图像分类上的准确度很大程度上依赖于大量的标记数据,无监督域适应已经被证明是一种有效的方法去解决一个新的无标签域上的任务,其主要思想是利用有标签的数据集作为源域,通过减少源域和目标域之间的差异,将源域训练的预测模型应用于目标域.本文提出了聚类中心对齐的无监督域适应方法CADA,将语义对齐方法与传统对抗域适应相结合.CADA首先在对抗训练中对齐两个域的特征空间的边缘分布,再经过对源域特征的中心增强操作,以及集成分类器为目标域样本分配伪标签,最后将源域中心和伪标注后的目标域中心进行对齐,达到语义迁移的效果.本文在office-31以及数字数据集上进行了实验,并与多种域适应方法进行了对比,结果表明CADA可以有效提高域适应效果并且在不同的应用场景中表现优异.     

一种基于损失预测的双主动域适应算法研究

近年来深度学习在图像分类任务上取得了显著效果,但通常要求大量人工标记数据,模型训练成本很高.因此,领域自适应等小样本学习方法成为当前研究热点.通常,域适应方法利用源域的经验知识也仅能一定程度降低对目标域标记数据的依赖,因此可以引入主动学习方法对样本价值进行评估并做筛选,从而进一步降低标记成本.本文将典型样本价值估计模型引入域适应学习,结合特征迁移思路,提出了双主动域适应学习算法D＿Ac T(Dual active domain adaptation).该算法同时对源域与目标域数据进行价值度量,并挑选最具训练价值的样本,在保证模型精度的前提下,大幅度减少了模型对标签数据的需求.具体而言,首先利用极大极小熵和核心集采样方法,用主动学习价值评估模型挑选目标域样本,得到单主动域适应算法S＿Ac T (Single active domain adaptation).随后利用损失预测策略,将价值评估策略适配至源域,进一步提升迁移学习知识复用有效性,降低模型训练成本.本文在常用的四个图像迁移数据集进行了测试,将所提两个算法和传统主动迁移学习及半监督迁移学习算法进行了实验对比.结果表明双主动域适应方...     

基于加权分类损失和核范数的领域自适应模型

领域自适应将源域上学习到的知识迁移到目标域上,使得在带标签数据少的情况下也可以有效地训练模型。采用伪标签的领域自适应模型未考虑错误伪标签的影响,并且在决策边界处样本的分类准确率较低,针对上述问题提出了基于加权分类损失和核范数的领域自适应模型。该模型使用带有伪标签的可信样本特征与带有真实标签的源域样本特征构建辅助域,在辅助域上设计加权分类损失函数,降低错误伪标签在训练过程中产生的影响;加入批量核范数最大化损失,提高决策边界处样本的分类准确率。在Office31、Office-Home、Image-CLEFDA基准数据集上与之前模型的对比实验表明,该模型有更高的精确度。     

基于深度迁移自编码器的变工况下滚动轴承故障诊断方法

在实际工业场景下的轴承故障诊断,存在轴承故障样本不足,训练样本与实际信号样本存在分布差异的问题;文章提出一种新的基于深度迁移自编码器的故障诊断方法FS-DTAE,应用于不同工况下的轴承故障诊断;该方法首先采用小波包变换进行信号处理与特征提取;其次,采用提出的基于朴素贝叶斯与域间差异的特征选取(FSBD)方法对统计特征进行评估,选取更有利于跨域故障诊断和迁移学习的特征;然后,利用源域特征数据训练深度自编码器,将训练得到的模型参数迁移至目标域,再利用目标域正常状态样本对深度迁移自编码器模型进行微调,微调后的模型用于目标域无标签特征数据的故障分类;最后,基于CWRU轴承故障数据开展不同工况下故障诊断实验,结果表明,所提出的FS-DTAE方法能够有效提高不同工况下的故障诊断准确率。     

局部一致性主动学习的源域无关开集域自适应

无监督域自适应在解决训练集(源域)和测试集(目标域)分布不一致的问题上已经取得了一定的成功.在面向低能耗场景和开放动态任务环境时,在资源约束和开放类别出现的情况下,现有的无监督域自适应方法面临着严峻的挑战.源域无关开集域自适应(SF-ODA)旨在将源域模型中的知识迁移到开放类出现的无标签目标域,从而在无源域数据资源的限制下辨别公共类和检测开放类.现有的源域无关开集域自适应的方法聚焦于设计准确检测开放类别的源域模型或增改模型的结构.但是,这些方法不仅需要额外的存储空间和训练开销,而且在严格的隐私保护场景下难以实现.提出了一个更加实际的场景:主动学习的源域无关开集域自适应(ASF-ODA),目标是基于一个普通训练的源域模型和少量专家标注的有价值的目标域样本来实现鲁棒的迁移.为了达成此目标,提出了局部一致性主动学习(LCAL)算法.首先,利用目标域中局部特征标签一致的特点,LCAL设计了一种新的主动选择方法:局部多样性选择,来挑选更有价值的阈值模糊样本来促进开放类和公共类分离.接着,LCAL基于信息熵初步筛选出潜在的公共类集合和开放类集合,并利用第一步得到的主动标注样本对这两个集合进行匹配纠...     

面向小样本约束的域适应分类算法

近年来,人工智能的相关应用被越来越细化到不同的应用场景,而对不同的应用场景都进行相应的数据收集,模型训练,模型调优等步骤需要消耗大量的时间精力会严重影响人工智能技术应用的效率.因此如何基于现有的成熟的训练过的模型迁移到其他应用场景是当前应用人工智能技术的关键问题.域适应算法主要研究将源域模型有效地迁移到目标域,这为上述问题提供了一个重要的解决思路.本文提出小样本对抗判别域适应算法,相对于无监督域适应算法能够在更严格的约束下-仅需要少量的目标域样本,在标准数据集上取得了优于对抗判别域适应算法(Adversarial Discriminative Domain Adaptation,ADDA)算法的表现,在单任务中最高提升幅度达16.9%.本文中,首先,提出了两种新的数据增强方法,以构建符合双域联合分布的图像以丰富样本多样性并填充特征空间,解决小样本约束下模型易过拟合到少量目标域样本的问题.接着,结合双域样本配对机制和ADDA算法,将以大量目标域样本为条件的无监督域适应算法改进为面向小样本约束的有监督域适应算法.在域适应过程中,引入类标签平滑损失来抑制过拟合现象,并结合度量学习中的最大平均...     

TL-SVM:一种迁移学习算法

迁移学习旨在利用大量已标签源域数据解决相关但不相同的目标域问题.当与某领域相关的新领域出现时,若重新标注新领域,则样本代价昂贵,丢弃所有旧领域数据又十分浪费.对此,基于SVM算法提出一种新颖的迁移学习算法—–TL-SVM,通过使用目标域少量已标签数据和大量相关领域的旧数据来为目标域构建一个高质量的分类模型,该方法既继承了基于经验风险最小化最大间隔SVM的优点,又弥补了传统SVM不能进行知识迁移的缺陷.实验结果验证了该算法的有效性.     

TL-SVM:一种迁移学习新算法

迁移学习旨在利用大量已标签源域数据解决相关但不相同的目标域问题. 当与某领域相关的新领域出现时, 若重新标注新领域, 则样本代价昂贵, 丢弃所有旧领域数据又十分浪费. 对此, 基于SVM算法提出一种新颖的迁移学习算法—–TL-SVM, 通过使用目标域少量已标签数据和大量相关领域的旧数据来为目标域构建一个高质量的分类模型, 该方法既继承了基于经验风险最小化最大间隔SVM的优点, 又弥补了传统SVM不能进行知识迁移的缺陷. 实验结果验证了该算法的有效性.     

基于LDA主题相似度的SVM迁移学习

针对文本分类领域中的迁移学习方法,提出了一种基于LDA(Latent Dirichlet Allocation)主题生成模型相似度的支持向量机(SVM)迁移学习新思路。基于此思想,提出了迁移学习算法LDA-TSVM。本算法通过对目标域的主题进行分类,依据主题分类信息熵对训练数据进行筛选,分别计算每个训练样本的权重,使得训练集与目标集有很高的相似度,从而达到迁移学习的目的。本算法不仅未引入辅助集,而且还考虑了样本本身的差异,有效地提高了源域数据集与目标域数据集的相似性。实验结果表明了新迁移算法的有效性。     

基于迁移学习的小样本齿轮箱故障诊断方法

实际工程场景中齿轮箱受工况、环境等因素影响,数据难以满足特征分布相同、训练数据充足等条件,如何在变工况情况下对齿轮故障进行诊断是故障诊断领域一大难点。为此,提出了一种结合Logistic混沌麻雀搜索优化算法(LSSA)与深度置信网络(DBN)的智能故障诊断方法,即LSSADBN。首先,将时域振动信号进行快速傅里叶变换(FFT)转换为频域信号作为训练数据集,运用Logistic混沌映射对SSA种群进行初始化,采用LSSA方法对训练数据集进行DBN结构寻优;使用最优结构DBN对源域训练集进行预训练,并加入少量目标域样本用于反向权重调优,最终实现在小样本情况下对目标域齿轮箱健康状况的准确识别。实验对比结果证明,LSSADBN方法在模型调优阶段具有更快的收敛速度,且针对不同的目标域进行迁移时都具备较高的准确率,LSSADBN方法的研究对小样本情况下的齿轮箱故障诊断具有一定的应用价值。     

结合时空距离的多网络互学习行人重识别

目的 在真实行人识别场景中,获得准确的标注需要耗费大量人力,因此无监督领域自适应成为行人重识别具有潜力的研究方向,这类方法通常需要聚类生成伪标签,往往会存在噪音。此外,在行人搜索过程中,好的排序算法也是取得更好识别性能的关键,但寻常的Re-Ranking排序优化由于巨大的性能消耗,限制了在真实场景下的应用。针对这两个问题,本文提出了一个联合多网络、分摄像头训练的框架,利用时空信息对排序进行优化。方法对源域数据使用有监督进行预训练,利用未标记的目标域样本进行多个网络模型的深度互学习无监督训练,提高网络的泛化能力,同时在训练过程中进行分摄像头处理,减小跨摄像头的影响,提升伪标签的质量。在排序匹配阶段利用时空信息对排序进行优化,进一步提升匹配性能。结果 实验在2个跨域实验数据集上进行测试比较,在源域为DukeMTMC-ReID(Duke multi-tracking multi-camera re-identification)数据集,目标域为Market-1501数据集的实验中,本文方法的平均精度均值（mean average precision,mAP）和Rank1分别为82.5%和95...     

基于相似度学习的多源迁移算法

针对与测试数据分布相同的训练数据不足,相关领域中存在大量的、与测试数据分布相近的训练数据的场景,提出一种基于相似度学习的多源迁移学习算法(SL-MSTL).该算法在经典SVM分类模型的基础上提出一种新的迁移分类模型,增加对多源域与目标域之间的相似度学习,可以有效地利用各源域中的有用信息,提高目标域的分类效果.实验的结果表明了SL-MSTL 算法的有效性和实用性.     

域间F-范数正则化迁移谱聚类方法

传统聚类算法在目标数据集被噪声或异常数据大量污染的场景下聚类效果不佳。针对此问题,在经典谱聚类算法(spectral clustering,SC)基础上加入迁移学习知识,提出了新的域间F-范数正则化迁移谱聚类算法(transfer spectral clustering based on inter-domain F-norm regularization,TSC-IDFR)。该算法通过第K最近邻原则为目标域数据从源域(历史数据)获取等量的可参照数据样本,然后基于域间F范数正则化机制,迁移这些源域可参照数据样本的谱聚类特征矩阵,以辅助目标域数据集上的谱聚类过程,从而解决实际问题中由于目标域数据污染带来的聚类难题,最终提高谱聚类效果。通过在模拟数据集和真实数据集上的仿真实验,证明了该算法的有效性。