基于深度学习的域适应方法综述

域适应主要应对跨不同数据分布的相似任务决策问题。作为机器学习领域的一个新兴分支,域适应受到了众多的研究和关注。随着近年深度学习的兴起,深度学习和域适应相结合的深度域适应研究得到了更多的关注。尽管已有各种深度域适应方法被提出,却鲜有系统的综述工作发表。为此,本文重点对现有的深度域适应方法进行全面回顾、分析和总结,为相关研究人员提供借鉴和参考。本文主要贡献包括以下方面：首先,对域适应的背景、概念和应用领域进行概括总结。其次,根据模型是否涉及对抗训练机制,将现有深度域适应划分为深度对抗域适应和深度非对抗域适应两大类方法,并逐类回顾和分析。然后,对常用的实验基准数据集进行归类和总结。最后,对现有深度域适应工作存在的问题和不足进行了归纳分析,并讨论了将来的可行研究方向。     

深度域适应综述: 一般情况与复杂情况

信息时代产生的大量数据使机器学习技术成功地应用于许多领域. 大多数机器学习技术需要满足训练集与测试集独立同分布的假设, 但在实际应用中这个假设很难满足. 域适应是一种在训练集和测试集不满足独立同分布条件下的机器学习技术. 一般情况下的域适应只适用于源域目标域特征空间与标签空间都相同的情况, 然而实际上这个条件很难满足. 为了增强域适应技术的适用性, 复杂情况下的域适应逐渐成为研究热点, 其中标签空间不一致和复杂目标域情况下的域适应技术是近年来的新兴方向. 随着深度学习技术的崛起, 深度域适应已经成为域适应研究领域中的主流方法. 本文对一般情况与复杂情况下的深度域适应的研究进展进行综述, 对其缺点进行总结, 并对其未来的发展趋势进行预测. 首先对迁移学习相关概念进行介绍, 然后分别对一般情况与复杂情况下的域适应、域适应技术的应用以及域适应方法性能的实验结果进行综述, 最后对域适应领域的未来发展趋势进行展望并对全文内容进行总结.     

模型参数自适应迁移的多源域适应

在新领域中,常常存在样本不充分或标记不足的问题。针对此问题,人们提出了域适应,该方法利用相关领域（源域）的知识来提高当前领域（目标域）学习性能。单个源域的知识往往不充分且类别完全相同的多个源域难以满足,同时域之间存在漂移问题。而现有的多源域适应模型难以解决类别不完全一致的问题,因此给多源域适应带来了较大的挑战。为此提出了一种基于模型参数自适应迁移的方法（Adaptive Transfer for ModelParameter,ATMP）,通过对每个源域的模型参数进行私有和公有模型参数字典学习,同时将多个源域中所学的模型参数字典作为目标域的模型参数字典,然后通过对字典系数的行稀疏约束实现源域和目标域模型参数的自适应选择。除此之外,该方法迁移的是模型参数而不是数据本身,因此有效实现了对源域数据的隐私保护。经过一系列实验表明,在相关数据集上的实验显示了本文所提方法在聚类性能上的显著有效性。     

部分域适应研究综述

域适应通过将源域知识迁移到任务相似的目标域,旨在辅助后者更好地学习.当目标域的数据标签集为源域标签的子集时,该类场景的域适应称为部分或偏域适应(partial domain adaption, PDA).相比一般的域适应,尽管PDA更具普遍性,但也更具挑战性,相关研究较少,尤其缺少系统的综述.为此,旨在弥补这一欠缺,对现有PDA方法进行全面回顾、分析和总结,为相关社区提供主题研究概貌和参考.首先针对PDA背景、概念和应用领域进行概况总结.其次,根据方法的建模特点, PDA被划分为促进正迁移和抑制负迁移两大类,进而分别作出回顾和分析.然后,对常用的实验基准数据集进行归类和总结.最后,对现有PDA工作存在的问题进行了分析,并提出了其未来可能的发展方向.     

多源域分布下优化权重的迁移学习Boosting方法

深度决策树迁移学习Boosting方法（DTrBoost）仅能适应一个源域与一个目标域的训练数据,无法适应多个不同分布的源域的样本。此外,DTrBoost方法同步地从源域中学习数据至目标域模型,并没有根据重要程度量化学习知识的权重。在实践中,对于某数据集的数据按照某一或某些特征划分出来的数据往往分布不一致,并且这些不同分布的数据对于最终模型的重要性也不一致,知识迁移的权重也因此不平等。针对这一问题,提出了多源域优化权重的迁移学习方法,主要思想是根据不同分布的源域空间计算出到目标域的KL距离,利用KL距离的比值计算出不同分布的源域样本的学习权重比例,从而优化整体梯度函数,使学习方向朝着梯度下降最快的方向进行。使用梯度下降算法能使模型较快收敛,在确保迁移学习效果的同时,也能确保学习的速度。实验结果表明,提出的算法在整体上实现了更好的性能并且对于不同的训练数据能够实现自适应效果,分类错误率平均下降0.013,在效果最好的OCR数据集上下降0.030。     

基于自适应权重的多源部分域适应

作为机器学习的一个新兴领域,多源部分域适应(MSPDA)问题由于其源域自身的复杂性、领域之间的差异性以及目标域自身的无监督性,给相关研究带来了挑战,以致目前鲜有相关工作被提出.在该场景下,多个源域中的无关类样本在域适应过程中会造成较大的累积误差和负迁移.此外,现有多源域适应方法大多未考虑不同源域对目标域任务的贡献度不同.因此,提出基于自适应权重的多源部分域适应方法(AW-MSPDA).首先,构建了多样性特征提取器以有效利用源域的先验知识;同时,设计了多层次分布对齐策略从不同层面消除了分布差异,促进了正迁移;此外,为量化不同源域贡献度以及过滤源域无关类样本,利用相似性度量以及伪标签加权方式构建自适应权重;最后,通过大量实验验证了所提出AW-MSPDA算法的泛化性以及优越性.     

融合动态残差的多源域自适应算法研究

多源域自适应问题通常是指拥有多个源域与单个目标域的场景.常见做法是依据域标签两两对齐源域与目标域分布,通过减小域间距离,将分布映射到共同隐空间内,去预测未知目标域的数据分类.源数据集通常需要域标签,且模型在经过训练阶段后,参数固定,这就很难达到拟合未知目标域分布的目的.基于动态残差块的多源域自适应算法不是从域的角度而是...     

通用域适应综述

域适应问题放宽了传统机器学习问题关于训练样本和测试样本同分布的假设,在域间差异存在的情况下从富有标签的源域迁移知识到缺少标签的目标域.但现有域适应方法大多依赖于对源域和目标域标签集合的相对关系的假设,不贴合实际应用场景,因此,通用域适应问题考虑如何在缺少源域和目标域的标签集合先验信息的情况下,实现对目标域的标记.在此过程中,通用域适应方法需要判定目标域样本是否属于源域类别,克服域间差异和潜在的类别差异,在源域和目标域共有类上完成标签的迁移.首先从问题设置与方法策略2方面,对通用域适应方法进行梳理;然后通过实验对比了典型方法,进而分析了通用域适应问题的研究难点;随后整理了现有方法的应用情况,对与之有关的实际应用问题进行了分析;最后探讨了通用域适应问题未来研究方向.     

基于多源域适应的缺陷类别预测方法

随着规模和复杂性的迅猛膨胀,软件系统中不可避免地存在缺陷.近年来,基于深度学习的缺陷预测技术成为软件工程领域的研究热点.该类技术可以在不运行代码的情况下发现其中潜藏的缺陷,因而在工业界和学术界受到了广泛的关注.然而,已有方法大多关注方法级的源代码中是否存在缺陷,无法精确识别具体的缺陷类别,从而降低了开发人员进行缺陷定位及修复工作的效率.此外,在实际软件开发实践中,新的项目通常缺乏足够的缺陷数据来训练高精度的深度学习模型,而利用已有项目的历史数据训练好的模型往往在新项目上无法达到良好的泛化性能.因此,本文首先将传统的二分类缺陷预测任务表述为多标签分类问题,即使用CWE(common weakness enumeration)中描述的缺陷类别作为细粒度的模型预测标签.为了提高跨项目场景下的模型性能,本文提出一种融合对抗训练和注意力机制的多源域适应框架.具体而言,该框架通过对抗训练来减少域(即软件项目)差异,并进一步利用域不变特征来获得每个源域和目标域之间的特征相关性.同时,该框架还利用加权最大均值差异作为注意力机制以最小化源域和目标域特征之间的表示距离,从而使模型可以学习到更多的域无关特征.最后在八个真实世界的开源项目上与最先进的基线方法进行大量对比实验验证了所提方法的有效性.     

具有类间差异约束的多对抗深度域适应模型

为实现目标域样本能够与源域中同类样本准确对齐,并在保证样本准确识别率的条件下进一步提高不同类别样本特征间的可区分性,提出了一种带有类间差异约束的域适应模型。首先,该模型采用深度卷积神经网络对源域样本进行了有监督学习,并在训练过程中基于提出的类间差异测量函数对源域样本特征加以类间差异性约束;其次,该模型采用了多对抗域鉴别网络结构,其中提出了一种目标域样本伪标签计算方法,从而将无标签的样本指定到合理的域鉴别网络进行训练;最后,通过最小化分类损失与最大化域鉴别损失,获得最优特征提取器与特征分类器。实验结果表明,对于4种数据集,提出的模型在目标域上平均识别准确率可以达到0.860,同类间的平均距离、不同类间的平均距离、目标域中样本错误识别率相对于改进前分别降低0.003,提升0.065,降低0.025,从而验证了提出模型的性能得到了明显提升。     

基于域相关性与流形约束的多源域迁移学习分类算法

传统机器学习要求训练样本和测试样本具有相同分布的假设在实际应用中难以满足,为解决这种问题,迁移学习的研究近年来逐渐兴起。然而,如果源域与目标域的相关性较小,粗暴式地强制性迁移不仅不能促进目标域学习,甚至会降低学习性能,即“负迁移”问题。为此,本文提出了一种基于多重相似性的多源域迁移学习方法。该方法首先从“域-域”和“样本-域”两个层面来更加准确地衡量目标域与多个源域的相关性,然后根据目标域分类器与相关源域分类器对目标域无标记样本具有相似决策值的平滑性流形假设,实现源域知识向目标域迁移的目的。该方法不仅能够从多个不同源域中挖掘更多的知识用于目标域学习,而且能够根据域间相似性有选择地进行迁移,可以有效地避免“负迁移”问题。在公共数据集上的实验结果表明所提出的迁移学习方法具有更好的性能。     

结合对抗网络与条件均值的多源适应分类方法

生成适应网络利用对抗训练辅助模型进行域适应分类,但仅使用单源域学到的知识有限,且对抗训练不足以减少域差异,造成判别特征难以识别,影响分类精度.针对该问题,提出一种结合对抗网络与条件均值的多源适应分类方法(MSDACG).对多个源域进行特征提取,提升特征学习的有效部分,对不同源和目标域特征使用特定域的生成对抗网络及条件最...     

基于深度域适应的跨域目标检测算法综述

近年来,基于深度学习的目标检测算法在自动驾驶、人机交互等众多域上有着成功的应用,且因其检测性能较高引起学者的广泛关注。传统的深度学习方法一般基于源域与目标域服从同一分布的假设,但该假设不具备现实性,严重地降低了模型的泛化性能。如何对齐源域与目标域的分布,提高目标检测模型的泛化性成为近两年的研究热点。对跨域目标检测算法进行了综述,介绍了跨域目标检测的预备知识：深度域适应和目标检测,将跨域目标检测分解为两个子问题进行了概述,从底层逻辑理解其发展进程;给出了跨域目标检测算法的最新进展,从差异、对抗、重构、混合和其他等几个分类角度切入,梳理了每个类别的研究脉络并对比了在不同数据集上的性能;通过对目前跨域目标检测算法的梳理和总结,就其未来的研究方向进行展望。     

结合源域差异性与目标域不确定性的深度迁移主动学习方法

针对训练深度模型时样本标注成本较大的问题,文中提出结合源域差异性与目标域不确定性的深度迁移主动学习方法.以源任务网络模型作为目标任务初始模型,在主动学习迭代中结合源域差异性和目标域不确定性挑选对模型最具有贡献的目标域样本进行标注,根据学习阶段动态调整两种评价指标的权重.定义信息榨取比概念,提出基于信息榨取比的主动学习批次训练策略及T&N训练策略.两个跨数据集迁移实验表明,文中方法在取得良好性能的同时可有效降低标注成本,提出的主动学习训练策略可优化计算资源在主动学习过程中的分配,即让方法在初始学习阶段对样本学习更多次数,在终末学习阶段对样本学习较少次数.     

基于双矫正机制的源域无关域适应学习

标准域无监督域适应学习是从相关的源域学习知识迁移到目标域,通常假设源域数据在训练阶段是可直接使用的。但是由于隐私和安全问题,在一些现实的应用中,源域数据往往是不可直接获取的,如何有效利用目标域数据从而减少噪声类的输出或特征的产生是源域无关域适应学习的巨大挑战。为解决这个问题,提出了一个基于双矫正机制的源域无关域适应学习模型（source-free domain adaptation with dual-correction mechanism,DCM）。首先,探索目标域样本信息结构,对噪声类输出进行矫正;其次,采用教师—学生模型指导特征的学习,最大化高置信度特征间的一致性以及低置信度特征间的差异性。最后,在数字集、Office-31和Office-Home数据集上的实验结果证实了DCM的有效性。     

基于渐进多源域迁移的无监督跨域目标检测

针对目标检测任务中获取人工标注训练样本的困难, 提出一种在像素级与特征级渐进完成域自适应的无监督跨域目标检测方法. 现有的像素级域自适应方法中, 存在翻译图像风格单一、内容结构不一致的问题. 因此, 将输入图像分解为域不变的内容空间及域特有的属性空间, 综合不同空间表示进行多样性的图像翻译, 同时保留图像的空间语义结构以实现标注信息的迁移. 此外, 对特征级域自适应而言, 为缓解单源域引起的源域偏向问题, 将得到的带有标注的多样性翻译图像作为多源域训练集, 设计基于多领域的对抗判别模块, 从而获取多个领域不变的特征表示. 最后, 采用自训练方案迭代生成目标域训练集伪标签, 以进一步提升模型在目标域上的检测效果. 在Cityscapes & Foggy Cityscapes与VOC07 & Clipart1k数据集上的实验结果表明, 相比现有的无监督跨域检测算法, 该检测框架具更优越的迁移检测性能.     

基于深度多源子域适应网络的滚动轴承跨域故障诊断

针对域适应技术在源域数据集子类距离过近以及样本数量少时分类精度低的问题,提出一种基于深度卷积生成对抗网络(DCGAN)数据扩充的深度多源子域适应网络(DMSAN)故障诊断方法.首先,针对目标域样本少的问题,引入深度卷积生成对抗网络对其进行数据扩充;其次,通过网络分支结构获取多源域的共享特征;再次,使用局部最大均值差异(LMMD)进行特征映射,对齐每个源域和目标域的子领域;最后,采用加权模块实现全局损失的最小化,以及多源域联合诊断.引入美国凯斯西储大学(CWRU)数据集和搭建故障诊断平台测得的轴承故障数据集进行实验,结果表明所提出模型的跨域故障诊断精度高于其他域适应对比模型,在目标域数据较少时优势尤为明显.     

面向小样本约束的域适应分类算法

近年来,人工智能的相关应用被越来越细化到不同的应用场景,而对不同的应用场景都进行相应的数据收集,模型训练,模型调优等步骤需要消耗大量的时间精力会严重影响人工智能技术应用的效率.因此如何基于现有的成熟的训练过的模型迁移到其他应用场景是当前应用人工智能技术的关键问题.域适应算法主要研究将源域模型有效地迁移到目标域,这为上述问题提供了一个重要的解决思路.本文提出小样本对抗判别域适应算法,相对于无监督域适应算法能够在更严格的约束下-仅需要少量的目标域样本,在标准数据集上取得了优于对抗判别域适应算法(Adversarial Discriminative Domain Adaptation,ADDA)算法的表现,在单任务中最高提升幅度达16.9%.本文中,首先,提出了两种新的数据增强方法,以构建符合双域联合分布的图像以丰富样本多样性并填充特征空间,解决小样本约束下模型易过拟合到少量目标域样本的问题.接着,结合双域样本配对机制和ADDA算法,将以大量目标域样本为条件的无监督域适应算法改进为面向小样本约束的有监督域适应算法.在域适应过程中,引入类标签平滑损失来抑制过拟合现象,并结合度量学习中的最大平均...     

基于PE散度实例过滤的深度域适应方法

深度域适应作为迁移学习最常见的问题之一,已经在许多机器学习应用中获得了优异的性能。然而,现有的深度域适应方法在减小域偏差时单一适配完全连接层,忽视了卷积层的空间信息和语义上下文信息,造成在知识迁移过程中丢失重要信息。为此,文中将基于实例的域适应与基于特征的域适应相结合,提出了基于PE散度实例过滤的深度域适应方法(Domain Adaptation Based on PE Divergence Instance Filtering,DAPEIF)。其基本思想是首先利用PE散度计算源域样本的相对权值,删除易造成负迁移的源域样本,选择相对权值较高的训练数据作为新的源域样本,从而降低源域与目标域之间的差异性;然后基于AlexNet模型,使用最大均值差异(Maximum Mean Discrepancy,MMD)准则,将其作为正则化项纳入神经网络的学习中。与以往只关注完全连接层的域适应方法不同,文中联合匹配卷积层和完全连接层的边缘概率分布以解决欠适配问题,同时引入权值正则项,通过梯度下降法学习网络参数,进一步提高了域适应过程中模型的泛化性能。所提算法能同时对神经网络的卷积层和完全连接层的参数赋予...     

多源域混淆的双流深度迁移学习

目的 针对深度学习严重依赖大样本的问题,提出多源域混淆的双流深度迁移学习方法,提升了传统深度迁移学习中迁移特征的适用性。方法 采用多源域的迁移策略,增大源域对目标域迁移特征的覆盖率。提出两阶段适配学习的方法,获得域不变的深层特征表示和域间分类器相似的识别结果,将自然光图像2维特征和深度图像3维特征进行融合,提高小样本数据特征维度的同时抑制了复杂背景对目标识别的干扰。此外,为改善小样本机器学习中分类器的识别性能,在传统的softmax损失中引入中心损失,增强分类损失函数的惩罚监督能力。结果 在公开的少量手势样本数据集上进行对比实验,结果表明,相对于传统的识别模型和迁移模型,基于本文模型进行识别准确率更高,在以DenseNet-169为预训练网络的模型中,识别率达到了97.17%。结论 利用多源域数据集、两阶段适配学习、双流卷积融合以及复合损失函数,构建了多源域混淆的双流深度迁移学习模型。所提模型可增大源域和目标域的数据分布匹配率、丰富目标样本特征维度、提升损失函数的监督性能,改进任意小样本场景迁移特征的适用性。