基于小样本学习的意图识别与槽位填充方法

“意图识别”与“槽位填充”是智能人机交互中的两个核心任务，受到学术界和工业界的广泛关注。目前业界前沿主流的方法，在一些学术公开数据集上已取得了不错的效果。不过这些方法大多依赖于丰富的标注数据集来完成训练，而数据集需要经过人工采集、标注等流程构造，且需满足其分布的均匀性。然而，真实业务场景下的数据却很难达到以上标准，往往面临小样本学习困难的难题，大多主流方法在小样本学习任务上的表现远不如其在大样本学习上的效果。针对此业界难点，该文提出一种基于半监督学习与迁移学习的“意图识别”与“槽位填充”的串联方法。该方法根据“意图识别”和“槽位填充”的各自任务特性，分别设计了针对性更强的小样本解决思路，即通过半监督学习的思想，在不需引入大量标注数据的情况下，利用无标签数据丰富、构造训练样本集，提高小样本意图识别的准确性；以及通过迁移学习的思想，将从大样本数据中学习到的先验知识迁移到小样本数据模型中，利用大样本数据与小样本数据间的公共知识，提高小样本槽位填充的精准度。该文所提出的方法通过实验对比被证实有效，且在2021年中国计算机学会大数据与计算智能大赛(CCF-BDCI)组委会与中国中文信息学会(CI...     

基于改进DeeplabV3+模型的云检测

国产卫星影像数量的快速增长对国产影像的质量控制的精度和效率提出更高的要求，而云检测是遥感影像质量检测的首要问题。针对现有云检测的深度学习模型存在误判、漏判和训练需要花费大量时间的问题，研制一套云检测算法具有重要意义。文章提出了一种基于改进DeeplabV3+模型的云检测方法，通过对Xception网络和空间金字塔池化模块(atrous spatial pyramid pooling, ASPP)进行改进，并加入迁移学习，进而提高模型的精度和效率。分析结果表明，该改进的云检测模型与传统的DeeplabV3+模型相比，准确率提高了3.34%,精确率提高了3.78%,召回率提高了4.47%,平均交并比提高了5.39%,且训练时长和预测时长也有明显的减少。     

基于变权重迁移学习的BN参数学习算法

针对小数据集条件下的贝叶斯网络(Bayesian network,BN)参数估计困难问题,提出了一种基于变权重迁移学习(DWTL)的BN参数学习算法。首先,利用MAP和MLE方法学习得到目标域初始参数和各源域参数;然后根据不同源域数据样本贡献的不同计算源权重因子;接着基于目标域样本统计量与小数据集样本阈值的关系设计了目标域初始参数和源域参数的平衡系数;最后,基于上述参数、源权重因子和平衡系数计算得到新的目标参数。在实验研究中,通过对经典BN模型的参数学习问题验证了DWTL算法的有效性;针对小数据集下的轴承故障诊断问题,相较于传统迁移学习(LP)算法,DWTL算法学习精度提高了10%。实验结果表明:所提出的算法能够较好地解决样本数据集在相对稀缺条件下的目标参数建模问题。     

基于卷积神经网络的桥梁裂缝检测方法

针对桥梁裂缝固有特征及检测过程的局限性,引入基于卷积神经网络的YOLOv3单阶段目标检测算法,并对YOLOV3网络的多尺度预测模块进行改进,充分利用浅层特征,提升小裂缝检测精度.通过聚类算法对数据集进行聚类,得到适用于桥梁裂缝特征的先验框尺寸.数据集方面引入生成对抗网络对桥梁裂缝数据集进行扩增.实验结果表明,在相同数据集和迭代次数下,改进YOLOv3网络裂缝检测精度可达0.9302,比原YOLOv3提高0.0137.     

注意力迁移的联合平衡领域自适应

目的 现有的图像识别方法应用于从同一分布中提取的训练数据和测试数据时具有良好性能,但这些方法在实际场景中并不适用,从而导致识别精度降低。使用领域自适应方法是解决此类问题的有效途径,领域自适应方法旨在解决来自两个领域相关但分布不同的数据问题。方法 通过对数据分布的分析,提出一种基于注意力迁移的联合平衡自适应方法,将源域有标签数据中提取的图像特征迁移至无标签的目标域。首先,使用注意力迁移机制将有标签源域数据的空间类别信息迁移至无标签的目标域。通过定义卷积神经网络的注意力,使用关注信息来提高图像识别精度。其次,基于目标数据集引入网络参数的先验分布,并且赋予网络自动调整每个领域对齐层特征对齐的能力。最后,通过跨域偏差来描述特定领域的特征对齐层的输入分布,定量地表示每层学习到的领域适应性程度。结果 该方法在数据集Office-31上平均识别准确率为77.6%,在数据集Office-Caltech上平均识别准确率为90.7%,不仅大幅领先于传统手工特征方法,而且取得了与目前最优的方法相当的识别性能。结论 注意力迁移的联合平衡领域自适应方法不仅可以获得较高的识别精度,而且能够自动学习领域间特征的对齐程度,同时也验证了进行域间特征迁移可以提高网络优化效果这一结论。     

改进DeeplabV3+模型的河流水体提取

为了探究深度学习DeeplabV3+模型在河流水体提取的潜力,分别构建了ResNet-50、ResNet-101、ResNet-152、Xception共4种不同骨架网络的DeeplabV3+模型,开展河流水体提取研究。通过河流水体提取结果对比分析,确定了最优骨架网络模型为ResNet-50,在此基础上提出了改进的DeeplabV3+模型,并与最邻近分类法、随机森林分类法、支持向量机分类法、原始DeeplabV3+模型法等分类方法的分类结果进行比较。结果表明：改进的DeeplabV3+网络模型能有效提取河流水体目标,增强小面积河流水体识别能力,减少河流水体漏分现象,提高河流水体提取效果。改进后的DeeplabV3+网络模型在高分辨率遥感影像河流水体提取方面具有可行性,为后续该领域的进一步研究应用提供了参考。     

结合迁移学习模型的卷积神经网络算法研究

针对传统的卷积神经网络算法在训练集与测试集分布不同时分类精度较低且标注成本较高的问题,提出结合迁移学习模型的卷积神经网络算法。使用主成分分析算法对源域数据进行无监督降维,同时结合自编码机算法对目标数据集降维,使源域和目标数据集在低维度下具有相似的特征分布;根据卷积神经网络特征提取的特点,利用JS散度来判别卷积池层能否迁移,并使用初始化的隐藏层补全trCNN模型;使用少量带标注的目标数据集进行训练,完成分类模型的构建。设计实验验证分类模型能够在使用少量标注数据情况下准确地完成分类工作。     

命名实体识别的迁移学习研究综述

命名实体识别(NER)是自然语言处理的核心应用任务之一。传统和深度命名实体识别方法严重依赖于大量具有相同分布的标注训练数据,模型可移植性差。然而在实际应用中数据往往都是小数据、个性化数据,收集足够的训练数据是非常困难的。在命名实体识别中引入迁移学习,利用源域数据和模型完成目标域任务模型构建,提高目标领域的标注数据量和降低目标域模型对标注数据数量的需求,在处理资源匮乏命名实体识别任务上,具有非常好的效果。首先对命名实体识别方法和难点以及迁移学习方法进行概述;然后对近些年应用于命名实体识别的迁移学习方法,包括基于数据迁移学习、基于模型迁移学习和对抗迁移学习,进行全面综述,重点阐述了对抗迁移学习方法;最后进一步思考当前存在的问题并对未来的研究方向进行了展望。     

基于用户-项目交叉注意力机制的迁移推荐模型

随着互联网技术的发展,个性化的推荐系统得到了广泛应用。但用户数据稀疏与冷启动仍是推荐系统普遍面临的难题。将深度学习与注意力机制相结合,提出基于用户-项目交叉注意力机制的迁移推荐模型。该模型能够充分学习源域数据中用户、物品及评分间的潜在关系,然后初始化目标域神经网络,迁移应用到目标域。为验证算法模型的有效性,在公开数据集上进行实验,结果表明该模型可以更好地预测实际评分。     

小样本学习研究综述

小样本学习旨在通过少量样本学习到解决问题的模型.近年来在大数据训练模型的趋势下,机器学习和深度学习在许多领域中取得了成功.但是在现实世界中的很多应用场景中,样本量很少或者标注样本很少,而对大量无标签样本进行标注工作将会耗费很大的人力.所以,如何用少量样本进行学习就成为了目前人们需要关注的问题.本文系统梳理了当前小样本学习的相关工作,具体介绍了基于模型微调、基于数据增强和基于迁移学习三大类小样本学习模型与算法的研究进展;本文将基于数据增强的方法细分为基于无标签数据、基于数据合成和基于特征增强三类,将基于迁移学习的方法细分为基于度量学习、基于元学习和基于图神经网络三类.本文还总结了目前常用的小样本数据集,以及代表性的小样本学习模型在这些数据集上的实验结果,随后对小样本学习的现状和挑战进行了概述,最后展望了小样本学习的未来发展方向.     

基于迁移学习的小样本DGA恶意域名检测方法

域名生成算法（DGA）存在变化多、部分类别样本难获取的特点,使得采用传统机器学习的恶意域名检测模型准确性不高。提出一种基于迁移学习和多核CNN的小样本DGA恶意域名检测模型。该模型将目标域名映射到向量空间中,使用样本充足的DGA种类进行预训练,并迁移预训练得到的参数到小样本检测模型。采用多核CNN小样本分类模型根据发音习惯进行域名特征提取并分类。通过实验对比发现,无知识迁移的小样本分类模型只有11类域名准确率超过92%,经过迁移学习的多核CNN模型20类准确率超过92%,11类准确率超过97%,检测效果接近数据充足时的分类效果。     

基于实例迁移的数据流分类挖掘方法

为解决数据流分类过程中样本标注和概念漂移问题，提出了一种基于实例迁移的数据流分类挖掘模型.首先，该模型用支持向量机作学习器，用所得分类模型中的支持向量构建源领域，待分类的当前数据块为目标域.然后，借助互近邻思想在源域中挑选目标域中样本的真邻居进行实例迁移，避免发生负迁移.最后，通过合并目标域和迁移样本形成训练集，提高标注样本数量，增强模型的泛化能力.理论分析和实验结果表明，所提方法具有可行性，相比其它学习方法在分类准确性方面更具优势.     

用于失配隐写分析的对抗子领域自适应网络

当训练集数据和测试集数据来自不同的载体源时,即在载体源失配的条件下,通常会使一个表现优异的隐写分析器检测准确率下降。在实际应用中,隐写分析人员往往需要处理从互联网上采集的图像。然而,与训练集数据相比,这些可疑图像很可能具有完全不同的捕获和处理历史,导致隐写分析模型可能出现不同程度的检测性能下降,这也是隐写分析工具在现实应用中很难成功部署的原因。为了提高基于深度学习的隐写分析方法的实际应用价值,对测试样本信息加以利用,使用领域自适应方法来解决载体源失配问题,将训练集数据作为源领域,将测试集数据作为目标领域,通过最小化源领域与目标领域之间的特征分布差异来提高隐写分析器在目标领域的检测性能,提出了一种对抗子领域自适应网络（ASAN,adversarial subdomain adaptation network）。一方面从生成特征的角度出发,要求隐写分析模型生成的源领域特征和目标领域特征尽可能相似,使判别器分辨不出特征来自哪一个领域;另一方面从减小域间特征分布差异的角度出发,采用子领域自适应方法来减少相关子领域分布的非期望变化,有效地扩大了载体与载密样本之间的距离,有利于分类精度的提高。通过在多个数据集上对3种隐写算法进行检测,证实了所提方法可以有效地提升模型在数据集失配和算法失配时的检测准确率,减少了失配问题带给模型的负面影响。     

基于双注意力机制的遥感图像目标检测

针对遥感图像在复杂背景下小目标检测精度较低的问题,提出一种基于双注意力机制模型的SSD检测算法。该算法在前端特征提取网络中引入双注意力机制模型,强化低层特征图中小目标的有效特征信息并抑制冗余的语义信息,实现自适应特征学习;并在空间注意力模型中引入空洞卷积,保证卷积核感受野的同时减少了网络参数。引入Focal loss损失函数作为改进算法的分类损失函数,改善网络在训练过程中样本失衡的问题,增加正样本与难样本在训练时的权重比例,提升算法的检测性能。对遥感图像数据集NWPU VHR-10进行检测的结果表明,本文的改进算法在保证检测速度的同时提高了检测精度。与传统SSD算法相比,改进SSD算法的mAP提高了2.25个百分点,达到79.65%。     

脊柱MR图像自动分割方法的研究

脊柱磁共振（magnetic resonance,MR）图像精确分割是脊柱配准、三维重建等技术的前提。传统脊柱MR图像分割方法过程繁琐,精度低。为克服传统方法弊端,提出了一种基于深度学习的脊柱MR图像自动分割方法。该方法构建对称通道卷积神经网络提取多尺度图像特征,通过残差连接解决训练中网络退化问题,同时用跳跃连接层连接中间层特征减少信息丢失。在搭建的网络模型中加入卷积块注意力机制关注空间和通道中的有效特征。实验结果表明,该模型在测试集上的平均DSC系数为0.861?9,相比FCN、U-Net、DeeplabV3+和UNet++网络模型分别提高了15.34%、7.08%、5.79%、3.1%。该模型可应用于临床实践中提升脊柱MR图像的分割精度。     

一种基于数据复杂度的投毒数据检测方法

针对机器学习模型训练过程中攻击者可以利用修改原始训练数据生成投毒数据的方式对机器学习模型进行投毒攻击的问题,提出一种基于数据复杂度的投毒数据检测方法。该方法在正常数据集的基础上,应用梯度上升策略对正常数据集内的样本实例进行自我投毒,通过挖掘自我投毒产生的投毒数据对正常数据集数据复杂度的影响,训练能够辨别投毒数据的检测模型。该方法在选定的应用场景中的检测准确率比现有方法有更好的效果。实验结果表明,投毒数据能够有效降低机器学习模型预测能力,应用基于数据复杂度的检测方法能够有效检测投毒数据,降低投毒数据对模型预测能力的不良影响。     

面向样本不平衡的网络安全态势要素获取

针对传统的网络安全态势要素获取模型中,当样本分布不平衡时,占比很少的样本（统称小样本）不能被有效检测,准确识别到每一类攻击样本成为研究热点之一。利用深度学习提出了一种面向样本不平衡的要素获取模型,利用卷积神经网络作为基分类器提取网络数据的深层特征,其次使用GAN生成对抗网络扩充小样本的方法,解决样本分布不均衡问题。在扩充后的平衡数据集上采用迁移学习,加快基分类器到适应于小样本的新分类的训练时间。在NSL-KDD数据集上的实验表明,经过生成对抗网络扩充后的数据集,结合迁移学习有效加快了模型训练收敛速度,并有效提高网络安全态势要素获取的分类精度。     

基于SVM主动学习的入侵检测系统

研究在入侵检测中，采用基于支持向量机(SVM)的主动学习算法，解决小样本下的机器学习问题。该文提出了基于SVM主动学习算法的系统框架及适用于入侵检测系统的SVM主动学习算法，讨论了候选样本集的组成比例、候选样本集数量及核函数的不同参数选取对检测结果的影响。通过实验验证，基于SVM主动学习算法与传统SVM算法相比，能有效地减少学习样本数，提高检测精度。