对比学习研究综述

由于传统的监督学习方法很大程度上依赖于大量的标注数据,近年来,无需外部监督信息的自监督学习方法受到了极大关注.对比学习是一种有效的自监督学习方法,它通过对比相似样本和不相似样本,使得模型能够学习到样本的重要内在特征,进而应用于下游任务,在计算机视觉和自然语言处理等领域得到了越来越广泛的应用.本文系统地梳理了对比学习研究现状.首先介绍了对比学习的起源和主要思想,然后归纳了对比学习在设计映射函数、正负例构造和损失函数构造等方面的研究动态,接着重点介绍了面向计算机视觉和自然语言处理的对比学习研究;最后,分析了现有研究存在的问题,探讨了对比学习未来的研究趋势和发展方向.     

深度度量学习综述

深度度量学习已成为近年来机器学习最具吸引力的研究领域之一,如何有效的度量物体间的相似性成为问题的关键。现有的依赖成对或成三元组的损失函数,由于正负样本可组合的数量极多,因此一种合理的解决方案是仅对训练有意义的正负样本采样,也称为“难例挖掘”。为减轻挖掘有意义样本时的计算复杂度,代理损失设置了数量远远小于样本集合的代理点集。该综述按照时间顺序,总结了深度度量学习领域比较有代表性的算法,并探讨了其与softmax分类的联系,发现两条看似平行的研究思路,实则背后有着一致的思想。进而文章探索了许多致力于提升softmax判别性能的改进算法,并将其引入到度量学习中,从而进一步缩小类内距离、扩大类间距,提高算法的判别性能。     

图对比学习综述

对比学习作为一种自监督式的深度学习范式,在计算机视觉、自然语言处理等领域取得了瞩目的成绩。受这些成功的对比学习模型的启发,近年来大量研究者尝试将其拓展到图数据上,这为推动图对比学习的发展提供了坚实的基础。该领域现有的综述主要关注于传统的图自监督学习任务,而缺少对图对比学习方法的梳理和归纳。为了更好地帮助相关领域的研究者,该文梳理了近些年来的图对比学习模型,通过将现有工作归纳到一个统一的框架下,突出其发展脉络。最后该文总结了图对比学习常用的数据集和评价指标,并展望了该领域未来的发展方向。     

深度学习中的无监督学习方法综述

从2006年开始,深度神经网络在图像/语音识别、自动驾驶等大数据处理和人工智能领域中都取得了巨大成功,其中无监督学习方法作为深度神经网络中的预训练方法为深度神经网络的成功起到了非常重要的作用. 为此,对深度学习中的无监督学习方法进行了介绍和分析,主要总结了两类常用的无监督学习方法,即确定型的自编码方法和基于概率型受限玻尔兹曼机的对比散度等学习方法,并介绍了这两类方法在深度学习系统中的应用,最后对无监督学习面临的问题和挑战进行了总结和展望.     

基于深度学习的运动目标交接算法

针对多摄像机非重叠视域下存在的运动目标不连续性和不确定性的问题,提出一种基于深度学习的运动行人目标的交接算法.首先基于深度卷积神经网络构建人脸特征提取模型,对人脸特征提取模型进行训练,获得精确的人脸特征.然后比较两种常用的相似度度量方法,选择其中一种更适合的相似度度量方法,以完成最优的人脸匹配过程,提高人脸匹配的准确率.最后通过对不同摄像机下的人脸进行特征匹配找到最匹配的人脸,实现运动目标的交接.实验表明,深度神经网络可以减少运动目标丢失的概率,准确地提取到运动目标的人脸特征,有效完成多摄像机下运动目标的交接跟踪任务.     

深度神经网络的小样本学习综述

随着最近深度学习技术的蓬勃发展,深度神经网络(DNN)在大规模的图像分类与识别任务中取得了突破性的进展,但其在解决小样本学习问题时仍面临巨大挑战.小样本学习(FSL)是指在少量有监督样本的情况下学习一个能解决实际问题的模型,在深度学习领域具有重要意义.这促使该系统梳理了已有的DNN下的小样本学习工作,根据它们在解决小样...     

基于深度学习的单目深度估计技术综述

场景的深度估计问题是计算机视觉领域中的经典问题之一,也是3维重建和图像合成等应用中的一个重要环节。基于深度学习的单目深度估计技术高速发展,各种网络结构相继提出。本文对基于深度学习的单目深度估计技术最新进展进行了综述,回顾了基于监督学习和基于无监督学习方法的发展历程。重点关注单目深度估计的优化思路及其在深度学习网络结构中的表现,将监督学习方法分为多尺度特征融合的方法、结合条件随机场(conditional random field,CRF)的方法、基于序数关系的方法、结合多元图像信息的方法和其他方法等5类;将无监督学习方法分为基于立体视觉的方法、基于运动恢复结构(structure from motion,SfM)的方法、结合对抗性网络的方法、基于序数关系的方法和结合不确定性的方法等5类。此外,还介绍了单目深度估计任务中常用的数据集和评价指标,并对目前基于深度学习的单目深度估计技术在精确度、泛化性、应用场景和无监督网络中不确定性研究等方面的现状和面临的挑战进行了讨论,为相关领域的研究人员提供一个比较全面的参考。     

基于深度学习的旋转机械故障诊断研究综述

在现代化生产中,旋转机械的精密性和重要性越来越高,朝着大型、高速和自动化方向发展,以至传统故障诊断方法不足以处理海量、多源、高维的测量数据,不能满足安全性和可靠性的要求;因此,首先简要介绍几种典型的深度学习模型,并结合深度学习强大的特征提取能力和聚类分析的优势,对其近些年来在转子系统、齿轮箱和滚动轴承故障诊断的应用情况进行了对比分析;最后总结深度学习模型的优缺点,并从工程实际出发对旋转机械的故障诊断方法进行总结与展望。     

基于Fastformer和自监督对比学习的实例分割算法

针对现有的实例分割算法对有遮挡以及模糊实例检测精度低、掩码较粗糙以及泛化能力弱的问题,提出一种基于Fastformer和自监督对比学习的实例分割算法。首先,在特征提取网络之后加入基于加性注意力的Fastformer模块,并对每一层特征图中的像素点之间的相互关系进行深入建模,以提高算法对特征图全局信息的提取能力;其次,受自监督学习启发,加入自监督对比学习模块对图像中的实例进行自监督对比学习,以提高算法对图像的理解能力,从而改善在噪声干扰较多的环境下的分割效果。在Cityscapes和COCO2017数据集上的实验结果表明,相较于近期经典的实例分割算法SOLOv2(Segmenting Objects by LOcations v2),所提算法的平均精度均值（mAP）分别提高了3.1和2.5个百分点,并在实时性和精度之间达到较好的平衡,在比较复杂的场景实例分割中具有较好的鲁棒性。     

脑电情绪识别的深度学习研究综述

情绪是情感的外在体现,影响人类的认知、感知、理性决策等日常活动.情绪识别作为实现计算机全面智能的一项基础任务,在情感计算和人机交互领域被深入研究和广泛应用.相比面部表情、语音或其他生理信号,利用脑电进行情绪识别具有时间分辨率高、成本低、识别效果好、可靠性高的优势.近年来,越来越多的深度学习框架被应用于基于脑电信号的情绪识别,并取得了比传统机器学习方法更加优异的效果.基于深度脑电特征的情绪识别是当前的研究热点之一,也具有一定的挑战性.目前,可供参考的针对此研究热点的综述文献较少.对近年来国内外相关文献进行调研分析,从模型输入、深度框架、实验设置、实验结果等方面对深度学习在基于脑电的情绪识别中的应用研究做了总结概况,并在DEAP和SEED这两个公开的脑电-情绪数据集上对具有代表性的方法进行了定性和定量的多方面对比,分析和总结这些方法的不足,同时也对未来可能的研究方向进行了展望.     

基于深度学习的关系抽取研究综述

关系抽取(RE)是为了抽取文本中包含的关系,是信息抽取(IE)的重要组成部分。近年来,研究人员利用深度学习技术在该领域开展了深入研究。由于神经网络类型丰富,基于深度学习的关系抽取方法也更加多样。该文从关系抽取的基本概念出发,对关系抽取方法依据不同的视角进行了类别划分。随后,介绍了基于深度学习的关系抽取方法常用的数据集,并总结出基于深度学习的关系抽取框架。在此框架下,对关系抽取方法在面向深度学习的输入数据预处理、面向深度学习的神经网络模型设计等方面的具体工作进行了分析与评述,最后对未来的研究方向进行了探讨和展望。     

多尺度目标检测的深度学习研究综述

目标检测一直以来都是计算机视觉领域的研究热点之一,其任务是返回给定图像中的单个或多个特定目标的类别与矩形包围框坐标.随着神经网络研究的飞速进展,R-CNN检测器的诞生标志着目标检测正式进入深度学习时代,速度和精度相较于传统算法均有了极大的提升.但是,目标检测的尺度问题对于深度学习算法而言也始终是一个难题,即检测器对于尺...     

深度学习方法在兴趣点推荐中的应用研究综述

在基于位置的社交网络（LBSN）中,用户可以在兴趣点（POI）进行签到以记录行程,也可以与其他用户分享自身的感受并形成社交好友关系。POI推荐是LBSN提供的一项重要服务,其可以帮助用户快速发现感兴趣的POI,也有利于POI提供商更全面地了解用户偏好,并有针对性地提高服务质量。POI推荐主要基于对用户历史签到数据以及用户生成内容、社交关系等信息的分析来实现。系统归纳POI推荐中所面临的时空序列特征提取、内容社交特征提取、多特征整合、数据稀疏性问题处理这4个方面的挑战,分析在POI推荐中使用深度学习方法解决上述问题时存在的优势以及不足。在此基础上,展望未来通过深度学习提高POI推荐效果的研究方向,即通过增量学习加速推荐模型更新、使用迁移学习缓解冷启动问题以及利用强化学习建模用户动态偏好,从而为实现效率更高、用户体验质量更好的推荐系统提供新的思路。     

面向自然语言处理的深度学习研究

近年来,深度学习在图像和语音处理领域已经取得显著进展,但是在同属人类认知范畴的自然语言处理任务中,研究还未取得重大突破.本文首先从深度学习的应用动机、首要任务及基本框架等角度介绍了深度学习的基本概念;其次,围绕数据表示和学习模型两方面,重点分析讨论了当前面向自然语言处理的深度学习研究进展及其应用策略;并进一步介绍了已有的深度学习平台和工具;最后,对深度学习在自然语言处理领域的发展趋势和有待深入研究的难点进行了展望.     

基于深度神经网络的字典学习

字典学习通常采用线性函数捕获数据潜在特征, 该方式无法充分提取数据的内在特征结构, 近年来深度学习方法因其强大的特征表示能力而备受关注, 由此本文提出一种结合深度学习与字典学习的非线性特征表示策略, 基于深度神经网络的字典学习(deep neural network-based dictionary learning, DNNDL). DNNDL将字典学习模块融入传统深度学习网络结构中, 在通过自编码器进行映射获取的低维嵌入空间中同时学习数据字典及在其上的稀疏表示系数, 从而实现端到端方式的数据潜在特征提取. DNNDL可为已有数据以及样本外点数据生成紧凑且具判别性的表示. DNNDL不仅是一种新的深度学习网络结构, 并且可将其看作为字典学习和深度学习相结合的统一框架. 通过在4个真实数据集上进行的大量实验, 验证表明所提方法较常用方法具有更好数据表示能力.     

多Agent深度强化学习综述

近年来, 深度强化学习(Deep reinforcement learning, DRL)在诸多复杂序贯决策问题中取得巨大突破.由于融合了深度学习强大的表征能力和强化学习有效的策略搜索能力, 深度强化学习已经成为实现人工智能颇有前景的学习范式.然而, 深度强化学习在多Agent系统的研究与应用中, 仍存在诸多困难和挑战, 以StarCraft Ⅱ为代表的部分观测环境下的多Agent学习仍然很难达到理想效果.本文简要介绍了深度Q网络、深度策略梯度算法等为代表的深度强化学习算法和相关技术.同时, 从多Agent深度强化学习中通信过程的角度对现有的多Agent深度强化学习算法进行归纳, 将其归纳为全通信集中决策、全通信自主决策、欠通信自主决策3种主流形式.从训练架构、样本增强、鲁棒性以及对手建模等方面探讨了多Agent深度强化学习中的一些关键问题, 并分析了多Agent深度强化学习的研究热点和发展前景.     

基于深度学习的事件抽取研究综述

事件抽取是从非结构化的自然语言文本中自动抽取用户感兴趣的事件信息, 并以结构化的形式表示出来. 事件抽取是自然语言处理与理解中的重要方向, 在政府公共事务管理、金融业务、生物医学等不同领域有着很高的应用价值. 根据对人工标注数据的依赖程度, 目前基于深度学习的事件抽取方法主要分为两类: 有监督和远程监督学习方法. 对当前深度学习中事件抽取技术进行了全面的综述. 围绕有监督中CNN、RNN、GAN、GCN与远程监督等方法, 系统地总结了近几年的研究情况, 并对不同的深度学习模型的性能进行了详细对比与分析. 最后, 对事件抽取面临的挑战进行了分析, 针对研究趋势进行了展望.     

基于深度学习的盲文识别方法

提出一种基于深度学习的盲文点字识别方法,利用深度模型--堆叠去噪自动编码器（Stack Denoising AutoEncoder,SDAE）解决盲文识别中特征的自动提取与降维等问题。在构建深度模型过程中,采用非监督贪婪逐层训练算法（Greedy Layer Wise Unsupervised Learning Algorithm）初始化网络权重,使用反向传播算法优化网络参数。利用SDAE自动学习盲文点字图片特征,使用Softmax分类器进行识别。实验结果表明,本文所提方法较之传统方法,可以有效解决样本特征的自动学习与特征降维等问题,操作更为简易,并能获得满意的识别结果。