基于深度学习的图像风格迁移研究综述

图像风格迁移是一种用不同风格渲染图像语义内容的图像处理方法。随着深度学习的兴起,图像风格迁移获得了进一步的发展,并取得了一系列突破性的研究成果。其出色的风格迁移能力引起了学术界和工业界的广泛关注,具有重要的研究价值。为推进基于深度学习的图像风格迁移的技术研究,本文对目前的主要方法和代表性工作进行了归纳与探讨。首先回顾了非参数的图像风格迁移,详细介绍了目前主要的基于深度学习的图像风格迁移的基本原理和方法,分析了图像风格迁移在相关领域中的应用前景,最后总结了基于深度学习的图像风格迁移目前存在的问题与未来的研究方向。     

深度分层强化学习研究与发展

深度分层强化学习是深度强化学习领域的一个重要研究方向,它重点关注经典深度强化学习难以解决的稀疏奖励、顺序决策和弱迁移能力等问题.其核心思想在于:根据分层思想构建具有多层结构的强化学习策略,运用时序抽象表达方法组合时间细粒度的下层动作,学习时间粗粒度的、有语义的上层动作,将复杂问题分解为数个简单问题进行求解.近年来,随着研究的深入,深度分层强化学习方法已经取得了实质性的突破,且被应用于视觉导航、自然语言处理、推荐系统和视频描述生成等生活领域.首先介绍了分层强化学习的理论基础;然后描述了深度分层强化学习的核心技术,包括分层抽象技术和常用实验环境;详细分析了基于技能的深度分层强化学习框架和基于子目标的深度分层强化学习框架,对比了各类算法的研究现状和发展趋势;接下来介绍了深度分层强化学习在多个现实生活领域中的应用;最后,对深度分层强化学习进行了展望和总结.     

深度强化学习中稀疏奖励问题研究综述

强化学习作为机器学习的重要分支,是在与环境交互中寻找最优策略的一类方法。强化学习近年来与深度学习进行了广泛结合,形成了深度强化学习的研究领域。作为一种崭新的机器学习方法,深度强化学习同时具有感知复杂输入和求解最优策略的能力,可以应用于机器人控制等复杂决策问题。稀疏奖励问题是深度强化学习在解决任务中面临的核心问题,在实际应用中广泛存在。解决稀疏奖励问题有利于提升样本的利用效率,提高最优策略的水平,推动深度强化学习在实际任务中的广泛应用。文中首先对深度强化学习的核心算法进行阐述;然后介绍稀疏奖励问题的5种解决方案,包括奖励设计与学习、经验回放机制、探索与利用、多目标学习和辅助任务等;最后对相关研究工作进行总结和展望。     

面向机器人系统的虚实迁移强化学习综述

近年来,基于环境交互的强化学习方法在机器人相关应用领域取得巨大成功,为机器人行为控制策略优化提供一个现实可行的解决方案.但在真实世界中收集交互样本存在高成本以及低效率等问题,因此仿真环境被广泛应用于机器人强化学习训练过程中.通过在虚拟仿真环境中以较低成本获取大量训练样本进行策略训练,并将学习策略迁移至真实环境,能有效缓解真实机器人训练中存在的安全性、可靠性以及实时性等问题.然而,由于仿真环境与真实环境存在差异,仿真环境中训练得到的策略直接迁移到真实机器人往往难以获得理想的性能表现.针对这一问题,虚实迁移强化学习方法被提出用以缩小环境差异,进而实现有效的策略迁移.按照迁移强化学习过程中信息的流动方向和智能化方法作用的不同对象,提出一个虚实迁移强化学习系统的流程框架,并基于此框架将现有相关工作分为3大类:基于真实环境的模型优化方法、基于仿真环境的知识迁移方法、基于虚实环境的策略迭代提升方法,并对每一分类中的代表技术与关联工作进行阐述.最后,讨论虚实迁移强化学习研究领域面临的机遇和挑战.     

基于深度强化学习的机器人操作行为研究综述

通过梳理、总结前人的研究,首先对深度学习和强化学习的基本理论和算法进行介绍,进而对深度强化学习的流行算法和在机器人操作领域的应用现状进行综述。最后,根据目前存在的问题及解决方法,对深度强化学习在机器人操作领域未来的发展方向作出总结与展望。     

迁移学习在医学图像分类中的研究进展

医学影像作为医疗数据的主要载体,在疾病预防、诊断和治疗中发挥着重要作用。医学图像分类是医学影像分析的重要组成部分。如何提高医学图像分类效率是一个持续的研究问题。随着计算机技术进步,医学图像分类方法已经从传统方法转到深度学习,再到目前热门的迁移学习。虽然迁移学习在医学图像分类中得到较广泛应用,但存在不少问题,本文对该领域的迁移学习应用情况进行综述,从中总结经验和发现问题,为未来研究提供线索。1）对基于迁移学习的医学图像分类研究的重要文献进行梳理、分析和总结,概括出3种迁移学习策略,即迁移模型的结构调整策略、参数调整策略和从迁移模型中提取特征的策略;2）从各文献研究设计的迁移学习过程中提炼共性,总结为5种迁移学习模式,即深度卷积神经网络（deep convolution neural network,DCNN）模式、混合模式、特征组合分类模式、多分类器融合模式和二次迁移模式。阐述了迁移学习策略和迁移学习模式之间的关系。这些迁移学习策略和模式有助于从更高的抽象层次展现迁移学习应用于医学图像分类领域的情况;3）阐述这些迁移学习策略和模式在医学图像分类中的具体应用,分析这些策略及模式的优点、局限性及适用场景;4）给出迁移学习在医学图像分类应用中存在的问题并展望未来研究方向。     

深度逆向强化学习研究综述

深度逆向强化学习是机器学习领域的一个新的研究热点,它针对深度强化学习的回报函数难以获取问题,提出了通过专家示例轨迹重构回报函数的方法。首先介绍了3类深度强化学习方法的经典算法;接着阐述了经典的逆向强化学习算法,包括基于学徒学习、最大边际规划、结构化分类和概率模型形式化的方法;然后对深度逆向强化学习的一些前沿方向进行了综述,包括基于最大边际法的深度逆向强化学习、基于深度Q网络的深度逆向强化学习和基于最大熵模型的深度逆向强化学习和示例轨迹非专家情况下的逆向强化学习方法等。最后总结了深度逆向强化学习在算法、理论和应用方面存在的问题和发展方向。     

多智能体深度强化学习及其可扩展性与可迁移性研究综述

得益于深度学习强大的特征表达能力和强化学习有效的策略学习能力,深度强化学习在一系列复杂序贯决策问题中取得了令人瞩目的成就.伴随着深度强化学习在诸多单智能体任务中的成功应用,其在多智能体系统中的研究方兴未艾.近年来,多智能体深度强化学习在人工智能领域备受关注,可扩展与可迁移性已成为其中的核心研究点之一.鉴于此,首先阐释深度强化学习的发展脉络和典型算法,介绍多智能体深度强化学习的3种学习范式,分析两类多智能体强化学习的典型算法,即分解值函数方法和中心化值函数方法;然后归纳注意力机制、图神经网络等6类具有可扩展性的多智能体深度强化学习模型,梳理迁移学习和课程学习在多智能体深度强化学习可迁移性方向的研究进展;最后讨论多智能体深度强化学习的应用前景与研究方向,为未来多智能体深度强化学习的进一步发展提供可借鉴的参考.     

深度强化学习研究综述

深度强化学习是指利用深度神经网络的特征表示能力对强化学习的状态、动作、价值等函数进行拟合,以提升强化学习模型性能,广泛应用于电子游戏、机械控制、推荐系统、金融投资等领域。回顾深度强化学习方法的主要发展历程,根据当前研究目标对深度强化学习方法进行分类,分析与讨论高维状态动作空间任务上的算法收敛、复杂应用场景下的算法样本效率提高、奖励函数稀疏或无明确定义情况下的算法探索以及多任务场景下的算法泛化性能增强问题,总结与归纳4类深度强化学习方法的研究现状,同时针对深度强化学习技术的未来发展方向进行展望。     

深度强化学习在智能制造中的应用展望综述

深度强化学习作为机器学习发展的最新成果,已经在很多应用领域崭露头角。关于深度强化学习的算法研究和应用研究,产生了很多经典的算法和典型应用领域。深度强化学习应用在智能制造中,能在复杂环境中实现高水平控制。对深度强化学习的研究进行概述,对深度强化学习基本原理进行介绍,包括深度学习和强化学习。介绍深度强化学习算法应用的理论方法,在此基础对深度强化学习的算法进行了分类介绍,分别介绍了基于值函数和基于策略梯度的强化学习算法,列举了这两类算法的主要发展成果,以及其他相关研究成果。对深度强化学习在智能制造的典型应用进行分类分析。对深度强化学习存在的问题和未来发展方向进行了讨论。     

基于因果建模的强化学习控制:现状及展望

基于因果建模的强化学习技术在智能控制领域越来越受欢迎.因果技术可以挖掘控制系统中的结构性因果知识,并提供了一个可解释的框架,允许人为对系统进行干预并对反馈进行分析.量化干预的效果使智能体能够在复杂的情况下(例如存在混杂因子或非平稳环境)评估策略的性能,提升算法的泛化性.本文旨在探讨基于因果建模的强化学习控制技术(以下简称因果强化学习)的最新进展,阐明其与控制系统各个模块的联系.首先介绍了强化学习的基本概念和经典算法,并讨论强化学习算法在变量因果关系解释和迁移场景下策略泛化性方面存在的缺陷.其次,回顾了因果理论的研究方向,主要包括因果效应估计和因果关系发现,这些内容为解决强化学习的缺陷提供了可行方案.接下来,阐释了如何利用因果理论改善强化学习系统的控制与决策,总结了因果强化学习的四类研究方向及进展,并整理了实际应用场景.最后,对全文进行总结,指出了因果强化学习的缺点和待解决问题,并展望了未来的研究方向.     

基于内在动机的深度强化学习探索方法综述

近年来，深度强化学习(deep reinforcement learning, DRL)在游戏人工智能、机器人等领域取得了诸多重要成就.然而，在具有稀疏奖励、随机噪声等特性的现实应用场景中，该类方法面临着状态动作空间探索困难的问题.基于内在动机的深度强化学习探索方法是解决上述问题的一种重要思想.首先解释了深度强化学习探索困难的问题内涵，介绍了3种经典探索方法，并讨论了这3种方法在高维或连续场景下的局限性；接着描述了内在动机引入深度强化学习的背景和算法模型的常用测试环境，在此基础上详细梳理各类探索方法的基本原理、优势和缺陷，包括基于计数、基于知识和基于能力3类方法；然后介绍了基于内在动机的深度强化学习技术在不同领域的应用情况；最后总结亟需解决的难以构建有效状态表示等关键问题以及结合表示学习、知识积累等领域方向的研究展望.     

深度学习在图像识别中的应用研究综述

深度学习作为图像识别领域重要的技术手段，有着广阔的应用前景，开展图像识别技术研究对推动计算机视觉及人工智能的发展具有重要的理论价值和现实意义，文中对深度学习在图像识别中的应用给予综述。介绍了深度学习的由来，具体分析了深度信念网络、卷积神经网络、循环神经网络、生成式对抗网络以及胶囊网络等深度学习模型，对各个深度学习模型的改进型模型逐一对比分析。总结近年来深度学习在人脸识别、医学图像识别、遥感图像分类等图像识别应用领域取得的研究成果并探讨了已有研究值得商榷之处，对深度学习在图像识别领域中的发展趋势进行探讨，指出有效使用迁移学习技术识别小样本数据，使用非监督与半监督学习对图像进行识别，如何对视频图像进行有效识别以及强化模型的理论性等是该领域研究的进一步方向。     

深度强化学习的攻防与安全性分析综述

深度强化学习是人工智能领域新兴技术之一,它将深度学习强大的特征提取能力与强化学习的决策能力相结合,实现从感知输入到决策输出的端到端框架,具有较强的学习能力且应用广泛.然而,已有研究表明深度强化学习存在安全漏洞,容易受到对抗样本攻击.为提高深度强化学习的鲁棒性、实现系统的安全应用,本文针对已有的研究工作,较全面地综述了深度强化学习方法、对抗攻击、防御方法与安全性分析,并总结深度强化学习安全领域存在的开放问题以及未来发展的趋势,旨在为从事相关安全研究与工程应用提供基础.     

深度强化学习的攻防与安全性分析综述

深度强化学习是人工智能领域新兴技术之一,它将深度学习强大的特征提取能力与强化学习的决策能力相结合,实现从感知输入到决策输出的端到端框架,具有较强的学习能力且应用广泛.然而,已有研究表明深度强化学习存在安全漏洞,容易受到对抗样本攻击.为提高深度强化学习的鲁棒性、实现系统的安全应用,本文针对已有的研究工作,较全面地综述了深度强化学习方法、对抗攻击、防御方法与安全性分析,并总结深度强化学习安全领域存在的开放问题以及未来发展的趋势,旨在为从事相关安全研究与工程应用提供基础.     

多Agent强化学习方法与应用

强化学习是Agent通过试错与环境交互改进动作策略,单Agent强化学习能够进行自学习和在线学习,单Agent的知识和资源是有限的,多个Agent强化学习是求解复杂问题的有效途径。多Agent系统比单Agent具有更强的问题求解能力,但多Agent的参与又增加了问题的复杂性。本文分析了多Agent强化学习方法的研究现状,总结了目前存在的主要问题及其解决方法,最后介绍了多Agent技术在实际问题中的部分应用。     

迁移学习在医学图像分析中的应用研究综述

迁移学习是机器学习中一种新的学习范式,它可以克服深度学习需要大量样本的缺陷,能够解决医学图像分析中数据集较小导致模型不准确的问题,因而成为继深度学习之后在医学图像分析领域的研究热点。对迁移学习进行概要阐述,按照目前医学图像分析中应用的主要迁移学习方法,即基于数据的迁移学习、基于模型的迁移学习、对抗式迁移学习和混合迁移学习,对医学图像分析领域的重要文献进行整理和归纳,分析每种迁移学习的机制、适用范围、应用情况和优缺点,再对这几种迁移学习方法进行总结、分析及比较。针对研究现状的不足指出该领域的研究发展趋势,为迁移学习在该领域的深入研究提供参考。     

深度强化学习研究综述

作为一种崭新的机器学习方法,深度强化学习将深度学习和强化学习技术结合起来,使智能体能够从高维空间感知信息,并根据得到的信息训练模型、做出决策。由于深度强化学习算法具有通用性和有效性,人们对其进行了广泛的研究,并将其运用到了日常生活的各个领域。首先,对深度强化学习研究进行概述,介绍了深度强化学习的基础理论;然后,分别介绍了基于值函数和基于策略的深度强化学习算法,讨论了其应用前景;最后,对相关研究工作做了总结和展望。     

基于深度强化学习的组合优化研究进展

组合优化问题广泛存在于国防、交通、工业、生活等各个领域, 几十年来, 传统运筹优化方法是解决组合优化问题的主要手段, 但随着实际应用中问题规模的不断扩大、求解实时性的要求越来越高, 传统运筹优化算法面临着很大的计算压力, 很难实现组合优化问题的在线求解. 近年来随着深度学习技术的迅猛发展, 深度强化学习在围棋、机器人等领域的瞩目成果显示了其强大的学习能力与序贯决策能力. 鉴于此, 近年来涌现出了多个利用深度强化学习方法解决组合优化问题的新方法, 具有求解速度快、模型泛化能力强的优势, 为组合优化问题的求解提供了一种全新的思路. 因此本文总结回顾近些年利用深度强化学习方法解决组合优化问题的相关理论方法与应用研究, 对其基本原理、相关方法、应用研究进行总结和综述, 并指出未来该方向亟待解决的若干问题.     

结合深度学习和半监督学习的遥感影像分类进展

本文以结合深度学习的遥感影像特征提取和不充足样本下地物识别与分类作为出发点,对2017—2019年用于遥感图像处理中小样本训练的深度学习方法进行归类总结,介绍如何结合深度学习技术解决遥感影像在样本不充分情况下的有效训练问题,从深度生成模型、迁移学习以及一些高效特征提取网络3个方面进行全面剖析。首先,探讨了以GAN（generative adversarial network）和VAE（variational autoencoder）及其衍生结构在遥感技术中分类、变化检测上的应用;然后,在基于知识复用的辅助训练策略——迁移学习中主要从基于网络的迁移和基于数据结构的迁移两大类应用展开讨论;最后探讨了结合半监督学习和主动学习等思想的深度学习算法以及一些新颖的网络结构的应用。虽然深度学习在遥感技术领域发挥了极大的优势,性能也普遍超过了浅层的学习器,但结合物理模型的分析和高性能的实用性遥感应用仍需进一步发展与研究。