深度学习可解释性综述

随着数据量呈爆发式增长,深度学习理论与技术取得突破性进展,深度学习模型在众多分类与预测任务(图像、文本、语音和视频数据等)中表现出色,促进了深度学习的规模化与产业化应用。然而,深度学习模型的高度非线性导致其内部逻辑不明晰,并常常被视为“黑箱”模型,这也限制了其在关键领域(如医疗、金融和自动驾驶等)的应用。因此,研究深度学习的可解释性是非常必要的。首先对深度学习的现状进行简要概述,阐述深度学习可解释性的定义及必要性;其次对深度学习可解释性的研究现状进行分析,从内在可解释模型、基于归因的解释和基于非归因的解释3个角度对解释方法进行概述;然后介绍深度学习可解释性的定性和定量评估指标;最后讨论深度学习可解释性的应用以及未来发展方向。     

深度学习的可解释性研究综述

近年来,深度学习在很多领域得到广泛应用;然而,由于深度神经网络模型的高度非线性操作,导致其可解释性较差,并常常被称为“黑箱”模型,无法应用于一些对性能要求较高的关键领域;因此,对深度学习的可解释性开展研究是很有必要的。首先,简单介绍了深度学习;然后,围绕深度学习的可解释性,从隐层可视化、类激活映射（CAM）、敏感性分析、频率原理、鲁棒性扰动测试、信息论、可解释模块和优化方法这8个方面对现有研究工作进行分析;同时,展示了深度学习在网络安全、推荐系统、医疗和社交网络领域的应用;最后,讨论了深度学习可解释性研究存在的问题及未来的发展方向。     

深度学习模型可解释性研究综述

深度学习技术以数据驱动学习的特点,在自然语言处理、图像处理、语音识别等领域取得了巨大成就.但由于深度学习模型网络过深、参数多、复杂度高等特性,该模型做出的决策及中间过程让人类难以理解,因此探究深度学习的可解释性成为当前人工智能领域研究的新课题.以深度学习模型可解释性为研究对象,对其研究进展进行总结阐述.从自解释模型、特...     

深度学习可解释性内涵和分类

近年来,深度学习在多个行业得到了广泛应用,效果显著。深度学习虽然具有数学统计原理基础,但是对于任务知识表征学习尚缺乏明确解释。对深度学习理论研究的缺乏将导致即时可以通过各种训练方法使得模型得到满意输出,但不能解释模型内部究竟如何进行工作才得到有效结果。本文从深度学习可解释性内涵和分类角度出发,阐述了深度学习可解释性,以期有助于其他学者研究。     

深度学习模型可解释性的研究进展

深度学习在很多人工智能应用领域中取得成功的关键原因在于,通过复杂的深层网络模型从海量数据中学习丰富的知识。然而,深度学习模型内部高度的复杂性常导致人们难以理解模型的决策结果,造成深度学习模型的不可解释性,从而限制了模型的实际部署。因此,亟需提高深度学习模型的可解释性,使模型透明化,以推动人工智能领域研究的发展。本文旨在对深度学习模型可解释性的研究进展进行系统性的调研,从可解释性原理的角度对现有方法进行分类,并且结合可解释性方法在人工智能领域的实际应用,分析目前可解释性研究存在的问题,以及深度学习模型可解释性的发展趋势。为全面掌握模型可解释性的研究进展以及未来的研究方向提供新的思路。     

深度学习可解释性研究进展

深度学习的可解释性研究是人工智能、机器学习、认知心理学、逻辑学等众多学科的交叉研究课题,其在信息推送、医疗研究、金融、信息安全等领域具有重要的理论研究意义和实际应用价值.从深度学习可解释性研究起源、研究探索期、模型构建期3方面回顾了深度学习可解释性研究历史,从可视化分析、鲁棒性扰动分析、敏感性分析3方面展现了深度学习现有模型可解释性分析研究现状,从模型代理、逻辑推理、网络节点关联分析、传统机器学习模型改进4方面剖析了可解释性深度学习模型构建研究,同时对当前该领域研究存在的不足作出了分析,展示了可解释性深度学习的典型应用,并对未来可能的研究方向作出了展望.     

面向图像分类的深度模型可解释性研究综述

深度学习目前在计算机视觉、自然语言处理、语音识别等领域得到了深入发展,与传统的机器学习算法相比,深度模型在许多任务上具有较高的准确率.然而,作为端到端的具有高度非线性的复杂模型,深度模型的可解释性没有传统机器学习算法好,这为深度学习在现实生活中的应用带来了一定的阻碍.深度模型的可解释性研究具有重大意义而且是非常必要的,近年来许多学者围绕这一问题提出了不同的算法.针对图像分类任务,将可解释性算法分为全局可解释性和局部可解释性算法.在解释的粒度上,进一步将全局解释性算法分为模型级和神经元级的可解释性算法,将局部可解释性算法划分为像素级特征、概念级特征以及图像级特征可解释性算法.基于上述分类框架,总结了常见的深度模型可解释性算法以及相关的评价指标,同时讨论了可解释性研究面临的挑战和未来的研究方向.认为深度模型的可解释性研究和理论基础研究是打开深度模型黑箱的必要途径,同时可解释性算法存在巨大潜力可以为解决深度模型的公平性、泛化性等其他问题提供帮助.     

卷积神经网络的可解释性研究综述

神经网络模型性能日益强大,被广泛应用于解决各类计算机相关任务,并表现出非常优秀的能力,但人类对神经网络模型的运行机制却并不完全理解.针对神经网络可解释性的研究进行了梳理和汇总,就模型可解释性研究的定义、必要性、分类、评估等方面进行了详细的讨论.从解释算法的关注点出发,提出一种神经网络可解释算法的新型分类方法,为理解神经网络提供一个全新的视角.根据提出的新型分类方法对当前卷积神经网络的可解释方法进行梳理,并对不同类别解释算法的特点进行分析和比较.同时,介绍了常见可解释算法的评估原则和评估方法.对可解释神经网络的研究方向与应用进行概述.就可解释神经网络面临的挑战进行阐述,并针对这些挑战给出可能的解决方向.     

神经网络可解释性可视化方法研究

深度学习的发展,促使神经网络在现实各个领域得到广泛应用。神经网络可解释性的缺乏是的其在安全性、可靠性要求较高的行业没有得到实质性应用。可视化方法立足对神经网络结构、特征的诠释,是一种很好的神经网络解释性方法。依据神经网络结构、训练阶段,归纳可视化方法为：特征可视化、关系可视化和过程可视化。最后利用Grad-CAM方法举例了特征可视化,描述了其工作原理。     

面向对抗样本的深度神经网络可解释性分析

虽然深度神经网络 (Deep neural networks, DNNs) 在许多任务上取得了显著的效果, 但是由于其可解释性 (Interpretability) 较差, 通常被当做“黑盒”模型. 本文针对图像分类任务, 利用对抗样本 (Adversarial examples) 从模型失败的角度检验深度神经网络内部的特征表示. 通过分析, 发现深度神经网络学习到的特征表示与人类所理解的语义概念之间存在着不一致性. 这使得理解和解释深度神经网络内部的特征变得十分困难. 为了实现可解释的深度神经网络, 使其中的神经元具有更加明确的语义内涵, 本文提出了加入特征表示一致性损失的对抗训练方式. 实验结果表明该训练方式可以使深度神经网络内部的特征表示与人类所理解的语义概念更加一致.     

2023年第1期目次

超分辨率(SR)是一类重要的数字图像处理技术,其根据一个观测者得到的低分辨率(LR)图像重 建并输出一个相应的高分辨率(HR)图像,从而提高现代数字图像的分辨率。SR 在数字图像压缩与传输、医学 成像、遥感成像、视频感知与监控等学科中的研究与应用价值巨大。随着深度学习的快速发展,结合最新的深 度学习方法,可以为 SR 问题提供创新性的解决方案。首先回顾 SR 的背景意义、发展过程以及将深度学习应 用于 SR 的技术价值。其次简要介绍传统 SR 算法的基本方法、分类和优缺点;按照不同的实现技术和网络类 型对基于深度学习的 SR 方法进行了分类介绍,重点分析对比了卷积神经网络(CNN)、残差网络(ResNet)和生成 对抗网络(GAN)在 SR 中的应用。然后介绍主要评价指标和解决策略,并对不同的 SR 算法在标准数据集中的 性能表现进行对比。最后总结基于深度学习的 SR 算法,并对未来发展趋势进行展望。     

深度学习研究综述

深度学习是一类新兴的多层神经网络学习算法,因其缓解了传统训练算法的局部最小性,引起机器学习领域的广泛关注。首先论述了深度学习兴起渊源,分析了算法的优越性,并介绍了主流学习算法及应用现状,最后总结了当前存在的问题及发展方向。     

深度学习相关研究综述

随着大数据时代的到来,深度学习技术已经成为当前人工智能领域的一个研究热点,其已在图像识别、语音识别、自然语言处理、搜索推荐等领域展现出了巨大的优势,并且仍在继续发展变化.为了能够及时跟踪深度学习技术的最新研究进展,把握深度学习技术当前的研究热点和方向,本文针对深度学习技术的相关研究内容进行综述.首先介绍了深度学习技术的应用背景、应用领域,指出研究深度学习技术的重要性;其次介绍了当前重要的几种神经网络模型及两种常用大规模模型训练并行方案,其目的在于从本质上理解深度学习的模型架构和及其优化技巧;接着对比分析了当下主流的深度学习软件工具和相关的工业界研究平台,旨在为神经网络模型的实际使用提供借鉴;最后详细介绍了当下几种主流的深度学习硬件加速技术和最新研究现状,并对未来研究方向进行了展望。     

深度强化学习综述: 兼论计算机围棋的发展

深度强化学习将深度学习的感知能力和强化学习的决策能力相结合,可以直接根据输入的图像进行控制,是一种更接近人类思维方式的人工智能方法.自提出以来,深度强化学习在理论和应用方面均取得了显著的成果.尤其是谷歌深智(Deep Mind)团队基于深度强化学习方法研发的计算机围棋"初弈号–Alpha Go",在2016年3月以4:1的大比分战胜了世界围棋顶级选手李世石(Lee Sedol),成为人工智能历史上一个新里程碑.为此,本文综述深度强化学习的发展历程,兼论计算机围棋的历史,分析算法特性,探讨未来的发展趋势和应用前景,期望能为控制理论与应用新方向的发展提供有价值的参考.     

基于深度学习的聚类综述

聚类是一种寻找数据之间内在结构的技术,是许多数据驱动应用领域的一个基本问题,而聚类性能在很大程度上取决于数据表示的质量。近年来,深度学习因其强大的特征提取能力被广泛地应用于聚类任务,以学习更好的特征表示,显著提高了聚类性能。首先,介绍了传统的聚类任务;然后,根据网络结构介绍了基于深度学习的聚类及代表性方法,指出了当前存在的问题,并介绍了基于深度学习的聚类在不同领域的应用;最后,对基于深度学习的聚类发展进行了总结与展望。     

基于深度学习的跨模态检索综述

由于多模态数据的快速增长,跨模态检索受到了研究者的广泛关注,其将一种模态的数据作为查询条件检索其他模态的数据,如用户可以用文本检索图像或/和视频。由于查询及其检索结果模态表征的差异,如何度量不同模态之间的相似性是跨模态检索的主要挑战。随着深度学习技术的推广及其在计算机视觉、自然语言处理等领域的显著成果,研究者提出了一系列以深度学习为基础的跨模态检索方法,极大缓解了不同模态间相似性度量的挑战,本文称之为深度跨模态检索。本文从以下角度综述有代表性的深度跨模态检索论文,基于所提供的跨模态信息将这些方法分为3类：基于跨模态数据间一一对应的、基于跨模态数据间相似度的以及基于跨模态数据语义标注的深度跨模态检索。一般来说,上述3类方法提供的跨模态信息呈现递增趋势,且提供学习的信息越多,跨模态检索性能越优。在上述不同类别下,涵盖了7类主流技术,即典型相关分析、一一对应关系保持、度量学习、似然分析、学习排序、语义预测以及对抗学习。不同类别下包含部分关键技术,本文将具体阐述其中有代表性的方法。同时对比提供不同跨模态数据信息下不同技术的区别,以阐述在提供了不同层次的跨模态数据信息下相关技术的关注点与使用异同。为评估不同的跨模态检索方法,总结了部分代表性的跨模态检索数据库。最后讨论了当前深度跨模态检索待解决的问题以及未来的研究方向。     

医学文本表示学习方法与质量评测研究综述

为了及时掌握医学文本表示学习的研究现状,对其现有研究进行系统全面综述.首先,基于技术范式对现有技术进行分类,分别从基于统计学习的方法、基于知识图谱表示的方法和基于图表示的方法,对医学文本表示学习主流方法和相应的代表性成果进行总结.然后,提出了运用定量和定性的质量评测体系,系统地梳理和总结了医学文本表示学习的质量评测方法.最后,对医学文本表示学习的研究趋势进行了展望.     

显式知识推理和深度强化学习结合的动态决策

近年来,深度强化学习在序列决策领域被广泛应用并且效果良好,尤其在具有高维输入、大规模状态空间的应用场景中优势明显.然而,深度强化学习相关方法也存在一些局限,如缺乏可解释性、初期训练低效与冷启动等问题.针对这些问题,提出了一种基于显式知识推理和深度强化学习的动态决策框架,将显式的知识推理与深度强化学习结合.该框架通过显式知识表示将人类先验知识嵌入智能体训练中,让智能体在强化学习中获得知识推理结果的干预,以提高智能体的训练效率,并增加模型的可解释性.将显式知识分为两种,即启发式加速知识与规避式安全知识.前者在训练初期干预智能体决策,加快训练速度;而后者将避免智能体作出灾难性决策,使其训练过程更为稳定.实验表明,该决策框架在不同强化学习算法上、不同应用场景中明显提高了模型训练效率,并增加了模型的可解释性.     

基于主动学习的深度医学图像分析算法综述

深度学习技术在医学图像分析领域发展得非常好,但医学图像注释成本高,使得深度学习技术在医学图像分析领域受到阻碍.主动学习算法是目前解决注释成本高的一个研究热点.文章介绍了在医学图像分析领域中采用主动深度学习降低注释成本的技术手段和方法,以便相关人员了解目前的研究进展.最后对主动学习方法仍存在的问题和发展趋势进行了总结和展...