深度学习可解释性综述

随着数据量呈爆发式增长，深度学习理论与技术取得突破性进展，深度学习模型在众多分类与预测任务(图像、文本、语音和视频数据等)中表现出色，促进了深度学习的规模化与产业化应用。然而，深度学习模型的高度非线性导致其内部逻辑不明晰，并常常被视为“黑箱”模型，这也限制了其在关键领域(如医疗、金融和自动驾驶等)的应用。因此，研究深度学习的可解释性是非常必要的。首先对深度学习的现状进行简要概述，阐述深度学习可解释性的定义及必要性；其次对深度学习可解释性的研究现状进行分析，从内在可解释模型、基于归因的解释和基于非归因的解释3个角度对解释方法进行概述；然后介绍深度学习可解释性的定性和定量评估指标；最后讨论深度学习可解释性的应用以及未来发展方向。     

深度学习可解释性研究综述

随着深度学习的广泛应用,人类越来越依赖于大量采用深度学习技术的复杂系统,然而,深度学习模型的黑盒特性对其在关键任务应用中的使用提出了挑战,引发了道德和法律方面的担忧,因此,使深度学习模型具有可解释性是使它们令人信服首先要解决的问题。于是,关于可解释的人工智能领域的研究应运而生,主要集中于向人类观察者明确解释模型的决策或行为。对深度学习可解释性的研究现状进行综述,为进一步深入研究建立更高效且具有可解释性的深度学习模型确立良好的基础。首先,对深度学习可解释性进行了概述,阐明可解释性研究的需求和定义;然后,从解释深度学习模型的逻辑规则、决策归因和内部结构表示这三个方面出发介绍了几种可解释性研究的典型模型和算法,另外还指出了三种常见的内置可解释模型的构建方法;最后,简单介绍了忠实度、准确性、鲁棒性和可理解性这四种评价指标,并讨论了深度学习可解释性未来可能的发展方向。     

深度学习模型可解释性的研究进展

深度学习在很多人工智能应用领域中取得成功的关键原因在于,通过复杂的深层网络模型从海量数据中学习丰富的知识。然而,深度学习模型内部高度的复杂性常导致人们难以理解模型的决策结果,造成深度学习模型的不可解释性,从而限制了模型的实际部署。因此,亟需提高深度学习模型的可解释性,使模型透明化,以推动人工智能领域研究的发展。本文旨在对深度学习模型可解释性的研究进展进行系统性的调研,从可解释性原理的角度对现有方法进行分类,并且结合可解释性方法在人工智能领域的实际应用,分析目前可解释性研究存在的问题,以及深度学习模型可解释性的发展趋势。为全面掌握模型可解释性的研究进展以及未来的研究方向提供新的思路。     

深度学习的可解释性研究综述

近年来,深度学习在很多领域得到广泛应用;然而,由于深度神经网络模型的高度非线性操作,导致其可解释性较差,并常常被称为“黑箱”模型,无法应用于一些对性能要求较高的关键领域;因此,对深度学习的可解释性开展研究是很有必要的。首先,简单介绍了深度学习;然后,围绕深度学习的可解释性,从隐层可视化、类激活映射（CAM）、敏感性分析、频率原理、鲁棒性扰动测试、信息论、可解释模块和优化方法这8个方面对现有研究工作进行分析;同时,展示了深度学习在网络安全、推荐系统、医疗和社交网络领域的应用;最后,讨论了深度学习可解释性研究存在的问题及未来的发展方向。     

面向图像分类的深度模型可解释性研究综述

深度学习目前在计算机视觉、自然语言处理、语音识别等领域得到了深入发展,与传统的机器学习算法相比,深度模型在许多任务上具有较高的准确率.然而,作为端到端的具有高度非线性的复杂模型,深度模型的可解释性没有传统机器学习算法好,这为深度学习在现实生活中的应用带来了一定的阻碍.深度模型的可解释性研究具有重大意义而且是非常必要的,近年来许多学者围绕这一问题提出了不同的算法.针对图像分类任务,将可解释性算法分为全局可解释性和局部可解释性算法.在解释的粒度上,进一步将全局解释性算法分为模型级和神经元级的可解释性算法,将局部可解释性算法划分为像素级特征、概念级特征以及图像级特征可解释性算法.基于上述分类框架,总结了常见的深度模型可解释性算法以及相关的评价指标,同时讨论了可解释性研究面临的挑战和未来的研究方向.认为深度模型的可解释性研究和理论基础研究是打开深度模型黑箱的必要途径,同时可解释性算法存在巨大潜力可以为解决深度模型的公平性、泛化性等其他问题提供帮助.     

基于局部注意力图互迁移的可解释性优化方法

目前,深度学习模型已被广泛部署于各个工业领域.然而,深度学习模型具有的复杂性与不可解释性已成为其应用于高风险领域最主要的瓶颈.在深度学习模型可解释性方法中,最重要的方法是可视化解释方法,其中注意力图是可视化解释方法的主要表现方式,可通过对样本图像中的决策区域进行标注,来直观地展示模型决策依据.目前已有的基于注意力图的可...     

基于多层注意力网络的可解释认知追踪方法

认知追踪是一种数据驱动的学习主体建模技术,旨在根据学生历史答题数据预测其知识掌握状态或未来答题表现.近年来,在深度学习算法的加持下,深度认知追踪成为当前该领域的研究热点.针对深度认知追踪模型普遍存在黑箱属性,决策过程或结果缺乏可解释性,难以提供学习归因分析、错因追溯等高价值教育服务等问题,提出一种基于多层注意力网络的认知追踪模型.通过挖掘题目之间多维度、深层次的语义关联信息,建立一种包含题目元素、语义和记录等3层注意力的网络结构,利用图注意神经网络和自注意力机制等对题目进行嵌入表示、语义融合和记录检索.特别是在损失函数中引入提升模型可解释性的正则化项与权衡因子,实现对模型预测性能与可解释强度的调控.同时,定义了预测结果可解释性度量指标——保真度,实现对认知追踪模型可解释性的量化评估.最后,在6个领域基准数据集上的实验结果表明:该方法有效提升了模型的可解释性.     

可解释的深度TSK模糊系统综述

深度神经网络在多个领域取得了突破性的成功,然而这些深度模型大多高度不透明。而在很多高风险领域,如医疗、金融和交通等,对模型的安全性、无偏性和透明度有着非常高的要求。因此,在实际中如何创建可解释的人工智能（Explainable artificial intelligence, XAI）已经成为了当前的研究热点。作为探索XAI的一个有力途径,模糊人工智能因其语义可解释性受到了越来越多的关注。其中将高可解释的Takagi-Sugeno-Kang（TSK）模糊系统和深度模型相结合,不仅可以避免单个TSK模糊系统遭受规则爆炸的影响,也可以在保持可解释性的前提下取得令人满意的测试泛化性能。本文以基于栈式泛化原理的可解释的深度TSK模糊系统为研究对象,分析其代表模型,总结其实际应用场景,最后剖析其所面临的挑战与机遇。     

可解释的知识图谱推理方法综述

近年来,以深度学习模型为基础的人工智能研究不断取得突破性进展,但其大多具有黑盒性,不利于人类认知推理过程,导致高性能的复杂算法、模型及系统普遍缺乏决策的透明度和可解释性。在国防、医疗、网络与信息安全等对可解释性要求严格的关键领域,推理方法的不可解释性对推理结果及相关回溯造成较大影响,因此,需要将可解释性融入这些算法和系统中,通过显式的可解释知识推理辅助相关预测任务,形成一个可靠的行为解释机制。知识图谱作为最新的知识表达方式之一,通过对语义网络进行建模,以结构化的形式描述客观世界中实体及关系,被广泛应用于知识推理。基于知识图谱的知识推理在离散符号表示的基础上,通过推理路径、逻辑规则等辅助手段,对推理过程进行解释,为实现可解释人工智能提供重要途径。针对可解释知识图谱推理这一领域进行了全面的综述。阐述了可解释人工智能和知识推理相关概念。详细介绍近年来可解释知识图谱推理方法的最新研究进展,从人工智能的3个研究范式角度出发,总结了不同的知识图谱推理方法。提出对可解释的知识图谱推理研究前景和未来研究方向。     

面向目标用户的深度学习模型可视化综述

深度学习模型在某些场景的实际应用中要求其具备一定的可解释性, 而视觉是人类认识周围世界的基本工具, 可视化技术能够将模型训练过程从不可见的黑盒状态转换为可交互分析的视觉过程, 从而有效提高模型的可信性和可解释度. 目前, 国内外相关领域缺少有关深度学习模型可视化工具的综述, 也缺乏对不同用户实际需求的研究和使用体验的评估. 因此, 本文通过调研近年来学术界模型可解释性和可视化相关文献, 总结可视化工具在不同领域的应用现状, 提出面向目标用户的可视化工具分类方法及依据, 对每一类工具从可视化内容、计算成本等方面进行介绍和对比, 以便不同用户选取与部署合适的工具. 最后在此基础上讨论可视化领域存在的问题并加以展望.     

知识图谱可解释推理研究综述

面向知识图谱的知识推理旨在通过已有的知识图谱事实,去推断新的事实,进而实现知识库的补全.近年来,尽管基于分布式表示学习的方法在推理任务上取得了巨大的成功,但是他们的黑盒属性使得模型无法为预测出的事实做出解释.所以,如何设计用户可理解、可信赖的推理模型成为了人们关注的问题.从可解释性的基本概念出发,系统梳理了面向知识图谱的可解释知识推理的相关工作,具体介绍了事前可解释推理模型和事后可解释推理模型的研究进展;根据可解释范围的大小,将事前可解释推理模型进一步细分为全局可解释的推理和局部可解释的推理;在事后解释模型中,回顾了推理模型的代表方法,并详细介绍提供事后解释的两类解释方法.此外,还总结了可解释知识推理在医疗、金融领域的应用.随后,对可解释知识推理的现状进行概述,最后展望了可解释知识推理的未来发展方向,以期进一步推动可解释推理的发展和应用.     

Are you sure? Prediction revision in automated decision‐making

With the rapid improvements in machine learning and deep learning, decisions made by automated decision support systems (DSS) will increase. Besides the accuracy of predictions, their explainability becomes more important. The algorithms can construct complex mathematical prediction models. This causes insecurity to the predictions. The insecurity rises the need for equipping the algorithms with explanations. To examine how users trust automated DSS, an experiment was conducted. Our research aim is to examine how participants supported by an DSS revise their initial prediction by four varying approaches (treatments) in a between‐subject design study. The four treatments differ in the degree of explainability to understand the predictions of the system. First we used an interpretable regression model, second a Random Forest (considered to be a black box [BB]), third the BB with a local explanation and last the BB with a global explanation. We noticed that all participants improved their predictions after receiving an advice whether it was a complete BB or an BB with an explanation. The major finding was that interpretable models were not incorporated more in the decision process than BB models or BB models with explanations.     

可解释的层次注意力机制网络危重症预警

准确性和可解释性是决定预测模型是否能够成功应用的两个主要因素。Logistic回归等统计分析模型尽管预测精度不高,但因其易于表达而被广泛采用。与之相对的基于循环神经网络（RNN）或卷积神经网络（CNN）等深度学习“黑盒模型”,准确率较高却通常难以理解。在医疗领域上述因素的权衡是目前相关研究面临的巨大挑战,通过对某三甲医院CIS系统采集住院患者生理指标数据进行实验分析,建立了基于可解释的层次注意力网络（Interpretable Hierarchical Attention Network,IHAN）用于提前预警患者抢救过程中可能并发的危急重症。IHAN在实验准确率方面优于其他神经网络模型,并且能够模仿人类的行为,重点关注患者生理数据中时间及风险因素两个维度上的异常,在保持较高准确率的情况下,同时达到了较好的可解释性。     

医学图像处理中的注意力机制研究综述

注意力机制通过对深度学习模型判断的可视化,有望成为将深度学习应用于临床实践的安全支撑。通过结合注意力机制,不仅可以验证深度学习模型的判断依据,而且可以让深度学习模型更多地关注重要特征,以提升深度学习模型性能。在未来,这将有助于提高人工智能可解释性、辅助医生诊断以及运用注意力机制发现新诊断方法。介绍并分析医学图像处理常用数据集及评价指标,陈述了医学图像处理中的注意力机制种类,从不同种类介绍了注意力机制可以有效地用于医学图像分析和诊断方面的例子,根据其应用于医学图像处理的最新趋势讨论未来前景和发展方向。     

基于文本注意力的推荐系统可解释性研究

可解释性能够提高用户对推荐系统的信任度并且提升推荐系统的说服力和透明性,因此有许多工作都致力于实现推荐系统的可解释性。由于评论中包含了丰富的信息,能够体现用户偏好与情感信息,同时包含了对应商品所具有的特性,最近的一些基于评论的深度推荐系统有效地提高了推荐系统的可解释性。这些基于评论的深度推荐系统中内置的注意力机制能够从对应的评论中识别出有用的语义单元（例如词、属性或者评论）,而推荐系统通过这些高权重的语义单元做出决策,从而增强推荐系统的可解释性。但可解释性在很多工作中仅作为一个辅助性的子任务,只在一些案例研究中来做出一些定性的比较,来说明推荐系统是具有可解释性的,到目前为止并没有一个能够综合地评估基于评论推荐系统可解释性的方法。本文首先根据在注意力权重计算机制的不同,将这些具有可解释性的基于评论的推荐系统分为三类：基于注意力的推荐系统,基于交互的推荐系统,基于属性的推荐系统,随后选取了五个最先进的基于评论的深度推荐系统,通过推荐系统内置的注意力机制获得的评论权重文档,在三个真实数据集上进行了人工标注,分别量化地评价推荐系统的可解释性。标注的结果表明不同的基于评论的深度推荐系统的可解释性是具有优劣之分的,但当前的基于评论的深度推荐系统都有超过一半的可能性能够捕捉到用户对目标评论的偏好信息。在评估的五个推荐系统中,并没有哪个推荐系统在所有的数据中具有绝对的优势。也就是说,这些推荐系统在推荐可解释性方面是相互补充的。通过进一步的数据分析发现,如果推荐系统具有更精确的分数预测结果,那推荐系统通过注意力机制获得的高权重的信息确实更能够体现用户的偏好或者商品特征,说明推荐系统内置的注意力机制在提高可解释性的同时也能够提高预测精度;并且发现相较于长评论,推荐系统更容易捕捉到较短的评论中的特征信息;而可解释性评分高的推荐系统会更可能地为形容词赋予较高的权重。本文也为推荐系统可解释性评估进一步研究和探索更好的基于评论的推荐系统解决方案提供了一些启示。