深度学习模型可解释性研究综述

深度学习技术以数据驱动学习的特点,在自然语言处理、图像处理、语音识别等领域取得了巨大成就.但由于深度学习模型网络过深、参数多、复杂度高等特性,该模型做出的决策及中间过程让人类难以理解,因此探究深度学习的可解释性成为当前人工智能领域研究的新课题.以深度学习模型可解释性为研究对象,对其研究进展进行总结阐述.从自解释模型、特...     

深度学习模型可解释性的研究进展

深度学习在很多人工智能应用领域中取得成功的关键原因在于,通过复杂的深层网络模型从海量数据中学习丰富的知识。然而,深度学习模型内部高度的复杂性常导致人们难以理解模型的决策结果,造成深度学习模型的不可解释性,从而限制了模型的实际部署。因此,亟需提高深度学习模型的可解释性,使模型透明化,以推动人工智能领域研究的发展。本文旨在对深度学习模型可解释性的研究进展进行系统性的调研,从可解释性原理的角度对现有方法进行分类,并且结合可解释性方法在人工智能领域的实际应用,分析目前可解释性研究存在的问题,以及深度学习模型可解释性的发展趋势。为全面掌握模型可解释性的研究进展以及未来的研究方向提供新的思路。     

机器学习模型可解释性方法、应用与安全研究综述

尽管机器学习在许多领域取得了巨大的成功,但缺乏可解释性严重限制了其在现实任务尤其是安全敏感任务中的广泛应用.为了克服这一弱点,许多学者对如何提高机器学习模型可解释性进行了深入的研究,并提出了大量的解释方法以帮助用户理解模型内部的工作机制.然而,可解释性研究还处于初级阶段,依然还有大量的科学问题尚待解决.并且,不同的学者解决问题的角度不同,对可解释性赋予的含义也不同,所提出的解释方法也各有侧重.迄今为止,学术界对模型可解释性仍缺乏统一的认识,可解释性研究的体系结构尚不明确.在综述中,回顾了机器学习中的可解释性问题,并对现有的研究工作进行了系统的总结和科学的归类.同时,讨论了可解释性相关技术的潜在应用,分析了可解释性与可解释机器学习的安全性之间的关系,并且探讨了可解释性研究当前面临的挑战和未来潜在的研究方向,以期进一步推动可解释性研究的发展和应用.     

深度学习可解释性综述

随着数据量呈爆发式增长,深度学习理论与技术取得突破性进展,深度学习模型在众多分类与预测任务(图像、文本、语音和视频数据等)中表现出色,促进了深度学习的规模化与产业化应用。然而,深度学习模型的高度非线性导致其内部逻辑不明晰,并常常被视为“黑箱”模型,这也限制了其在关键领域(如医疗、金融和自动驾驶等)的应用。因此,研究深度学习的可解释性是非常必要的。首先对深度学习的现状进行简要概述,阐述深度学习可解释性的定义及必要性;其次对深度学习可解释性的研究现状进行分析,从内在可解释模型、基于归因的解释和基于非归因的解释3个角度对解释方法进行概述;然后介绍深度学习可解释性的定性和定量评估指标;最后讨论深度学习可解释性的应用以及未来发展方向。     

基于规则的建模方法的可解释性及其发展

建模方法的可解释性指其以可理解的方式表达实际系统行为的能力. 随着实践中对可靠性需求的不断提高, 建立出可靠且可解释的模型以增强人对实际系统的认知成为了建模的重要目标. 基于规则的建模方法可更直观地描述系统机理, 并能有效融合定量信息和定性知识实现不确定信息的灵活处理, 具有较强的建模性能. 本文从基于规则的建模方法出发, 围绕知识库、推理机和模型优化梳理了其在可解释性方面的研究, 最后进行了简要的评述和展望.     

强化学习可解释性基础问题探索和方法综述

强化学习是一种从试错过程中发现最优行为策略的技术,已经成为解决环境交互问题的通用方法.然而,作为一类机器学习算法,强化学习也面临着机器学习领域的公共难题,即难以被人理解.缺乏可解释性限制了强化学习在安全敏感领域中的应用,如医疗、驾驶等,并导致强化学习在环境仿真、任务泛化等问题中缺乏普遍适用的解决方案.为了克服强化学习的这一弱点,涌现了大量强化学习可解释性(explainable reinforcement learning,XRL)的研究.然而,学术界对XRL尚缺乏一致认识.因此,探索XRL的基础性问题,并对现有工作进行综述.具体而言,首先探讨父问题——人工智能可解释性,对人工智能可解释性的已有定义进行了汇总;其次,构建一套可解释性领域的理论体系,从而描述XRL与人工智能可解释性的共同问题,包括界定智能算法和机械算法、定义解释的含义、讨论影响可解释性的因素、划分解释的直观性;然后,根据强化学习本身的特征,定义XRL的3个独有问题,即环境解释、任务解释、策略解释;之后,对现有方法进行系统地归类,并对XRL的最新进展进行综述;最后,展望XRL领域的潜在研究方向.     

深度学习可解释性研究进展

深度学习的可解释性研究是人工智能、机器学习、认知心理学、逻辑学等众多学科的交叉研究课题,其在信息推送、医疗研究、金融、信息安全等领域具有重要的理论研究意义和实际应用价值.从深度学习可解释性研究起源、研究探索期、模型构建期3方面回顾了深度学习可解释性研究历史,从可视化分析、鲁棒性扰动分析、敏感性分析3方面展现了深度学习现有模型可解释性分析研究现状,从模型代理、逻辑推理、网络节点关联分析、传统机器学习模型改进4方面剖析了可解释性深度学习模型构建研究,同时对当前该领域研究存在的不足作出了分析,展示了可解释性深度学习的典型应用,并对未来可能的研究方向作出了展望.     

基于可解释性人工智能的软件工程技术方法综述

在信息处理与决策方面,人工智能(AI)方法相比传统方法表现出了优越的性能。但在将AI模型投入生产时,其输出结果并不能保证完全准确,因此AI技术的“不可信”逐渐成为AI大规模落地的一大阻碍。目前人工智能被逐步应用到软件工程中,其过度依赖历史数据和决策不透明等弊端愈发明显,因此对决策结果做出合理的解释至关重要。文中对可解释性人工智能的基本概念、可解释模型的评估进行了详细阐述,探讨了软件工程与可解释人工智能结合的可行性;同时调研了相关文献,对软件工程中的恶意软件检测、高风险组件检测、软件负载分配、二进制代码相似性分析这4个人工智能的典型应用方向做出分析,讨论如何通过可解释AI揭示系统输出的正确程度,进而提高系统决策的可信度;最后展望未来软件工程与可解释人工智能相结合的研究方向。     

预训练语言模型实体匹配的可解释性

实体匹配可以判断两个数据集中的记录是否指向同一现实世界实体,对于大数据集成、社交网络分析、网络语义数据管理等任务不可或缺.作为在自然语言处理、计算机视觉中取得大量成功的深度学习技术,预训练语言模型在实体识别任务上也取得了优于传统方法的效果,引起了大量研究人员的关注.然而,基于预训练语言模型的实体匹配技术效果不稳定、匹配结果不可解释,给这一技术在大数据集成中的应用带来了很大的不确定性.同时,现有的实体匹配模型解释方法主要面向机器学习方法进行模型无关的解释,在预训练语言模型上的适用性存在缺陷.因此,以Ditto、JointBERT等BERT类实体匹配模型为例,提出3种面向预训练语言模型实体匹配技术的模型解释方法来解决这个问题:(1)针对序列化操作中关系数据属性序的敏感性,对于错分样本,利用数据集元特征和属性相似度实现属性序反事实生成;(2)作为传统属性重要性衡量的补充,通过预训练语言模型注意力机制权重来衡量并可视化模型处理数据时的关联性;(3)基于序列化后的句子向量,使用k近邻搜索技术召回与错分样本相似的可解释性优良的样本,增强低置信度的预训练语言模型预测结果.在真实公开数据集上的实验结果...     

机器学习的可解释性

近年来,机器学习发展迅速,尤其是深度学习在图像、声音、自然语言处理等领域取得卓越成效.机器学习算法的表示能力大幅度提高,但是伴随着模型复杂度的增加,机器学习算法的可解释性越差,至今,机器学习的可解释性依旧是个难题.通过算法训练出的模型被看作成黑盒子,严重阻碍了机器学习在某些特定领域的使用,譬如医学、金融等领域.目前针对机器学习的可解释性综述性的工作极少,因此,将现有的可解释方法进行归类描述和分析比较,一方面对可解释性的定义、度量进行阐述,另一方面针对可解释对象的不同,从模型的解释、预测结果的解释和模仿者模型的解释3个方面,总结和分析各种机器学习可解释技术,并讨论了机器学习可解释方法面临的挑战和机遇以及未来的可能发展方向.     

基于多层感知机代理模式的地球系统模式物理参数优化方法

地球系统模式中物理参数的不确性会对气候模拟的精度产生巨大的影响,优化物理参数对提高气候预测的准确性至关重要。通常在地球系统模式的参数优化中有多个目标需要同时优化,然而目前常用的进化多目标算法在地球系统模式上使用需要极高的计算代价,因此提出了一种基于多层感知机(MLP)神经网路的多目标代理模式参数优化方法MO-ANN。此方法利用多层感知机建立代理模式,用代理模式来预估候选采样点的优劣,提高了多目标优化的精度和收敛性。在复杂数学函数和单柱大气模式上的对比实验表明,MO-ANN优化算法相对于进化多目标算法具有明显优势,特别是在热带暖池-国际云实验的单柱大气模式中,MO-ANN收敛速度可相对NSGAIII提升5倍以上。     

基于Kriging代理模型的动态云任务调度方法

任务调度在云计算环境中发挥着重要作用。提出一种基于Kriging代理模型的动态云任务调度方法。通过对云任务在不同资源组合下的性能表现进行Kriging代理模型建模并优化,从而得到对应于该云任务的最优资源分配方案;利用云平台的API,可动态对该云任务实施资源调度。基于OpenStack开源云平台,对两个工程计算应用进行了任务调度性能测试,结果表明该方法可有效动态调整云任务中的资源配给,按需按优对平台中的云任务进行资源调度。     

一种基于自适应代理模型的并行贝叶斯优化方法

提出一种基于自适应代理模型的并行贝叶斯优化方法,用于求解计算成本高的复杂优化问题.该方法基于多点期望改进判据,通过批次采样实现并行优化.针对并行优化产生的大量历史数据会导致全局代理模型建模成本高的问题,提出一种改进的基于数据并行的高斯过程建模方法,在线构造局部代理模型.此外,针对多点期望改进判据计算成本高的问题,提出一种启发式的分层优化策略,通过序贯优化基于自适应代理模型的单点期望改进判据,近似计算多点期望改进判据.最后通过5个测试问题验证所提出方法的有效性.     

A rule-based method for automated surrogate model selection

Surrogate models have been widely used in engineering design because of their capability to approximate computationally complex engineering systems. In practice, the choice of surrogate models is extremely important since there are many types of surrogate models, and they also have different hyper-parameters. Traditional manual selection approaches are very time-consuming and cannot be generalized. To address these challenges, an evolutionary algorithm (EA)-based approaches are proposed and studied. However, they lack interpretability and are computationally expensive. To address these gaps, we create a rule-based method for an automatic surrogate model selection called AutoSM. The drastic increase in the selection pace by pre-screening of surrogate model types based on selection rule extraction is the scientific contribution of our proposed method. First, an interpretable decision tree is built to map four critical features, including problem scale, noise, size of sample and nonlinearity, to the types of surrogate model and select the promising surrogate model; then, a genetic algorithm (GA) is used to find the appropriate hyper-parameters for each selected surrogate model. The AutoSM is tested with three theoretical problems and two engineering problems, including a hot rod rolling and a blowpipe design problem. According to the empirical results, using the proposed AutoSM, we can find the promising surrogate model and associated hyper-parameter in 9 times less than other automatic selection approaches such as concurrent surrogate model selection (COSMOS) while maintaining the same accuracy and robustness in surrogate model selection. Besides, the proposed AutoSM, unlike previous EA-based automatic surrogate model selection methods, is not a black box and is interpretable.     

基于AHP模型的政府系统职能评价方法的研究

政府人力资源系统与政府职能密切相关,研究政府人力资源必须从政府职能的视角对政府系统的要素与职能的关系进行分析.在政府系统的环境适应性概念模型的基础之上,通过对政府系统的政治职能、经济职能、社会职能、文化职能的分析,研究了政府系统要素与职能、规模关系,明确了政府系统的目标是政府系统内部结构分析的出发点,是政府系统目的的具体化的特征,确定了政府系统的目标集,构建了政府职能评价的递级层次结构模型,并通过AHP方法,构建了政府系统职能评价模型.     

基于ADASYN-SFS-RF的欺诈检测模型泛化性能提升及可解释性研究

针对行业欺诈行为形式多样、操作隐蔽,且数据分布极端不平衡等问题,研究采用ADASYN（adaptive synthetic sampling approach for imbalanced learning）算法将分类决策边界向困难的实例进行自适应移动实现数据扩增,以解决不平衡数据造成的过拟合问题。采用基于随机森林的序列向前搜索策略算法筛选出最优特征子集对欺诈进行检测,降低ADASYN算法添加噪声数据对分类边界确定的影响,构建欺诈检测模型,并使用LIME对模型检测结果作出局部解释,提高模型的使用价值。实验表明,该模型可以较好地克服传统欺诈检测模型对多数类样本误分类的缺陷,有助于提高行业对交易欺诈行为识别的效率。同时,通过LIME对模型检测出的随机样本进行有效解析,便于决策者对算法模型的检测结果作出实证分析,起到明显的预警及决策参考价值。     

基于S曲线模型的航空装备嵌入式软件量化安全评估

软件测试是航空装备嵌入式软件生命周期中的重要环节,如何评估软件测试的效果是一个难题。以软件测试为基础,讨论了航空装备嵌入式软件的生命周期过程中安全缺陷出现的规律,认为它的安全缺陷同样满足S曲线。引入了AML建模理论,基于软件测试数据,建立了某航空嵌入式软件的S曲线模型,预测了软件的总安全缺陷数。对AML理论进行了拓展,讨论了转折点的选取原则。最后,通过卡方检验和预测检验的方法,验证了预测模型与测试数据的匹配性。检验结果表明,AML模型能够很好地模拟实际测试情况,一定程度上消除了数据随机性的影响,其模型具有一定可信度,能够用于航空装备嵌入式软件的安全性分析。     

基于代理模型和遗传算法的仿真优化研究

首先由已知样本建立神经网络作为代理模型，替代费时的仿真评价而快速给出近似目标值；然后基于代理模型，采用GA进行决策量寻优．为增强优化结果的可靠性和一致性，讨论了按问题信息选取样本和多模型方法.基于典型压力管设计问题的数值仿真，验证了所提出方法的可行性和有效性，其结果明显优于现有文献结果.     

A multi-fidelity surrogate model based on support vector regression

Structural and Multidisciplinary Optimization - Computational simulations with different fidelities have been widely used in engineering design and optimization. A high-fidelity (HF) model is...     

基于Kriging代理模型的自适应序贯优化方法

提出了一种基于Kriging代理模型的自适应序贯优化算法。首先分析了代理模型使用不当引发的局部收敛问题,然后采用小生境微种群遗传算法求解EI函数来得到校正点,用以更新Kriging模型。这种选择校正点的方法使得优化过程避免陷入局部极值点。通过对4个典型函数优化实例进行实验,并与其他算法的结果作比较,其结果表明,新算法在解的精度、收敛性和收敛速度上表现出很好的性能,并且对所优化的问题没有特殊的要求,具有很强的工程实用价值。