A novel deep learning prediction model for concrete dam displacements using interpretable mixed attention mechanism

Dam displacements can effectively reflect its operational status, and thus establishing a reliable displacement prediction model is important for dam health monitoring. The majority of the existing data-driven models, however, focus on static regression relationships, which cannot capture the long-term temporal dependencies and adaptively select the most relevant influencing factors to perform predictions. Moreover, the emerging modeling tools such as machine learning (ML) and deep learning (DL) are mostly black-box models, which makes their physical interpretation challenging and greatly limits their practical engineering applications. To address these issues, this paper proposes an interpretable mixed attention mechanism long short-term memory (MAM-LSTM) model based on an encoder-decoder architecture, which is formulated in two stages. In the encoder stage, a factor attention mechanism is developed to adaptively select the highly influential factors at each time step by referring to the previous hidden state. In the decoder stage, a temporal attention mechanism is introduced to properly extract the key time segments by identifying the relevant hidden states across all the time steps. For interpretation purpose, our emphasis is placed on the quantification and visualization of factor and temporal attention weights. Finally, the effectiveness of the proposed model is verified using monitoring data collected from a real-world dam, where its accuracy is compared to a classical statistical model, conventional ML models, and homogeneous DL models. The comparison demonstrates that the MAM-LSTM model outperforms the other models in most cases. Furthermore, the interpretation of global attention weights confirms the physical rationality of our attention-based model. This work addresses the research gap in interpretable artificial intelligence for dam displacement prediction and delivers a model with both high-accuracy and interpretability.     

基于对抗补丁的可泛化的Grad-CAM攻击方法

为了验证Grad-CAM解释方法的脆弱性,提出了一种基于对抗补丁的Grad-CAM攻击方法.通过在CNN分类损失函数后添加对Grad-CAM类激活图的约束项,可以针对性地优化出一个对抗补丁并合成对抗图像.该对抗图像可在分类结果保持不变的情况下,使Grad-CAM解释结果偏向补丁区域,实现对解释结果的攻击.同时,通过在数...     

融合机器学习与知识推理的可解释性框架

针对基于规则的可解释性模型可能出现的规则无法反映模型真实决策情况的问题, 提出了一种融合机器学习和知识推理两种途径的可解释性框架. 框架演进目标特征结果和推理结果, 在二者相同且都较为可靠的情况下实现可解释性. 目标特征结果通过机器学习模型直接得到, 推理结果通过子特征分类结果结合规则进行知识推理得到, 两个结果是否可...     

可解释深度知识追踪模型

知识追踪任务通过建模用户的习题作答序列跟踪其认知状态,进而预测其下一时刻的答题情况,实现对用户知识掌握程度的智能评估.当前知识追踪方法多针对知识点建模,忽略了习题信息建模与用户个性化表征,并且对于预测结果缺乏可解释性.针对以上问题,提出了一个可解释的深度知识追踪框架.首先引入习题的上下文信息挖掘习题与知识点间的隐含关系,得到更有表征能力的习题与知识点表示,缓解数据稀疏问题.接着建模用户答题序列获得其当前知识状态,并以此学习个性化注意力,进而得到当前习题基于用户知识状态的个性化表示.最后,对于预测结果,依据个性化注意力选择一条推理路径作为其解释.相较于现有方法,所提模型不仅取得了更好的预测结果,还能为预测结果提供推理路径层面的解释,体现了其优越性.     

重新找回人工智能的可解释性

针对深度神经网络AI研究的可解释性瓶颈，指出刚性逻辑（数理形式逻辑）和二值神经元等价，二值神经网络可转换成逻辑表达式，有强可解释性。深度神经网络一味增加中间层数来拟合大数据，没有适时通过抽象把最小粒度的数据（原子）变成粒度较大的知识（分子），再把较小粒度的知识变成较大粒度的知识，把原有的强可解释性淹没在中间层次的汪洋大海中。要支持多粒度的知识处理，需把刚性逻辑扩张为柔性命题逻辑（命题级数理辩证逻辑），把二值神经元扩张为柔性神经元，才能保持强可解释性。本文详细介绍了从刚性逻辑到柔性逻辑的扩张过程和成果，最后介绍了它们在AI研究中的应用，这是重新找回AI研究强可解释性的最佳途径。     

强化学习的可解释方法分类研究

强化学习能够在动态复杂环境中实现自主学习,这使其在法律、医学、金融等领域有着广泛应用。但强化学习仍面临着全局状态空间不可观测、对奖励函数强依赖和因果关系不确定等诸多问题,导致其可解释性弱,严重影响其在相关领域的推广,会遭遇诸如难以判断决策是否违反社会法律道德的要求,是否准确及值得信任等的限制。为了进一步了解强化学习可解释性研究现状,从可解释模型、可解释策略、环境交互、可视化等方面展开讨论。基于此,对强化学习可解释性研究现状进行系统论述,对其可解释方法进行归类阐述,最后提出强化学习可解释性的未来发展方向。     

深度学习的可解释性研究综述

近年来,深度学习在很多领域得到广泛应用;然而,由于深度神经网络模型的高度非线性操作,导致其可解释性较差,并常常被称为“黑箱”模型,无法应用于一些对性能要求较高的关键领域;因此,对深度学习的可解释性开展研究是很有必要的。首先,简单介绍了深度学习;然后,围绕深度学习的可解释性,从隐层可视化、类激活映射（CAM）、敏感性分析、频率原理、鲁棒性扰动测试、信息论、可解释模块和优化方法这8个方面对现有研究工作进行分析;同时,展示了深度学习在网络安全、推荐系统、医疗和社交网络领域的应用;最后,讨论了深度学习可解释性研究存在的问题及未来的发展方向。     

基于LightGBM算法的光伏并网系统孤岛检测及其集成的可解释研究

针对智能孤岛检测方法欠缺对数据集划分过程中标签分布不均问题的考虑,以及该领域尚未对复杂智能孤岛检测模型的决策进行可解释性分析,提出了一种基于轻梯度提升机(LightGBM)算法的孤岛检测模型。采用分层抽样的K折交叉验证检测模型的分类性能,解决数据标签分布不均的问题;提出基于决策树的Shapley值加性解释方法为主干,融合累计局部效应图和局部代理模型的集成可解释分析框架,从全局性和局部性角度对光伏并网系统的孤岛状态检测进行归因分析。算例仿真结果表明,所提模型能在传统检测方法的检测盲区中实现精确且快速的动态孤岛检测,且在电压波动、系统故障等情况下均未发生误判。基于集成的归因分析方法解决了单一可解释方法的欠合理性问题,揭示了模型输入电气特征自变量与孤岛检测响应因变量之间的关系,提高了模型的可信度。     

结合模拟退火与规则约简的模糊系统优化方法

从数据中学习模糊系统是其智能建模的重要方法之一,针对目前模糊系统建模及优化方法对于学习后的模糊系统的规则数以及结构优化关注不足而影响了其精度和可解释性的问题,提出了一种结合模拟退火与基于支持度约简规则的模糊系统优化方法。该方法通过支持度约简系统冗余规则进而提高模糊系统的可解释性;同时利用模拟退火算法优化模糊系统的隶属度函数参数进一步提高模糊系统的精度。针对回归任务,与BP（Back Propagation）神经网络、径向基（Radial Basis Function,RBF）神经网络以及经典的模糊算法WM（Wang-Mendel）在不同领域的3个经典数据集上进行实验比较,实验结果表明：该算法在预测方面取得了更高的精度;与WM算法相比,所提算法中规则数明显减少,进一步提高了系统的可解释性。     

LSTM变体模型在径流预测中的性能及其可解释性

基于湘江流域1999—2013年实测水文气象数据,采用LSTM模型和其变体模型研究多个预见期下不同输入变量和不同模型结构对径流预测结果的影响,评估LSTM模型及其变体模型在短期径流预测中的性能,基于排列重要性法和积分梯度法探究了LSTM模型对流域径流预测的可解释性。结果表明：在历史径流输入数据的基础上增加有效的水文气象变量输入,可以明显改善模型的预测效果,输入变量的改变比模型结构的差异对预测结果的影响更大;随着预见期的增大,降水数据的加入对预测效果表现出不同程度的提升,预见期为1 d时,预测结果的纳什效率系数(NSE)提升2.0%,预见期为2～4 d时,NSE提升可达13.6%;降水和历史径流在预测中起着重要的作用,而前期湿润条件与降水事件的共同作用是湘江流域洪水的主要诱发因素;LSTM模型可反映两种不同的输入输出关系,这两种关系对应于近期降雨和历史降雨两种洪水诱发机制。