基于文本注意力的推荐系统可解释性研究

可解释性能够提高用户对推荐系统的信任度并且提升推荐系统的说服力和透明性,因此有许多工作都致力于实现推荐系统的可解释性。由于评论中包含了丰富的信息,能够体现用户偏好与情感信息,同时包含了对应商品所具有的特性,最近的一些基于评论的深度推荐系统有效地提高了推荐系统的可解释性。这些基于评论的深度推荐系统中内置的注意力机制能够从对应的评论中识别出有用的语义单元（例如词、属性或者评论）,而推荐系统通过这些高权重的语义单元做出决策,从而增强推荐系统的可解释性。但可解释性在很多工作中仅作为一个辅助性的子任务,只在一些案例研究中来做出一些定性的比较,来说明推荐系统是具有可解释性的,到目前为止并没有一个能够综合地评估基于评论推荐系统可解释性的方法。本文首先根据在注意力权重计算机制的不同,将这些具有可解释性的基于评论的推荐系统分为三类：基于注意力的推荐系统,基于交互的推荐系统,基于属性的推荐系统,随后选取了五个最先进的基于评论的深度推荐系统,通过推荐系统内置的注意力机制获得的评论权重文档,在三个真实数据集上进行了人工标注,分别量化地评价推荐系统的可解释性。标注的结果表明不同的基于评论的深度推荐系统的可解释性是具有优劣之分的,但当前的基于评论的深度推荐系统都有超过一半的可能性能够捕捉到用户对目标评论的偏好信息。在评估的五个推荐系统中,并没有哪个推荐系统在所有的数据中具有绝对的优势。也就是说,这些推荐系统在推荐可解释性方面是相互补充的。通过进一步的数据分析发现,如果推荐系统具有更精确的分数预测结果,那推荐系统通过注意力机制获得的高权重的信息确实更能够体现用户的偏好或者商品特征,说明推荐系统内置的注意力机制在提高可解释性的同时也能够提高预测精度;并且发现相较于长评论,推荐系统更容易捕捉到较短的评论中的特征信息;而可解释性评分高的推荐系统会更可能地为形容词赋予较高的权重。本文也为推荐系统可解释性评估进一步研究和探索更好的基于评论的推荐系统解决方案提供了一些启示。     

可解释的层次注意力机制网络危重症预警

准确性和可解释性是决定预测模型是否能够成功应用的两个主要因素.Logistic回归等统计分析模型尽管预测精度不高,但因其易于表达而被广泛采用.与之相对的基于循环神经网络(RNN)或卷积神经网络(CNN)等深度学习"黑盒模型",准确率较高却通常难以理解.在医疗领域上述因素的权衡是目前相关研究面临的巨大挑战,通过对某三甲医...     

基于可解释性的Android恶意软件检测

针对Android恶意软件检测,通常仅有检测结果缺乏对其检测结果的可解释性.基于此,从可解释性的角度分析Android恶意软件检测,综合利用多层感知机和注意力机制提出一种可解释性的Android恶意软件检测方法(multilayer perceptron attention-method, MLP＿At).通过提取Android恶意软件的应用权限和应用程序接口(application programming interface, API)特征来进行数据预处理生成特征信息,采用多层感知机对特征学习.最后,利用BP算法对学习到的数据进行分类识别.在多层感知机中引入注意力机制,以捕获敏感特征,根据敏感特征生成描述来解释应用的核心恶意行为.实验结果表明所提方法能有效检测恶意软件,与SVM、RF、XGBoost相比准确率分别提高了3.65%、3.70%和2.93%,并能准确地揭示软件的恶意行为.此外,该方法还可以解释样本被错误分类的原因.     

内容感知的可解释性路面病害检测模型

针对实际场景中高分辨路面图像难以直接作为现有卷积神经网络（convolutional neural network,CNN）的输入、现有预处理及下采样算法无法有效感知并保留原始路面图像中低占比的病害区域信息等问题,借助于可视化解释的技术手段,设计了一种即插即用的图像内容自适应感知模块（adaptive perception module,APM）,既平衡了高分辨路面图像与CNN输入限制,又能够自适应感知激活前景病害区域,从而实现高分辨路面图像中病害类型的快速准确检测,构建可信路面病害视觉检测软件系统. APM利用大卷积核和下采样残差操作降低原始图像分辨率并获取图像浅层特征表示;通过注意力机制自适应感知并激活图像中路面病害区域信息,过滤无关的背景信息.利用联合学习的方式,无需额外监督信息完成对APM的训练.通过可视化解释方法辅助选择和设计APM的具体结构,在最新公开数据集CQUBPMDD上的实验结果表明：APM相比于现有的图像预处理采样算法均有明显提升,分类准确率最高为84.47%;在CQU-BPDD上的实验结果及APM决策效果可视化分析表明APM具备良好的泛化性与鲁棒性.实验代码已开源...     

基于生成式-判别式混合模型的可解释性文档分类

现有可解释性文档分类常忽略对文本信息的深度挖掘,未考虑单词与单词上下文、句子与句子上下文之间的语义关系.为此,文中提出基于生成式-判别式混合模型的可解释性文档分类方法,在文档编码器中引入分层注意力机制,获得富含上下文语义信息的文档表示,生成精确的分类结果及解释性信息,解决现有模型对文本信息挖掘不够充分的问题.在PCMag、Skytrax评论数据集上的实验表明,文中方法在文档分类上性能较优,生成较准确的解释性信息,提升方法的整体性能.     

基于局部注意力图互迁移的可解释性优化方法

目前,深度学习模型已被广泛部署于各个工业领域.然而,深度学习模型具有的复杂性与不可解释性已成为其应用于高风险领域最主要的瓶颈.在深度学习模型可解释性方法中,最重要的方法是可视化解释方法,其中注意力图是可视化解释方法的主要表现方式,可通过对样本图像中的决策区域进行标注,来直观地展示模型决策依据.目前已有的基于注意力图的可...     

基于注意力机制的可解释点击率预估模型研究

在推荐系统研发中,点击率(Click-Through Rate, CTR)预估是非常重要的工作,点击率预估精度的提升直接影响到整个推荐系统的收益,对其性能和解释性的研究有助于理解系统决策的机理,同时还能帮助优化需求和系统设计。当前点击率预估深度模型多基于线性特征交互和深度特征提取进行设计。由于深度模型的黑盒特点,该类模型在解释性方面存在局限性,并且在先前的研究中,对点击率预估模型的解释性研究非常少。因此,文中基于多头自注意力机制,对该类模型的解释性进行研究,通过多头注意力机制对特征嵌入、线性特征交互和深度部分进行增强和解释,在深度部分设计了两种模型,即注意力增强的深度神经网络和注意力叠加的深度模型,通过计算每个模块的注意力得分对其进行解释。所提方法在多个真实数据集上进行了大量实验,结果表明所提方法能够有效提升模型效果,并且模型自身带有一定的解释性。     

软件缺陷预测模型可解释性对比

软件缺陷预测已经成为软件测试中的重要研究方向,缺陷预测的全面与否直接影响着测试效率和程序运行。但现有的缺陷预测是根据历史数据进行推断,大多不能对预测过程给出合理的解释,这种黑盒的预测过程仅仅展现输出结果,使得人们难以得知测试模型内部结构对输出的影响。为解决这一问题,需挑选软件度量方法和部分典型深度学习模型,对其输入、输出及结构进行简要对比,从数据差异程度和模型对代码的处理过程两个角度进行分析,对它们的异同给出解释。实验表明,采用深度学习的方法进行缺陷预测比传统软件度量方法更加有效,这主要是由它们对原始数据处理过程不同造成的;采用卷积神经网络和长短期记忆神经网络做缺陷预测时,数据差异主要由对代码信息理解的完整程度不同造成的。综上可知,要提高对软件缺陷的预测能力,模型的计算应该对代码的语义、逻辑和上下文联系进行全面的介入,避免有用信息被遗漏。     

机器学习的可解释性

近年来,机器学习发展迅速,尤其是深度学习在图像、声音、自然语言处理等领域取得卓越成效.机器学习算法的表示能力大幅度提高,但是伴随着模型复杂度的增加,机器学习算法的可解释性越差,至今,机器学习的可解释性依旧是个难题.通过算法训练出的模型被看作成黑盒子,严重阻碍了机器学习在某些特定领域的使用,譬如医学、金融等领域.目前针对机器学习的可解释性综述性的工作极少,因此,将现有的可解释方法进行归类描述和分析比较,一方面对可解释性的定义、度量进行阐述,另一方面针对可解释对象的不同,从模型的解释、预测结果的解释和模仿者模型的解释3个方面,总结和分析各种机器学习可解释技术,并讨论了机器学习可解释方法面临的挑战和机遇以及未来的可能发展方向.     

通道-空间联合注意力机制的显著性检测模型

针对显著性区域突出不均匀和边缘不清晰导致显著性检测鲁棒性差等问题,提出了一种通道-空间联合注意力机制的显著性检测模型。改进了一种通道注意力机制,将特征图中的像素概率值逐像素相加以更好的获取通道中层间信息的关联性;在通道注意力机制的基础上并行融入了空间注意力机制,对特征图的空间信息进行加权获得目标突出的显著性区域;将通道注意力机制与空间注意力机制输出的两个特征图加权融合反馈至通道-空间联合注意力机制,从而得到细粒度更高的显著图。实验结果表明,该模型在公开的数据集DUTS-TE和SOD上,使用F-measure和平均绝对误差作为评估标准均优于其他同类模型。     

基于Halo注意力机制的双阶段临近降水预报网络

先前基于深度学习进行临近降水预报的方法试图在统一架构中建模雷达回波的时空演变,然而,这些方法可能难以完全捕捉到这种复杂的时空关系.本文提出了一种基于Halo注意力机制的双阶段临近降水预报网络,该网络将降水预测的时空演变过程分为运动趋势预测和空间外观重建两个阶段.首先,可学习光流模块对雷达回波的运动趋势进行建模并生成粗略的预测结果.其次,特征重建模块对历史雷达回波序列的空间外观变化建模并对粗粒度预测结果的空间外观进行特征细化重建,生成精细的雷达回波图.通过在CIKM数据集上的实验表明,本文所提出的方法与主流方法相比,平均的海德克技能得分和关键成功指数分别提高了4.60%和3.63%,达到了0.48和0.45;结构相似性提高了4.84%,达0.52;均方误差降低了6.13%,达70.23.     

基于双路注意力机制的学生成绩预测模型

学生成绩的预测与分析旨在实现对学生的个性化指导,提升学生成绩及教师的教学成果.学生成绩受家庭环境、学习条件以及个人表现等多种因素的影响.传统的成绩预测方法往往忽视了不同因素对同一学生成绩的影响程度不同,而且不同学生受同一因素的影响程度也不同,所构建的模型无法实现对学生的个性化分析与指导.因此提出一种基于双路注意力机制的学生成绩预测模型(two-way attention, TWA),该方法不仅有区别地对待了这些因素对成绩的影响程度,而且考虑到了学生的个体差异性.该方法通过两次注意力计算分别得到各属性特征在第1阶段成绩和第2阶段成绩上的注意力得分,并考虑了多种特征融合方式,最后基于融合后的特征对期末成绩进行更好地预测.分别在2个公开数据集上对模型进行了验证,并根据各属性特征在期末成绩上的概率分布对预测结果进行可视化分析.结果显示,所构建模型能够更准确地预测出学生成绩,并且具有良好的可解释性.     

基于差分注意力的时空小波分析视频预测算法

针对视频预测中空间结构信息细节和时序运动依赖关系难以准确预测的问题,受人类视觉过程的启发,提出一种基于差分注意力机制的时空小波分析视频预测算法.首先利用时空小波分析模块对视频内容进行多频分解,增强模型对于高频细节信息以及过程性运动的理解能力;然后利用差分注意力机制指导模型更高效、合理地分配注意力资源,提升对瞬时运动特征...     

基于多层注意力机制的回指消解算法

在信息抽取过程中,无法被判别的回指易造成信息抽取不完整的情况,这种指代关系可通过分析当前语境下的指代部分、被指代部分、周围的信息及原文内容生成的唯一判别信息进行判断。为此,构建一个多层注意力机制模型,在不同层次上对上述信息进行基于注意力机制的概率计算,利用最终结果判别回指关系是否成立。在指代部分与被指代部分向量化后,通过2个注意力层上的4次概率计算,使每一个训练结果在判别之前都具有唯一性。在OntoNotes 5.0数据集上的实验结果表明,该模型F值在显性指代和零指代均存在的条件下为70.1%,在存在零指代的条件下为60.7%,高于尹庆宇等人提出的模型。     

基于注意力机制的句子排序方法

句子排序是多文档自动摘要和答案融合任务的关键技术,其效果直接影响摘要或者答案融合结果的可读性。作为句子排序的重要依据,语义逻辑关系的准确度对于排序结果的可读性有很大影响。为此,该文提出了引入注意力机制的句子排序模型,以增强句子语义逻辑关系的捕获能力,进而获取句子的合理排序。实验结果表明,在句子排序任务中,引入注意力机制的句子排序模型明显优于基线方法。     

基于双重注意力机制和GRU网络的短期负荷预测模型

电力负荷预测对电力系统的部署、规划和运行影响重大,但目前各输入特征对电网负荷情况影响的程度不稳定,且递归神经网络捕获负荷数据的长期记忆能力差,导致预测精度下降。提出一种基于双重注意力机制和GRU网络的预测新模型,利用特征注意力机制自主分析历史信息与输入特征间的关联关系,提取重要特征,并通过时序注意力机制自主选取GRU网络中关键时间点的历史信息,提升较长时间段预测效果的稳定性。在3个公开数据集上的实验结果表明,该模型在预测精度指标上表现良好,对比SVR、KPCA-ELM、DBN、GRU、Attention-GRU、CNN-LSTM、Attention-CNN-GRU模型预测精度分别提高了2.47、1.14、1.93、1.37、1.04、0.74、0.41个百分点。     

基于Transformer-ESIM注意力机制的多模态情绪识别

为了提高语音和文本融合的情绪识别准确率,提出一种基于Transformer-ESIM(Transformer-enhanced sequential inference model)注意力机制的多模态情绪识别方法.传统循环神经网络在语音和文本序列特征提取时存在长期依赖性,其自身顺序属性无法捕获长距离特征,因此采用Tra...