面向图像分类的深度模型可解释性研究综述

深度学习目前在计算机视觉、自然语言处理、语音识别等领域得到了深入发展,与传统的机器学习算法相比,深度模型在许多任务上具有较高的准确率.然而,作为端到端的具有高度非线性的复杂模型,深度模型的可解释性没有传统机器学习算法好,这为深度学习在现实生活中的应用带来了一定的阻碍.深度模型的可解释性研究具有重大意义而且是非常必要的,近年来许多学者围绕这一问题提出了不同的算法.针对图像分类任务,将可解释性算法分为全局可解释性和局部可解释性算法.在解释的粒度上,进一步将全局解释性算法分为模型级和神经元级的可解释性算法,将局部可解释性算法划分为像素级特征、概念级特征以及图像级特征可解释性算法.基于上述分类框架,总结了常见的深度模型可解释性算法以及相关的评价指标,同时讨论了可解释性研究面临的挑战和未来的研究方向.认为深度模型的可解释性研究和理论基础研究是打开深度模型黑箱的必要途径,同时可解释性算法存在巨大潜力可以为解决深度模型的公平性、泛化性等其他问题提供帮助.     

LSTM模型集成方法在客户流失预测中的应用

目前客户流失预测任务中常用的模型集成方法采用传统机器学习模型作为基学习器。而传统机器学习模型相比于深度学习模型,存在无法对时序数据进行有效建模、特征工程对模型效果影响较大等缺点。针对这些问题,提出基于LSTM的模型集成方法。采用LSTM作为基学习器进行时序数据建模;改进snapshot模型集成方法,增加样本权重调整方法,在训练单个LSTM模型的过程中得到多个具有不同权值的模型;利用得到的多个模型构造新数据集,在新数据集上训练逻辑回归模型。实验结果表明,该方法相比于单模型LSTM,可以在仅花费其1.8倍训练时间的前提下,将查准率和PR-AUC分别提升4.67%和3.74%,显著提高了客户流失预测效果。     

基于卷积神经网络的发动机气路故障诊断方法

深度学习是一种新的基于特征表示的机器学习方法。深度学习模型包含多个隐藏层,可以通过对输入数据进行自动学习来获取隐藏的功能层中的特征信息。与传统的诊断方法相比,深度学习具备从原始信息中提取更丰富的特征的能力,因此已经成为基于机器学习的故障诊断研究的新方向,为发动机气路等复杂系统故障诊断带来了新思路。结合发动机气路试验数据的特点与深度学习的优势,提出基于卷积神经网络的故障诊断方法,包括预处理、模型训练及优化等过程,并实现了复杂系统故障诊断预测算法平台。经某发动机气路试验仿真数据实例验证,提出的方法具有较好的可行性和效果,能够充分利用深度学习的优点,更准确地识别发动机气路的健康状况。     

基于深度LightGBM集成学习模型的谷歌商店顾客购买力预测

针对轻量化梯度促进机（LightGBM）等集成学习模型只对数据信息进行一次挖掘,无法自动地细化数据挖掘粒度或通过深入挖掘得到更多的数据中潜在内部关联信息的问题,提出了深度LightGBM集成学习模型,该模型由滑动窗口和加深两部分组成。首先,通过滑动窗口使得集成学习模型能够自动地细化数据挖掘粒度,从而更加深入地挖掘数据中潜在的内部关联信息,同时赋予模型一定的表示学习能力。然后,基于滑动窗口,用加深步骤进一步地提升模型的表示学习能力。最后,结合特征工程对数据集进行处理。在谷歌商店数据集上进行的实验结果表明,所提深度集成学习模型相较原始集成学习模型的预测精度高出6.16个百分点。所提方法能够自动地细化数据挖掘粒度,从而获取更多数据集中的潜在信息,并且深度LightGBM集成学习模型与传统深度神经网络相比是非神经网络的深度模型,参数更少,可解释性更强。     

客户来电意图识别研究

捕捉客户来电意图信息,开展客户来电意图识别研究具有重要意义。现有的客户来电意图识别大都是采用人工分析方法,尚没有采用机器学习、深度学习模型识别客户来电意图的研究。为降低人工分析代价,提高客户来电意图识别结果,该文分别从基于传统机器学习模型、基于单/多深度学习模型、基于BERT和深度学习模型组合三个方面,进行客户来电意图识别研究。在移动客服领域客户来电数据上的实验结果显示,F₁值最高达到86.30%,说明该文提出的客户来电意图识别方法是有效的,能够有效帮助移动客服人员进行客户来电意图识别分析。     

基于LDA-DeepHawkes模型的信息级联预测

基于信息早期的传播特征来预测其未来的传播范围具有广泛的应用价值。DeepHawkes模型将Hawkes模型与深度学习相结合,不仅继承了Hawkes模型能够表征和建模信息扩散过程的高度可解释性,又具备深度学习自主学习流行度预测隐含特征的高准确预测能力,弥合了传统方法中信息级联的预测与理解之间的间隙。然而,DeepHawkes模型忽略了信息本身的文本内容对于传播的影响。在DeepHawkes模型的基础上提出了既考虑级联的因素又考虑文本内容的LDA-DeepHawkes模型,更加全面地建模信息扩散过程,在继承DeepHawkes高解释性的同时,进一步提高预测准确度。在两个新浪微博数据集上对比了LDA-DeepHawkes模型与其他模型的预测准确度,分析了模型中参数对预测效果的影响。实验结果表明:LDA-DeepHawkes模型有较好的预测精度,说明信息的文本内容也是影响信息扩散的重要因素。     

基于视角-规则的深度TSK模糊分类器及其在多元癫痫脑电信号识别中的应用

在癫痫脑电信号分类检测中,传统机器学习方法分类效果不理想,深度学习模型虽然具有较好的特征学习优势,但其“黑盒”学习方式不具备可解释性,不能很好地应用于临床辅助诊断;并且,现有的多视角深度TSK模糊系统难以有效表征各视角特征之间的相关性.针对以上问题,提出一种基于视角-规则的深度Takagi-SugenoKang (TSK)模糊分类器(view-to-rule Takagi-Sugeno-Kang fuzzy classifier, VR-TSK-FC),并将其应用于多元癫痫脑电信号检测中.该算法在原始数据上构建前件规则以保证模型的可解释性,利用一维卷积神经网络(1-dimensional convolutional neural network, 1D-CNN)从多角度抓取多元脑电信号深度特征.每个模糊规则的后件部分分别采用一个视角的脑电信号深度特征作为其后件变量,视角-规则的学习方式提高了VR-TSK-FC表征能力.在Bonn和CHB-MIT数据集上, VR-TSK-FC算法模糊逻辑推理过程保证可解释的基础上达到了较好分类效果.     

面向微小振动故障诊断的匹配小波深度迁移学习

针对传统方法在微小振动故障诊断中存在的特征识别效率低和样本数量有限等问题,提出匹配小波深度模型迁移学习方法。首先利用Morse连续小波对一维故障信号进行匹配升维,捕捉微小变化,得到可视化强化特征图像;其次对深度迁移网络源域模型进行有效迁移,该模型具有高效的图像学习经验,可降低目标域训练样本数量;最后在模型迁移中根据有限数据进行流程的参数优化。实验证明,该方法泛化能力强,可对多工况下微小特征进行检测与定位,并有效减少对数据的依赖,能够极大提高运算速度和诊断精度。     

基于API序列的可解释恶意代码检测方法

针对基于API序列的恶意代码检测方法中,深度学习方法特征可解释性差,传统机器学习方法依赖人工设计特征以及忽视数据间时序特性等问题,从时序分类的角度,提出一种基于API序列的可解释恶意代码检测方法。将恶意代码动态API调用序列转换为熵时间序列;使用时间序列分类中的shapelet方法提取具有辨别性的特征;使用多种分类器构造检测模型。实验结果表明,该方法能够自主学习具有辨别性的时序特征,能够在兼具高准确率的同时提供模型的可解释性分类依据。     

单目深度估计技术进展综述

单幅图像深度估计是计算机视觉中的经典问题,对场景的3维重建、增强现实中的遮挡及光照处理具有重要意义。本文回顾了单幅图像深度估计技术的相关工作,介绍了单幅图像深度估计常用的数据集及模型方法。根据场景类型的不同,数据集可分为室内数据集、室外数据集与虚拟场景数据集。按照数学模型的不同,单目深度估计方法可分为基于传统机器学习的方法与基于深度学习的方法。基于传统机器学习的单目深度估计方法一般使用马尔可夫随机场（MRF）或条件随机场（CRF）对深度关系进行建模,在最大后验概率框架下,通过能量函数最小化求解深度。依据模型是否包含参数,该方法又可进一步分为参数学习方法与非参数学习方法,前者假定模型包含未知参数,训练过程即是对未知参数进行求解;后者使用现有的数据集进行相似性检索推测深度,不需要通过学习来获得参数。对于基于深度学习的单目深度估计方法本文详细阐述了国内外研究现状及优缺点,同时依据不同的分类标准,自底向上逐层级将其归类。第1层级为仅预测深度的单任务方法与同时预测深度及语义等信息的多任务方法。图片的深度和语义等信息关联密切,因此有部分工作研究多任务的联合预测方法。第2层级为绝对深度预测方法与相对深度关系预测方法。绝对深度是指场景中的物体到摄像机的实际距离,而相对深度关注图片中物体的相对远近关系。给定任意图片,人的视觉更擅于判断场景中物体的相对远近关系。第3层级包含有监督回归方法、有监督分类方法及无监督方法。对于单张图片深度估计任务,大部分工作都关注绝对深度的预测,而早期的大多数方法采用有监督回归模型,即模型训练数据带有标签,且对连续的深度值进行回归拟合。考虑到场景由远及近的特性,也有用分类的思想解决深度估计问题的方法。有监督学习方法要求每幅RGB图像都有其对应的深度标签,而深度标签的采集通常需要深度相机或激光雷达,前者范围受限,后者成本昂贵。而且采集的原始深度标签通常是一些稀疏的点,不能与原图很好地匹配。因此不用深度标签的无监督估计方法是研究趋势,其基本思路是利用左右视图,结合对极几何与自动编码机的思想求解深度。     

Enhanced default risk models with SVM+

Default risk models have lately raised a great interest due to the recent world economic crisis. In spite of many advanced techniques that have extensively been proposed, no comprehensive method incorporating a holistic perspective has hitherto been considered. Thus, the existing models for bankruptcy prediction lack the whole coverage of contextual knowledge which may prevent the decision makers such as investors and financial analysts to take the right decisions. Recently, SVM+ provides a formal way to incorporate additional information (not only training data) onto the learning models improving generalization. In financial settings examples of such non-financial (though relevant) information are marketing reports, competitors landscape, economic environment, customers screening, industry trends, etc. By exploiting additional information able to improve classical inductive learning we propose a prediction model where data is naturally separated into several structured groups clustered by the size and annual turnover of the firms. Experimental results in the setting of a heterogeneous data set of French companies demonstrated that the proposed default risk model showed better predictability performance than the baseline SVM and multi-task learning with SVM.     

基于迁移学习的信用评分预测

在互联网金融机构有很多信贷业务, 部分新开展的业务由于客户数据较少, 无法建立有效的信用评分模型. 本文研究将迁移学习思想应用到该问题中, 利用已有其他业务的客户数据帮助新开展的业务建立有效的信用评分模型. 本文提出一种联合Triplet-Loss表征学习和领域适配的深度学习方法对已有业务数据进行重新编码, 并将重新编码后所得的知识迁移到新开展业务的模型中, 最后使用XGBoost做为分类器. 针对上述问题, 本文提出的模型相对传统机器学习方法在效果上有一定提升, 在一定程度上解决了该问题.     

基于深度小波去噪自动编码器的轴承智能故障诊断方法

针对原始振动数据无监督特征学习问题,提出一种深度小波去噪自动编码器与鲁棒极限学习机相结合的滚动轴承的智能故障诊断方法。利用小波函数作为非线性激活函数设计小波去噪自动编码器,从而有效地捕获信号特征;利用多个小波去噪自动编码器构造一个深度小波去噪自动编码器来增强无监督特征学习能力;采用鲁棒极限学习机作为分类器,对不同的轴承故障进行分类识别。对实验所得的轴承振动信号进行对比分析,结果验证了该方法在原始振动数据无监督特征学习的条件下优于传统方法和标准深度学习方法。     

CNN-ELM混合短文本分类模型

针对目前自然语言处理研究中,使用卷积神经网络（CNN）进行短文本分类任务时可以结合不同神经网络结构与分类算法以提高分类性能的问题,提出了一种结合卷积神经网络与极速学习机的CNN-ELM混合短文本分类模型。使用词向量训练构成文本矩阵作为输入数据,然后使用卷积神经网络提取特征并使用Highway网络进行特征优化,最后使用误差最小化极速学习机(EM-ELM)作为分类器完成短文本分类任务。与其他模型相比,该混合模型能够提取更具代表性的特征并能快速准确地输出分类结果。在多种英文数据集上的实验结果表明提出的CNN-ELM混合短文本分类模型比传统机器学习模型与深度学习模型更适合完成短文本分类任务。     

Forming a new small sample deep learning model to predict total organic carbon content by combining unsupervised learning with semisupervised learning

The total organic carbon (TOC) content is a parameter that is directly used to evaluate the hydrocarbon generation capacity of a reservoir. For a reservoir, accurately calculating TOC using well logging curves is a problem that needs to be solved. Machine learning models usually yield the most accurate results. Problems of existing machine learning models that are applied to well logging interpretations include poor feature extraction methods and limited ability to learn complex functions. However, logging interpretation is a small sample problem, and traditional deep learning with strong feature extraction ability cannot be directly used; thus, a deep learning model suitable for logging small sample features, namely, a combination of unsupervised learning and semisupervised learning in an integrated DLM (IDLM), is proposed in this paper and is applied to the TOC prediction problem. This study is also the first systematic application of a deep learning model in a well logging interpretation. First, the model uses a stacked extreme learning machine sparse autoencoder (SELM-SAE) unsupervised learning method to perform coarse feature extraction for a large number of unlabeled samples, and a feature extraction layer consisting of multiple hidden layers is established. Then, the model uses the deep Boltzmann machine (DBM) semisupervised learning method to learn a large number of unlabeled samples and a small number of labeled samples (the input is extracted from logging curve values into SELM-SAE extracted features), and the SELM-SAE and DBM are integrated to form a deep learning model (DLM). Finally, multiple DLMs are combined to form an IDLM algorithm through an improved weighted bagging algorithm. A total of 2381 samples with an unlabeled logging response from 4 wells in 2 shale gas areas and 326 samples with determined TOC values are used to train the model. The model is compared with 11 other machine learning models, and the IDLM achieves the highest precision. Moreover, the simulation shows that for the TOC prediction problem, when the number of labeled samples included in the training is greater than 20, even if this number of samples is used to train 10 hidden layer IDLMs, the trained model has a very low overfitting probability and exhibits the potential to exceed the accuracies of other models. Relative to the existing mainstream shallow model, the IDLM based on a DLM provides the most advanced performance and is more effective. This method implements a small sample deep learning algorithm for TOC prediction and can feasibly use deep learning to solve logging interpretation problems and other small sample set problems for the first time. The IDLM achieves high precision and provides novel insights that can aid in oil and gas exploration and development.     

深度学习在地质储层属性预测中的应用研究

结合计算机科学和机器学习方法解决地质学问题,基于多来源的地质数据建立二维、三维地质模型,形象地还原真实地质构造形态和地质属性分布是重要的研究方向之一。现阶段三维地质模型主要采用传统插值方法和多点地质统计学方法进行三维地质属性预测。由于地质数据数量有限、数据采样分布不均等问题,三维地质属性预测结果受到约束。将测井数据作为实验样本数据,分析三维空间分布的统计特征,设计并训练深度学习模型,预测地质储层属性,建立三维地质模型。基于有限数据驱动预测地质储层属性效果较好,具有一定的应用价值。     

基于深度学习与特征融合的恶意网页识别方法研究

互联网环境的高度开放性和无序性导致了网络安全问题的普遍性和不可预知性, 网络安全问题已成为当前国际社会关注的热点问题。基于机器学习的恶意网页识别方法虽然卓有成就, 但随着对恶意网页识别需求的不断提高, 在识别效率上仍然表现出较大的局限性。本文提出一种基于深度学习与特征融合的识别方法, 将图卷积神经网络(Generalized connection network,GCN)与一维卷积神经网络(Convolution neural network, CNN)、支持向量机(Support vector machine, SVM)相结合。首先, 考虑到传统神经网络只适用于处理结构化数据以及无法很好的捕获单词间非连续和长距离依赖关系, 从而影响网页识别准确率的缺点,通过 GCN 丰富的关系结构有效捕获并保持网页文本的全局信息; 其次, CNN 可以弥补 GCN 在局部特征信息提取方面的不足,通过一维 CNN 对网页 URL(Uniform resource locator, URL)进行局部信息提取, 并进一步将捕获到的 URL 局部特征与网页文本全局特征进行融合, 从而选择出兼顾 CNN 模型和 GCN 模型特点的更具代表性的网页特征; 最终, 将融合后的特征输入到 SVM分类器中进行网页判别。本文首次将 GCN 应用于恶意网页识别领域, 通过组合模型有效兼顾了深度学习与机器学习的优点, 将深度学习网络模型作为特征提取器, 而将机器学习分类算法作为分类器, 通过实验证明, 测试准确率达到 92.5%, 高于已有的浅层的机器学习检测方法以及单一的神经网络模型。本文提出的方法具有更高的稳定性, 以及在精确率、召回率、 F1 值等多项检测指标上展现出更加优越的性能。