基于迭代自编码器的深度学习对抗样本防御方案

近年来，深度学习在计算机视觉领域表现出优异的性能，然而研究者们却发现深度学习系统并不具备良好的鲁棒性，对深度学习系统的输入添加少许的人类无法察觉的干扰就能导致深度学习模型失效，这些使模型失效的样本被研究者们称为对抗样本。我们提出迭代自编码器，一种全新的防御对抗样本方案，其原理是把远离流形的对抗样本推回到流形周围。我们先把输入送给迭代自编码器，然后将重构后的输出送给分类器分类。在正常样本上，经过迭代自编码器的样本分类准确率和正常样本分类准确率类似，不会显著降低深度学习模型的性能；对于对抗样本，我们的实验表明，即使使用最先进的攻击方案，我们的防御方案仍然拥有较高的分类准确率和较低的攻击成功率。     

基于未知类语义约束自编码的零样本图像分类

为缓解传统零样本图像分类模型中存在的领域偏移问题,提出一种基于未知类语义约束自编码的零样本图像分类模型.首先,利用预训练的ResNet101网络提取所有已知类和未知类图像的视觉特征;其次,通过编码器将提取的图像深度视觉特征从视觉空间映射到语义空间;然后,通过解码器将映射后得到的语义向量重构为视觉特征向量,在语义自编码器的训练过程中,利用未知类图像的聚类视觉中心和未知类语义类原型的分布对齐施加约束,以缓解领域偏移问题;最后,基于经编码器预测得到的测试图像语义向量和各测试类语义类原型之间的相似性,采用最近邻算法实现零样本图像分类.在AwA2和CUB数据集上的实验结果表明,所提出模型具有较高的分类准确度.     

堆栈式混合自编码器的人脸表情识别方法

针对进一步提高人脸表情识别率的问题,采用了一种基于深度学习的堆栈式混合自编码器（Stacked Hybrid Auto-Encoder,SHAE）的人脸表情识别方法。该方法的结构是由去噪自编码器（Denoising Auto-Encoder,DAE）、稀疏自编码器（Sparse Auto-Encoder,SAE）以及自编码器（Auto-Encoder,AE）组合而成的5层网络结构。为了增加网络的鲁棒性以及泛化能力,采用去噪自编码器对样本进行提取特征,为了对提取的特征进行降维以及进一步提取更抽象的稀疏特征,采用稀疏自编码器进行级联,来对特征进一步处理。训练过程首先由无标签的数据进行预训练和整体微调,对整个结构的权重进行初始化和更新调整,然后使用有标签的数据进行测试训练。在JAFFE和CK+两个数据集上实验显示,相较于单纯的堆栈式去噪自编码或者单纯的堆栈式稀疏自编码,该方法具有更好的识别效果。     

结合知识图谱的变分自编码器零样本图像识别

近年来,结合生成模型的零样本算法得到了广泛的研究,但此类方法通常仅使用属性注释,缺少类别语义,而单一信息对类别表征能力不够强,容易产生域偏移,影响知识迁移的效果,进而降低分类结果的准确率。为了解决此问题,提出一种结合知识图谱变分自编码器零样本识别算法（KG-VAE）,通过构建联合类别分级结构,类别文本描述和词向量的层次结构化知识图谱作为语义信息库,将知识图谱中丰富的语义知识结合到以变分自编码器为基础的生成模型中,使生成的潜在特征更好保留有效的判定性信息,减小域偏移,促进知识迁移。在四个公开的零样本数据集上进行了实验,对比基准方法 CADA-VAE,分类平均准确率有一定的提高;同时利用消融实验证明了知识图谱作为语义辅助信息的有效性。     

零样本图像分类综述

面对人工标注大量样本费时费力,一些稀有类别样本难于获取等问题,零样本图像分类成为计算机视觉领域的一个研究热点.首先,对零样本学习,包括直推式零样本学习和归纳式零样本学习进行了简单介绍;其次,重点介绍了基于空间嵌入零样本图像分类方法和基于生成模型零样本图像分类方法以及它们的子类方法,并对这些方法的机制、优缺点和适用场景等...     

基于自监督增强特征的直推式零样本图像分类

图像的视觉特征对实现零样本图像分类有至关重要的作用.尽管目前VGG、GoogLeNet和ResNet等网络提取的深度特征在图像分类领域获得了广泛的应用,但其在零样本图像分类问题上的表现并不理想,仍旧存在较大的提升空间.此外,由于零样本学习场景下训练集与测试集不相交的设定,导致分类网络不可避免地存在领域偏移问题.为此,提出一种基于自监督增强特征的直推式零样本图像分类框架.首先,通过辅助任务构造伪标签,利用自监督学习获得图像的自监督特征并将其与无监督深度特征进行特征融合;然后,将融合特征嵌入语义空间中进行零样本图像分类,并获得未见类的初始预测标签;最后,利用未见类特征和预测标签迭代地优化视觉-语义映射.所提出框架组件可选择,框架组件自监督网络、主干网络和降维网络分别选用CFN、VGG16和PCA构成网络.在CUB、SUN和AwA2数据集上的实验结果表明,所提出网络能够增强特征的判别能力,在零样本图像分类问题上表现良好.     

基于堆栈式自编码网络的电子线路分类算法

由于电子线路细节特征种类多且与背景细节特征相似度较高,基于图像颜色、纹理形状等低层特征的分类算法不能满足高精度分类的需求。针对是否具有数字背景的电子线路分类问题,利用深度学习方法堆栈式降噪自编码网络以及方向梯度直方图特征提取算法对1840张工业电子线路图片的分类进行研究。实验结果表明：对缩放到68*68大小的电子线路图像进行去均值、归一化及白化等预处理能有效降低不同光照强度的影响,同时降低了像素间的相关性,因此在后续训练过程中能得到更加具有分类代表性的特征使分类的准确率提高约6%;预处理后提取图片1152维的方向梯度直方图特征作为输入,通过两层隐含层降噪自编码训练及反向传播权值微调后能更加准确、稳定的区分出具有数字背景的电子线路。     

基于重构对比的广义零样本图像分类

广义零样本图像分类中常使用生成模型重构视觉信息或语义信息用于再进一步学习.然而,基于变分自编码器的方法对重构样本利用不够充分,表示性能欠缺.因此,文中提出基于重构对比的广义零样本图像分类模型.首先,使用两个变分自编码器将视觉信息和语义信息编码为同维度的低维隐向量,再将隐向量分别解码到两种模态.然后,使用投影模块投影视觉信息与语义模态的隐向量重构的视觉模态信息.最后,对投影后的特征进行重构对比学习.在保持变分自编码器重构性能的基础上增强编码器重构的判别性能,提高预训练特征在广义零样本图像分类任务上的应用能力.在4个标准数据集上的实验证实文中模型的有效性.     

基于胶囊网络进行可区别特征学习的零样本识别方法研究

传统的零样本学习方法大多采用一个分离的两步管道,从预先训练的CNN模型中提取图像特征,再利用固定的图像特征来学习嵌入空间,导致零样本学习任务并不能捕捉到辅助信息中丰富的语义信息.对此,借助胶囊网络,提出一种端到端、可训练的模型.相比卷积网络,胶囊网络对物体的平移、旋转和缩放等变化表现出更强的鲁棒性.该模型赋予嵌入空间更...     

基于Swin Transformer的嵌入式零样本学习算法

零样本学习旨在解决样本缺失情况下的分类问题.以往嵌入式零样本学习算法通常只利用可见类构建嵌入空间,在测试时不可避免会出现过拟合可见类的问题.基于此本文提出了一种基于类别语义相似度的多标签分类损失,该损失可在构建嵌入空间的过程中引导模型同时考虑与当前可见类语义上相似的未见类,进而将语义空间的相似性迁移到最终执行分类的嵌入空间.同时现有零样本学习算法大部分直接使用图像深度特征作为输入,特征提取过程没有考虑语义信息,基于此本文采用Swin Transformer作为骨干网络,输入原始图片利用自注意力机制得到基于语义信息的视觉特征.本文在3个零样本学习基准数据集上进行了大量实验,与目前最先进的算法相比取得了最佳的调和平均精度.     

基于语义对齐和重构的零样本学习算法

为同时缓解零样本学习算法中固有的枢纽问题和域漂移问题,提出一种基于语义对齐和重构的零样本学习算法。以语义特征嵌入到图像空间的神经网络映射模型为基础,对模型添加语义原型和图像原型对齐的约束条件进一步缓解高维向量枢纽问题对标签预测的影响;对模型添加语义特征重构建的约束条件,缓解域漂移问题对识别正确率的影响。实验结果表明,所提算法在AwA和CUB数据集上达到了较优的识别正确率,验证了其有效性。     

基于改进栈式自编码器的风电机组发电机健康评估

风电机组发电机具有结构复杂、维修困难的特点,为对其进行健康评估,结合去噪自编码器与稀疏自编码器的特点,对传统栈式自编码器模型进行改进,利用模型的重构误差监测风电机组发电机的运行状态。将经离线测试得到的重构误差与在线监测得到的重构误差进行分布差异性比对,通过融合3种差异指标得到风电机组发电机的健康度。利用河北某风场实际数据对健康评估模型进行训练测试,通过实例分析证明该模型能够有效跟踪风电机组发电机的状态变化,具有故障早期识别的作用。     

低秩稀疏图嵌入的半监督特征选择

目的 特征降维是机器学习领域的热点研究问题。现有的低秩稀疏保持投影方法忽略了原始数据空间和降维后的低维空间之间的信息损失,且现有的方法不能有效处理少量有标签数据和大量无标签数据的情况,针对这两个问题,提出基于低秩稀疏图嵌入的半监督特征选择方法（LRSE）。方法 LRSE方法包含两步：第1步是充分利用有标签数据和无标签数据分别学习其低秩稀疏表示,第2步是在目标函数中同时考虑数据降维前后的信息差异和降维过程中的结构信息保持,其中通过最小化信息损失函数使数据中有用的信息尽可能地保留下来,将包含数据全局结构和内部几何结构的低秩稀疏图嵌入在低维空间中使得原始数据空间中的结构信息保留下来,从而能选择出更有判别性的特征。结果 将本文方法在6个公共数据集上进行测试,对降维后的数据采用KNN分类验证本文方法的分类准确率,并与其他现有的降维算法进行实验对比,本文方法分类准确率均有所提高,在其中的5个数据集上本文方法都有最高的分类准确率,其分类准确率分别在Wine数据集上比次高算法鲁棒非监督特征选择算法（RUFS）高11.19%,在Breast数据集上比次高算法RUFS高0.57%,在Orlraws10P数据集上比次高算法多聚类特征选择算法（MCFS）高1%,在Coil20数据集上比次高算法MCFS高1.07%,在数据集Orl64上比次高算法MCFS高2.5%。结论 本文提出的基于低秩稀疏图嵌入的半监督特征选择算法使得降维后的数据能最大限度地保留原始数据包含的信息,且能有效处理少量有标签样本和大量无标签样本的情况。实验结果表明,本文方法比现有算法的分类效果更好,此外,由于本文方法基于所有的特征都在线性流形上的假设,所以本文方法只适用于线性流形上的数据。     

Deep learning for fault-relevant feature extraction and fault classification with stacked supervised auto-encoder

Stacked auto-encoder (SAE)-based deep learning has been introduced for fault classification in recent years, which has the potential to extract deep abstract features from the raw input data. However, SAE cannot ensure the relevance of deep features with the fault types due to its unsupervised self-reconstruction in the pretraining stage. To overcome this problem, a stacked supervised auto-encoder is proposed to pretrain the deep network and obtain deep fault-relevant features from raw input data. In each supervised auto-encoder, informative features are learned from the input data with the goal that they can largely distinguish different fault types. By stacking multiple supervised auto-encoders hierarchically, high-level fault-relevant features are gradually learned from raw input data, which can improve the classification accuracy of the classifiers. The proposed SSAE is tested on the Tennessee–Eastman (TE) benchmark process and a real industrial hydrocracking process. The results show the effectiveness and flexibility of SSAE.     

基于深度自编码的局部增强属性网络表示学习

基于深度自编码器的网络表示,可以捕获高度非线性的网络结构,但当链接稀疏时学到的表示不够准确。针对这一问题,提出一种基于深度自编码的局部增强属性网络表示学习模型,以提高表示学习的准确度。该模型首先利用链接与属性特征,采用多个深度自编码器,学习保持网络拓扑结构及属性特征的低维网络表示。之后,基于节点间近邻结构及属性相似性,对学出的低维网络表示进行节点约束,实现网络局部结构增强,达到最大程度保持原始结构信息及属性特征的目的。在五个真实属性网络上的实验结果表明,提出的模型在聚类与分类任务中,效果均优于目前流行的表示学习方法。     

基于知识的零样本视觉识别综述

零样本学习旨在通过运用已学到的已知类知识去认知未知类.近年来,“数据+知识驱动”已经成为当下的新潮流,而在计算机视觉领域内的零样本任务中,“知识”本身却缺乏统一明确的定义.本文针对这种情况,尝试从知识的角度出发,梳理了本领域内“知识”这一概念所覆盖的范畴,共划分为初级知识、抽象知识以及外部知识.基于前面对知识的定义和划分梳理了当前的零样本学习（主要是图像分类任务的模型）工作,分为基于初级知识的零样本模型、基于抽象知识的零样本模型以及引入外部知识的零样本模型.本文还对领域内存在的域偏移和枢纽点问题进行了阐述,并基于问题对现有工作进行了总结归纳.最后总结了目前常用的图像分类任务的数据集和知识库,图像分类实验评估标准以及代表性的模型实验结果;并对未来工作进行了展望.     

深度学习在遥感影像分类中的研究进展

随着遥感技术和计算机技术的不断发展,传统的遥感影像分类方法已不能满足如今遥感影像分类的需求。近年来,随着深度学习方面研究成果的不断涌现,它给遥感影像的分类提供了一种新的思路和方法。首先概述了遥感影像分类的发展和深度学习的基本概念,然后重点介绍了基于深度置信网、卷积神经网络和栈式自动编码器等深度学习模型在遥感影像分类中的研究进展,最后提出了目前研究中存在的问题及遥感影像分类的发展趋势。     

基于跨模态自蒸馏的零样本草图检索

零样本草图检索将未见类的草图作为查询样本,用于检索未见类的图像。因此,这个任务同时面临两个挑战：草图和图像之间的模态差异以及可见类和未见类的不一致性。过去的方法通过将草图和图像投射到一个公共空间来消除模态差异,还通过利用语义嵌入（如词向量和词相似度）来弥合可见类和未见类的语义不一致。在本文中,我们提出了跨模态自蒸馏方法,从知识蒸馏的角度研究可泛化的特征,无需语义嵌入参与训练。具体而言,我们首先通过传统的知识蒸馏将预训练的图像识别网络的知识迁移到学生网络。然后,通过草图和图像的跨模态相关性,跨模态自蒸馏将上述知识间接地迁移到草图模态的识别上,提升草图特征的判别性和泛化性。为了进一步提升知识在草图模态内的集成和传播,我们进一步地提出草图自蒸馏。通过为数据学习辨别性的且泛化的特征,学生网络消除了模态差异和语义不一致性。我们在三个基准数据集,即Sketchy、TU-Berlin和QuickDraw,进行了广泛的实验,证明了我们提出的跨模态自蒸馏方法与当前方法相比较的优越性。     

基于自编码器的特征迁移算法

近年来,栈式自编码网络（stacked auto-encoder,SAE）在大规模数据集上表现出优异的图像分类性能。相对于其他图像分类方法中手工设计的低级特征,SAE的成功归因于深度网络能够学习到丰富的中级图像特征。然而,估计上百万个网络参数需要非常庞大的带标签的图像样本数据集。这样的性质阻止了SAE在小规模训练数据上的许多应用。在这篇文章中,提出的算法展示如何将SAE在大规模数据集上学习到的图像表示有效地迁移到只有有限训练数据的视觉识别任务中。实验部分设计了一个方法来复用在MNIST数据集上训练得到的隐藏层,以此计算在MNIST-variations数据集上的中级图像表示。实验结果展示了尽管两个数据集之间存在差异,但是被迁移的图像特征能够使得模型的分类性能得到极大的提升。     

基于间接域适应特征生成的直推式零样本学习方法

近年来,零样本学习备受机器学习和计算机视觉领域的关注.传统的归纳式零样本学习方法通过建立语义与视觉之间的映射关系,实现类别之间的知识迁移.这类方法存在着可见类和未见类之间的映射域漂移（projection domain shift）问题,直推式零样本学习方法通过在训练阶段引入无标定的未见类数据进行域适应,能够有效地缓解上述问题并提升零样本学习精度.然而,通过实验分析发现,这种直接在视觉空间同时进行语义映射建立和域适应的直推式零样本学习方法容易陷入“相互制衡”问题,从而无法充分发挥语义映射和域适应的最佳性能.针对上述问题,提出了一种基于间接域适应特征生成（feature generation with indirect domain adaptation,FG-IDA）的直推式零样本学习方法.该方法通过串行化语义映射和域适应优化过程,使得直推式零样本学习的这两大核心步骤能够在不同特征空间分别进行最佳优化,从而激发其潜能提升零样本识别精度.在4个标准数据集（CUB,AWA1,AWA2,SUN）上对FG-IDA模型进行了评估,实验结果表明,FG-IDA模型不仅展示出了相对其他直推学习方法的优越性,同时还在AWA1,AWA2和CUB数据集上取得了当前最优结果（the state-of-the-art performance）.此外还进行了详尽的消融实验,通过与直接域适应方法进行对比分析,验证了直推式零样本学习中的“相互制衡”问题以及间接域适应思想的先进性.