基于深度学习的图像分类研究综述

近年来,深度学习在计算机视觉领域中的表现优于传统的机器学习技术,而图像分类问题是其中最突出的研究课题之一。传统的图像分类方法难以处理庞大的图像数据,且无法满足人们对图像分类精度和速度的要求,而基于深度学习的图像分类方法突破了此瓶颈,成为目前图像分类的主流方法。从图像分类的研究意义出发,介绍了其发展现状。其次,具体分析了图像分类中最重要的深度学习方法（即自动编码器、深度信念网络与深度玻尔兹曼机）以及卷积神经网络的结构、优点和局限性。再次,对比分析了方法之间的差异及其在常用数据集上的性能表现。最后,探讨了深度学习方法在图像分类领域的不足及未来可能的研究方向。     

基于数据增强和特征嵌入的自动调制识别

基于端到端的深度学习模型已经被广泛应用于自动调制识别。现有的深度学习方案大多数依赖于丰富的样本分布,而大批量的标记训练集通常很难获得。提出了一种基于数据驱动和选择性核卷积神经网络(Convolutional Neural Network,CNN)的自动调制识别框架。首先开发深度密集生成式对抗网络增强5种调制信号的原始数据集;其次选择平滑伪Wigner-Ville分布作为信号的时频表示,并将注意力模块用于聚焦时频图像分类中的差异区域;最后将真实信号输入轻量级卷积神经网络进行时间相关性提取,并融合信号的时频特征完成分类。实验结果表明,所提算法提高了在低信噪比情况下的识别精度,表现出较强的鲁棒性。     

基于深度学习和智能规划的行为识别

现有行为识别方法在未能持续覆盖造成视频监控盲区所引起行为数据缺失的情况,难以有效实施特征分析、行为分类补全,无法准确识别出智能体完整的行为动作序列.为此,本文提出一种基于深度学习和智能规划的行为识别方法.首先,利用深度残差网络对图像进行分类训练,然后使用递归神经网络对图像特征进行提取深度信息以增强分类效果;其次,运用智能规划的STRIPS （Stanford Research Institute Problem Solver）模型,将深度学习提取的图像特征命题信息转化为规划领域的模型描述文档,并使用前向状态空间搜索规划器推导出完整的行为动作序列.在HMDB51等行为识别公共数据集中,本方法与生成式对抗网络、深度卷积逆向图网络、深度信念网络、支持向量机等同类先进方法相比展现出更好的性能.     

集成学习在短文本分类中的应用研究

为了进一步提高基于深度神经网络短文本分类性能,提出将集成学习方法应用于5种不同的神经网络文本分类器,即卷积神经网络、双向长短时记忆网络、卷积循环神经网络、循环卷积神经网络、分层注意力机制神经网络,分别对两种集成学习方法(Bagging,Stacking)进行了测试。实验结果表明:将多个神经网络短文本分类器进行集成的分类性能要优于单一文本分类模型;进一步两两集成的实验验证了单个模型对短文本分类性能的贡献率。     

小样本激光切割工艺参数预测模型优化

神经网络强大的非线性拟合能力使其在参数预测方面的应用越来越广泛,在神经网络预测激光切割工艺参数过程中,使用小样本数据训练的神经网络模型存在预测误差大、鲁棒性较低等缺点.因此,提出了一种基于生成式对抗网络的小样本数据处理方法,设计了适用于此问题的基于生成式对抗网络的数据生成模型,对激光切割工艺参数的小样本数据进行扩充,运用显著性检验法对扩充的数据进行了可靠性验证.利用BP神经网络构建工艺参数预测模型,分别使用原数据和扩充后数据训练参数预测神经网络,通过实验对比,优化后的模型具有更好的准确性和泛化性.     

一种双向脉动数据流的全卷积神经网络加速器

全卷积神经网络近年来被应用于深度学习中的多个领域,其不仅能处理简单的图像分类任务,还能应用于例如物体检测、语义/图像分割以及基于生成式对抗网络的生成型任务.典型的全卷积神经网络中不仅包括了传统的卷积层,还有反卷积层,它们都是计算密集型的.现在大多数研究者大都关注卷积层的设计优化,而反卷积的加速优化很少.本文提出了一种双向脉动数据流的全卷积神经网络加速器,可以同时高效地处理普通卷积层以及反卷积层.实验中选取了多个具有代表性的全卷积神经网络模型,例如DCGAN,Cascaded-FCN等.相较于以往传统的未优化的加速方案,本文所设计的加速器平均可以达到2.8倍的加速比,并且能耗降低了46.3%.     

基于迁移学习的注意力胶囊网络

胶囊网络(Capsule Network,CapsNet)通过运用胶囊取代传统神经元,能有效解决卷积神经网络(Conventional Neural Network,CNN)中位置信息缺失的问题,近年来在图像分类中受到了极大的关注。由于胶囊网络的研究尚处于起步阶段,因此目前大多数胶囊网络研究成果在复杂数据集上表现的分类性能较差。为解决这个问题,本文提出了一种新的胶囊网络,即基于迁移学习的注意力胶囊网络。该网络通过使用迁移学习的方法改进传统的特征提取网络,并融合注意力机制模块,进而完成图像分类任务。首先,使用9层采用ELU激活函数的特征提取网络提取特征;然后,将特征提取网络在ImageNet数据集上训练所得参数,通过迁移学习用于CIFAR10数据集上;再者,在特征提取网络后加入注意力模块提取关键特征;最后,在MNIST、FashionMNIST、SVHN和CIFAR10等公开数据集上进行了对比实验。实验结果表明,本文提出的胶囊网络在简单和复杂数据集上都取得了理想的分类效果。     

基于改进循环生成式对抗网络的图像风格迁移

图像间的风格迁移是一类将图片在不同领域进行转换的方法。随着生成式对抗网络在深度学习中的快速发展,其在图像风格迁移领域中的应用被日益关注。但经典算法存在配对训练数据较难获取,生成图片效果差的缺点。该文提出一种改进循环生成式对抗网络(CycleGAN++),取消了环形网络,并在图像生成阶段将目标域与源域的先验信息与相应图片进行纵深级联;优化了损失函数,采用分类损失代替循环一致损失,实现了不依赖训练数据映射的图像风格迁移。采用CelebA和Cityscapes数据集进行实验评测,结果表明在亚马逊劳务平台感知研究(AMT perceptual studies)与全卷积网络得分(FCN score)两个经典测试指标中,该文算法比CycleGAN, IcGAN, CoGAN, DIAT等经典算法取得了更高的精度。     

基于生成式对抗网络和多模态注意力机制的扩频与常规调制信号识别方法

针对低信噪比条件下的扩频与常规调制信号分类精度低的问题,该文提出一种基于生成式对抗网络(GAN)、卷积神经网络(CNN)和长短期记忆(LSTM)网络的多模态注意力机制信号调制识别方法。首先生成待识别信号的时频图像(TFIs),并利用GAN实现TFIs降噪处理;然后将信号的同相正交数据(I/Q data)与TFIs作为模型输入,并搭建基于CNN的TFIs识别支路和基于LSTM的I/Q数据识别支路;最后,在模型中添加注意力机制,增强I/Q数据和TFIs中重要特征对分类结果的决定作用。实验结果表明,该文所提方法相较于单模态识别模型以及其它基线模型,整体分类精度有效提升2%～7%,并在低信噪比条件下具备更强的特征表达能力和鲁棒性。     

基于深度卷积神经网络的图像分类识别方法

图像分类是通过图片所给的特征信息将不同的事物进行识别的一种图像处理技术。随着科学技术的快速发展以及人们对生活质量越来越高的需求,图像的自动分类技术已经运用到各个发展领域当中。当我们在图像上进行分类操作时,传统的图像分类方法由于不能准确掌握识别对象之间的内在联系,同时传统方法也因数据的特征性维度太高而导致识别对象的特征表达受到限制,所以取得的实验结果并不理想。针对以上内容文章提出了一种基于卷积神经网络的图像检测方法,该实验的算法主要借鉴了深度学习及卷积神经网络。与以往的传统图像分类方法不同,深度卷积神经网络模型可以同时进行特征学习和图像分类。通过对实验的各个部分结构进行改进和对卷积神经网络模型进行优化,从而防止过拟合现象,继而提高图像检测的准确度,在CIFAR-10数据库上进行的实验表明,该方法改进后的深度学习模型在图像检测方面取得了有效的结果。     

基于GAN和CNN-ELM的监控图像智能修复及检测方法

针对目前石化危险品装车过程中海量监控视频图像人为处理效率低下、模糊图像识别率低等问题,提出一种基于生成式对抗网络(GAN)和卷积神经网络(CNN)与极限学习机(ELM)相结合的监控模糊图像智能修复及检测方法.首先,使用深度学习网络作为 目标检测框架,利用GAN网络中生成器与判别器间的零和博弈对模糊图像进行复原,得到清晰完整的作业图像;其次,利用CNN自适应学习图像特征的能力,对修复后的图像进行自主特征提取;最后,将提取的图像特征输入ELM分类器中进行目标识别与分类,判断作业过程是否存在违规行为.试验结果表明:所提方法图像修复速度快,视觉效果自然,且目标识别准确率高,具有很好的泛化能力.     

A no-reference perceptual image quality assessment database for learned image codecs

The drastic growth of research in image compression, especially deep learning-based image compression techniques, poses new challenges to objective image quality assessment (IQA). Typical artifacts encountered in the emerging image codecs are significantly different from that produced by traditional block-based codecs, leading to inapplicability of the existing objective IQA algorithms. Towards advancing the development of objective IQA algorithms for recent compression artifacts, we built a learning-based compressed image quality assessment (LCIQA) database involving traditional block-based image codecs, hybrid neural network based image codecs, convolutional neural network based and generative adversarial network (GAN) based end-to-end optimized image coding approaches. Our study confirms the statistical difference and human perception difference between reconstructions of learned compression and traditional block-based compression. We propose a two-step deep learning model for learning-based compressed image quality assessment. Extensive experiments on LCIQA database demonstrate that our proposed model performs better than other counterparts on learning-based compressed images, especially on GAN compressed images, and achieves competitive performance to the state-of-the-art IQA metrics on traditional compressed images.     

基于深度学习的图像目标检测算法综述

图像目标检测是找出图像中感兴趣的目标，并确定他们的类别和位置，是当前计算机视觉领域的研究热点。近年来，由于深度学习在图像分类方面的准确度明显提高，基于深度学习的图像目标检测模型逐渐成为主流。首先介绍了图像目标检测模型中常用的卷积神经网络；然后，重点从候选区域、回归和anchor-free方法的角度对现有经典的图像目标检测模型进行综述；最后，根据在公共数据集上的检测结果分析模型的优势和缺点，总结了图像目标检测研究中存在的问题并对未来发展做出展望。     

基于改进生成对抗网络和MobileNetV3的带钢缺陷分类

针对数据集样本数量较少会影响深度学习检测效果的问题,提出了一种基于改进生成对抗网络和MobileNetV3的带钢缺陷分类方法。首先,引入生成对抗网络并对生成器和判别器进行改进,解决了类别错乱问题并实现了带钢缺陷数据集的扩充。然后,对轻量级图像分类网络MobileNetV3进行改进。最后,在扩充后的数据集上训练,实现了带钢缺陷的分类。实验结果表明,改进的生成对抗网络可生成比较真实的带钢缺陷图像,同时解决深度学习中样本不足的问题;且改进的MobileNetV3参数量是原有参数量的1/14左右,准确率为94.67%,比改进前提高了2.62个百分点,可在工业现场对带钢缺陷进行实时准确的分类。     

深度卷积神经网络图像识别模型对抗鲁棒性技术综述

近年来,以卷积神经网络为代表的深度识别模型取得重要突破,不断刷新光学和SAR图像场景分类、目标检测、语义分割与变化检测等多项任务性能水平。然而深度识别模型以统计学习为主要特征,依赖大规模高质量训练数据,只能提供有限的可靠性能保证。深度卷积神经网络图像识别模型很容易被视觉不可感知的微小对抗扰动欺骗,给其在医疗、安防、自动驾驶和军事等安全敏感领域的广泛部署带来巨大隐患。该文首先从信息安全角度分析了基于深度卷积神经网络的图像识别系统潜在安全风险,并重点讨论了投毒攻击和逃避攻击特性及对抗脆弱性成因;其次给出了对抗鲁棒性的基本定义,分别建立对抗学习攻击与防御敌手模型,系统总结了对抗样本攻击、主被动对抗防御、对抗鲁棒性评估技术的研究进展,并结合SAR图像目标识别对抗攻击实例分析了典型方法特性;最后结合团队研究工作,指出存在的开放性问题,为提升深度卷积神经网络图像识别模型在开放、动态、对抗环境中的鲁棒性提供参考。      

Stable self-attention adversarial learning for semi-supervised semantic image segmentation

The application of adversarial learning for semi-supervised semantic image segmentation based on convolutional neural networks can effectively reduce the number of manually generated labels required in the training process. However, the convolution operator of the generator in the generative adversarial network (GAN) has a local receptive field, so that the long-range dependencies between different image regions can only be modeled after passing through multiple convolutional layers. The present work addresses this issue by introducing a self-attention mechanism in the generator of the GAN to effectively account for relationships between widely separated spatial regions of the input image with supervision based on pixel-level ground truth data. In addition, the adjustment of the discriminator has been demonstrated to affect the stability of GAN training performance. This is addressed by applying spectral normalization to the GAN discriminator during the training process. Our method has better performance than existing full/semi-supervised semantic image segmentation techniques.     

基于谱约束的生成对抗网络图像数据生成研究

数据匮乏是深度学习面临的一大难题。利用生成对抗网络(GAN)能够基于语义生成新的图像数据这一特性,提出一种基于谱约束的生成对抗网络图像数据生成方法,该方法针对卷积生成对抗网络模型易崩溃不收敛的问题,从每层神经网络的参数矩阵W的谱范数角度出发,引入谱范数归一化网络参数矩阵,将网络梯度限制在固定范围内,减缓判别网络收敛速度,从而提高GAN的训练稳定性。实验表明,通过该方法生成的数据相比原始GAN以及DCGAN、WGAN等生成的图像样本数据在图像识别网络中具有更高的准确率,能够对少量样本数据进行有效扩充。     

基于多任务卷积神经网络的人脸识别技术研究

深度神经网络是目前计算机机器学习领域的一个关键技术,可应用于图像处理。其中,多任务卷积神经网络(Multi-task Convolutional Neural Network,MTCNN)是一种基于卷积神经网络的多任务人脸检测框架,这里采用MTCNN人脸检测模型代替传统的卷积神经网络,在深度学习框架TensorFlow上进行人脸识别。首先,在数据预处理阶段利用灰度化方法将图像集转变为灰度图,降低图像通道。其次,基于MTCNN构建人脸检测模型,并利用Softmax函数进行分类识别。最后,实验过程中选择不同迭代次数进行准确性对比,在模型趋于稳定的情况下,得到较高的准确性。     

基于自监督对比学习的深度神经网络对抗鲁棒性提升

基于深度神经网络的多源图像内容自动分析与目标识别方法近年来不断取得新的突破,并逐步在智能安防、医疗影像辅助诊断和自动驾驶等多个领域得到广泛部署。然而深度神经网络的对抗脆弱性给其在安全敏感领域的部署带来巨大安全隐患。对抗鲁棒性的有效提升方法是采用最大化网络损失的对抗样本重训练深度网络,但是现有的对抗训练过程生成对抗样本时需要类别标记信息,并且会大大降低无攻击数据集上的泛化性能。本文提出一种基于自监督对比学习的深度神经网络对抗鲁棒性提升方法,充分利用大量存在的无标记数据改善模型在对抗场景中的预测稳定性和泛化性。采用孪生网络架构,最大化训练样本与其无监督对抗样本间的多隐层表征相似性,增强模型的内在鲁棒性。本文所提方法可以用于预训练模型的鲁棒性提升,也可以与对抗训练相结合最大化模型的“预训练+微调”鲁棒性,在遥感图像场景分类数据集上的实验结果证明了所提方法的有效性和灵活性。