基于编码器-解码器的半监督图像语义分割

基于深度卷积神经网络的图像语义分割方法需要大量像素级标注的训练数据,但标注的过程费时又费力.本文基于生成对抗网络提出一种编码-解码结构的半监督图像语义分割方法,其中编码器-解码器模块作为生成器,整个网络通过耦合标准多分类交叉熵损失和对抗损失进行训练.为充分利用浅层网络包含的丰富的语义信息,本文将编码器中不同尺度的特征输入到分类器,并将得到的不同粒度的分类结果融合,进而优化目标边界.此外,鉴别器通过发现无标签数据分割结果中的可信区域,以此提供额外的监督信号,来实现半监督学习.在PASCAL VOC 2012和Cityscapes上的实验表明,本文提出的方法优于现有的半监督图像语义分割方法.     

多级特征引导网络的红外与可见光图像融合

目的 以卷积神经网络为基础的深度学习技术在图像融合方面表现出优越的性能。在各类图像融合领域,红外与可见光的图像融合应用十分广泛,这两种图像各自的特性十分鲜明,二者信息交互融合得到的融合图像具有显著的价值和意义。为了提高红外与可见光图像的融合质量,本文提出了一种多级特征引导网络的融合框架。方法 本文框架中编码器用于提取源图像的特征,并将多级特征引导至解码器中对融合结果进行重建。为了有效地训练网络,设计了一种混合损失函数。其中,加权保真项约束融合结果与源图像的像素相似度,而结构张量损失鼓励融合图像从源图像中提取更多的结构特征,为了有效进行多尺度信息交互,不同于普通的编解码结构,本文方法在编码器每一层的每一部分均进行特征引导,在编码部分采用池化对尺寸进行缩小,解码采用上采样将尺寸放大,实现多尺度融合与重建,有效弥补了训练过程中卷积层数的堆叠导致的信息的丢失,在编码部分适时地对特征进行引导,及时地与解码层进行融合,在网络结构构建完成后,提出一种损失融合算法,从红外图像和可见光图像各自特点出发,分别设计基于视觉显著性权值估计的2范数损失和基于结构张量的F范数损失。结果 为了说明融合方法的可行性,...     

基于多尺度多分类器卷积神经网络的混合失真类型判定方法

针对图像混合失真类型判定难的问题,在深度学习多标签分类思想的基础上,提出了一种基于多尺度多分类器卷积神经网络（CNN）的混合失真类型判定方法。首先,从图像中截取得到含有高频信息的图像块,将该图像块输入到不同感受野的卷积层中以提取图像的浅层特征图;其次,将浅层特征图输入到各子分类器结构中以进行深层次的特征提取和融合,将融合的特征通过Sigmoid分类器得到判定结果;最后,将各子分类器的判定结果进行融合得到图像的混合失真类型。实验结果表明,在自然场景混合失真数据库（NSMDID）上,所提方法对图像中存在的混合失真类型的平均判定准确率可以达到91.4%,且对大部分类型的判定准确率都在96.8%以上,可见所提方法能够对混合失真图像中的失真类型进行有效的判定。     

采用跳层卷积神经网络的RGB-D图像显著性检测

RGB-D图像显著性检测旨在提取三维图像中的显著目标.为解决当前显著性检测算法难以检测出光线干扰场景内的目标和低对比度的目标等问题,提出了基于跳层卷积神经网络的RGB-D图像显著性检测方法.利用VGG网络分离出RGB图像和深度图像的浅层与深层特征,而后进行特征提取;以跳层结构为基础连接提取到的特征,实现融合深度、颜色、...     

分层特征融合注意力网络图像超分辨率重建

目的 深层卷积神经网络在单幅图像超分辨率任务中取得了巨大成功。从3个卷积层的超分辨率重建卷积神经网络（super-resolution convolutional neural network,SRCNN）到超过300层的残差注意力网络（residual channel attention network,RCAN）,网络的深度和整体性能有了显著提高。然而,尽管深层网络方法提高了重建图像的质量,但因计算量大、实时性差等问题并不适合真实场景。针对该问题,本文提出轻量级的层次特征融合空间注意力网络来快速重建图像的高频细节。方法 网络由浅层特征提取层、分层特征融合层、上采样层和重建层组成。浅层特征提取层使用1个卷积层提取浅层特征,并对特征通道进行扩充;分层特征融合层由局部特征融合和全局特征融合组成,整个网络包含9个残差注意力块（residual attention block,RAB）,每3个构成一个残差注意力组,分别在组内和组间进行局部特征融合和全局特征融合。在每个残差注意力块内部,首先使用卷积层提取特征,再使用空间注意力模块对特征图的不同空间位置分配不同的权重,提高高频区域特征的注意力,以快速恢复高频细节信息;上采样层使用亚像素卷积对特征图进行上采样,将特征图放大到目标图像的尺寸;重建层使用1个卷积层进行重建,得到重建后的高分辨率图像。结果 在Set5、Set14、BSD（Berkeley segmentation dataset）100、Urban100和Manga109测试数据集上进行测试。当放大因子为4时,峰值信噪比分别为31.98 dB、28.40 dB、27.45 dB、25.77 dB和29.37 dB。本文算法比其他同等规模的网络在测试结果上有明显提升。结论 本文提出的多层特征融合注意力网络,通过结合空间注意力模块和分层特征融合结构的优势,可以快速恢复图像的高频细节并且具有较小的计算复杂度。     

基于多特征融合和卷积神经网络的植物叶片识别

植物叶片识别是植物自动分类识别研究的重要分支和热点,利用卷积神经网络进行图像分类研究已成为主流.为了提高植物叶片识别准确率,提出了基于多特征融合和卷积神经网络的植物叶片图像识别方法.首先对植物叶片图像进行预处理,提取LBP特征和Gabor特征,将多特征相加融合输入网络进行训练,使用卷积神经网络(AlexNet)构架作为分类器,利用全连接层对植物叶片进行识别.为了避免过拟合现象,使用"dropout"方法训练卷积神经网络,通过调节学习率、dropout值、迭代次数优化模型.实验结果表明,基于多特征融合的卷积神经网络植物叶片识别方法对Flavia数据库32种叶片和MEW2014数据库189种叶片识别分类效果较好,平均正确识别率分别为93.25％和96.37％,相比一般的卷积神经网络识别方法,该方法可以提高植物叶片的识别准确率,鲁棒性更强.     

基于MFF-GAN的图像集视觉总结

现有图像集视觉总结方法主要使用浅层视觉特征,或者直接应用已训练的卷积神经网络模型提取图像深层特征,选取的图像不具代表性。为此,分析并研究图像集视觉总结的图像特征表示方法,提出多特征图融合生成对抗网络(MFF-GAN)模型。该模型中的判别器通过多特征图融合的方式提取图像特征,使提取的特征能表示图像细节和高层语义信息,并在多特征图融合层后添加自编码网络对特征进行降维,避免特征维度灾难问题。NUS-WIDE数据集上的实验结果验证了M FF-GAN模型的有效性,并表明其能有效提升图像集视觉总结多样性。     

基于改进DeeplabV3+的地物分类方法研究

原始DeeplabV3+算法对无人机航拍图像中的地物边缘分割不够准确,对道路的分割存在不连续的情况.因此,针对这些问题,文中对DeeplabV3+算法进行了改进.首先,在编码阶段进行特征融合,增强浅层特征图的语义信息;其次,在分割网络结构中添加边界提取分支模块,并采用Canny边缘检测算法提取真实的边界信息进行监督训练,使网络对地物边缘的分割更为精细;最后,在网络的解码阶段,融合更多的浅层特征.实验结果表明,所提方法的mIoU值为80.92％,比DeeplabV3+算法提升了6.35％,能够有效进行地物分类.     

基于卷积神经网络的运输船舶分类识别方法

为了解决运输船的精细分类识别问题,针对在港口、航道拍摄的大量运输船图像,将一个8层卷积神经网络和支持向量机结合起来,通过用运输船训练集对网络进行监督训练,然后提取卷积神经网络第一个全连接层的特征,训练支持向量机后便可以对运输船进行分类识别,最后与其他全连接层的特征进行对比。实验结果表明,该方法能够实现运输船类型精细分类识别,平均检测准确率达到88.6%。     

融合金字塔差分特征的新增建筑物检测网络北大核心CSCD

针对当前使用孪生网络检测新增建筑物时,简单的通道合并不能有效突出影像变化特征这一问题,提出一种融合金字塔差分特征的网络,将孪生网络提取的特征图作差分来突出变化特征。为了减少参数量,孪生网络使用深度可分离卷积;在编码层深处,使用不同感受野的空洞卷积提取多尺度特征;解码阶段使用DUpsampling上采样来减少影像信息的丢失。利用武汉大学建筑物数据集进行实验,结果表明,网络在提取建筑物新增区域时可以有效抑制噪声的干扰和解决边界粗糙问题。相比于经典的变化检测网络,可以获得更高的检测精度,准确率达到91.33%,召回率达到88.31%,F1分数达到89.79%,总体精度达到96.64%。     

基于FPGA的深度卷积神经网络优化压缩算法研究

针对现有海量数字图像信息落后,提出了新型的压缩算法,设计出基于FPGA的视频图像采集系统.应用深度卷积神经网络优化视频图像编码算法和聚类算法实现数据特征提取,将图像与距离信息作为深度卷积神经网络的输入与输出,并利用其特征提取能力学习图像特征的距离信息,提取深度卷积神经网络中的全连接层作为编码,通过迭代调整确定图像编码,完成图像压缩.应用测试结果显示,该算法具有较高效率优势,且图像压缩解码后质量较好.     

选择性卷积特征融合的花卉图像分类

目的 针对花卉图像标注样本缺乏、标注成本高、传统基于深度学习的细粒度图像分类方法无法较好地定位花卉目标区域等问题,提出一种基于选择性深度卷积特征融合的无监督花卉图像分类方法。方法 构建基于选择性深度卷积特征融合的花卉图像分类网络。首先运用保持长宽比的尺寸归一化方法对花卉图像进行预处理,使得图像的尺寸相同,且目标不变形、不丢失图像细节信息;之后运用由ImageNet预训练好的深度卷积神经网络VGG-16模型对预处理的花卉图像进行特征学习,根据特征图的响应值分布选取有效的深度卷积特征,并将多层深度卷积特征进行融合;最后运用softmax分类层进行分类。结果 在Oxford 102 Flowers数据集上做了对比实验,将本文方法与传统的基于深度学习模型的花卉图像分类方法进行对比,本文方法的分类准确率达85.55%,较深度学习模型Xception高27.67%。结论 提出了基于选择性卷积特征融合的花卉图像分类方法,该方法采用无监督的方式定位花卉图像中的显著区域,去除了背景和噪声部分对花卉目标的干扰,提高了花卉图像分类的准确率,适用于处理缺乏带标注的样本时的花卉图像分类问题。     

高光谱图像小样本分类的卷积神经网络方法

目的 与传统分类方法相比,基于深度学习的高光谱图像分类方法能够提取出高光谱图像更深层次的特征。针对现有深度学习的分类方法网络结构简单、特征提取不够充分的问题,提出一种堆叠像元空间变换信息的数据扩充方法,用于解决训练样本不足的问题,并提出一种基于不同尺度的双通道3维卷积神经网络的高光谱图像分类模型,来提取高光谱图像的本质空谱特征。方法 通过对高光谱图像的每一像元及其邻域像元进行旋转、行列变换等操作,丰富中心像元的潜在空间信息,达到数据集扩充的作用。将扩充之后的像素块输入到不同尺度的双通道3维卷积神经网络学习训练集的深层特征,实现更高精度的分类。结果 5次重复实验后取平均的结果表明,在随机选取了10%训练样本并通过8倍数据扩充的情况下,Indian Pines数据集实现了98.34%的总体分类精度,Pavia University数据集总体分类精度达到99.63%,同时对比了不同算法的运行时间,在保证分类精度的前提下,本文算法的运行时间短于对比算法,保证了分类模型的稳定性、高效性。结论 本文提出的基于双通道卷积神经网络的高光谱图像分类模型,既解决了训练样本不足的问题,又综合了高光谱图像的光谱特征和空间特征,提高了高光谱图像的分类精度。     

多特征融合的文档图像版面分析

目的 在文档图像版面分析上,主流的深度学习方法克服了传统方法的缺点,能够同时实现文档版面的区域定位与分类,但大多需要复杂的预处理过程,模型结构复杂。此外,文档图像数据不足的问题导致文档图像版面分析无法在通用的深度学习模型上取得较好的性能。针对上述问题,提出一种多特征融合卷积神经网络的深度学习方法。方法 首先,采用不同大小的卷积核并行对输入图像进行特征提取,接着将卷积后的特征图进行融合,组成特征融合模块;然后选取DeeplabV3中的串并行空间金字塔策略,并添加图像级特征对提取的特征图进一步优化;最后通过双线性插值法对图像进行恢复,完成文档版面目标,即插图、表格、公式的定位与识别任务。结果 本文采用mIOU（mean intersection over union）以及PA（pixel accuracy）两个指标作为评价标准,在ICDAR 2017 POD文档版面目标检测数据集上的实验表明,提出算法在mIOU与PA上分别达到87.26%和98.10%。对比FCN（fully convolutional networks）,提出算法在mIOU与PA上分别提升约14.66%和2.22%,并且提出的特征融合模块对模型在mIOU与PA上分别有1.45%与0.22%的提升。结论 本文算法在一个网络框架下同时实现了文档版面多种目标的定位与识别,在训练上并不需要对图像做复杂的预处理,模型结构简单。实验数据表明本文算法在训练数据较少的情况下能够取得较好的识别效果,优于FCN和DeeplabV3方法。     

基于深度特征提取和DCT变换的图像复制粘贴篡改检测

针对图像复制粘贴篡改检测中算法时间复杂度过高和定位区域不完整的问题,提出一种基于深度特征提取和离散余弦变换的图像复制粘贴篡改检测算法。首先,融合图像颜色和纹理信息获得四通道图像,计算自适应特征提取阈值,并通过基于全卷积神经网络的特征检测器提取图像深度特征;其次,通过离散余弦变换提取块特征进行初步匹配,再利用点特征向量消除误匹配;最后,通过卷积运算精确定位篡改区域。通过在公共数据集上进行验证,充分展示了该算法在检测效率和定位区域完整性方面的优势。     

使用密集弱注意力机制的图像显著性检测

目的 基于全卷积网络（FCN）模型的显著性检测（SOD）的研究认为,更大的解码网络能实现比小网络更好的检测效果,导致解码阶段参数量庞大。视觉注意力机制一定程度上缓解了模型过大的问题。本文将注意力机制分为强、弱注意力两种：强注意力能为解码提供更强的先验,但风险很大;相反,弱注意力机制风险更小,但提供的先验较弱;基于此提出并验证了采用弱注意力的小型网络架构也能达到大网络的检测精度这一观点。方法 本文设计了全局显著性预测和基于弱注意力机制的边缘优化两个阶段,其核心是提出的密集弱注意力模块。它弥补了弱注意力的缺点,仅需少量额外参数,就能提供不弱于强注意力的先验信息。结果 相同的实验环境下,提出的模型在5个数据集上取得了总体上更好的检测效果。同时,提出的方法将参数量控制在69.5 MB,检测速度达到了实时32帧/s。实验结果表明,与使用强注意力的检测方法相比,提出的密集弱注意力模块使得检测模型的泛化能力更好。结论 本文目标是使用弱注意力机制来提高检测效能,为此设计了兼顾效率和风险的弱注意力模块。弱注意力机制可以提高解码特征的效率,从而压缩模型大小和加快检测速度,并在现有测试集上体现出更好的泛化能力。     

多层次感知残差卷积网络的单幅图像超分重建

目的 单幅图像超分辨率重建的深度学习算法中,大多数网络都采用了单一尺度的卷积核来提取特征（如3×3的卷积核）,往往忽略了不同卷积核尺寸带来的不同大小感受域的问题,而不同大小的感受域会使网络注意到不同程度的特征,因此只采用单一尺度的卷积核会使网络忽略了不同特征图之间的宏观联系。针对上述问题,本文提出了多层次感知残差卷积网络（multi-level perception residual convolutional network,MLP-Net,用于单幅图像超分辨率重建）。方法 通过特征提取模块提取图像低频特征作为输入。输入部分由密集连接的多个多层次感知模块组成,其中多层次感知模块分为浅层多层次特征提取和深层多层次特征提取,以确保网络既能注意到图像的低级特征,又能注意到高级特征,同时也能保证特征之间的宏观联系。结果 实验结果采用客观评价的峰值信噪比（peak signal to noise ratio,PSNR）和结构相似性（structural similarity,SSIM）两个指标,将本文算法其他超分辨率算法进行了对比。最终结果表明本文算法在4个基准测试集上（Set5、Set14、Urban100和BSD100（Berkeley Segmentation Dataset））放大2倍的平均峰值信噪比分别为37.851 1 dB,33.933 8 dB,32.219 1 dB,32.148 9 dB,均高于其他几种算法的结果。结论 本文提出的卷积网络采用多尺度卷积充分提取分层特征中的不同层次特征,同时利用低分辨率图像本身的结构信息完成重建,并取得不错的重建效果。     

基于多特征融合卷积神经网络的显著性检测

随着深度学习技术的发展以及卷积神经网络在众多计算机视觉任务中的突出表现,基于卷积神经网络的深度显著性检测方法成为显著性检测领域的主流方法。但是,卷积神经网络受卷积核尺寸的限制,在网络底层只能在较小范围内提取特征,不能很好地检测区域内不显著但全局显著的对象;其次,卷积神经网络通过堆叠卷积层的方式可获得图像的全局信息,但在信息由浅向深传递时,会导致信息遗失,同时堆叠太深也会导致网络难以优化。基于此,提出一种基于多特征融合卷积神经网络的显著性检测方法。使用多个局部特征增强模块和全局上下文建模模块对卷积神经网络进行增强,利用局部特征增强模块增大特征提取范围的同时,采用全局上下文建模获得特征图的全局信息,有效地抑制了区域内显著而全局不显著的物体对显著性检测的干扰; 能够同时提取多尺度局部特征和全局特征进行显著性检测,有效地提升了检测结果的准确性。最后,通过实验对所提方法的有效性进行验证并和其它11种显著性检测方法进行对比,结果表明所提方法能提升显著性检测结果的准确性且优于参与比较的11种方法。     

基于混合深度卷积网络的图像超分辨率重建

针对传统图像超分辨率重建方法存在的重建图像模糊、噪声量大、视觉感差等问题,提出了一种基于混合深度卷积网络的图像超分辨率重建方法。首先,在上采样阶段将低分辨率图像放缩至指定大小;然后,在特征提取阶段提取低分辨率图像的初始特征;接着,将提取到的初始特征送入卷积编解码结构进行图像特征去噪;最后,在重建层用空洞卷积进行高维特征提取与运算,重建出高分辨率图像,并且使用残差学习快速优化网络,在降低噪声的同时,使重建图像的清晰度及视觉效果更优。在Set14数据集放大尺度×4的基准下,将所提方法与双三次插值（Bicubic）、锚定邻域回归（A+）、超分辨卷积神经网络（SRCNN）、极深度超分辨网络（VDSR）、编解码网络（REDNet）等超分辨率重建方法进行对比。在超分辨实验中,所提方法与对比方法比较,峰值信噪比（PSNR）分别提升了2.73 dB、1.41 dB、1.24 dB、0.72 dB和1.15 dB,结构相似性（SSIM）分别提高了0.067 3,0.020 9,0.019 7,0.002 6和0.004 6。实验结果表明,混合深度卷积网络能够有效地对图像进行超分辨率重建。