基于通道注意力机制的文本生成图像方法

针对文本生成图像任务中生成图像细节缺失及低分辨率阶段生成图像存在结构性错误的问题,基于动态注意力机制生成对抗网络（DMGAN）,引入内容感知上采样模块和通道注意力卷积模块,提出一种新的文本生成图像方法ECAGAN。在低分辨率图像生成阶段的特征图上采样过程中采用基于内容感知的上采样方法,通过输入特征图计算得到重组卷积核,使用重组卷积核和特征图进行卷积操作,确保上采样后的特征图和文本条件的语义一致性,使生成的低分辨率图像更加准确,利用通道注意力卷积模块学习特征图各个特征通道的重要程度,突出重要的特征通道,抑制无效信息,使生成图像的细节更丰富。此外在训练过程中结合条件增强和感知损失函数辅助训练,增强训练过程的鲁棒性,提高生成图像质量。在CUB-200-2011数据集上的实验结果表明,ECAGAN模型初始分数达到了4.83,R值达到了75.62,与DMGAN方法相比,分别提高了1.6%和4.6%,并且可改善生成图像结构错乱的问题,同时能够生成清晰的图像细节,语义一致性更高,更加接近真实图像。     

使用孪生注意力机制的生成对抗网络的研究

生成对抗网络(GAN)能够生成逼真的图像,已成为生成模型中的一个研究热点。针对生成对抗网络无法有效提取图像局部与全局特征间依赖关系以及各类别间的依赖关系,提出一种用于生成对抗网络的孪生注意力模型(TAGAN)。以孪生注意力机制为驱动,通过模拟局部与全局特征间的依赖关系以及各类别间依赖关系,对真实自然图像建模,创建逼真的非真实图像。孪生注意力机制包含特征注意力模型和通道注意力模型,特征注意力模型通过有选择地聚合特征,学习相似特征间的关联性,通道注意力模型通过整合各通道维度的相关特征,学习各通道的内部依赖关系。在MNIST、CIFAR10和CelebA64数据集上验证了所提出模型的有效性。     

基于双路细化注意力机制的图像描述模型

图像描述是连接计算机视觉与自然语言处理两大人工智能领域内的一项重要任务.近几年来,基于注意力机制的编码器-解码器架构在图像描述领域内取得了显著的进展.然而,许多基于注意力机制的图像描述模型仅使用了单一的注意力机制.本文提出了一种基于双路细化注意力机制的图像描述模型,该模型同时使用了空间注意力机制与通道注意力机制,并且使用了细化图像特征的模块,对图像特征进行进一步细化处理,过滤掉图像中的冗余与不相关的特征.我们在MS COCO数据集上进行实验来验证本文模型的有效性,实验结果表明本文的基于双路细化注意力机制的图像描述模型与传统方法相比有显著的优越性.     

基于多尺度与注意力特征增强的遥感图像描述生成方法

遥感图像描述生成是同时涉及计算机视觉和自然语言处理领域的热门研究话题,其主要工作是对于给定的图像自动地生成一个对该图像的描述语句。文中提出了一种基于多尺度与注意力特征增强的遥感图像描述生成方法,该方法通过软注意力机制实现生成单词与图像特征之间的对齐关系。此外,针对遥感图像分辨率较高、目标尺度变化较大的特点,还提出了一种基于金字塔池化和通道注意力机制的特征提取网络(Pyramid Pool and Channel Attention Network,PCAN),用于捕获遥感图像多尺度以及局部跨通道交互信息。将该模型提取到的图像特征作为描述生成阶段软注意力机制的输入,通过计算得到上下文信息,然后将该上下文信息输入至LSTM网络中,得到最终的输出序列。在RSICD与MSCOCO数据集上对PCAN及软注意力机制进行有效性实验,结果表明,PCAN及软注意力机制的加入能够提升生成语句的质量,实现单词与图像特征之间的对齐。通过对软注意力机制的可视化分析,提高了模型结果的可信度。此外,在语义分割数据集上进行实验,结果表明所提PCAN对于语义分割任务同样具有有效性。     

结合注意力机制的多尺度特征融合图像去雾算法

针对传统图像去雾算法容易受到先验知识制约以及颜色失真等问题,提出了一种结合注意力机制的多尺度特征融合图像去雾算法.该算法首先通过下采样操作得到多个尺度的特征图,然后在不同尺度的特征图之间采用跳跃连接的方式将编码器部分的特征图与解码器部分的特征图连接起来以进行特征融合.同时,在网络中加入一个由通道注意力子模块和像素注意力...     

面向图像自动语句标注的注意力反馈模型

图像自动语句标注利用计算机自动生成描述图像内容的语句,在服务机器人等领域有广泛应用.许多学者已经提出了一些基于注意力机制的算法,但是注意力分散问题以及由注意力分散引起的生成语句错乱问题还未得到较好解决.在传统注意力机制的基础上引入注意力反馈机制,利用关注信息的图像特征指导文本生成,同时借助生成文本中的关注信息进一步修正图像中的关注区域,该过程不断强化图像和文本中的关键信息匹配、优化生成的语句.针对常用数据集Flickr8k, Flickr30k和MSCOCO的实验结果表明,该模型在一定程度上解决了注意力分散和语句顺序错乱问题,比其他基于注意力机制方法标注的关注区域更加准确,生成语句更加通顺.     

基于注意力机制和深度学习的钢板表面缺陷图像分类

针对当前国内钢板表面缺陷图像分类精度不高的问题,提出一种基于注意力机制改进Inception-ResnetV2模型的钢板表面缺陷图像分类方法.实验将六种不同类型的热轧钢板表面缺陷图像进行分类,为了更好地提取任务相关特征,在Inception-ResnetV2模型基础上嵌入CBAM注意力机制模块,该模块可以自主学习每个通道和空间特征的重要性,实现通道和空间上的特征重标定,提升图像分类的表现.实验结果表明,该算法相比于传统Inception-ResnetV2模型识别率提升了2.17百分点,收敛速度更快,具有极大的工程应用价值.     

结合全局-局部特征和注意力的图像描述方法

为了进一步提高图像描述生成文本的精度,提出一种结合全局-局部特征和注意力机制的图像描述方法。该方法在传统的编码器-解码器模型上进行改进,从整体角度来看,编码器阶段使用残差网络ResNet101提取图像的全局特征和局部特征,以避免对象丢失或对象预测错误问题,在解码器阶段采用嵌入改进后的注意力机制的双向[GRU]生成文本序列。从局部角度来看,该模型提出的注意力机制是一种独立的循环结构,通过计算图像局部特征向量与语义向量之间的相似度来获取注意力权重,增强图像特征与语义信息之间的映射。在MSCOCO数据集上的实验结果显示,该算法在BLEU、CIDEr、METEOR等评价指标上均获得了不同程度的提升,表明使用该模型生成的描述文本准确度高且细节丰富。     

基于通道注意力机制和U-net的医学图像分割方法

随着人工智能和医学大数据的发展,基于深度学习的医学图像分割技术因具有重要的应用价值和前景,已经成为目前的研究热点.为了增强特征图的语义信息,在U-net网络的基础上引入通道注意力机制,对U-net生成的特征逐通道进行压缩,将压缩后的特征逐通道计算权重,然后将该权重与原始特征相乘得出最终的特征.通过在两个不同器官的医学图像数据集上进行实验,Dice系数相较于原始U-net网络分别提高了2.7％和1.8％,验证了该方法的可行性和有效性.     

融合注意力机制的端到端的街道场景语义分割

随着注意力机制的出现,研究人员开始通过对神经网络的特征图中的不同关注角度添加注意力机制来提升图像语义分割准确率.现有融合注意力机制的方法,大多通过计算像素与其它像素之间的关系来求得该像素点的注意力权值,这些方法提升效果具有局限性.针对以上问题,设计了两种不同的注意力模块：空间-条形注意力和通道注意力,提出了一种融合注意力机制的端到端的街道场景语义分割方法.空间-条形注意力采用两种不同条形池化核,捕获条形分布区域之间的长距离依赖关系,可以有效捕获局部和全局上下文信息.在Cityscapes数据集上的实验表明,该算法在验证集和测试集上的分割精度分别为76.89%、77.8%,与现有的算法相比有更好的表现.本文结合人类视觉注意力的特点,提出的两个注意力模型,使得街道场景下的语义分割效果更加准确.     

融合多重注意力机制的人眼注视点预测

目的 经典的人眼注视点预测模型通常采用跳跃连接的方式融合高、低层次特征,容易导致不同层级之间特征的重要性难以权衡,且没有考虑人眼在观察图像时偏向中心区域的问题。对此,本文提出一种融合注意力机制的图像特征提取方法,并利用高斯学习模块对提取的特征进行优化,提高了人眼注视点预测的精度。方法 提出一种新的基于多重注意力机制(multiple attention mechanism,MAM)的人眼注视点预测模型,综合利用3种不同的注意力机制,对添加空洞卷积的ResNet-50模型提取的特征信息分别在空间、通道和层级上进行加权。该网络主要由特征提取模块、多重注意力模块和高斯学习优化模块组成。其中,空洞卷积能够有效获取不同大小的感受野信息,保证特征图分辨率大小的不变性;多重注意力模块旨在自动优化获得的低层丰富的细节信息和高层的全局语义信息,并充分提取特征图通道和空间信息,防止过度依赖模型中的高层特征;高斯学习模块用来自动选择合适的高斯模糊核来模糊显著性图像,解决人眼观察图像时的中心偏置问题。结果 在公开数据集SALICON(saliency in context)上的实验表明,提出的方法相较于同结构的SAM-Res(saliency attention modal)模型以及DINet(dilated inception network)模型在相对熵(Kullback-Leibler divergence,KLD)、sAUC(shuffled area under ROC curve)和信息增益(information gain,IG)评价标准上分别提高了33%、0.3%和6%;53%、0.5%和192%。结论 实验结果表明,提出的人眼注视点预测模型能通过加权的方式分别提取空间、通道、层之间的特征,在多数人眼注视点预测指标上超过了主流模型。     

通道-空间联合注意力机制的显著性检测模型

针对显著性区域突出不均匀和边缘不清晰导致显著性检测鲁棒性差等问题,提出了一种通道-空间联合注意力机制的显著性检测模型。改进了一种通道注意力机制,将特征图中的像素概率值逐像素相加以更好的获取通道中层间信息的关联性;在通道注意力机制的基础上并行融入了空间注意力机制,对特征图的空间信息进行加权获得目标突出的显著性区域;将通道注意力机制与空间注意力机制输出的两个特征图加权融合反馈至通道-空间联合注意力机制,从而得到细粒度更高的显著图。实验结果表明,该模型在公开的数据集DUTS-TE和SOD上,使用F-measure和平均绝对误差作为评估标准均优于其他同类模型。     

基于多尺度特征融合和残差注意力机制的目标检测

作为一个多任务的学习过程,目标检测相较于分类网络需要更好的特征。基于多尺度特征对不同尺度的目标进行预测的检测器性能已经大大超过了基于单一尺度特征的检测器。同时,特征金字塔结构被用于构建所有尺度的高级语义特征图,从而进一步提高了检测器的性能。但是,这样的特征图没有充分考虑到上下文信息对语义的补充作用。在SSD基准网络的基础上,采用残差注意力的特征融合方法充分利用上下文信息,提高特征图的表征能力,然后利用残差注意力机制强化关键特征。在基准数据集PASCAL VOC上的实验表明,所提方法在输入图像尺寸为300×300和512×512情况下的mAP分别为78.8%和807%。     

基于双重注意力机制的异步优势行动者评论家算法

深度强化学习是目前机器学习领域发展最快的技术之一.传统的深度强化学习方法在处理高维度大状态的空间任务时,庞大的计算量导致其训练时间过长.虽然异步深度强化学习利用异步方法极大缩短了训练时间,但会忽略某些更具价值的图像区域和图像特征.针对上述问题,本文提出了一种基于双重注意力机制的异步优势行动者评论家算法.新算法利用特征注意力机制和视觉注意力机制来改进传统的异步深度强化学习模型.其中,特征注意力机制为卷积神经网络卷积后的所有特征图设置不同的权重,使得智能体聚焦于重要的图像特征;同时,视觉注意力机制为图像不同区域设置权重参数,权重高的区域表示该区域信息对智能体后续的策略学习有重要价值,帮助智能体更高效地学习到最优策略.新算法引入双重注意力机制,从表层和深层两个角度对图像进行编码表征,帮助智能体将聚焦点集中在重要的图像区域和图像特征上.最后,通过Atari 2600部分经典实验验证了基于双重注意力机制的异步优势行动者评论家算法的有效性.     

一种基于MDARNet的低照度图像增强方法

由于低照度环境下所采集的图像存在亮度低、对比度差、出现噪声和色彩失衡等低质问题,严重影响其在图像处理应用中的性能.为了提升低照度图像质量,以获得具有完整结构和细节且自然清晰的图像,结合Retinex理论与卷积神经网络,提出了一种基于MDARNet的低照度图像增强方法,并引入Attention机制模块和密集卷积模块以提升性能.首先,MDARNet利用同时包含二维和一维的3个不同尺度卷积核对图像进行初步特征提取,并用像素注意模块对多尺度特征图进行针对性学习;其次,设计跳跃连接结构对图像进行特征提取,使图像特征被最大限度地利用;最后,用通道注意模块和像素注意模块同时对提取到的特征图进行权重学习和照度估计.实验结果表明：MDARNet能够有效提升低照度图像的亮度、对比度、色彩等;且相较于一些经典算法,该方法在视觉效果及客观评价指标（PSNR,SSIM,MS-SSIM,MSE）能够得到更好的效果.     

深度连接的超轻量化子空间注意模块

针对紧凑型卷积神经网络在部署现有注意力机制存在计算量或参数开销大的问题,提出一种改进的超轻量化子空间注意模块。首先,深度连接的子空间注意模块(Deep Connected Subspace Attention Mechanism, DCSAM)划分特征图为若干特征子空间,为每个特征子空间推导不同的注意特征图;其次,改进特征子空间进行空间校准的方式;最后,建立前后特征子空间的连接,实现前后特征子空间的信息流动。该子空间注意机制能够学习到多尺度、多频率的特征表示,更适合细粒度分类任务,且与现有视觉模型中的注意力机制是正交和互补的。实验结果表明,在ImageNet-1K和Stanford Cars数据集上,MobileNetV2在参数量和浮点运算数分别减少12%和24%的情况下,最高精度分别提高了0.48和约2个百分点。     

基于深度渐进式反投影注意力网络的图像超分辨率重建

针对多数单帧图像超分辨率（SISR）方法在重建预测图像时存在高频信息丢失和上采样过程中会引入噪声以及特征图各通道之间的相互依赖关系难以确定等问题,提出了深度渐进式反投影注意力网络。首先使用渐进式上采样方法将低分辨率（LR）图像逐步缩放至给定的倍率,缓解上采样过程中造成的高频信息丢失等问题;然后在渐进式上采样的每个阶段融合迭代反投影思想,学习高分辨率（HR）和LR特征图之间的映射关系并减少上采样过程中引入的噪声;最后使用注意力机制为渐进式反投影网络不同阶段产生的特征图动态分配注意力资源,使网络模型学习到各特征图之间的相互依赖关系。实验结果表明,所提出的方法相比主流的超分辨率方法,峰值信噪比（PSNR）最高可增加3.16 dB,结构相似性最高可提升0.218 4。     

多注意力机制金字塔池化金手指划痕分割方法

针对传统图像处理方法和基于深度学习的分类模型对金手指表面划痕检测效果不理想的情况,提出了一种多注意力机制金字塔池化方法对金手指表面划痕进行语义分割。采用ResNet50模型获取输入图像的特征图;在金字塔的不同层中将特征图分成大小不同的子区域,然后对每个子区域进行平均池化操作;池化后的特征图加入多种注意力机制来提取关键部分的特征信息,并使用边界细化模块对边缘区域进一步精细化,提高分割准确度。通过上采样,将四种不同尺寸的特征图采用级联的方式对划痕区域进行特征融合;与带有整体信息的特征图拼接后经过卷积操作得到最后的预测结果。实验结果表明,本文采用的方法较其他常用分割模型在MIOU和MPA指标上具有明显提升,分别达到86.03%和94.35%,具有一定的应用价值。     

结合注意力机制的双路径语义分割

目的 针对现有语义分割算法存在的因池化操作造成分辨率降低导致的分割结果变差、忽视特征图不同通道和位置特征的区别以及特征图融合时方法简单,没有考虑到不同感受视野特征区别等问题,设计了一种基于膨胀卷积和注意力机制的语义分割算法。方法 主要包括两条路径：空间信息路径使用膨胀卷积,采用较小的下采样倍数以保持图像的分辨率,获得图像的细节信息;语义信息路径使用ResNet（residual network）采集特征以获得较大的感受视野,引入注意力机制模块为特征图的不同部分分配权重,使得精度损失降低。设计特征融合模块为两条路径获得的不同感受视野的特征图分配权重,并将其融合到一起,得到最后的分割结果。结果 为证实结果的有效性,在Camvid和Cityscapes数据集上进行验证,使用平均交并比（mean intersection over union,MIoU）和精确度（precision）作为度量标准。结果显示,在Camvid数据集上,MIoU和精确度分别为69.47%和92.32%,比性能第2的模型分别提高了1.3%和3.09%。在Cityscapes数据集上,MIoU和精确度分别为78.48%和93.83%,比性能第2的模型分别提高了1.16%和3.60%。结论 本文采用膨胀卷积和注意力机制模块,在保证感受视野并且提高分辨率的同时,弥补了下采样带来的精度损失,能够更好地指导模型学习,且提出的特征融合模块可以更好地融合不同感受视野的特征。     

基于双重注意力孪生网络的实时视觉跟踪

为了解决全卷积孪生网络（SiamFC）跟踪算法在跟踪目标经历剧烈的外观变化时容易发生模型漂移从而导致跟踪失败的问题，提出了一种双重注意力机制孪生网络（DASiam）去调整网络模型并且不需要在线更新。首先，主干网络使用修改后表达能力更强的并适用于目标跟踪任务的VGG网络；然后，在网络的中间层加入一个新的双重注意力机制去动态地提取特征，这种机制由通道注意机制和空间注意机制组成，分别对特征图的通道维度和空间维度进行变换得到双重注意特征图；最后，通过融合两个注意机制的特征图进一步提升模型的表征能力。在三个具有挑战性的跟踪基准库即OTB2013、OTB100和2017年视觉目标跟踪库（VOT2017）实时挑战上进行实验，实验结果表明，以40 frame/s的速度运行时，所提算法在OTB2013和OTB100上的成功率指标比基准SiamFC分别高出3.5个百分点和3个百分点，并且在VOT2017实时挑战上面超过了2017年的冠军SiamFC，验证了所提出算法的有效性。