基于多层次特征融合的RGB-D显著性检测

大多数RGB-D显著性检测方法在探索各层跨模态信息时,往往直接将深度图不加处理地与RGB图进行融合,并且在各个层次采用相同的融合策略。然而,这会产生两个问题：（1）低质量深度图会把大量的冗余信息带入网络中,给检测带来负面影响;（2）在各个层次上采用相同的融合策略,忽略了模型在不同层次对全局和局部特征具有不同的关注度。为了解决上述问题,提出了一种自顶向下的多层次特征融合结构,通过设计深度增强模块有效地过滤低质量深度图信息;设计高层交融模块有效地整合高层中的全局特征;设计低层交融模块有效提取与融合有用的局部特征。通过在5个公共数据集上与7种先进模型进行的综合实验表明,该模型在F(F-measure)指标、avgF(average F-measure)指标、S(S-measure)指标和MAE(mean absolute error)4个指标上表现出了良好的性能。     

跨模态交互融合与全局感知的RGB-D显著性目标检测

近年来, RGB-D显著性检测方法凭借深度图中丰富的几何结构和空间位置信息, 取得了比RGB显著性检测模型更好的性能, 受到学术界的高度关注. 然而, 现有的RGB-D检测模型仍面临着持续提升检测性能的需求. 最近兴起的Transformer擅长建模全局信息, 而卷积神经网络(CNN)擅长提取局部细节. 因此, 如何有效结合CNN和Transformer两者的优势, 挖掘全局和局部信息, 将有助于提升显著性目标检测的精度. 为此, 提出一种基于跨模态交互融合与全局感知的RGB-D显著性目标检测方法, 通过将Transformer网络嵌入U-Net中, 从而将全局注意力机制与局部卷积结合在一起, 能够更好地对特征进行提取. 首先借助U-Net编码-解码结构, 高效地提取多层次互补特征并逐级解码生成显著特征图. 然后, 使用Transformer模块学习高级特征间的全局依赖关系增强特征表示, 并针对输入采用渐进上采样融合策略以减少噪声信息的引入. 其次, 为了减轻低质量深度图带来的负面影响, 设计一个跨模态交互融合模块以实现跨模态特征融合. 最后, 5个基准数据集上的实验结果表明, 所提算法与其他最新的算法相比具有显著优势.     

通道-空间联合注意力机制的显著性检测模型

针对显著性区域突出不均匀和边缘不清晰导致显著性检测鲁棒性差等问题,提出了一种通道-空间联合注意力机制的显著性检测模型。改进了一种通道注意力机制,将特征图中的像素概率值逐像素相加以更好的获取通道中层间信息的关联性;在通道注意力机制的基础上并行融入了空间注意力机制,对特征图的空间信息进行加权获得目标突出的显著性区域;将通道注意力机制与空间注意力机制输出的两个特征图加权融合反馈至通道-空间联合注意力机制,从而得到细粒度更高的显著图。实验结果表明,该模型在公开的数据集DUTS-TE和SOD上,使用F-measure和平均绝对误差作为评估标准均优于其他同类模型。     

基于跨模态特征融合的RGB-D显著性目标检测

为了解决基于彩色图像的显著性检测在多目标或小目标等场景下无法准确检测出显著目标的问题,提出了一种基于RGB-D跨模态特征融合的显著性检测网络模型,该网络模型以改进的全卷积神经网络(FCN)为双流主干网络,分别提取彩色与深度特征并作出预测,最后利用Inception结构融合生成最终显著图.针对原FCN实际感受野远低于理论感受野,没有真正利用图像全局信息的问题,设计了双分支结构的全局与局部特征提取块,利用全局特征分支提取全局信息并指导局部特征提取,并以此构建了改进的FCN.此外,考虑到不同层级上彩色与深度特征之间的差异性,提出了跨模态特征融合模块,采用点积有选择性地融合彩色和深度特征,与加法和级联相比,采用点乘可以有效减少噪声与冗余信息.通过在3个公开基准数据集上与21种主流网络相比的综合实验表明,所提模型在S值、F值和MAE这3个指标上基本处于前3水平,同时对模型大小进行了比较,其大小仅为MMCI的4.7％,与现有最小模型A2dele相比减少了22.8％.     

深度学习时代下的RGB-D显著性目标检测研究进展

受人类的视觉注意力机制启发, 显著性目标检测任务旨在定位给定场景中最吸引人注意的目标或区域. 近年来, 随着深度相机的发展和普及, 深度图像已经被成功应用于各类计算机视觉任务, 这也为显著性目标检测技术提供了新思路. 通过引入深度图像, 不仅能使计算机更加全面地模拟人类视觉系统, 而且深度图像所提供的结构、位置等补充信息也可以为低对比度、复杂背景等困难场景的检测提供新的解决方案. 鉴于深度学习时代下RGB-D显著目标检测任务发展迅速, 旨在从该任务关键问题的解决方案出发, 对现有相关研究成果进行归纳、总结和梳理, 并在常用RGB-D SOD数据集上进行不同方法的定量分析和定性比较. 最后, 对该领域面临的挑战及未来的发展趋势进行总结与展望.     

注意力引导网络的显著性目标检测

目的 全卷积模型的显著性目标检测大多通过不同层次特征的聚合实现检测,如何更好地提取和聚合特征是一个研究难点。常用的多层次特征融合策略有加法和级联法,但是这些方法忽略了不同卷积层的感受野大小以及产生的特征图对最后显著图的贡献差异等问题。为此,本文结合通道注意力机制和空间注意力机制有选择地逐步聚合深层和浅层的特征信息,更好地处理不同层次特征的传递和聚合,提出了新的显著性检测模型AGNet(attention-guided network),综合利用几种注意力机制对不同特征信息加权解决上述问题。方法 该网络主要由特征提取模块(feature extraction module, FEM)、通道—空间注意力融合模块(channel-spatial attention aggregation module, C-SAAM)和注意力残差细化模块(attention residual refinement module,ARRM)组成,并且通过最小化像素位置感知(pixel position aware, PPA)损失训练网络。其中,C-SAAM旨在有选择地聚合浅层的边缘信息以及深层抽象的语义特征,利用通道注意力和空间注意力避免融合冗余的背景信息对显著性映射造成影响;ARRM进一步细化融合后的输出,并增强下一个阶段的输入。结果 在5个公开数据集上的实验表明,AGNet在多个评价指标上达到最优性能。尤其在DUT-OMRON(Dalian University of Technology-OMRON)数据集上,F-measure指标相比于排名第2的显著性检测模型提高了1.9%,MAE(mean absolute error)指标降低了1.9%。同时,网络具有不错的速度表现,达到实时效果。结论 本文提出的显著性检测模型能够准确地分割出显著目标区域,并提供清晰的局部细节。     

基于注意机制和多尺度跨模态融合的RGB-D显著性检测

针对基于深度卷积神经网络的RGB-D显著性检测性能差等问题,提出利用注意机制和多尺度跨模态融合进行RGB-D显著性检测的方法.首先采用多尺度残差注意模块对骨干网络提取的特征进行预处理;然后提出多尺度跨模态融合策略,对高层RGB特征和深度特征进行融合,获得初始显著图;最后采用边界细化模块细化初始显著图中目标的边界,使最终显著图包含敏锐的边界和完整的突出目标.在5个基准数据集上与10种先进方法进行实验的结果表明,所提方法在4个评价指标上均处于前3名;尤其是在NJUD和SIP数据集上,该方法在4个指标上提升了0.5%～1.5%.     

基于边缘效应和注意力机制的显著性检测

本文重点研究了显著边缘信息与显著目标信息的互补性,提出了一种结合注意力机制的边缘效应网络。采用逐步融合的方法提取图像中具有显著性的局部边缘信息与全局位置信息,得到了显著的边缘特征和显著的对象特征,最后在不同分辨率下将边缘特征与对象特征耦合起来,通过注意力机制进行优化,进一步提高显著性区域的特征权重,从而得到最终的显著图。综合实验结果表明,该方法在不需要任何预处理和后处理的情况下,在5个常用数据集的性能优于现有的方法。     

高级语义修复策略的跨模态融合RGB-D显著性检测

针对显著区域定位不完整以及边缘模糊问题,提出一种RGB-D显著性目标检测方法。该方法首先设计了一个跨模态特征融合模块来逐层融合RGB和Depth信息,并得到六个模态融合特征输出。该模块降低了RGB和Depth信息之间存在的差异性,为后续的高级语义修复提供更具共性和互补性的深层特征;基于上述模块获得的多层次信息,利用后三层特征,联合提取更丰富的高级语义信息,并得到初始显著图。之后,采用UNet的网络结构,从网络的顶层向下融合,每一层经过上采样之后与下一层进行通道维度上的融合,前三层底层特征在融合前后采用高级语义特征进行指导,以完成对底层特征的修复。最后,得到最终的显著图。提出的跨模态特征融合模块能够自适应地融合多模态特征,突出融合特征的共性和互补性,降低融合的模糊度。提出的高级语义修复策略有助于准确检测出显著区域并提高边缘清晰度。实验结果表明,该算法在NJU2K、NLPR、STERE、DES、SIP五个数据集上均超过大部分优秀的方法,达到了较为先进的性能。     

基于改进LBE特征的RGB-D显著性检测

针对LBE算法难以完整检测出结构复杂的目标和过度依赖深度信息的问题,提出一种基于改进LBE特征的RGB-D显著性检测算法。首先,对输入图像进行多级分割;然后,在各级分割图上计算LBE特征并融合,得到深度显著图;最后,利用色彩信息和先验信息对深度显著图进行矫正得到最终显著图。实验结果表明,改进算法与原始LBE算法相比在准确率上略有降低,在召回率上明显提升,得到的显著图更接近真实值。     

基于深度图像增益的RGB-D显著性物体检测

深度信息已被证明在显著性物体检测中是一个实用信息,但是深度信息和RGB信息如何更好地实现互补从而达到更高的性能仍是一个值得探究的事情。为此,本文提出一种基于深度图像增益的RGB-D显著性物体检测方法。在双分支的网络结构中增加一个增益子网,采用显著图作差的方法获得深度图片为显著性检测带来的增益,作为增益子网预训练的伪GT。三分支网络分别获取RGB特征、深度特征和深度增益信息,最终将三分支的特征进行融合得到最终的显著性物体检测的结果,增益信息为双分支特征融合提供融合依据。基于深度图像增益的显著性物体检测实验结果表明,该方法得到的显著性物体前景物体更加突出,在多个实验数据集上也有着更优秀的表现。     

基于全局注意力的多尺度显著性检测网络

针对现有算法的多尺度特征融合效果不理想和全局信息利用不充分的问题,提出一种基于多尺度优化和全局注意力的显著目标检测模型.利用特征增强模块对从骨干网络VGG-16中提取出来的粗糙特征进行增强,提升特征的显著性表达能力,对不同层次特征融合得到高层级和低层级特征;设计全局注意力模块,利用空洞空间卷积池化金字塔ASPP模块提取...     

结合空间注意力多层特征融合显著性检测

目的 多层特征对于显著性检测具有重要作用,多层特征的提取和融合是显著性检测研究的重要方向之一。针对现有的多层特征提取中忽略了特征融合与传递、对背景干扰信息敏感等问题,本文基于特征金字塔网络和注意力机制提出一种结合空间注意力的多层特征融合显著性检测模型,该模型用简单的网络结构较好地实现了多层特征的融合与传递。方法 为了提高特征融合质量,设计了多层次的特征融合模块,通过不同尺度的池化和卷积优化高层特征和低层特征的融合与传递过程。为了减少低层特征中的背景等噪声干扰,设计了空间注意力模块,利用不同尺度的池化和卷积从高层特征获得空间注意力图,通过注意力图为低层特征补充全局语义信息,突出低层特征的前景并抑制背景干扰。结果 本文在DUTS,DUT-OMRON（Dalian University of Technology and OMRON Corporation）,HKU-IS和ECSSD（extended complex scene saliency dataset） 4个公开数据集上对比了9种相关的主流显著性检测方法,在DUTS-test数据集中相对于性能第2的模型,本文方法的最大F值（MaxF）提高了1.04%,平均绝对误差（mean absolute error,MAE）下降了4.35%,准确率—召回率（precision-recall,PR）曲线、结构性度量（S-measure）等评价指标也均优于对比方法,得到的显著图更接近真值图,同时模型也有着不错的速度表现。结论 本文用简单的网络结构较好地实现了多层次特征的融合,特征融合模块提高了特征融合与传递质量,空间注意力模块实现了有效的特征选择,突出了显著区域、减少了背景噪声的干扰。大量的实验表明了模型的综合性能以及各个模块的有效性。     

基于图像分类的弱监督RGBD图像显著性检测方法

彩色深度(Red Green Blue Depth,RGBD)图像不仅包含红绿蓝三通道的颜色信息,还包含深度信息,因此能提供更全面的空间结构信息.近年来,随着RGBD图像的广泛应用,基于RGBD的图像显著性检测方法相继被提出.为了更好地解决弱监督图像显著性检测方法中的跨模态数据融合问题,本文提出一种基于图像分类的弱监督...     

基于颜色通道比较的显著性检测

为了快速有效地检测图像中的显著性区域,利用颜色通道差异信息和空间信息,提出了一种基于颜色通道比较的显著性检测算法. 该算法将显著性检测任务看作对图像前景区域和背景区域进行分离和识别的过程,首先基于RGB颜色空间构造了一组反映不同色彩信息的颜色通道,通过通道比较将不同颜色的区域分离开,然后通过分析空间信息选择出属于前景的区域,最后对所有前景区域进行合并得到最终的显著图. 我们在两个公开数据集上与现有的一些检测算法进行了对比试验,结果表明该算法具有较低的计算复杂度以及较高的检测准确率和召回率,证明该算法是简单有效的.     

基于多流网络一致性的视频显著性检测

现有的视频显著性检测算法通常采用双流结构提取视频的时空线索,其中运动信息作为双流结构的一个分支,在显著物体发生剧烈或慢速移动时存在运动估计准确率低的问题,并且不合理的训练数据或方案使得权重偏向单个分支结构。提出一种基于多流网络一致性的视频显著性检测算法MSNC。设计并使用一种新的三重网络结构提取预选目标区域的颜色信息、时序信息和先验特征,通过先验特征补偿运动流的缺陷,并提高运动线索的利用率。采用多流一致性融合模型优化三流分支,得到不同特征的最佳融合方案。同时通过循环训练策略平衡三重网络的权重,以避免网络过度拟合单流分支,从而有效地提高运动估计和定位的准确率。在Davis数据集上的实验结果表明,相比PCSA、SSAV、MGA等算法,该算法的鲁棒性更优,其maxF和S-Measure值分别达到0.893和0.912,MAE仅为0.021。     

基于混合注意力机制的图像超分辨重建算法

现有的大多数基于深度学习的单幅图像超分辨率算法,是通过深化和拓宽网络结构来提取特征,而对于信息占比不同的空间域和通道域没有作区分,导致大量计算资源的浪费。针对上述问题,提出了一种通道-空间混合注意力模块,通过捕捉通道域和空间域内重要性的差异从而更高效地分配计算资源,以加快网络收敛,提高网络性能。采用跳跃连接的方式融合全局特征,加强网络内信息的传递,使得分层信息被充分利用。同时在网络中引入密集连接网络,以做到特征的复用,加强信息的传输。实验结果表明,上述算法在客观指标评价和主观视觉效果方面均优于比较算法。     

基于混合注意力模型的阴影检测方法

图像中阴影区域的存在会导致图像内容的不确定性,不利于其他计算机视觉任务,因此常将阴影检测作为计算机视觉算法的预处理过程.然而,现有的阴影检测算法大多采用多级网络结构,导致模型训练困难,虽然已经提出了一些采用单级网络结构的算法,但它们只关注了局部的阴影,忽略了阴影之间的联系.针对该问题,为提升阴影检测的准确率和鲁棒性,提...     

基于双重注意力机制的图像超分辨重建算法

近年来,卷积神经网络(CNN)在单幅图像超分辨率重建领域(SISR)展现出良好效果。深度网络 可以在低分辨率图像和高分辨率图像之间建立复杂的映射,使得重建图像质量相对传统的方法取得巨大提升。 由于现有 SISR 方法通过加深和加宽网络结构以增大卷积核的感受野,在具有不同重要性的空间域和通道域采 用均等处理的方法,因此会导致大量的计算资源浪费在不重要的特征上。为了解决此问题,算法通过双重注意 力模块捕捉通道域与空间域隐含的权重信息,以更加高效的分配计算资源,加快网络收敛,在网络中通过残差 连接融合全局特征,不仅使得主干网络可以集中学习图像丢失的高频信息流,同时可以通过有效的特征监督加 快网络收敛,为缓解 MAE 损失函数存在的缺陷,在算法中引入了一种特殊的 Huber loss 函数。在主流数据集 上的实验结果表明,该算法相对现有的 SISR 算法在图像重建精度上有了明显的提高。