基于注意力感知的RGB-D显著性检测

为在进行RGB-D显著性检测时能高效利用RGB信息与深度信息,对跨模态的融合进行研究。区别于现有方法忽略图像中干扰因素的存在或不考虑图像初始信息的缺陷,设计一个基于注意力机制的跨模态融合模块(CFM)。通过空间注意力与通道注意力有效过滤深度特征以及调制后特征的不必要信息,集成RGB特征与深度特征,让二者实现更好的互补。为保证全局信息与初始彩色信息的不丢失,通过残差连接将原始特征作为补充信息。在5个数据集上使用5个评价指标进行的实验结果表明,与当前主流模型相比,该模型具有优越性。     

基于特征融合与边界修正显著性目标检测

显著性目标检测旨在寻找图像中的视觉显著区域。现有的显著性目标检测方法已经展现出强大的优势，但依然在尺度感知和边界预测方面具有局限性。首先，各类场景中的显著目标存在诸多尺度，使算法难以适应不同尺度变化。其次，显著目标往往具有复杂的轮廓，这使边界像素点的检测变得更为困难。针对以上问题，文中提出了基于特征融合与边界修正的显著性目标检测网络，该网络基于特征金字塔，提取了不同层次显著特征。首先针对目标的尺度多样性设计了由多尺度特征解码模块组成的特征融合解码器，通过逐层融合相邻层特征，提高了网络对目标尺度的感知能力。同时设计了边界修正模块学习显著目标的轮廓特征，以生成边界清晰的高质量显著图。在5个常用显著性目标检测数据集上进行实验，结果表明所提算法在平均绝对误差、F指标和S指标3项定量指标上均能取得较优的结果。     

基于多模态特征交互的RGB-D显著性目标检测

现有的大多数RGB-D显著性目标检测方法利用深度图来提高检测效果,而忽视了其质量的影响。低质量的深度图会对最终显著目标预测结果造成污染,影响显著性检测的性能。为了消除低质量深度图带来的干扰,并准确突出RGB图像中的显著目标,提出了一个用于多模态特征交互的RGB-D显著性目标检测模型。在编码阶段,设计了一个特征交互模块,其包含三个子模块：用于增强特征表述能力的全局特征采集子模块、用于过滤低质量深度信息的深度特征精炼子模块和用于实现特征融合的多模态特征交互子模块。在解码阶段,逐层融合经过特征交互后的多模态特征,实现多层次特征融合。通过在五个基准数据集上与十二种先进方法进行的综合实验表明,该模型在NLPR、SIP和NJU2K数据集上的指标上均优于其他对比方法,其中在NJU2K数据集上,该模型的性能比第二名在平均F值上提升了0.008,加权F值上提升了0.014,E-measure上提升了0.007,表现出了较好的检测效果。     

基于非对称跨模态融合的RGB-D显著目标检测

目前大多数RGB-D显著目标检测方法在RGB特征和Depth特征的融合过程中采用对称结构,对两种特征进行相同的操作,忽视了RGB图像和Depth图像的差异性,易造成错误的检测结果.针对该问题,提出一种基于非对称结构的跨模态融合RGB-D显著目标检测方法,利用全局感知模块提取RGB图像的全局特征,并设计了深度去噪模块滤除低质量Depth图像中的大量噪声;再通过所提出的非对称融合模块,充分利用两种特征间的差异性,使用Depth特征定位显著目标,用于指导RGB特征融合,补足显著目标的细节信息,利用两种特征各自的优势形成互补.通过在4个公开的RGB-D显著目标检测数据集上进行大量实验,验证所提出的方法优于当前的主流方法.     

RGB-D图像的贝叶斯显著性检测

本文提出了一种基于贝叶斯框架融合颜色和深度对比特征的RGB-D图像显著性检测模型.基于空间先验的超像素对比计算得到深度特征,并通过高斯分布近似深度对比特征概率密度建模深度显著图.类似于深度显著性计算,采用高斯分布计算多尺度超像素低层对比特征得到颜色显著图.假设在给定显著类别下颜色和深度对比特征条件独立,依据贝叶斯定理,由深度显著概率和颜色显著概率得到RGB-D图像显著性后验概率,并采用判别混合分量朴素贝叶斯（DMNB）模型进行计算,其中DMNB模型中的高斯分布参数由变分最大期望算法进行估计.在RGB-D图像显著性检测公开数据集的实验结果表明提出的模型优于现有的方法.     

特征融合与S-D概率矫正的RGB-D显著检测

目的 许多先前的显著目标检测工作都是集中在2D的图像上,并不能适用于RGB-D图像的显著性检测。本文同时提取颜色特征以及深度特征,提出了一种基于特征融合和S-D概率矫正的RGB-D显著性检测方法,使得颜色特征和深度特征相互补充。方法 首先,以RGB图像的4个边界为背景询问节点,使用特征融合的Manifold Ranking输出RGB图像的显著图;其次,依据RGB图像的显著图和深度特征计算S-D矫正概率;再次,计算深度图的显著图并依据S-D矫正概率对该显著图进行S-D概率矫正;最后,对矫正后的显著图提取前景询问节点再次使用特征融合的Manifold Ranking方法进行显著优化,得到最终的显著图。结果 利用本文RGB-D显著性检测方法对RGBD数据集上的1 000幅图像进行了显著性检测,并与6种不同的方法进行对比,本文方法的显著性检测结果更接近人工标定结果。Precision-Recall曲线（PR曲线）显示在相同召回率下本文方法的准确率较其中5种方法高,且处理单幅图像的时间为2.150 s,与其他算法相比也有一定优势。结论 本文方法能较准确地对RGB-D图像进行显著性检测。     

高级语义修复策略的跨模态融合RGB-D显著性检测

针对显著区域定位不完整以及边缘模糊问题,提出一种RGB-D显著性目标检测方法。该方法首先设计了一个跨模态特征融合模块来逐层融合RGB和Depth信息,并得到六个模态融合特征输出。该模块降低了RGB和Depth信息之间存在的差异性,为后续的高级语义修复提供更具共性和互补性的深层特征;基于上述模块获得的多层次信息,利用后三层特征,联合提取更丰富的高级语义信息,并得到初始显著图。之后,采用UNet的网络结构,从网络的顶层向下融合,每一层经过上采样之后与下一层进行通道维度上的融合,前三层底层特征在融合前后采用高级语义特征进行指导,以完成对底层特征的修复。最后,得到最终的显著图。提出的跨模态特征融合模块能够自适应地融合多模态特征,突出融合特征的共性和互补性,降低融合的模糊度。提出的高级语义修复策略有助于准确检测出显著区域并提高边缘清晰度。实验结果表明,该算法在NJU2K、NLPR、STERE、DES、SIP五个数据集上均超过大部分优秀的方法,达到了较为先进的性能。     

跨模态交互融合与全局感知的RGB-D显著性目标检测

近年来, RGB-D显著性检测方法凭借深度图中丰富的几何结构和空间位置信息, 取得了比RGB显著性检测模型更好的性能, 受到学术界的高度关注. 然而, 现有的RGB-D检测模型仍面临着持续提升检测性能的需求. 最近兴起的Transformer擅长建模全局信息, 而卷积神经网络(CNN)擅长提取局部细节. 因此, 如何有效结合CNN和Transformer两者的优势, 挖掘全局和局部信息, 将有助于提升显著性目标检测的精度. 为此, 提出一种基于跨模态交互融合与全局感知的RGB-D显著性目标检测方法, 通过将Transformer网络嵌入U-Net中, 从而将全局注意力机制与局部卷积结合在一起, 能够更好地对特征进行提取. 首先借助U-Net编码-解码结构, 高效地提取多层次互补特征并逐级解码生成显著特征图. 然后, 使用Transformer模块学习高级特征间的全局依赖关系增强特征表示, 并针对输入采用渐进上采样融合策略以减少噪声信息的引入. 其次, 为了减轻低质量深度图带来的负面影响, 设计一个跨模态交互融合模块以实现跨模态特征融合. 最后, 5个基准数据集上的实验结果表明, 所提算法与其他最新的算法相比具有显著优势.     

多级上采样融合的强监督RGBD显著性目标检测

有效的多模态特征融合在RGBD显著性目标检测领域中发挥着重要的作用,但如何学习到有效的多模态特征融合在目前仍然是一个挑战性的任务。不同于利用多模态显著图加权融合的传统方法,基于卷积神经网络的方法使用简单的卷积操作融合多模态特征,但这对于大量的跨模态数据融合来说是不够的。为了解决这个问题,提出了一种新颖的上采样融合模块,它不仅具有多尺度的感知能力,还同时进行全局和局部上下文推理,此外强监督残差模块增强了网络训练的稳定和有效性。与现有的方法相比,提出的方法能够提供更稳定、更灵活的融合流,从而实现了RGB和Depth信息充分、高效的融合。在三个广泛使用的RGBD显著性目标检测数据集上的大量实验证明了该方法的有效性。     

空间约束下自相互注意力的RGB-D显著目标检测

针对RGB-D显著目标检测问题,提出空间约束下自相互注意力的RGB-D显著目标检测方法.首先,引入空间约束自相互注意力模块,利用多模态特征的互补性,学习具有空间上下文感知的多模态特征表示,同时计算两种模态查询位置与周围区域的成对关系以集成自注意力和相互注意力,进而聚合两个模态的上下文特征.然后,为了获得更互补的信息,进一步将金字塔结构应用在一组空间约束自相互注意力模块中,适应不同空间约束下感受野不同的特征,学习到局部和全局的特征表示.最后,将多模态融合模块嵌入双分支编码-解码网络中,解决RGB-D显著目标检测问题.在4个公开数据集上的实验表明,文中方法在RGB-D显著目标检测任务上具有较强的竞争性.     

基于跨模态特征融合的RGB-D显著性目标检测

为了解决基于彩色图像的显著性检测在多目标或小目标等场景下无法准确检测出显著目标的问题,提出了一种基于RGB-D跨模态特征融合的显著性检测网络模型,该网络模型以改进的全卷积神经网络(FCN)为双流主干网络,分别提取彩色与深度特征并作出预测,最后利用Inception结构融合生成最终显著图.针对原FCN实际感受野远低于理论感受野,没有真正利用图像全局信息的问题,设计了双分支结构的全局与局部特征提取块,利用全局特征分支提取全局信息并指导局部特征提取,并以此构建了改进的FCN.此外,考虑到不同层级上彩色与深度特征之间的差异性,提出了跨模态特征融合模块,采用点积有选择性地融合彩色和深度特征,与加法和级联相比,采用点乘可以有效减少噪声与冗余信息.通过在3个公开基准数据集上与21种主流网络相比的综合实验表明,所提模型在S值、F值和MAE这3个指标上基本处于前3水平,同时对模型大小进行了比较,其大小仅为MMCI的4.7％,与现有最小模型A2dele相比减少了22.8％.     

结合双流特征融合及对抗学习的图像显著性检测

为实现图像显著区域或目标的低级特征与语义信息有意义的结合,以获取结构更完整、边界更清晰的显著性检测结果,提出一种结合双流特征融合及对抗学习的彩色图像显著性检测(SaTSAL)算法.首先,以VGG-16和Res2Net-50为双流异构主干网络,实现自底向上、不同级别的特征提取;之后,分别针对每个流结构,将相同级别的特征图送入卷积塔模块,以增强级内特征图的多尺度信息;进一步,采用自顶向下、跨流特征图逐级侧向融合方式生成显著图;最后,在条件生成对抗网络的主体框架下,利用对抗学习提升显著性检测结果与显著目标的结构相似性.以P-R曲线、F-measure、平均绝对误差、S-measure为评价指标,在ECSSD,PASCAL-S,DUT-OMRON以及DUTS-test 4个公开数据集上与其他10种基于深度学习的显著性检测算法的对比实验表明,SaTSAL算法优于其他大部分算法.     

多角度融合的RGB-D显著检测

显著检测是计算机视觉的重要组成部分,但大部分的显著检测工作着重于2D图像的分析,并不能很好地应用于RGB-D图片的显著检测。受互补的显著关系在2D图像检测中取得的优越效果的启发,并考虑RGB-D图像包含的深度特征,提出多角度融合的RGB-D显著检测方法。此方法主要包括三个部分,首先,构建颜色深度特征融合的图模型,为显著计算提供准确的相似度关系;其次,利用区域的紧密度进行全局和局部融合的显著计算,得到相对准确的初步显著图;最后,利用边界连接权重和流形排序进行背景和前景融合的显著优化,得到均匀平滑的最终显著图。在RGBD1000数据集上的实验对比显示,所提出的方法超越了当前流行的方法,表明多个角度互补关系的融合能够有效提高显著检测的准确率。     

多尺度特征深度复用的显著性目标检测算法

针对传统显著性目标检测方法在检测不同尺度的多个显著性目标方面的不足,提出了一种多尺度特征深度复用的显著性目标检测算法,网络模型由垂直堆叠的双向密集特征聚合模块和水平堆叠的多分辨率语义互补模块组成。首先,双向密集特征聚合模块基于ResNet骨干网络提取不同分辨率语义特征;然后,依次在top-down和bottom-up两条通路上进行自适应融合,以获取不同层次多尺度表征特征;最后,通过多分辨率语义互补模块对两个相邻层次的多尺度特征进行融合,以消除不同层次上特征之间的相互串扰来增强预测结果的一致性。在五个基准数据集上进行的实验结果表明,该方法在Fmax、Sm、MAE最高能达到0.939、0.921、0.028,且检测速率可达74.6 fps,与其他对比算法相比有着更好的检测性能。     

结合域变换和轮廓检测的显著性目标检测

针对多层显著性图融合过程中产生的显著目标边缘模糊、亮暗不均匀等问题,提出一种基于域变换和轮廓检测的显著性检测方法.首先选取判别式区域特征融合方法中的3层显著性图融合得到初始显著性图;然后利用卷积神经网络计算图像显著目标外部轮廓;最后使用域变换将第1步得到的初始显著性图和第2步得到的显著目标轮廓图融合.利用显著目标轮廓图来约束初始显著性图,对多层显著性图融合产生的显著目标边缘模糊区域进行滤除,并将初始显著性图中检测缺失的区域补充完整,得到最终的显著性检测结果.在3个公开数据集上进行实验的结果表明,该方法可以得到边缘清晰、亮暗均匀的显著性图,且准确率和召回率、F-measure,ROC以及AUC等指标均优于其他8种传统显著性检测方法.     

一种基于邻域度量关系的RGB-D融合语义分割算法

针对深空探测活动中地外环境复杂和计算资源受限，导致语义分割精度较低的问题，提出了一种基于邻域度量关系的RGB-D融合语义分割算法。该算法采用多模态的RGB-D信息取代传统的单目相机数据，并以中期融合框架构建基础网络，且额外设计了邻域度量关系模块来优化表现。具体来说，中期融合网络针对不同尺度的原始特征执行精炼、融合、跳接等操作，实现跨模态数据以及跨层级特征的有效互补。进一步地，结合语义特征图与语义标签，以不增加网络推理开销的方法构建邻域度量关系，从全局及局部特征中挖掘样本类别之间的关联信息，提升分割网络的性能。分别在室内数据集NYUDv2和火星模拟场地数据集MARSv1上进行实验，结果表明多模态RGB-D信息以及邻域度量关系均能显著提升语义分割的精度。     

图像级别和像素级别的显著图像的融合

RGB-D图像显著目标检测旨在从一对RGB图像和深度图像中识别视觉上最显著的目标。目前,学术界已经提出了各种有效的单幅RGB-D图像显著性检测方法,而这些检测方法之间存在着优势互补。因此,对各种方法生成的显著图进行融合以提高显著性检测精度的研究工作同样不可或缺。在对相关显著图像融合工作研究后,提出两个级别上的融合过程。首先,运用多种现成的RGB-D显著图检测方法生成初始显著图;其次,分别对图像级和像素级两个层面上的显著图融合工作进行了研究,再将这两个层面上得到的显著图按比例进行融合,得到最终的图像显著图。实验结果表明,该显著图融合方法的效果不仅优于单个图像显著性检测方法,而且和其他的融合方法相比,也具有一定优势。     

双特征流融合和边界感知的显著性目标检测

显著性目标检测是计算机视觉领域的热门研究方向之一,许多基于深度学习的检测算法虽然已经取得了显著的成果,但是仍然存在待测目标漏检误检和边界模糊等问题。针对这些问题提出了一种基于双特征流融合和边界感知的目标检测算法,通过改变输入图像尺寸来丰富多尺度信息,并自顶向下逐层聚合特征得到精细的预测结果。首先将输入图像调整为两种不同分辨率分别送入编码器,提取丰富的多层级特征形成双特征流;其次将双特征流自顶向下逐层融合,生成由粗到细的显著图;最后构建了边界感知结构,凭借上下文语义信息的指导生成精细的物体轮廓。在五个公开数据集上进行了大量实验,实验结果表明,所提算法在结构相似性(Sm)等多个指标上取得了更高的检测精度,生成的显著图目标完整且边缘清晰。     

基于多层次特征融合的RGB-D显著性检测

大多数RGB-D显著性检测方法在探索各层跨模态信息时，往往直接将深度图不加处理地与RGB图进行融合，并且在各个层次采用相同的融合策略。然而，这会产生两个问题：（1）低质量深度图会把大量的冗余信息带入网络中，给检测带来负面影响；（2）在各个层次上采用相同的融合策略，忽略了模型在不同层次对全局和局部特征具有不同的关注度。为了解决上述问题，提出了一种自顶向下的多层次特征融合结构，通过设计深度增强模块有效地过滤低质量深度图信息；设计高层交融模块有效地整合高层中的全局特征；设计低层交融模块有效提取与融合有用的局部特征。通过在5个公共数据集上与7种先进模型进行的综合实验表明，该模型在F(F-measure)指标、avgF(average F-measure)指标、S(S-measure)指标和MAE(mean absolute error)4个指标上表现出了良好的性能。     

多尺度特征多径自适应复用的显著性目标检测

由于忽略了对多尺度特征的提取,以及不同层次特征之间的差异,显著性目标检测仍然存在预测结构不完整、细节丢失的问题。为了解决这些问题,提出了一个新的显著性检测模型M3Net。该网络主要由多尺度特征自适应融合模块和循环反馈聚合模块组成。多尺度特征自适应融合模块旨在自适应地捕捉和聚合不同层次的多尺度特征。循环反馈聚合模块组成可以在迭代过程中对不同层次的特征聚合的同时,有效地防止特征的稀释。在五个基准数据集上的实验结果表明,该网络在Fβ、Em、MAE三种评价指标上优于十种现有网络。在DUT-OMRON数据集上,Fβ指标比排名第二的显著性检测模型提高了0.4%,Em指标提高了0.3%;在ECSSD数据集上,Fβ指标比排名第二的显著性检测模型提高了0.2%,Em指标提高了0.3%,同时网络还具有优秀的速度表现。