基于特征调节器和双路径引导的RGB-D室内语义分割

针对室内场景图像语义分割结果不精确、显著图粗糙的问题,提出一种基于多模态特征优化提取和双路径引导解码的网络架构（feature regulator and dual-path guidance,FG-Net）。具体来说,设计的特征调节器对每个阶段的多模态特征依次进行噪声过滤、重加权表示、差异性互补和交互融合,通过强化RGB和深度特征聚合,优化特征提取过程中的多模态特征表示。然后,在解码阶段引入特征交互融合后丰富的跨模态线索,进一步发挥多模态特征的优势。结合双路径协同引导结构,在解码阶段融合多尺度、多层次的特征信息,从而输出更细致的显著图。实验在公开数据集NYUD-v2和SUN RGB-D上进行,在主要评价指标mIoU上达到48.5 %,优于其他先进算法。结果表明,该算法实现了更精细的室内场景图像语义分割,表现出了较好的泛化性和鲁棒性。     

基于注意力机制和金字塔融合的RGB-D室内场景语义分割

针对现有RGB-D室内场景语义分割不能有效融合多模态特征的问题,提出一种基于注意力机制和金字塔融合的RGB-D室内场景图像语义分割网络模型APFNet,并为其设计了两个新模块:注意力机制融合模块与金字塔融合模块.其中,注意力机制融合模块分别提取RGB特征和Depth特征的注意力分配权重,充分利用两种特征的互补性,使网络...     

增强细节的RGB‐IR多通道特征融合语义分割网络

现有基于深度学习的语义分割方法对于遥感图像的地物边缘分割不准确,小地物分割效果较差,并且RGB图像质量也会严重影响分割效果。提出一种增强细节的RGB-IR多通道特征融合语义分割网络MFFNet。利用细节特征抽取模块获取RGB和红外图像的细节特征并进行融合,生成更具区分性的特征表示并弥补RGB图像相对于红外图像所缺失的信息。在融合细节特征和高层语义特征的同时,利用特征融合注意力模块自适应地为每个特征图生成不同的注意力权重,得到具有准确语义信息和突出细节信息的优化特征图。将细节特征抽取模块和特征融合注意力模块结构在同一层级上设计为相互对应,从而与高层语义特征进行融合时抑制干扰或者无关细节信息的影响,突出重要关键细节特征,并在特征融合注意力模块中嵌入通道注意力模块,进一步加强高低层特征有效融合,产生更具分辨性的特征表示,提升网络的特征表达能力。在公开的Postdam数据集上的实验结果表明,MFFNet的平均交并比为70.54%,较MFNet和RTFNet分别提升3.95和4.85个百分点,并且对于边缘和小地物的分割效果提升显著。     

一种改进的室内场景语义分割网络

针对目前室内场景语义分割网络无法很好融合图像的RGB信息和深度信息的问题,提出一种改进的室内场景语义分割网络。为使网络能够有选择性地融合图像的深度特征和RGB特征,引入注意力机制的思想,设计了特征融合模块。该模块能够根据深度特征图和RGB特征图的特点,学习性地调整网络参数,更有效地对深度特征和RGB特征进行融合;同时使用多尺度联合训练,加速网络收敛,提高分割准确率。通过在SUNRGB-D和NYUDV2数据集上验证,相比于包含深度敏感全连接条件随机场的RGB-D全卷积神经网络（DFCN-DCRF）、深度感知卷积神经网络（Depth-aware CNN）、多路径精炼网络（RefineNet）等目前主流的语义分割网络,所提网络具有更高的分割精度,平均交并比（mIoU）分别达到46.6%和48.0%。     

RGB-D双模态特征融合语义分割

针对复杂室内场景中，现有RGB图像语义分割网络易受颜色、光照等因素影响以及RGB-D图像语义分割网络难以有效融合双模态特征等问题，提出一种基于注意力机制的RGB-D双模态特征融合语义分割网络AMBFNet(attention mechanism bimodal fusion network)。该网络采用编-解码器结构，首先搭建双模态特征融合结构（AMBF）来合理分配编码支路各阶段特征的位置与通道信息，然后设计双注意感知的上下文（DA-context）模块以合并上下文信息，最后通过解码器将多尺度特征图进行跨层融合，以减少预测结果中类间误识别和小尺度目标丢失问题。在SUN RGB-DNYU和NYU Depth v2(NYUDV2)两个公开数据集上的测试结果表明，相较于残差编解码（RedNet）、注意力互补网络（ACNet）、高效场景分析网络（ESANet）等目前较先进的RGB-D语义分割网络，在同等硬件条件下，该网络具有更好的分割性能，平均交并比（MIoU）分别达到了47.9%和50.0%。     

融合深度信息的室内场景分割算法

针对室内复杂场景中, 图像语义分割存在的特征损失和双模态有效融合等问题, 提出了一种基于编码器-解码器架构的融合注意力机制的轻量级语义分割网络. 首先采用两个残差网络作为主干网络分别对RGB和深度图像进行特征提取, 并在编码器中引入极化自注意力机制, 然后设计引入双模态融合模块在不同阶段对RGB特征和深度特征进行有效融合, 接着引入并行聚合金字塔池化以获取区域之间的依赖性. 最后, 采用3个不同尺寸的解码器将前面的多尺度特征图进行跳跃连接并融合解码, 使分割结果含有更多的细节纹理. 将本文提出的网络模型在NYUDv2数据集上进行训练和测试, 并与一些较先进RGB-D语义分割网络对比, 实验证明本文网络具有较好分割性能.     

基于深度感知特征提取的室内场景理解

从深度图RGB-D域中联合学习RGB图像特征与3D几何信息有利于室内场景语义分割,然而传统分割方法通常需要精确的深度图作为输入,严重限制了其应用范围。提出一种新的室内场景理解网络框架,建立基于语义特征与深度特征提取网络的联合学习网络模型提取深度感知特征,通过几何信息指导的深度特征传输模块与金字塔特征融合模块将学习到的深度特征、多尺度空间信息与语义特征相结合,生成具有更强表达能力的特征表示,实现更准确的室内场景语义分割。实验结果表明,联合学习网络模型在NYU-Dv2与SUN RGBD数据集上分别取得了69.5%与68.4%的平均分割准确度,相比传统分割方法具有更好的室内场景语义分割性能及更强的适用性。     

显著性引导及不确定性监督的深度编解码网络

基于U-Net的编码-解码网络及其变体网络在医学图像语义分割任务中取得了卓越的分割性能.然而,网络在特征提取过程中丢失了部分空间细节信息,影响了分割精度.另一方面,在多模态的医学图像语义分割任务中,这些模型的泛化能力和鲁棒性不理想.针对以上问题,本文提出一种显著性引导及不确定性监督的深度卷积编解码网络,以解决多模态医学图像语义分割问题.该算法将初始生成的显著图和不确定概率图作为监督信息来优化语义分割网络的参数.首先,通过显著性检测网络生成显著图,初步定位图像中的目标区域;然后,根据显著图计算不确定分类的像素点集合,生成不确定概率图;最后,将显著图和不确定概率图与原图像一同送入多尺度特征融合网络,引导网络关注目标区域特征的学习,同时增强网络对不确定分类区域和复杂边界的表征能力,以提升网络的分割性能.实验结果表明,本文算法能够捕获更多的语义信息,在多模态医学图像语义分割任务中优于其他的语义分割算法,并具有较好的泛化能力和鲁棒性.     

一种基于邻域度量关系的RGB-D融合语义分割算法

针对深空探测活动中地外环境复杂和计算资源受限，导致语义分割精度较低的问题，提出了一种基于邻域度量关系的RGB-D融合语义分割算法。该算法采用多模态的RGB-D信息取代传统的单目相机数据，并以中期融合框架构建基础网络，且额外设计了邻域度量关系模块来优化表现。具体来说，中期融合网络针对不同尺度的原始特征执行精炼、融合、跳接等操作，实现跨模态数据以及跨层级特征的有效互补。进一步地，结合语义特征图与语义标签，以不增加网络推理开销的方法构建邻域度量关系，从全局及局部特征中挖掘样本类别之间的关联信息，提升分割网络的性能。分别在室内数据集NYUDv2和火星模拟场地数据集MARSv1上进行实验，结果表明多模态RGB-D信息以及邻域度量关系均能显著提升语义分割的精度。     

基于多模态互补特征学习的遥感影像语义分割

在遥感影像语义分割任务中,数字表面模型可以为光谱数据生成对应的几何表示,能够有效提升语义分割的精度。然而,大部分现有工作仅简单地将光谱特征和高程特征在不同的阶段相加或合并,忽略了多模态数据之间的相关性与互补性,导致网络对某些复杂地物无法准确分割。本文基于互补特征学习的多模态数据语义分割网络进行研究。该网络采用多核最大均值距离作为互补约束,提取两种模态特征之间的相似特征与互补特征。在解码之前互相借用互补特征,增强网络共享特征的能力。在国际摄影测量及遥感探测学会 (international society for photogrammetry and remote sensing, ISPRS)的Potsdam与Vaihingen公开数据集上验证所提出的网络,证明了该网络可以实现更高的分割精度。     

基于RGB-D的反向融合实例分割算法

RGB-D 图像在提供场景 RGB 信息的基础上添加了 Depth 信息,可以有效地描述场景的色彩及 三维几何信息。结合 RGB 图像及 Depth 图像的特点,提出一种将高层次的语义特征反向融合到低层次的边缘 细节特征的反向融合实例分割算法。该方法通过采用不同深度的特征金字塔网络(FPN)分别提取 RGB 与 Depth 图像特征,将高层特征经上采样后达到与最底层特征同等尺寸,再采用反向融合将高层特征融合到低层,同时 在掩码分支引入掩码优化结构,从而实现 RGB-D 的反向融合实例分割。实验结果表明,反向融合特征模型能 够在 RGB-D 实例分割的研究中获得更加优异的成绩,有效地融合了 Depth 图像与彩色图像 2 种不同特征图像 特征,在使用 ResNet-101 作为骨干网络的基础上,与不加入深度信息的 Mask R-CNN 相比平均精度提高 10.6%, 比直接正向融合 2 种特征平均精度提高 4.5%。     

基于双金字塔特征融合网络的RGB-D多类实例分割

针对RGB图像的实例分割任务在图像目标物体纹理相近但类别不同的区域可能出现分割错误的问题,引入Depth信息,结合RGB-D图像的三维几何结构特点,提出一种以双金字塔特征融合网络为框架的RGB-D实例分割方法.所提出的方法通过构建两种不同复杂度的金字塔深度卷积神经网络分别提取不同梯度分辨率大小的RGB特征及Depth特征,将对应分辨率大小的两种特征相加输入区域候选网络,以此改变输入区域候选网络层的共享特征,共享特征再经过分类、回归与掩码网络分支输出定位与分类结果,从而实现RGB-D图像的实例分割.实验结果表明,所提出的双金字塔特征融合网络模型能够完成RGB-D图像的实例分割任务,有效学习到深度图像与彩色图像之间的互补信息,与不包含Depth信息的Mask R-CNN相比,平均精度提高7.4%.     

RAFNet: RGB-D attention feature fusion network for indoor semantic segmentation

Semantic segmentation based on the complementary information from RGB and depth images has recently gained great popularity, but due to the difference between RGB and depth maps, how to effectively use RGB-D information is still a problem. In this paper, we propose a novel RGB-D semantic segmentation network named RAFNet, which can selectively gather features from the RGB and depth information. Specifically, we construct an architecture with three parallel branches and propose several complementary attention modules. This structure enables a fusion branch and we add the Bi-directional Multi-step Propagation (BMP) strategy to it, which can not only retain the feature streams of the original RGB and depth branches but also fully utilize the feature flow of the fusion branch. There are three kinds of complementary attention modules that we have constructed. The RGB-D fusion module can effectively extract important features from the RGB and depth branch streams. The refinement module can reduce the loss of semantic information and the context aggregation module can help propagate and integrate information better. We train and evaluate our model on NYUDv2 and SUN-RGBD datasets, and prove that our model achieves state-of-the-art performances.     

基于深度图像增益的RGB-D显著性物体检测

深度信息已被证明在显著性物体检测中是一个实用信息,但是深度信息和RGB信息如何更好地实现互补从而达到更高的性能仍是一个值得探究的事情。为此,本文提出一种基于深度图像增益的RGB-D显著性物体检测方法。在双分支的网络结构中增加一个增益子网,采用显著图作差的方法获得深度图片为显著性检测带来的增益,作为增益子网预训练的伪GT。三分支网络分别获取RGB特征、深度特征和深度增益信息,最终将三分支的特征进行融合得到最终的显著性物体检测的结果,增益信息为双分支特征融合提供融合依据。基于深度图像增益的显著性物体检测实验结果表明,该方法得到的显著性物体前景物体更加突出,在多个实验数据集上也有着更优秀的表现。