RGB-D双模态特征融合语义分割 |
| |
引用本文: | 罗盆琳,方艳红,李鑫,李雪.RGB-D双模态特征融合语义分割[J].计算机工程与应用,2023(7):222-231. |
| |
作者姓名: | 罗盆琳 方艳红 李鑫 李雪 |
| |
作者单位: | 1. 西南科技大学信息工程学院;2. 西南科技大学特殊环境机器人技术四川省重点实验室 |
| |
基金项目: | 国家重点实验室开放基金(SKLA20200203); |
| |
摘 要: | 针对复杂室内场景中,现有RGB图像语义分割网络易受颜色、光照等因素影响以及RGB-D图像语义分割网络难以有效融合双模态特征等问题,提出一种基于注意力机制的RGB-D双模态特征融合语义分割网络AMBFNet(attention mechanism bimodal fusion network)。该网络采用编-解码器结构,首先搭建双模态特征融合结构(AMBF)来合理分配编码支路各阶段特征的位置与通道信息,然后设计双注意感知的上下文(DA-context)模块以合并上下文信息,最后通过解码器将多尺度特征图进行跨层融合,以减少预测结果中类间误识别和小尺度目标丢失问题。在SUN RGB-DNYU和NYU Depth v2(NYUDV2)两个公开数据集上的测试结果表明,相较于残差编解码(RedNet)、注意力互补网络(ACNet)、高效场景分析网络(ESANet)等目前较先进的RGB-D语义分割网络,在同等硬件条件下,该网络具有更好的分割性能,平均交并比(MIoU)分别达到了47.9%和50.0%。
|
关 键 词: | 注意力机制 双模态特征融合 双重注意感知上下文 RGB-D语义分割 |
|