多模态自适应特征融合的目标检测 |
| |
引用本文: | 高小强,常侃,凌铭阳,银梦雨.多模态自适应特征融合的目标检测[J].激光与光电子学进展,2023(24):108-117. |
| |
作者姓名: | 高小强 常侃 凌铭阳 银梦雨 |
| |
作者单位: | 1. 广西大学计算机与电子信息学院;2. 广西多媒体通信与网络技术重点实验室 |
| |
基金项目: | 国家自然科学基金(62171145); |
| |
摘 要: | 随着深度学习的发展,基于卷积神经网络(CNN)的目标检测方法取得巨大成功。现有的基于CNN的目标检测模型通常采用单一模态的RGB图像进行训练和测试,但在低光照环境下,检测性能显著下降。为解决此问题,提出了一种基于YOLOv5构建的多模态目标检测网络模型,将RGB图像和热红外图像相结合,以充分利用多模态特征融合信息,从而提升目标检测精度。为了实现多模态特征信息的有效融合,提出了一种多模态自适应特征融合(MAFF)模块。该模块通过自适应地选择不同模态特征并利用各模态间的互补信息,实现多模态特征融合。实验结果表明:所提算法能有效融合不同模态的特征信息,从而显著提高检测精度。
|
关 键 词: | 卷积神经网络 多模态 YOLOv5 多模态目标检测 自适应特征融合 |
|
|