| 基于多模态图像信息的变电设备红外分割方法 |
| |
| 引用本文： | 张志超,左雷鹏,邹捷,赵耀民,宋杨凡.基于多模态图像信息的变电设备红外分割方法[J].红外技术,2023(11):1198-1206. |
| |
| 作者姓名： | 张志超 左雷鹏 邹捷 赵耀民 宋杨凡 |
| |
| 作者单位： | 1. 国网保定供电公司;2. 华北电力大学动力工程系 |
| |
| 摘 要： | 无人机拍摄下的红外图像中变电设备的分割精度直接影响着热故障诊断的结果，针对复杂红外背景下变电设备分割精度低的问题，提出了一种融合可见光和红外图像的多模态路径聚合网络（Multimodal Path Aggregation Network, MPAN）。首先提取并融合两种模态图像的特征，考虑到两种模态图像的特征空间存在差异，提出了自适应特征融合模块（Adaptive Feature Fuse Module, AFFM），以充分融合两种模态特征；对具有多尺度特征的主干网络增加自底向上的金字塔网络，并对横向连接的路径增强模块引入自注意力机制；最后使用dice系数优化掩膜损失函数。实验结果表明，多模态图像的融合能够增强分割性能，且验证了提出各模块的有效性，该模型能够显著提高红外图像中变电设备实例分割的准确率。
|
| 关 键 词： | 实例分割 变电设备 红外图像 可见光图像 自适应特征融合模块 自注意力机制 dice系数 |
|
|
