基于红外和可见光图像逐级自适应融合的场景深度估计

从图像中恢复场景的深度是计算机视觉领域中的一个关键问题。考虑到单一类型图像在深度估计中受场景不同光照的限制，提出了基于红外和可见光图像逐级自适应融合的场景深度估计方法（PF-CNN）。该方法包括双流滤波器部分耦合网络、自适应多模态特征融合网络以及自适应逐级特征融合网络。在双流卷积中红外和可见光图像的滤波器部分耦合使两者特征得到增强；自适应多模态特征融合网络学习红外和可见光图像的残差特征并将两者自适应加权融合，充分利用两者的互补信息；逐级特征融合网络学习多层融合特征的结合，充分利用不同卷积层的不同特征。实验结果表明:PF-CNN在测试集上获得了较好的效果，将阈值指标提高了5%，明显优于其他方法。