基于深度学习的交通场景语义描述

对复杂交通场景进行准确的语义描述,一直是图像视觉领域的难题。交通场景复杂多变,对图像场景的理解容易受到光线变化、物体遮挡等因素的干扰。针对这一问题,提出了一种基于注意力机制的交通场景语义描述方法。使用卷积神经网络(CNN)和循环神经网络(RNN)相结合的方式,产生对交通场景的端对端描述。交通目标种类繁杂,为了产生带有明显区分度的场景描述,在语言模型中引入了注意力机制。为了验证新算法的有效性,分别在Flickr8K、Flickr30K和MS COCO 3个基准数据库上进行了实验。结果表明,在不同评估方法下,算法准确率分别提升了8.6%,12.4%,19.3%和21.5%。同时,通过定性分析验证了算法在光线变化、异常天气环境、道路显著目标和多种交通工具等4种不同的复杂交通场景下,都具有良好的鲁棒性。