首页 | 官方网站   微博 | 高级检索  
     

动态场景下基于视觉同时定位与地图构建技术的多层次语义地图构建方法
引用本文:梅天灿,秦宇晟,杨宏,高智,李皓冉.动态场景下基于视觉同时定位与地图构建技术的多层次语义地图构建方法[J].电子与信息学报,2023,45(5):1737-1746.
作者姓名:梅天灿  秦宇晟  杨宏  高智  李皓冉
作者单位:1.武汉大学电子信息学院 武汉 4300722.中国科学院空天信息创新研究院 北京 1001903.武汉大学遥感信息与工程学院 武汉 430079
基金项目:湖北省自然科学基金(2021CFA088)
摘    要:为提高视觉同时定位与地图构建(SLAM)技术的环境适应性和语义信息理解能力,该文提出一种可以在动态场景下实现多层次语义地图构建的视觉SLAM方案。首先利用被迫移动物体与动态目标间的空间位置关系,并结合目标检测网络和光流约束判断真正的动态目标,从而剔除动态特征点;其次提出一种基于超体素的快速点云分割方案,将基于静态区域构建的3维地图进行优化,构建了物体级的点云语义地图;同时构建的语义地图可以提供更高精度的训练数据样本,进一步用来提升目标检测网络性能。在TUM和ICL-NUIM数据集上的实验结果表明,该方法在定位精度上远优于目前主流的动态场景下的视觉SLAM方案,证明了该方法在高动态场景中具有较好的稳定性和鲁棒性;在建图精度和质量上,经过将重建的不同种类地图与各个现有方法进行比较,验证了提出的多层次语义地图构建的方法在静态和高动态场景中的有效性与适用性。

关 键 词:视觉同时定位与地图构建技术  语义建图  动态场景  点云分割  目标检测
收稿时间:2022-02-18

Multilevel Semantic Maps Based on Visual Simultaneous Localization and Mapping in Dynamic Scenarios
MEI Tiancan,QIN Yusheng,YANG Hong,GAO Zhi,LI Haoran.Multilevel Semantic Maps Based on Visual Simultaneous Localization and Mapping in Dynamic Scenarios[J].Journal of Electronics & Information Technology,2023,45(5):1737-1746.
Authors:MEI Tiancan  QIN Yusheng  YANG Hong  GAO Zhi  LI Haoran
Affiliation:1.School of Electronic Information, Wuhan University, Wuhan 430072, China2.Aerospace Information Research Institute, Chinese Academy of Science, Beijing 100190, China3.School of Remote Sensing and Information Engineering, Wuhan University, Wuhan 430079, China
Abstract:To cope with the moving objects in dynamic environments and make the robots truly understand the surroundings, a visual Simultaneous Localization And Mapping (SLAM) system is proposed to estimate simultaneously trajectory and object-level dense 3D semantic maps in dynamic environments. Object detection and optical flow results are leveraged to identify those actually moving objects. To improve semantic mapping accuracy, an unsupervised algorithm is employed to segment 3D point cloud into meaningful clusters with semantic cues. The semantic maps are further used to improve object detection model, by fine-tuning with hard examples coming from semantic maps in challenging conditions. Extensive qualitative and quantitative experiments which compare the proposed method to comparable state-of-the-art approaches show that the proposed method achieves improved accuracy and robustness in dynamic scenes.
Keywords:
点击此处可从《电子与信息学报》浏览原始摘要信息
点击此处可从《电子与信息学报》下载全文
设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司    京ICP备09084417号-23

京公网安备 11010802026262号