基于单目视觉的同时定位与建图算法研究综述*

与传统基于激光传感器的同时定位与建图（SLAM）方法相比,基于图像视觉传感器SLAM方法能廉价的获得更多环境信息,帮助移动机器人提高智能性。不同于用带深度信息的3D传感器研究SLAM问题,单目视觉SLAM算法用二维图像序列在线构建三维环境地图并实现实时定位。针对多种单目视觉SLAM算法进行对比研究,分析了近10年来流行的单目视觉定位算法的主要思路及其分类,指出基于优化方法正取代滤波器方法成为主流方法。从初始化、位姿估计、地图创建、闭环检测等功能组件的角度分别总结了当下流行的各种单目视觉 SLAM 或Odometry系统的工作原理和关键技术,阐述它们的工作过程和性能特点。总结了近年最新单目视觉定位算法的设计思路,最后概括指出本领域的研究热点与发展趋势。     

基于在线光度标定的半直接视觉SLAM算法

为解决视觉 SLAM（同时定位与地图创建）算法依赖图像亮度而对光照变化场景敏感的问题,提出一种基于在线光度标定的半直接视觉 SLAM 算法。首先,根据相机成像原理,提出基于光度标定的帧间位姿估计方法,在求解位姿的同时对原始的输入图像进行光度校正。其次,在特征追踪环节采取最近共视关键帧匹配策略,以提升特征点匹配效率。最后,对后端重投影迭代优化策略进行改进,降低光照变化对视觉 SLAM 算法的精度和鲁棒性的影响。在 TUM、EuRoC 数据集上的实验结果表明,本算法的轨迹估计精度优于 LSD-SLAM 和 SVO 2.0 算法,尤其是在中等难度、高难度的数据集序列上。在真实环境测试中,通过对比本算法与激光方法的轨迹估计结果,证明本算法有效提高了传统视觉 SLAM 方法在光照不均匀场景下的定位精度与鲁棒性。     

视觉SLAM的研究现状与展望

针对自主定位与环境构建问题,基于视觉传感器的同时定位与地图构建（SLAM）成为现阶段研究的热点,为深入分析视觉SLAM的现状,综述其相关算法与成果。首先简要概述了视觉SLAM的概念、特点与研究意义;然后深入分析帧间估计算法,详细描述经典的帧间估计方法,其中包含基于特征点的方法、基于光流的方法和直接法,并介绍了经典视觉SLAM算法的标志性成果;之后按照有监督的学习与无监督的学习两种方式介绍深度学习在视觉SLAM中的研究进展,并对算法进行了归纳总结;此外分析了视觉SLAM和惯性导航的融合;最后展望了视觉SLAM的未来发展趋势。     

顾及图像增强的煤矿井下视觉同时定位与建图算法

基于特征点法的视觉同时定位与建图（SLAM）算法在煤矿井下有一定应用,但受光照不均、光照多变、明暗区域交错等因素影响,图像质量较差、纹理信息匮乏,导致视觉SLAM前端特征提取与匹配精度较低,易出现跟踪丢失问题,影响视觉SLAM算法的定位精度与建图效果。提出一种顾及图像增强的煤矿井下视觉SLAM算法,通过图像增强处理提升视觉SLAM的整体性能。采用基于改进双边滤波的Retinex算法对煤矿井下图像进行增强处理：将原始RGB图像转换至HSI色彩空间,以改进的双边滤波代替传统Retinex算法的高斯滤波作为中心环绕函数,对图像反射分量进行估计后转换至RGB色彩空间,得到最终增强图像。将基于改进双边滤波的Retinex算法引入经典ORB-SLAM2算法框架进行位姿估计和建图。基于矿井轮式机器人数据采集平台在煤矿井下巷道环境中对顾及图像增强的视觉SLAM算法进行试验,结果表明：与传统Retinex算法相比,经基于改进双边滤波的Retinex算法增强后的煤矿井下图像未出现明显的泛白及光晕现象,图像质量得到提升;与ORB-SLAM2算法相比,顾及图像增强的视觉SLAM算法提高了特征匹配质量和数量,估...     

动态环境下基于深度学习的语义SLAM算法

针对应用场景中存在的运动物体会降低视觉同步定位与地图构建（SLAM）系统的定位精度和鲁棒性的问题,提出一种基于语义信息的动态环境下的视觉SLAM算法。首先,将传统视觉SLAM前端与YOLOv4目标检测算法相结合,在对输入图像进行ORB特征提取的同时,对该图像进行语义分割;然后,判断目标类型以获得动态目标在图像中的区域,剔除分布在动态物体上的特征点;最后,使用处理后的特征点与相邻帧进行帧间匹配来求解相机位姿。实验采用TUM数据集进行测试,测试结果表明,所提算法相较于ORB-SLAM2在高动态环境下在位姿估计精度上提升了96.78%,同时该算法的跟踪线程处理一帧的平均耗时为0.065 5 s,相较于其他应用在动态环境下的SLAM算法耗时最短。实验结果表明,所提算法能够实现在动态环境中的实时精确定位与建图。     

移动机器人视觉惯性SLAM研究进展

在研究领域,基于滤波和基于优化是两种实现视觉惯性SLAM（同时定位与地图创建）的主导方法．本文基于这两种方法介绍视觉惯性SLAM,说明了视觉惯性SLAM的最新研究进展和关键问题,对比了几种代表性的视觉惯性SLAM框架,并对未来进行了展望．     

仿生机器人视觉导航研究分析

视觉导航技术是保证机器人自主移动的关键技术之一。为了从整体上把握当前国际上最新的视觉导航研究动态,全面评述了仿生机器人视觉导航技术的研究进展,重点分析了视觉SLAM(Simultaneous Local-ization and Mapping)、闭环探测、视觉返家三个关键问题的研究现状及存在的问题。提出了一个新的视觉SLAM算法框架,给出了待解决的关键理论问题,并对视觉导航技术发展的难点及未来趋势进行了总结。     

单机器人SLAM技术的发展及相关主流技术综述

从主要依据的输入传感器信号入手,将目前单机器人SLAM技术分为基于距离传感器和基于视觉传感器两大类,从起源、发展、最新技术及应用分别对这两类SLAM技术做了发展历程分析。总结了现有主流技术的研究框架,对基于距离传感器的主流技术EKF-SLAM、PF-SLAM、Fast SLAM的研究内容,基于视觉传感器的主流技术特征法、直接法、RGB-D SLAM、深度学习SLAM的研究内容进行综述,总结了每种技术的运行机制、优缺点和适宜场景,并预测SLAM技术的未来发展方向。     

视觉SLAM研究进展

视觉SLAM是指相机作为传感器进行自身定位同步创建环境地图。SLAM在机器人、无人机和无人车导航中具有重要作用,定位精度会影响避障精度,地图构建质量直接影响后续路径规划等算法的性能,是智能移动体应用的核心算法。本文介绍主流的视觉SLAM系统架构,包括几种最常见的视觉传感器,以及前端的功能和基于优化的后端。并根据视觉SLAM系统的度量地图的种类不同将视觉SLAM分为稀疏视觉SLAM、半稠密视觉SLAM和稠密视觉SLAM 3种,分别介绍其标志性成果和研究进展,提出视觉SLAM目前存在的问题以及未来可能的发展。     

视觉同步定位与建图系统中回环检测研究进展

回环检测又被称为位置识别,是“同步定位与建图”(Simultaneous Localization And Mapping, SLAM)系统中根据图像间的相似度判断运动轨迹是否经过重复地点(即存在回环)的功能,起到阶段性消除累积误差的作用。聚焦于视觉SLAM系统这一特定主题下的回环检测主题进行研究,概述了SLAM系统的基本功能与基本组成,分析了视觉SLAM系统中回环检测的原理与工作流程、前置问题、评测指标。剖析了回环检测发展过程中产生的系列方法,归类了视觉SLAM系统中回环检测存在的两类算法——基于词袋模型的回环检测算法和基于深度学习的回环检测算法,并对这两类算法的原理及优缺点进行了深入分析与总结。分析表明,基于词袋模型的回环检测算法因其在实时性上的优势仍处于主流,基于深度学习的回环检测算法具有较好的准确率和鲁棒性,但受限于设备对计算资源的分配,这一类做法如何应用于注重实时性的视觉SLAM系统仍是亟待解决的问题。最后,对回环检测面临的挑战和存在的问题进行了分析与展望。     

视觉惯性SLAM综述

对视觉SLAM、惯性导航和视觉惯性SLAM进行了介绍,详细介绍了视觉SLAM的框架结构和细分部分,罗列了近年来出色的视觉SLAM模型。最后在视觉惯性里程计的（visual inertial odometry,VIO）基础上,对现有的不同派别的开源视觉惯性SLAM进行深入分析与比较,探讨视觉惯性SLAM的发展趋势与动向。     

三维视觉前沿进展

在自动驾驶、机器人、数字城市以及虚拟/混合现实等应用的驱动下,三维视觉得到了广泛的关注。三维视觉研究主要围绕深度图像获取、视觉定位与制图、三维建模及三维理解等任务而展开。本文围绕上述三维视觉任务,对国内外研究进展进行了综合评述和对比分析。首先,针对深度图像获取任务,从非端到端立体匹配、端到端立体匹配及无监督立体匹配3个方面对立体匹配研究进展进行了回顾,从深度回归网络和深度补全网络两个方面对单目深度估计研究进展进行了回顾。其次,针对视觉定位与制图任务,从端到端视觉定位和非端到端视觉定位两个方面对大场景下的视觉定位研究进展进行了回顾,并从视觉同步定位与地图构建和融合其他传感器的同步定位与地图构建两个方面对同步定位与地图构建的研究进展进行了回顾。再次,针对三维建模任务,从深度三维表征学习、深度三维生成模型、结构化表征学习与生成模型以及基于深度学习的三维重建等4个方面对三维几何建模研究进展进行了回顾,并从多视RGB重建、单深度相机和多深度相机方法以及单视图RGB方法等3个方面对人体动态建模研究进展进行了回顾。最后,针对三维理解任务,从点云语义分割和点云实例分割两个方面对点云语义理解研究进展进行了回顾。在此基础上,给出了三维视觉研究的未来发展趋势,旨在为相关研究者提供参考。     

Recent advances in simultaneous localization and map-building using computer vision

Simultaneous localization and map-building (SLAM) continues to draw considerable attention in the robotics community due to the advantages it can offer in building autonomous robots. It examines the ability of an autonomous robot starting in an unknown environment to incrementally build an environment map and simultaneously localize itself within this map. Recent advances in computer vision have contributed a whole class of solutions for the challenge of SLAM. This paper surveys contemporary progress in SLAM algorithms, especially those using computer vision as main sensing means, i.e., visual SLAM. We categorize and introduce these visual SLAM techniques with four main frameworks: Kalman filter (KF)-based, particle filter (PF)-based, expectation-maximization (EM)-based and set membership-based schemes. Important topics of SLAM involving different frameworks are also presented. This article complements other surveys in this field by being current as well as reviewing a large body of research in the area of vision-based SLAM, which has not been covered. It clearly identifies the inherent relationship between the state estimation via the KF versus PF and EM techniques, all of which are derivations of Bayes rule. In addition to the probabilistic methods in other surveys, non-probabilistic approaches are also covered.     

An O(N²) Square Root Unscented Kalman Filter for Visual Simultaneous Localization and Mapping

This paper develops a Square Root Unscented Kalman Filter (SRUKF) for performing video-rate visual simultaneous localization and mapping (SLAM) using a single camera. The conventional UKF has been proposed previously for SLAM, improving the handling of nonlinearities compared with the more widely used Extended Kalman Filter (EKF). However, no account was taken of the comparative complexity of the algorithms: In SLAM, the UKF scales as O(N^{3}) in the state length, compared to the EKF's O(N^{2}), making it unsuitable for video-rate applications with other than unrealistically few scene points. Here, it is shown that the SRUKF provides the same results as the UKF to within machine accuracy and that it can be reposed with complexity O(N^{2}) for state estimation in visual SLAM. This paper presents results from video-rate experiments on live imagery. Trials using synthesized data show that the consistency of the SRUKF is routinely better than that of the EKF, but that its overall cost settles at an order of magnitude greater than the EKF for large scenes.     

双目视觉辅助的激光惯导SLAM算法

激光同步定位与地图构建(simultaneous localization and mapping, SLAM)算法在位姿估计和构建环境地图时依赖环境结构特征信息,在结构特征缺乏的场景下,此类算法的位姿估计精度与鲁棒性将下降甚至运行失败.对此,结合惯性测量单元(inertial measurement unit, IMU)不受环境约束、相机依赖视觉纹理的特点,提出一种双目视觉辅助的激光惯导SLAM算法,以解决纯激光SLAM算法在环境结构特征缺乏时的退化问题.即采用双目视觉惯导里程计算法为激光扫描匹配模块提供视觉先验位姿,并进一步兼顾视觉约束与激光结构特征约束进行联合位姿估计.此外,提出一种互补滤波算法与因子图优化求解的组合策略,完成激光里程计参考系与惯性参考系对准,并基于因子图将激光位姿与IMU数据融合以约束IMU偏置,在视觉里程计失效的情况下为激光扫描匹配提供候补的相对位姿预测.为进一步提高全局轨迹估计精度,提出基于迭代最近点匹配算法(iterative closest point, ICP)与基于图像特征匹配算法融合的混合闭环检测策略,利用6自由度位姿图优化方法显著降低里程计漂移误...     

Improving monocular visual SLAM in dynamic environments: an optical-flow-based approach

Visual Simultaneous Localization and Mapping (visual SLAM) has attracted more and more researchers in recent decades and many state-of-the-art algorithms have been proposed with rather satisfactory performance in static scenarios. However, in dynamic scenarios, the performance of current visual SLAM algorithms degrades significantly due to the disturbance of the dynamic objects. To address this problem, we propose a novel method which uses optical flow to distinguish and eliminate the dynamic feature points from the extracted ones using RGB images as the only input. The static feature points are fed into the visual SLAM system for the camera pose estimation. We integrate our method with the original ORB-SLAM system and validate the proposed method with the challenging dynamic sequences from the TUM dataset and our recorded office dataset. The whole system can work in real time. Qualitative and quantitative evaluations demonstrate that our method significantly improves the performance of ORB-SLAM in dynamic scenarios.