视觉深度估计与点云建图研究进展

即时定位导航(SLAM)是无人驾驶和机器人实现自主移动的关键技术。目前广泛应用于SLAM技术中的激光雷达传感器存在成本高昂、激光点云空间分辨率低及难以获得精确的语义信息等一系列问题。视觉传感器可以有效避免上述问题,但是在深度预测和建图等方面需要更复杂的算法。近年来,随着处理器算力的提升、数据集的丰富和新机器视觉算法的出现,视觉深度预测和建图算法的精度和效率都有了明显提升。本文对现有视觉深度预测与视觉建图方法进行了总结,从视觉数据的采集和算法设计等方面进行分类阐述,最后针对应用场景和未来发展方向进行了分析。     

同步定位与建图技术研究进展

同步定位与建图(SLAM)技术是自主移动机器人的主要技术支撑,成为当今的研究热点。介绍了SLAM技术的发展历程及主要传感器,梳理了基于视觉、激光雷达以及多传感器融合的SLAM技术,并对常见的SLAM算法进行归纳总结,对比分析各实现方案的优缺点。最后探讨了SLAM的技术难题和发展趋势。     

激光雷达与相机自适应紧耦合的同时定位与建图算法

同时定位与建图（SLAM）是自动驾驶的基本要求之一。多传感器融合，尤其是激光雷达和相机的融合，对于自动驾驶来说是必不可少的。其中，如何针对各种场景调整不同传感器的置信度是关键问题，基于此，提出一种自适应紧耦合的激光雷达相机融合的SLAM(AVLS)算法。首先，所提AVLS算法建立在基于滑动窗口的因子图上，包含提升整体算法精度和鲁棒性的灵活深度关联和弹性初始化等模块。其次，为了充分探索激光雷达和相机在不同环境中的性能，采用一种基于先验知识的动态加权方案。最后，将所提AVLS算法在两个公开的大规模自动驾驶数据集上进行了全面实验，包括与经典算法的对比及消融实验，实验结果表明，AVLS算法的鲁棒性和精确度可以达到目前领先水平。     

基于融合改进RANSAC光流法的无人机视觉SLAM研究

针对同时定位与建图(SLAM)中存在定位精度不足、匹配特征点误差累积和特征匹配时间较长,提出了一种融合改进RANSAC光流法的优化算法。该方法基于传统RANSAC算法,加入最小二乘法对模型进行迭代优化来估计最优模型,对光流法的误匹配点进行剔除,大量减少图像误匹配特征点;把融合改进后的RANSAC光流法与特征点通过卡尔曼滤波进行融合,最后使用改进后的算法在公开的EuRoC MAV数据集中进行SLAM定位精度实验。实验结果表明：该改进算法能够有效减小光流法特征匹配的误差,从而提高无人机视觉SLAM的定位精度。     

动态场景下基于视觉的SLAM技术研究

针对视觉同时定位与地图构建(SLAM)技术在动态环境中存在定位精度低、地图虚影等问题,提出了一种基于深度学习的动态SLAM算法。该算法利用网络参数少且目标识别率高的YOLOv8n改善系统的视觉前端,为视觉前端增加语义信息,提取动态区域特征点。然后采用LK光流法识别动态区域的动态特征点,剔除动态特征点并保留动态区域内的静态特征点,提高特征点利用率。此外,该算法通过增加地图构建线程,剔除YOLOv8n提取的动态物体点云,接收前端提取的语义信息,实现静态语义地图构建,消除由动态物体产生的虚影。实验结果显示,在动态环境下该算法与ORB-SLAM3相比,定位精度提升92.71%,与其他动态视觉SLAM算法相比,也有小幅度改善。     

基于双目视觉与图像深度融合的机房三维重建方法分析

阐述基于双目视觉与图像深度融合的机房三维重建方法，采用双目视觉方案对目标深度信息进行测量，视觉SLAM技术根据左右目图像中的特征点匹配信息，基于本质矩阵恢复出当前帧相机相对于前一帧的位姿变换关系，构建当前帧相机系到参考系的位姿变换，从而在实现定位的基础上对目标进行三维重建。采用数据融合技术对多视结果与深度学习网络深度值进行融合，以解决重建点稀疏性的问题，提升三维机房重建精度以及机房数字孪生智能化监控能力。     

基于点线特征的改进视觉惯性SLAM方法

针对当前基于点线特征的视觉惯性同步定位与建图(Simultaneous Localization And Mapping,SLAM)算法容易将长线段检测为多条短线段导致线段匹配准确率降低,同时存在未能充分利用点线特征的融合等问题,提出一种基于点线特征的改进视觉惯性SLAM方法.首先,提出一种新的线段合并算法,将原属于同...     

视觉融合SLAM鲁棒框架研究

通过融合多种传感器,设计了视觉融合同时定位与地图构建(simultaneous localization and mapping,简称SLAM)的基本功能框架,突出了SLAM环境和动态检测功能,重点基于ROS构建了视觉融合SLAM的技术架构,通过DDS实现了多种功能节点的有效通信,较大程度地提升了视觉SLAM的稳定性和鲁棒性.     

基于PROSAC的视觉SLAM特征匹配方法

当前视觉即时定位与地图重构技术（SLAM）的过程中，通常采用随机采样一致性（RANSAC）的图像特征匹配算法，随机估计图像模型容易造成算法时间复杂度不确定，进而导致图像匹配时耗过大，难以满足视觉SLAM 实时性的要求。为了改善这一问题，使用渐进采样一致性（PROSAC）的算法对图像特征进行筛选，剔除误匹配特征点，有效改善了图像特征匹配的效率与鲁棒性，进一步增强了视觉SLAM 的稳定性与实时性。试验验证表明，相比于当前视觉SLAM 特征匹配算法，计算效率明显提升。     

基于动态特征剔除的图像与点云融合的机器人位姿估计方法

针对动态物体影响传感器进行机器人位姿估计的问题,本文提出了一种基于动态特征剔除点云与图像融合的位姿估计方法。首先,YOLOv4和PointRCNN分别被用于识别图像和点云中的潜在运动目标并提取候选框。其次,在视觉定位方面,双目视觉与稀疏光流被用于路标点的构建与追踪,并根据候选框剔除动态特征点,随后构建重投影误差函数,通过基于RANSAC剔除的非线性优化方法求解相机位姿;在激光定位方面,提取前后帧的直线与平面特征点,并根据候选框进行筛选,基于特征点到直线或平面的距离构建误差函数,进而求解激光雷达位姿。为使系统不再局限于单一传感器的使用环境限制,通过自适应加权方法,有效融合了两种位姿结果。最后,通过KITTI数据集和动态场景采集的数据进行定量实验对比,验证了剔除动态特征后的位姿估计的精确性以及融合算法的有效性。     

视觉SLAM在动态场景下的图像处理方法

SLAM一直是机器人领域的研究热点,近年来取得了万众瞩目的进步,但很少有SLAM算法考虑到动态场景的处理。针对视觉SLAM场景中动态目标的处理,提出一种在动态场景下的图像处理方法。将基于深度学习的语义分割算法引入到ORB_SLAM2方法中,对输入图像进行分类处理的同时剔除人身上的特征点。基于已经剔除特征点的图像进行位姿估计。在TUM数据集上与ORB_SLAM2进行对比,在动态场景下的绝对轨迹误差和相对路径误差精度提高了90%以上。在保证地图精度的前提下,改善了地图的适用性。     

基于SIFT算法的单目视觉SLAM路标观测研究

移动机器人在未知环境中利用视觉信息进行同时定位与地图构建时,如何提高机器人路标观测质量,成为了视觉SLAM研究中的重要问题。文中首先采用SIFT算法进行视觉图像信息特征点的提取和匹配,然后结合一点随机采样一致性原理,使用扩展卡尔曼滤波算法进行视觉路标的预测和更新。实验结果表明,与传统的基于FAST角点检测的路标观测方法相比,本文提出的SIFT-1pRANSAC-EKF单目视觉SLAM路标观测方法能够有效提高视觉路标的匹配成功率,提高观测质量。     

基于多传感器融合的无人机自主避障方法

针对无人机利用单一传感器进行避障时存在准确度低、信息缺失等问题,提出了一种基于多传感器融合的无人机自主避障方法。通过改进的贝叶斯融合算法将二维激光雷达与深度相机获取的点云信息进行融合,以弥补二维激光雷达无法检测的区域。同时,利用融合点云生成八叉树地图,并根据不断更新的地图信息对无人机进行实时航迹重规划,实现无人机在未知环境中的自主避障。实验结果表明,所研究方法不仅提高了无人机感知周围环境的准确度,融合点云的均方根误差小于0.06 m,还具有良好的避障效果,无人机与障碍物的距离均大于0.5 m,保证了其在未知环境中的安全飞行。     

基于激光雷达点云的滤波算法研究

激光雷达是是智能车多传感器感知部分的重要传感器组件,激光雷达对周围物体的识别结果是多传感器数据融合的重要输入参数。为了提高激光雷达的物体识别准确率,良好的滤波算法是其重要的一环。文章研究了两种激光雷达点云滤波算法,半径滤波和统计滤波。通过滤波结果对比,统计滤波器对激光雷达三维点云图的滤波效果更好。     

基于IMU/视觉融合的导航定位算法研究

针对基于视觉传感器的移动机器人在快速运动或发生旋转时出现图像模糊和特征丢失,以至无法进行特征匹配,从而导致系统定位和建图的准确度及精确度下降问题,该文提出了一种以深度相机(RGB_D)融合惯性测量单元（IMU）的方案。采用ORB SLAM2算法进行位姿估计,同时将IMU信息作为约束弥补相机数据的缺失。两种传感器的测量数据采用基于扩展卡尔曼滤波的松耦合方式进行非线性优化,通过数据采集实验表明,该方法能有效提高机器人的定位精度和系统建图效果。     

基于ORB词袋模型的SLAM回环检测研究

即时定位与地图构建(SLAM)是解决移动机器人在未知非结构化环境中自主导航与控制的关键,一个完整的SLAM系统包括传感器数据处理、位姿估计、构建地图、回环检测四个部分。其中回环检测机制是解决移动机器人的闭环重定位,提高SLAM系统鲁棒性的重要环节。该研究提出一种基于ORB词袋模型的SLAM系统框架,通过研究与分析了使用FLANN算法选取关键帧与匹配帧间特征点,ORB特征描述子对检测速度的提高,通过k-means++算法对特征点进行训练生成含有视觉单词的词袋模型,使用高斯金字塔的直方图交叉核的SVM分类器,使用e PNP算法的增量式帧间位姿估计,回环检测重定位机制等环节,实现了单目视觉SLAM系统的初始化与位姿优化,实现了在丢帧状况下通过词袋模型进行重定位。最后通过搭建实验平台和标准数据集的测试得到的数据结果表明,基于ORB词袋模型的SLAM系统,具有良好的实时性,能够有效提高SLAM系统的重定位准确性,增强了系统的鲁棒性。     

动态场景下融合YOLOv5s的视觉SLAM算法研究

为了解决视觉同步定位与建图(Simultaneous Localization and Mapping, SLAM)系统在动态场景下容易受到动态物体干扰,导致算法定位精度和鲁棒性下降的问题,提出了一种融合YOLOv5s轻量级目标检测网络的视觉SLAM算法。在ORB-SLAM2的跟踪线程中添加了目标检测和剔除动态特征点模块,通过剔除图像中的动态特征点,提高SLAM系统的定位精度和鲁棒性。改进了YOLOv5s的轻量化目标检测算法,提高了网络在移动设备中的推理速度和检测精度。将轻量化目标检测算法与ORB特征点算法结合,以提取图像中的语义信息并剔除先验的动态特征。结合LK光流法和对极几何约束来剔除动态特征点,并利用剩余的特征点进行位姿匹配。在TUM数据集上的验证表明,提出的算法与原ORB-SLAM2相比,在高动态序列下的绝对轨迹误差(Absolute Trajectory Error, ATE)和相对轨迹误差(Relative Pose Error, RPE)均提高了95%以上,有效提升了系统的定位精度和鲁棒性。相对当前一些优秀的SLAM算法,在精度上也有明显的提升,并且具有更高的实时性,在移...     

激光雷达IMU紧耦合的室内大范围SLAM方法

针对激光雷达SLAM算法在室内大范围场景中建图与定位精确度低、鲁棒性差的问题，提出一种激光雷达IMU紧耦合的SLAM方法。该方法基于LeGO-LOAM算法，在点云去畸变环节引入惯性测量单元（IMU）数据，将IMU预积分的结果作为初始位姿，消除点云畸变；在点云配准环节，将IMU预积分的结果作为迭代优化时的初始位姿，提升点云配准精度，从而提高机器人位姿估计的准确性；在后端优化环节，通过构建因子图的方式引入激光里程计因子、IMU预积分因子及回环因子，得到全局最优解，进一步提升建图与定位的精度。为验证所提方法的可行性，设计不同场景下LeGO-LOAM算法与改进SLAM算法的对比实验。实验结果表明，在室内大范围场景下，改进的SLAM算法能够减少轨迹波动，提升建图效果及轨迹精度，增强算法的鲁棒性。     

基于注意力机制的特征点匹配网络的SLAM方法

已有的实时定位与地图构建(simultaneous localization and mapping,SLAM)方案采用的特征点匹配方法普遍会受视角变化的影响使得特征点的匹配比较困 难,进而 干扰到特征点匹配的精度,最终影响到三维(three-dimensional, 3D) 点云地图构建以及相机运动位姿估计的精度。为 此,本文提出 一种基于注意力机制的特征点匹配网络的SLAM方法。相比于现有的SLA M方法,本 文将SLAM中视觉里程计模块的特征点匹配的方法替换成了一个全新的、基于注意力机制的 特征点匹配网 络的特征点匹配方法,并和传统的特征点提取方法做了一个全新的特征点提取与匹配的组合 ,形成了一个 新的视觉里程计,进而形成了一个新的SLAM方法。首先,通过传统的特征点提取算法进行 特征点的提取, 对提取的特征点及描述子向量进行编码,通过图注意力神经网络进行学习得到匹配描述子, 根据匹配描述 子创建得分矩阵,采用最优传输算法求解最优得分矩阵,计算得到最优匹配点对,到这里就 完成了特征点 提取与匹配的整个过程;基于匹配点对完成相机的定位、建图和回环检测。本文采用KITT I公开数据集 进行实验,实验结果表明采用基于注意力机制特征点匹配网络的SLAM方案,在视角变化不 稳定的情况下,相机运动轨迹误差和相机位姿估计误差的精度明显有所提升。     

无人机视觉SLAM算法及仿真

为将SLAM算法从地面机器人的两维空间扩展到无人机的三维环境,研究了SLAM的发展现状,指出无人机视觉SLAM面临的挑战,利用摄像机和惯导传感器的组合,建立了无人机视觉SLAM算法的数学模型;并提出了一种改进的延迟地标初始化的方法,为了便于理解和实施,简化了系统的状态和方差阵的结构,减少了存储和计算量。用EKF滤波对无人机视觉SLAM进行了仿真研究,得到了较好的估计效果,表明了SLAM在无人机上应用的可行性。