视觉融合SLAM鲁棒框架研究

通过融合多种传感器,设计了视觉融合同时定位与地图构建(simultaneous localization and mapping,简称SLAM)的基本功能框架,突出了SLAM环境和动态检测功能,重点基于ROS构建了视觉融合SLAM的技术架构,通过DDS实现了多种功能节点的有效通信,较大程度地提升了视觉SLAM的稳定性和鲁棒性.     

基于虚拟现实的移动机器人真实环境三维建模系统

传统的虚拟现实（VR）技术通过人为建模的方式生成室内三维地图模型，存在速度慢、模型与现实物体尺度之间存在偏差的问题。鉴于此，提出基于VR的移动机器人的真实环境三维建模系统。首先通过视觉同时定位与建图（SLAM）技术快速地获取室内的高精度稠密三维点云地图；其次将三维点云通过曲面重建算法重建为室内三维模型并导入到unity 3D中；然后借助VR设备将室内三维模型置于三维立体的虚拟环境中；最后通过视觉SLAM技术实现移动机器人在室内环境的重定位，实时映射机器人在模型中的位姿，完成交互。利用视觉SLAM技术构建三维地图模型不仅快速，解决了场景尺度偏差的问题，且实现地图的重复使用。同时VR技术也使操作人员可以获得强烈的沉浸感，从而更好地理解机器人的工作环境。     

动态场景下基于视觉的SLAM技术研究

针对视觉同时定位与地图构建(SLAM)技术在动态环境中存在定位精度低、地图虚影等问题,提出了一种基于深度学习的动态SLAM算法。该算法利用网络参数少且目标识别率高的YOLOv8n改善系统的视觉前端,为视觉前端增加语义信息,提取动态区域特征点。然后采用LK光流法识别动态区域的动态特征点,剔除动态特征点并保留动态区域内的静态特征点,提高特征点利用率。此外,该算法通过增加地图构建线程,剔除YOLOv8n提取的动态物体点云,接收前端提取的语义信息,实现静态语义地图构建,消除由动态物体产生的虚影。实验结果显示,在动态环境下该算法与ORB-SLAM3相比,定位精度提升92.71%,与其他动态视觉SLAM算法相比,也有小幅度改善。     

融合四叉树分布策略的改进ORB算法研究

在视觉同时定位与地图构建（visual-simultaneous localization and mapping）中,当前常见的特征提取与匹配算法存在特征分布不均匀以及错误匹配等问题,严重影响SLAM的性能。首先,在ORB特征提取的基础上,提出一种融合四叉树分布策略的改进特征提取与匹配算法,对上述问题的解决给出了新思路。然后,在特征提取阶段,使用四叉树分布筛选高质量特征点,将图像划分成多个非重叠的方形网格,利用基于图像窗格划分的误匹配剔除方法提高匹配正确率。最后,选取TUM室内图像数据,将所提出的算法与原始ORB算法、BRISK算法进行比较,验证了算法的实时性和有效性。同时针对视觉SLAM过程中可能存在的图像尺度及旋转变换问题,选用Mikolajczyk图像数据集中,不同场景序列图像的第一幅与第二幅图像进行特征提取与匹配实验。结果表明,所提出的算法在应对尺度及旋转变换场景具有一定适用性。     

动态环境下基于深度学习的视觉SLAM研究综述

目前的同时定位与地图构建(Simultaneous Localization and Mapping,SLAM)研究大多是基于静态场景的假设,而实际生活中动态物体是不可避免的。在视觉SLAM系统中加入深度学习,可以协同剔除场景中的动态物体,有效提升视觉SLAM在动态环境下的鲁棒性。文章首先介绍了动态环境下基于深度学习的视觉SLAM分类,然后详细介绍了基于目标检测、基于语义分割和基于实例分割的视觉SLAM,并对它们进行了分析比较。最后,结合近年来视觉SLAM的发展趋势,通过对动态环境下基于深度学习的视觉SLAM存在的主要问题进行分析,总结了未来可能的发展方向。     

基于深度学习的视觉SLAM闭环检测方法

针对在摄像机视角、光照、气候、地貌等条件的大 幅度变化或者存在快速移动物体的 复杂场景下,视觉即时定位与地图构建(simultaneous localization and mapping,SLAM)的精确性和鲁棒性较低等问题,闭环检 测作为解决SLAM位姿漂移的重要环节,提出了一种基于神经网络的闭环检测方法。该方 法通过传感器获取视觉图像的数据,不同于传统方法的特征提取,采用改进三重约束损 失函数训练Darknet提取图像特征,构造对应特征向量矩阵。由于Darknet借鉴了残差网络(resnet)的思想,在具有较深网络层数的同时,仍保持较高的准确率,减少了特征提取 误差。经过自编码器方法对数据进行降维处理,通过余弦相似度计算,设定合理阈值,能够 更快的得到闭环检测结果。最后通过在两个公开视觉SLAM闭环检测数据集,New College数 据集和光照及角度变化更明显的City Centre数据集上进行实验,结果表明复杂环境下本文 提出的方法比现有闭环检测方法,能够得到更高准确率和速率,更好满足了视觉SLAM系统对 消除累计误差和实时性的要求。     

动态场景下基于视觉同时定位与地图构建技术的多层次语义地图构建方法

为提高视觉同时定位与地图构建(SLAM)技术的环境适应性和语义信息理解能力,该文提出一种可以在动态场景下实现多层次语义地图构建的视觉SLAM方案。首先利用被迫移动物体与动态目标间的空间位置关系,并结合目标检测网络和光流约束判断真正的动态目标,从而剔除动态特征点;其次提出一种基于超体素的快速点云分割方案,将基于静态区域构建的3维地图进行优化,构建了物体级的点云语义地图;同时构建的语义地图可以提供更高精度的训练数据样本,进一步用来提升目标检测网络性能。在TUM和ICL-NUIM数据集上的实验结果表明,该方法在定位精度上远优于目前主流的动态场景下的视觉SLAM方案,证明了该方法在高动态场景中具有较好的稳定性和鲁棒性;在建图精度和质量上,经过将重建的不同种类地图与各个现有方法进行比较,验证了提出的多层次语义地图构建的方法在静态和高动态场景中的有效性与适用性。     

基于ORB词袋模型的SLAM回环检测研究

即时定位与地图构建(SLAM)是解决移动机器人在未知非结构化环境中自主导航与控制的关键,一个完整的SLAM系统包括传感器数据处理、位姿估计、构建地图、回环检测四个部分。其中回环检测机制是解决移动机器人的闭环重定位,提高SLAM系统鲁棒性的重要环节。该研究提出一种基于ORB词袋模型的SLAM系统框架,通过研究与分析了使用FLANN算法选取关键帧与匹配帧间特征点,ORB特征描述子对检测速度的提高,通过k-means++算法对特征点进行训练生成含有视觉单词的词袋模型,使用高斯金字塔的直方图交叉核的SVM分类器,使用e PNP算法的增量式帧间位姿估计,回环检测重定位机制等环节,实现了单目视觉SLAM系统的初始化与位姿优化,实现了在丢帧状况下通过词袋模型进行重定位。最后通过搭建实验平台和标准数据集的测试得到的数据结果表明,基于ORB词袋模型的SLAM系统,具有良好的实时性,能够有效提高SLAM系统的重定位准确性,增强了系统的鲁棒性。     

基于PROSAC的视觉SLAM特征匹配方法

当前视觉即时定位与地图重构技术（SLAM）的过程中，通常采用随机采样一致性（RANSAC）的图像特征匹配算法，随机估计图像模型容易造成算法时间复杂度不确定，进而导致图像匹配时耗过大，难以满足视觉SLAM 实时性的要求。为了改善这一问题，使用渐进采样一致性（PROSAC）的算法对图像特征进行筛选，剔除误匹配特征点，有效改善了图像特征匹配的效率与鲁棒性，进一步增强了视觉SLAM 的稳定性与实时性。试验验证表明，相比于当前视觉SLAM 特征匹配算法，计算效率明显提升。     

基于深度相机的机器人室内定位技术研究

机器人在室内运动时,需要创建环境地图并估计位姿,以实现自主定位和导航。针对机器人的同时定位与地图创建(SLAM)问题,采用动态贝叶斯网络描述SLAM状态转移过程。通过不断迭代更新机器人的位置估计和修正估计值,完成机器人的室内定位。基于深度相机采集的RGB图像信息,进行相邻帧图像的特征提取与匹配,估算机器人当前位姿。然后使用迭代最近点算法优化初始位姿。以初始位姿为节点,相邻帧的约束关系为边创建节点图。进一步采用Hogman算法对整个节点图进行动态优化,得到全局一致的室内地图。最后根据优化后的节点图,多帧数据叠加就可得到三维地图。实验采用华硕Xtion Pro Live深度相机,实验室地点为目标,成功创建了环境的三维地图,验证了方法的有效性和可行性。     

SLAM激光扫描的建筑物建模方法与应用Building modeling method and application of SLAM laser scanning

基于SLAM激光扫描系统对目标建筑物进行点云数据采集,通过点云去噪、重采样等预处理得到了建筑物目标点云,利用特征提取算法提取建筑物轮廓线,分别采用点云数据直接建模法和基于轮廓线建模方法对目标建筑物进行了建模对比,利用传统全站仪获取的10个特征尺寸进行了精度验证。试验结果表明,直接建模法的建筑物模型精度为0.058 m,基于轮廓线建立的模型的精度为0.032 m,基于建筑物线特征约束的建模精度明显高于点云数据直接建模精度,为SLAM激光扫描系统在建筑物三维模型建立中的应用提供了方法和参考。     

视觉SLAM在动态场景下的图像处理方法

SLAM一直是机器人领域的研究热点,近年来取得了万众瞩目的进步,但很少有SLAM算法考虑到动态场景的处理。针对视觉SLAM场景中动态目标的处理,提出一种在动态场景下的图像处理方法。将基于深度学习的语义分割算法引入到ORB_SLAM2方法中,对输入图像进行分类处理的同时剔除人身上的特征点。基于已经剔除特征点的图像进行位姿估计。在TUM数据集上与ORB_SLAM2进行对比,在动态场景下的绝对轨迹误差和相对路径误差精度提高了90%以上。在保证地图精度的前提下,改善了地图的适用性。     

基于融合改进RANSAC光流法的无人机视觉SLAM研究

针对同时定位与建图(SLAM)中存在定位精度不足、匹配特征点误差累积和特征匹配时间较长,提出了一种融合改进RANSAC光流法的优化算法。该方法基于传统RANSAC算法,加入最小二乘法对模型进行迭代优化来估计最优模型,对光流法的误匹配点进行剔除,大量减少图像误匹配特征点;把融合改进后的RANSAC光流法与特征点通过卡尔曼滤波进行融合,最后使用改进后的算法在公开的EuRoC MAV数据集中进行SLAM定位精度实验。实验结果表明：该改进算法能够有效减小光流法特征匹配的误差,从而提高无人机视觉SLAM的定位精度。     

基于在线估计的视觉SLAM低光照图像增强算法

为了提升基于特征点的双目视觉定位算法在低光照环境下定位的准确性,提出一种基于在线估计的视觉同步定位与地图构建(simultaneous localization and mapping,SLAM)低光照图像增强算法.通过在线估计图像亮度值,实时更新图像增强算法的参数,解决了基于固定参数的图像增强算法在图像较亮、较暗等情况下的不适用性问题.首先,通过ORB-SLAM2系统寻找定位准确度的影响因素,并通过在线估计参数的方法实时更新相关参数.其次,利用低光照图像增强算法(low-light image enhancement,LIME)改善图像效果.最后,根据增强后的图像进行特征点提取,提升了特征匹配准确度,进而提升了定位的准确度.在公开EuRoC数据集上,通过与目前广泛使用的ORB-SLAM2算法进行对比实验,结果表明本文提出的视觉SLAM系统,具有更好的定位准确性及鲁棒性.     

A new head pose tracking method based on stereo visual SLAM

Real-time and reliable head pose tracking is the basis of human–computer interaction and face analysis applications. Aiming at the problems of accuracy and real time performance in current tracking method, a new head pose tracking method based on stereo visual SLAM is proposed in this paper. The sparse head map is constructed based on ORB feature points extraction and stereo matching, then the 3D-2D matching relations between 3D mappoints and 2D feature points are obtained by projection matching. Finally, the camera pose solved by the Bundle Adjustment is converted to head pose, which realizes the tracking of head pose. The experimental results show that this method can obtain high precise head pose. The mean errors of three Euler angles are all less than 1°. Therefore, the proposed head pose tracking method can track and estimate precise head pose in real time under smooth background.     

Multi‐robot Mapping Using Omnidirectional‐Vision SLAM Based on Fisheye Images

This paper proposes a global mapping algorithm for multiple robots from an omnidirectional‐vision simultaneous localization and mapping (SLAM) approach based on an object extraction method using Lucas–Kanade optical flow motion detection and images obtained through fisheye lenses mounted on robots. The multi‐robot mapping algorithm draws a global map by using map data obtained from all of the individual robots. Global mapping takes a long time to process because it exchanges map data from individual robots while searching all areas. An omnidirectional image sensor has many advantages for object detection and mapping because it can measure all information around a robot simultaneously. The process calculations of the correction algorithm are improved over existing methods by correcting only the object's feature points. The proposed algorithm has two steps: first, a local map is created based on an omnidirectional‐vision SLAM approach for individual robots. Second, a global map is generated by merging individual maps from multiple robots. The reliability of the proposed mapping algorithm is verified through a comparison of maps based on the proposed algorithm and real maps.     

一种非迭代的位姿估计方法

针对深度相机运动中的位姿估计问题,提出了一种无需迭代的估计方法。首先,在二维图像上应用图像特征点提取和描述方法,完成不同视点的初始匹配。其次,选择初始匹配度量距离最小的2个特征点作为种子点。以三维空间中欧式距离与坐标系的建立无关为准则,对初始匹配进行筛选。剔除误匹配点对,进而计算运动位姿参数。最后,采用nyuv2图像数据库进行实验,验证了本文算法的可行性和正确性。实验结果表明:与传统算法相比,该方法计算效率平均提高了8倍以上,特别适用于大型场景中的同步定位和地图构建SLAM(Simultaneous Localization and Mapping)问题。     

基于PF/CUKF/EKF的移动机器人SLAM框架算法

 提出了一种基于混合滤波的移动机器人同时定位与地图创建(SLAM)算法框架,并利用统计理论对SLAM算法进行一致性评估,该算法框架将机器人SLAM中的联合后验概率分布分解为机器人路径部分及以机器人路径为条件的地图部分,使滤波器变成低维滤波,能够有效地提高计算效率.采用约束的无色卡尔曼滤波(CUKF)算法并融合新的观测数据使提议分布更加接近后验概率分布,并且能够精确估计移动机器人的位姿,进而通过扩展卡尔曼滤波(EKF)算法更新特征地图的位置.仿真实验表明该混合滤波技术为SLAM算法提供了一种有效可靠的途径,在一定条件下与其他SLAM算法比较会得到更高的精度要求.