融合双目视觉与惯导信息的高效视觉里程计算法

为提高视觉里程计(VO)在大尺度环境下运行的实时性,提出一种融合双目视觉与惯导信息的视觉里程计算法,主要由前端位姿跟踪和后端局部地图优化两个线程组成.位姿跟踪线程首先使用惯导信息辅助光流法进行帧间特征点跟踪并估计相机初始位姿;接着通过最小化图像光度误差获取当前帧像素点与局部地图点的对应关系;而后最小化当前帧上局部地图点的重投影误差和惯性测量单元(IMU)预积分误差,得到当前帧准确的位姿估计.后端局部地图优化线程对滑动窗口内的关键帧提取特征点并三角化新地图点,使用光束平差法(BA)对逆深度参数化表示的地图点位置、关键帧位姿、速度以及陀螺仪和加速度计零偏进行滑窗优化,为前端提供更加精确的局部地图相机位姿和环境信息.在EuRoC数据集上的实验表明,相比于ORB-SLAM2、ORB-SLAM3算法,该融合双目视觉与惯导信息的视觉里程计算法的定位精度略有下降,但可以较大程度地提高位姿跟踪的实时性.     

基于视觉惯性融合的半直接单目视觉里程计

针对半直接单目视觉里程计缺乏尺度信息并且在快速运动中鲁棒性较差的缺点,设计了一种融合惯性测量信息的半直接单目视觉里程计,通过IMU（惯性测量单元）信息弥补视觉里程计的缺陷,有效提高跟踪精度与系统鲁棒性．本文联合惯性测量信息与视觉信息进行初始化,较准确地恢复了环境尺度信息．为提高运动跟踪的鲁棒性,提出一种IMU加权的运动先验模型．通过预积分获取IMU的状态估计,根据IMU先验误差调整权重系数,使用IMU先验信息的加权值为前端提供精确的初值．后端构建了紧耦合的图优化模型,融合惯性、视觉以及3维地图点信息进行联合优化,同时在滑动窗口中使用强共视关系作为约束,在消除局部累积误差的同时提高优化效率与优化精度．实验结果表明,本文的先验模型优于匀速运动模型与IMU先验模型,单帧先验误差小于1 cm．后端优化方法改进后,计算效率提高为原来的1.52倍,同时轨迹精度与优化稳定性也得到提高．在EuRoC数据集上进行测试,定位效果优于OKVIS算法,轨迹均方根误差减小为原视觉里程计的1/3．     

鲁棒的非线性优化的立体视觉－惯导SLAM

针对基于视觉特征的同时定位与地图构建（SLAM）系统在图像模糊、运动过快和特征缺失的情况下存在鲁棒性和精度急剧下降甚至失败的问题,提出了紧耦合的非线性优化的立体视觉-惯导SLAM系统．首先,以关键帧的位姿作为约束,采用分而治之的策略估计惯性测量单元（IMU）的偏差．在前端,针对ORB-SLAM2在跟踪过程中由于运动过快导致匀速运动模型失效的问题,通过预积分上一帧到当前帧的IMU数据,预测当前帧的初始位姿,并在位姿优化中加入了IMU预积分约束．然后,在后端优化中,在滑动窗口内优化关键帧的位姿、地图点和IMU预积分,并更新IMU的偏差．最后,通过EuRoC数据集验证该系统的性能,对比ORB-SLAM2系统、VINS-Mono系统和OKVIS系统,该系统的精度分别提高了1.14倍、1.48倍和4.59倍;相比前沿的SLAM系统,该系统在快速运动、图像模糊和特征缺失条件下的鲁棒性也得到了提高．     

基于视觉与激光融合的井下灾后救援无人机自主位姿估计

无人机在灾后矿井的自主导航能力是其胜任抢险救灾任务的前提,而在未知三维空间的自主位姿估计技术是无人机自主导航的关键技术之一。目前基于视觉的位姿估计算法由于单目相机无法直接获取三维空间的深度信息且易受井下昏暗光线影响,导致位姿估计尺度模糊和定位性能较差,而基于激光的位姿估计算法由于激光雷达存在视角小、扫描图案不均匀及受限于矿井场景结构特征,导致位姿估计出现错误。针对上述问题,提出了一种基于视觉与激光融合的井下灾后救援无人机自主位姿估计算法。首先,通过井下无人机搭载的单目相机和激光雷达分别获取井下的图像数据和激光点云数据,对每帧矿井图像数据均匀提取ORB特征点,使用激光点云的深度信息对ORB特征点进行深度恢复,通过特征点的帧间匹配实现基于视觉的无人机位姿估计。其次,对每帧井下激光点云数据分别提取特征角点和特征平面点,通过特征点的帧间匹配实现基于激光的无人机位姿估计。然后,将视觉匹配误差函数和激光匹配误差函数置于同一位姿优化函数下,基于视觉与激光融合来估计井下无人机位姿。最后,通过视觉滑动窗口和激光局部地图引入历史帧数据,构建历史帧数据和最新估计位姿之间的误差函数,通过对误差函数的非线性优化...     

基于动态边缘化的双目视觉惯性SLAM算法

针对单目视觉惯性SLAM算法鲁棒性不高且尺度恢复困难的问题,提出基于动态边缘化的双目视觉惯性SLAM算法(DM-SVI-SLAM).前端使用光流法进行特征跟踪,利用预积分计算帧间IMU,后端在滑动窗口内融合单/双目匹配点误差、IMU残差及先验误差构建捆集调整的成本函数,利用动态边缘化策略、Dog-Leg算法提升计算效率...     

基于局部与全局优化的双目视觉里程计算法

为实现移动机器人的实时精确定位,提出一种新的双目视觉里程计算法。利用加速尺度不变特征变换(SIFT)算子提取左右图像特征并做稀疏立体匹配,对前后帧图像进行帧间SIFT特征追踪,在RANSAC策略下通过运动估计获得初始位姿(旋转和平移矩阵)。在此基础上,将图像序列分为关键帧和非关键帧,采用可变滑动窗口对相邻关键帧的位姿局部非线性优化以减小帧间运动估计误差,同时通过词袋模型进行回环检测,对环内所有关键帧的位姿全局优化,避免位姿误差的累积和轨迹漂移。实验结果表明,该算法满足实时性要求,并且能够减小位姿误差,提高定位精度。     

基于传感器和视觉SLAM的双目相机虚拟注册研究

在无标记增强现实中,针对基于视觉特征的同时定位与地图构建(SLAM)增强现实注册算法在图像模糊、运动过快和特征缺失等情况下存在精度急剧下降问题,提出一种在视觉SLAM基础上融合惯性测量单元(IMU,Inertial measurement unit)改进的相机定位与虚拟注册方法.所提注册方法,在进行特征点匹配时通过IMU预积分模块减小匹配特征点的搜索空间,加速特征点匹配过程,提高时间效率;确定相机位姿时,采用视觉SLAM和IMU数据联合求解相机位姿,提高了注册精度.再根据相机位姿变化信息计算出变换矩阵,完成对虚拟对象的注册.最后,通过EuRoC数据集验证该方法的性能,对比其他方法,所提方法具有更高的时间效率和注册精度.     

基于视觉-IMU传感器融合SALM研究

为了验证提出的多传感器融合在工程应用中的有效性，针对视觉运动产生的失真情况，提出一种视觉-IMU传感器融合SALM的研究，并且设计了多传感器融合SLAM系统，将相机与IMU进行联合标定、采用图优化的融合方法在空间和时间上得到数据上的对齐。通过ROS系统自带的GAZEBO进行实时仿真，建立机器人小车模型在仿真的空间中运动，再通过APE绝对位姿误差计算并对比，得出了视觉-IMU融合的绝对位姿误差要比未融合情况下的误差小，优化之后的精度相比未融合的精度要高。因此利用该方法设计的融合系统较为合理。     

惯导卫星组合导航辅助的视觉导盲仪定位建图

视觉即时定位与建图(VSLAM)算法能够为穿戴式视觉导盲仪提供必要的位姿信息和环境信息。针对穿戴式视觉导盲仪对定位与建图精度的要求,提出了一种利用IMU/GPS组合导航辅助VSLAM的算法。在双目ORB-SLAM的跟踪线程中,将匀速运动模型改进为基于IMU/GPS组合导航位姿数据的运动模型,并且构造了综合视觉与组合导航数据的非线性优化,以提高跟踪线程的稳定性、提升定位精度。同时,局部建图线程的地图优化中也融合了组合导航数据,提高局部地图的精度,便于导盲仪检测环境信息,最终得到在大范围场景下稳定运行的定位与建图算法。在实际场景中的试验结果表明,该融合算法抑制了VSLAM的累积误差,同时VSLAM能够有效抑制GPS受环境影响产生的定位偏移误差,最终的定位精度达到0. 47 m。该算法提高了VSLAM建图效果,基本满足了视觉导盲仪对定位精度和环境信息的应用需求。     

利用惯导测量单元确定关键帧的实时SLAM算法

由于嵌入式处理器算力的限制,实时性差一直是视觉惯导同时定位与建图（VI-SLAM）走向实际应用的一个亟待解决的问题,因此提出一种利用惯导测量单元（IMU）确定关键帧的实时同时定位与建图（SLAM）算法,主要分为3个线程：跟踪、局部建图和闭环。首先由跟踪线程通过IMU预积分自适应地确定关键帧,而自适应阈值由视觉惯性紧耦合优化的结果得出;然后仅对关键帧进行跟踪,避免对所有帧进行特征处理;最后利用局部建图线程在滑动窗口中通过视觉惯导光束平差法得到更加精确的无人机位姿,利用闭环线程得到全局一致的轨迹和地图。在数据集EuRoC上的实验结果表明,该算法能在不降低精度和鲁棒性的情况下显著减少跟踪线程耗时,降低VI-SLAM对计算资源的依赖。在实际飞行测试中,该算法能够较实时准确地估计出具有尺度信息的无人机飞行真实轨迹。     

基于惯性/磁力传感器与单目视觉融合的SLAM方法

针对单目视觉SLAM（同时定位与地图构建）算法没有尺度信息以及在相机移动过快时无法使用的问题,提出了一种IMU（惯性测量单元）!!/磁力传感器与单目视觉融合的SLAM方法．首先,提出了一种模糊自适应的九轴姿态融合算法,对IMU的航向角进行高精度估计．然后,采用单目ORB-SLAM2（oriented FAST and rotated BRIEF SLAM2）算法,通过IMU估计其尺度因子,并对其输出的位姿信息进行尺度转换．最后,采用松耦合方式,对IMU估计的位姿和ORB-SLAM2算法经过尺度转换后的位姿,进行卡尔曼滤波融合．在公开数据集EuRoC上进行了测试,测试结果表明本文方法总的位置均方根误差为5.73 cm．为了进一步在实际环境中验证,设计了全向移动平台,以平台上激光雷达所测的位姿数据为基准,测试结果表明本文方法的旋转角度误差小于5°,总的位置均方根误差为9.76 cm．     

双目视觉辅助的激光惯导SLAM算法

激光同步定位与地图构建(simultaneous localization and mapping, SLAM)算法在位姿估计和构建环境地图时依赖环境结构特征信息,在结构特征缺乏的场景下,此类算法的位姿估计精度与鲁棒性将下降甚至运行失败.对此,结合惯性测量单元(inertial measurement unit, IMU)不受环境约束、相机依赖视觉纹理的特点,提出一种双目视觉辅助的激光惯导SLAM算法,以解决纯激光SLAM算法在环境结构特征缺乏时的退化问题.即采用双目视觉惯导里程计算法为激光扫描匹配模块提供视觉先验位姿,并进一步兼顾视觉约束与激光结构特征约束进行联合位姿估计.此外,提出一种互补滤波算法与因子图优化求解的组合策略,完成激光里程计参考系与惯性参考系对准,并基于因子图将激光位姿与IMU数据融合以约束IMU偏置,在视觉里程计失效的情况下为激光扫描匹配提供候补的相对位姿预测.为进一步提高全局轨迹估计精度,提出基于迭代最近点匹配算法(iterative closest point, ICP)与基于图像特征匹配算法融合的混合闭环检测策略,利用6自由度位姿图优化方法显著降低里程计漂移误...     

面向动态环境的视觉惯性定位方法

针对传统的视觉惯性里程计在动态环境下定位精度低和系统鲁棒性差等问题,提出了面向动态环境的视觉惯性定位方法。首先,利用语义分割提取环境中的语义信息,借助环境先验信息识别出动态物体。同时,采用深度生成网络对动态物体区域进行背景修复,生成只包含静态场景的图像,并将生成的图像用于后续的特征提取和跟踪,以减弱动态物体的影响。后端构建了紧耦合的图优化模型,将视觉数据与IMU数据相互融合,在滑动窗口中以非线性优化的方式估计位姿。实验结果表明,本文方法可以有效降低动态物体对定位的影响,提高了系统的定位精度和鲁棒性。     

基于动态物体跟踪的语义SLAM

针对传统视觉SLAM在动态场景下容易出现特征匹配错误从而导致定位精度下降的问题,提出了一种基于动态物体跟踪的语义SLAM算法。基于经典的视觉SLAM框架,提取动态物体进行帧间跟踪,并利用动态物体的位姿信息来辅助相机自身的定位。首先,算法在数据预处理中使用YOLACT、RAFT以及SC-Depth网络,分别提取图像中的语义掩膜、光流向量以及像素深度值。其次,视觉前端模块根据所提信息,通过语义分割掩膜、运动一致性检验以及遮挡点检验算法计算概率图以平滑区分场景中的动态特征与静态特征。然后,后端中的捆集调整模块融合了物体运动的多特征约束以提高算法在动态场景中的位姿估计性能。最后,在KITTI和OMD数据集的动态场景中进行对比验证。实验表明,所提算法能够准确地跟踪动态物体,在室内外动态场景中具备鲁棒、良好的定位性能。     

基于局部熵的SLAM视觉里程计优化算法

针对移动机器人视觉同步定位与地图创建中由于相机大角度转动造成的帧间匹配失败以及跟踪丢失等问题, 提出了一种基于局部图像熵的细节增强视觉里程计优化算法. 建立图像金字塔, 划分图像块进行均匀化特征提取, 根据图像块的信息熵判断其信息量大小, 将对比度低以及梯度变化小的图像块进行删除, 减小图像特征点计算量. 对保留的图像块进行亮度自适应调整, 增强局部图像细节, 尽可能多地提取能够表征图像信息的局部特征点作为相邻帧匹配以及关键帧匹配的关联依据. 结合姿态图优化方法对位姿累计误差进行局部和全局优化, 进一步提高移动机器人系统性能. 采用TUM数据集测试验证, 由于提取了更能反映物体纹理以及形状的特征属性, 本文算法的运动跟踪成功率最高可提升至60 % 以上, 并且测量的轨迹误差、平移误差以及转动误差都有所降低. 与目前ORB-SLAM2系统相比, 本文提出的算法不但提高了移动机器人视觉定位精度, 而且满足实时SLAM的应用需要.     

基于卷帘快门RGB-D相机的视觉惯性SLAM方法

针对当前单目视觉惯性SLAM(同步定位与地图创建)中初始化需要加速度激励以及高IMU(惯性测量单元)噪声条件下系统精度下降的问题,提出一种基于卷帘快门RGB-D相机的视觉惯性SLAM方法——VINS-RSD方法.VINS-RSD方法联合卷帘快门RGB-D图像和IMU对系统进行初始化,通过控制特征的速度对卷帘快门效应进行校正,并采用一种带置信因子的损失核函数进行滑动窗口优化.为了评测该方法,在WHU-RSVI数据集的基础上制作了一个可以评价RGB-D视觉惯性SLAM算法的开源深度数据集并进行实验验证.结果表明,与VINS-Mono方法相比,VINS-RSD方法的均方根误差平均值下降了30.76％,表明该方法能获得更高的跟踪精度.     

基于多传感信息融合的语义词袋SLAM优化算法

针对室外大范围场景移动机器人建图中,激光雷达里程计位姿计算不准确导致SLAM (simultaneous localization and mapping)算法精度下降的问题,提出一种基于多传感信息融合的SLAM语义词袋优化算法MSW-SLAM(multi-sensor information fusion SLAM based on semantic word bags)。采用视觉惯性系统引入激光雷达原始观测数据,并通过滑动窗口实现了IMU (inertia measurement unit)量测、视觉特征和激光点云特征的多源数据联合非线性优化;最后算法利用视觉与激光雷达的语义词袋互补特性进行闭环优化,进一步提升了多传感器融合SLAM系统的全局定位和建图精度。实验结果显示,相比于传统的紧耦合双目视觉惯性里程计和激光雷达里程计定位,MSW-SLAM算法能够有效探测轨迹中的闭环信息,并实现高精度的全局位姿图优化,闭环检测后的点云地图具有良好的分辨率和全局一致性。     

一种基于改进闭环检测的视觉SLAM算法

针对视觉SLAM中由于视觉里程计存在累积误差导致难以构建全局一致的地图的问题,提出一种基于改进闭环检测的视觉SLAM算法。通过差分信息熵删除冗余关键帧;利用基于词袋模型(bag of words, BoW)改进的金字塔得分函数检测闭环,提高闭环的识别率,并通过改进的感知哈希算法对提取的闭环候选帧进行几何验证,剔除差别较大的候选帧。整个闭环检测算法结合ORB-SLAM2框架进行特征点提取、相机位姿估计和g2o图优化。利用标准RGBD SLAM数据集进行算法验证,实验结果表明,该算法能够有效降低SLAM系统的累积误差,实现更加准确的位姿估计,并且满足机器人建图的实时性要求。     

一种多层次数据融合的SLAM定位算法

针对2D激光SLAM(同步定位和地图构建)机器人导航中激光点云匹配计算量大、轨迹闭合效果差、位姿累积误差大、以及各环节传感器观测数据利用不充分等问题,提出一种基于多层次传感器数据融合的实时定位与建图方法——Multilevel-SLAM.首先,在数据预处理方面,利用IMU(惯性测量单元)数据预积分结果为激光点云配准提供坐标转换依据.对激光点云进行特征采样,降低点云匹配计算量.其次,通过无迹卡尔曼滤波算法融合IMU、LiDAR(激光雷达)观测量得到机器人位姿,来提高闭环检测效果.最后,将激光点云配准约束、闭环约束、IMU预积分约束加入到SLAM算法的后端优化中,对全局地图位姿节点估计提供约束配准,实现多层次的数据融合.在实验中利用LiDAR-IMU公开数据集对Karto-SLAM、Cartographer和Multilevel-SLAM算法进行性能测试对比.Multilevel-SLAM算法的定位精度始终保持在5 cm以内,而对比方法则存在不同程度的定位偏移.实验结果表明,在没有显著增加计算量的前提下,Multilevel-SLAM算法有效提高了闭环处的轨迹闭合效果,具有更低的定位误差.     

分裂合并运动分割的多运动视觉里程计方法

目的 视觉里程计（visual odometry,VO）仅需要普通相机即可实现精度可观的自主定位,已经成为计算机视觉和机器人领域的研究热点,但是当前研究及应用大多基于场景为静态的假设,即场景中只有相机运动这一个运动模型,无法处理多个运动模型,因此本文提出一种基于分裂合并运动分割的多运动视觉里程计方法,获得场景中除相机运动外多个运动目标的运动状态。方法 基于传统的视觉里程计框架,引入多模型拟合的方法分割出动态场景中的多个运动模型,采用RANSAC（random sample consensus）方法估计出多个运动模型的运动参数实例;接着将相机运动信息以及各个运动目标的运动信息转换到统一的坐标系中,获得相机的视觉里程计结果,以及场景中各个运动目标对应各个时刻的位姿信息;最后采用局部窗口光束法平差直接对相机的姿态以及计算出来的相机相对于各个运动目标的姿态进行校正,利用相机运动模型的内点和各个时刻获得的相机相对于运动目标的运动参数,对多个运动模型的轨迹进行优化。结果 本文所构建的连续帧运动分割方法能够达到较好的分割结果,具有较好的鲁棒性,连续帧的分割精度均能达到近100%,充分保证后续估计各个运动模型参数的准确性。本文方法不仅能够有效估计出相机的位姿,还能估计出场景中存在的显著移动目标的位姿,在各个分段路径中相机自定位与移动目标的定位结果位置平均误差均小于6%。结论 本文方法能够同时分割出动态场景中的相机自身运动模型和不同运动的动态物体运动模型,进而同时估计出相机和各个动态物体的绝对运动轨迹,构建出多运动视觉里程计过程。