基于直接法与惯性测量单元融合的视觉里程计

针对直接法完全依靠梯度搜索来计算相机位姿、容易陷入局部最优的缺点,本文将惯性测量单元(IMU)数据紧密关联到图像跟踪过程,提供精确的短期运动约束和较好的初始梯度方向信息,并对视觉位姿跟踪结果进行校正,提高单目视觉里程计的跟踪精度.在此基础上,基于相机和IMU测量结果建立传感器数据融合模型,采用滑动窗口的方式优化求解,同时在边缘化过程中根据当前帧与上一关键帧之间的相机帧间运动大小,选择应边缘化的状态量和应加入滑动窗口的状态量,确保在优化过程中有足够准确的先验信息,确保优化融合的效果.实验结果表明,与现有的视觉里程计算法相比,本文算法在数据集上的定位角度累积误差在3°左右,位移累积误差小于0.4 m.     

基于单目视觉和里程计的SLAM算法研究

已有的基于视觉的SLAM方法大多采用双目立体视觉,存在成本高,标定过程复杂,鲁棒性低等缺点.因此,提出了基于单目视觉和里程计的SLAM方法.该方法采用尺度不变特征变换算法提取特征,用扩展卡尔曼滤波更新地图.此外,由于单个CCD摄像头不能直接获得图像的深度信息,采用特征点延迟初始化的方法来解决这个问题,这种方法使得基于单目视觉的导航变得可能.在MATLAB环境下实现了SLAM算法仿真,实验结果表明,在室内环境下,该算法运行可靠,定位精度高.     

基于点线结合特征的单目视觉里程计

SLAM(即时定位与地图构建)系统是近年来计算机视觉领域的一大重要课题,其中特征法的SLAM凭借稳定性好、计算效率高的优点成为SLAM算法的主流。目前特征法SLAM主要基于点特征进行。针对基于点特征的视觉里程计依赖于数据质量,相机运动过快时容易跟丢,且生成的特征地图不包含场景结构信息等缺点,提出了一种基于点线结合特征的优化算法。相较于传统基于线段端点的六参数表达方式,算法采用一种四参数的方式表示空间直线,并使用点线特征进行联合图优化估计相机位姿。使用公开数据集和自采集鱼眼影像数据分别进行实验的结果表明,与仅使用点特征的方法相比,该方法可有效改善因相机运动过快产生的跟丢问题,增加轨迹长度,提升位姿估计精度,且生成的稀疏特征地图更能反映场景结构特征。     

单目视觉里程计研究综述

单目视觉里程计不仅能为移动机器人提供导航避障等功能,在无人驾驶等领域中也有更广阔的应用价值。剖析了视觉里程计的基础原理,研究了单目视觉里程计技术的国内外现状;同时,对ORB-SLAM2、DSO等典型单目视觉里程计进行深入分析和比较。针对当前视觉里程计研究中普遍关注的鲁棒性和实时性等问题,探讨了下一步研究工作的发展方向和趋势。     

基于SIFT特征提取的单目视觉里程计在导航系统中的实现

设计一个基于SIFT(Scale Inviriant Feature Transform)特征提取的单目视觉里程计用于导航系统中,有效克服传统里程计车轮打滑等情况下的偏差问题,并提供传统里程计无法测量的航向信息.实现过程采用单个像机,利用SIFT特征点尺度及旋转不变的性质精确匹配图像序列中的投影点,并根据坐标变换来测定车辆的移动距离和旋转角度. 实验中安装要求和实现都相对简单,其结果表明可达到较高的测量精度.     

基于循环卷积神经网络的单目视觉里程计

提出了一种基于卷积长短期记忆(LSTM)网络和卷积神经网络(CNN)的单目视觉里程计方法,命名为LSTMVO(LSTM visual odometry).LSTMVO采用无监督的端到端深度学习框架,对单目相机的6-DoF位姿以及场景深度进行同步估计.整个网络框架包含位姿估计网络以及深度估计网络,其中位姿估计网络是以端到端方式实现单目位姿估计的深度循环卷积神经网络(RCNN),由基于卷积神经网络的特征提取和基于循环神经网络(RNN)的时序建模组成,深度估计网络主要基于编码器和解码器架构生成稠密的深度图.同时本文还提出了一种新的损失函数进行网络训练,该损失函数由图像序列之间的时序损失、深度平滑度损失和前后一致性损失组成.基于KITTI数据集的实验结果表明,通过在原始单目RGB图像上进行训练,LSTMVO在位姿估计精度以及深度估计精度方面优于现有的主流单目视觉里程计方法,验证了本文提出的深度学习框架的有效性.     

动态场景下结合语义的半直接法视觉里程计

针对传统视觉里程计方法在动态环境中跟踪效果差、容易失效的问题,提出了一种适用于动态场景下融合语义的半直接法视觉里程计,主要由语义分割、位姿跟踪和地图管理三部分组成。首先,使用语义分割网络Mask R-CNN对每一帧图像进行语义分割,得到语义分割二值图,结合语义先验信息删除动态特征;然后,利用静态部分特征进行帧间对齐和特征匹配完成位姿跟踪;最后,通过筛选关键帧和更新3D点深度对地图更新,并利用光束平差算法对局部地图的位姿和3D点进行优化。在公共数据集TUM RGB-D的动态序列集上的实验结果表明,该方法与ORB-SLAM2、OpenVSLAM相比,其跟踪误差分别减少了68%和72%,验证了该方法在动态场景中位姿跟踪的准确性。     

融合光流与改进ORB算法的单目视觉里程计

针对光流法定位精度差的问题,设计了一种光流和改进定向二进制简单描述符(ORB)算法融合的单目视觉里程计方法。首先利用光流法进行帧间位移定位,并根据经验设定每帧跟踪的最少特征点数,在跟踪特征点数低于设定的阈值后,利用改进的ORB算法进行帧间位移定位,最后通过二者的循环运行更新机器人的位置和姿态。结果表明:该方法克服了光流法定位精度差的缺点,突出了改进ORB算法定位准确性的优点,能够提供较准确的定位输出。     

一种基于半直接视觉里程计的RGB-D SLAM算法

提出了一种新的基于半直接视觉里程计的RGB-D SLAM(同步定位与地图创建)算法,同时利用直接法和传统特征点法的优势,结合鲁棒的后端优化和闭环检测,有效提高了算法在复杂环境中的定位和建图精度.在定位阶段,采用直接法估计相机的初始位姿,然后通过特征点匹配和最小化重投影误差进一步优化位姿,通过筛选地图点并优化位姿输出策略,使算法能够处理稀疏纹理、光照变化、移动物体等难题.算法具有全局重定位的能力.在后端优化阶段,提出了一种新的关键帧选取策略,同时保留直接法选取的局部关键帧和特征点法选取的全局关键帧,并行地维护2种关键帧,分别在滑动窗口和特征地图中对它们进行优化.算法通过对全局关键帧进行闭环检测和优化,提高SLAM的全局一致性.基于标准数据集和真实场景的实验结果表明,算法的性能在许多实际场景中优于主流的RGB-D SLAM算法,对纹理稀疏和有移动物体干扰的环境的鲁棒性较强.     

基于改进BRISK算法的单目视觉里程计

在传统的BRISK算法中使用自定义的抽样模式来描述检测到的特征点,使用基于汉明距离的方法进行特征点匹配。BRISK的这种特征点描述与匹配的方法使得其匹配准确率不高。因此本文提出将匹配准确率较高的SURF算法与BRISK算法相结合,在BRISK特征点描述与匹配阶段使用SURF描述符和基于欧氏距离的匹配方法。实验结果表明,该算法在时间消耗下降不大的情况下,特征点匹配准确率有很大提高,且该算法具有较好的鲁棒性。     

基于改进的3维ICP匹配的单目视觉里程计

针对目前流行的单目视觉里程计当移动机器人做“近似纯旋转运动”时鲁棒性不强的问题,从理论上分析了其定位鲁棒性不高的原因,提出了一种基于改进的3维迭代最近点（ICP）匹配的单目视觉里程计算法．该算法首先初始化图像的边特征点对应的深度值,之后利用改进的3维ICP算法迭代求解2帧图像之间对应的3维坐标点集的6维位姿,最后结合边特征的几何约束关系利用扩展卡尔曼深度滤波器更新深度值．改进的ICP算法利用反深度不确定度加权、边特征梯度搜索与匹配等方法,提高了传统ICP算法迭代求解的实时性和准确性．并且将轮子里程计数据作为迭代初始值,能够进一步提高定位算法的精度和针对“近似纯旋转运动”问题的鲁棒性．本文采用3个公开数据集进行算法验证,该算法在不损失定位精度的前提下,能够有效提高针对近似纯旋转运动、大场景下的鲁棒性．单目移动机器人利用本文算法可在一定程度上校正里程计漂移的问题．     

道路环境下动态特征视觉里程计研究

针对道路环境下移动车辆导航和定位的问题,提出了一种基于道路环境动态语义特征的单目视觉里程计。设计了一个自监督的卷积神经网络,对单目连续图像建模,直接预测深度图和位姿向量,不再依赖人工设计的特征点。针对道路环境下动态物体破坏光度一致性的问题,提出利用语义先验信息提高视觉里程计精度。设计两个全连接层分别估计旋转和平移向量。实验结果表明,该方法得到了与传统视觉里程计比肩的精度,并且在道路环境下具有优越的性能。     

单目视觉人工路标辅助的移动机器人导航方法

室内机器人在采用里程计法长距离导航时,定位精度下降很快,以及以往人工路标定位方案的识别准确率低,又难以满足导航实时性的要求. 针对这些问题,本文设计了能快速准确识别的人工路标,从而来修正机器人里程计法导航的累计误差,并通过卡尔曼滤波将人工路标和里程计法的定位信息有效地融合起来. 实验结果表明,数字人工路标的识别准确率高,且识别速度满足导航实时性的要求,该方法有效地提高了移动机器人里程计法导航时的精度和鲁棒性.     

基于图像对齐和不确定估计的深度视觉里程计

基于深度学习的视觉里程计方法（deep visual odometry,DVO）通过神经网络直接估计单目图像的深度和相邻图像之间的相机运动,在保证精度的同时大大提高了运行速度。但这是基于灰度不变假设,作为一个很强的假设,灰度不变假设在现实场景中往往难以满足。为此,提出一种基于图像对齐（image alignment,IA）的直接视觉里程计方法AUDVO(aligned U-CNN deep VO),通过不确定性估计网络（uncertainty CNN,U-CNN）引入正则项进行约束,使得估计的结果更具鲁棒性。为了处理大面积纹理缺失区域上因估计不准确带来的空洞,在设计深度估计模块时通过嵌入超分辨率网络进行上采样。在公开的KITTI数据集上的实验证明了AUDVO在深度和相机位姿估计上的有效性。     

基于深度学习的视觉里程计方法综述

视觉里程计（visual odometry,VO）是处理搭载视觉传感器的移动设备定位问题的一种常用方法,在自动驾驶、移动机器人、AR/VR等领域得到了广泛应用。与传统基于模型的方法相比,基于深度学习的方法可在不需显式计算的情况下从数据中学习高效且鲁棒的特征表达,从而提升其对于光照变化、少纹理等挑战性场景的鲁棒性。简略回顾了基于模型的视觉里程计方法,从监督学习方法、无监督学习方法、模型与学习融合方法、常用数据集、评价指标、模型法与深度学习方法对比分析六个方面全面介绍了基于深度学习的视觉里程计方法。指出了基于深度学习视觉里程计仍存在的问题和未来的发展趋势。     

基于改进ORB算法的视觉里程计特征匹配方法

为了满足排爆机器人自主导航要求,利用视觉SLAM技术,为排爆机器人路径规划做准备。本文主要对用特征点法搭建的前端视觉里程计进行优化,将FAST角点法与Harris角点法进一步结合,同时引入SIFT算法关键点检测,然后与BRIEF描述子结合,用暴力匹配算法完成不同图像的匹配。通过仿真实验验证算法的可行性,为后续的路径规划奠定基础。     

基于自适应外点剔除与解耦算法的视觉里程计

针对视觉里程计内点确定的问题,提出了一种基于自适应外点剔除与解耦算法的视觉里程计方法.采用ORB（Oriented FAST and Rotated BRIEF）算子检测特征点.采用经光流归一化的重投影误差作为内点评判标准,归一化的重投影误差与特征点的深度及位置无关.自运动估计分为两步：先使用改进的5-point RANSAC方法结合球形线性插值求解优化的旋转参数;然后采用两帧间光束法平差,结合归一化的重投影误差去除外点,迭代循环到最大次数或内点集合不变,得到最优的平移参数.采用公共数据集KITTI对算法进行测试,实验表明本文算法较之传统的采用固定阈值重投影误差评估内点并同时估计6自由度的方法,在外点剔除方面有显著提升,与同类视觉里程计方法相比在精度上也有提升.