基于稀疏直接法闭环检测定位的视觉里程计

视觉里程计在移动机器人的定位导航中发挥着关键性作用, 但当前的算法在运行速度、轨迹精度和鲁棒性等方面依然存在改善空间。为提高相机轨迹精度, 提出基于稀疏直接法的闭环检测算法。该算法直接提取两种特征组成混合型特征点提升系统鲁棒性, 混合型特征点用于跟踪和匹配关键帧, 使视觉里程计能够检测闭环, 再用位姿图优化提升定位精度。实验结果表明在复杂环境中具有较强的鲁棒性, 并且在速度和精度之间取得平衡。     

一种新的单目相机序列影像稠密三维重建方法

针对传统增量式三维重建方法重建点云较稀疏的问题,在稀疏重建算法的基础上,提出了一种序列影像稠密三维重建方法。首先,使用强制特征选择机制选取稠密特征,通过光流跟踪特征点获取稠密同名点对;其次,为保证同名点精度,利用前后向判决策略剔除外点,并利用稀疏重建获取的相机位姿,采用基于对极几何约束优化同名点坐标的方法对跟踪点坐标进行优化;最后,通过基于相机位姿的深度滤波器恢复稠密点云,实现稠密三维重建。分别使用标准数据集和实测数据集进行实验,结果表明:提出的算法可精确估计相机位姿,同时可获取稠密三维重建,能广泛应用于工程实践。     

基于三视图几何约束的摄像机相对位姿估计

针对从影像中恢复摄像机位姿的问题,提出基于三视图几何约束的位姿估计算法.利用强制选择机制对影像进行特征点提取,通过光流法和前后向误差实现相邻三帧影像的特征点匹配;推导基于本质矩阵优化分解的位姿估计,利用对极几何约束构建目标函数,通过迭代优化确定旋转矩阵的唯一解,优化了唯一解的确定方法,提高了相对位姿估计效率,得到第1、2摄像机矩阵;基于三视图的几何约束关系,由三焦点张量和匹配特征点建立目标函数,由迭代过程得到第3摄像机相对于第1摄像机的位姿参数.结果表明,提出算法的鲁棒性、精度以及算法效率均优于传统算法,能够快速、准确地估计摄像机相对位姿,可以实现对旋翼无人机的轨迹跟踪.     

基于双目强约束的直接稀疏视觉里程计

为了提高双目直接稀疏里程计(Stereo Direct Sparse Odometry, Stereo DSO)的定位速度和精度, 使得移动机器人可以更有效地执行任务, 提出了一种基于双目强约束的直接稀疏视觉里程计系统。基于直接法的即时定位与地图构建(Simultaneous Localization and Mapping, SLAM)系统直接对图像像素构建光度误差优化函数, 无需提取特征点, 克服了基于特征点法的SLAM系统在弱纹理场景下不鲁棒的缺陷, 并且在前端跟踪阶段效率更高。提出一种快速、准确的双目初始化方法, 结合三角化不确定性为不同类型的点赋予不同的深度范围, 加速深度滤波器的收敛。同时, 在运动估计阶段引入双目约束, 使得该系统在绝对尺度上的定位更加准确。通过在公开的KITTI数据集11个序列上进行实验, 实验结果表明所提出的算法在定位精度上明显优于同样采用直接法的Stereo Large Scale Direct SLAM(LSD-SLAM2)和Stereo DSO, 并达到与基于特征点法的ORB-SLAM3相近的水平, 为直接法SLAM提供一种更优的定位方案。     

面向深度相机位姿优化的帧间点云数据配准算法

TOF相机能够同时采集灰度图像和深度图像从而优化相机位姿的估计值. 应用图结构调整框架优化多帧数据采集时的相机位姿,采用帧间配准决定优化的精度和效率. 从2帧图像上提取并匹配尺度不变特征点对,二维特征点被扩展到三维空间后,利用与特征点的空间位置关系将2帧三维点云配准;逐步应用提出的算法配准参与位姿优化的多帧点云中的任意2帧点云;最后将有效配准的点云帧对作为输入数据,采用图结构算法优化位姿. 实验结果表明,提出的帧间配准算法使得位姿估计值精度显著提高,同时保证了估计效率.     

结合道路结构化特征的语义SLAM算法

视觉SLAM(simultaneous localization and mapping)是智能车辆领域的研究热点,在包含运动目标干扰或近景特征不显著的场景中,容易产生帧间位姿估计结果精度不足或失效问题.为此,本文提出一种结合场景语义信息和路面结构化特征的SLAM算法.首先,针对上述特殊场景中运动目标干扰的情况,设计带有改进金字塔池化模块的语义分割神经网络,得到图像中各像素对应的目标类别,作为剔除运动像素点的依据,从而避免运动点参与特征匹配导致的位姿计算准确性下降问题;然后,针对有效近景特征点不足的情况,基于V视差算法确定图像中的道路平面区域并拟合出精确的视差方程,以计算路面上像素点的精确视差值,并提出一种基于路面结构化特征(车道线、马路边界、路面交通标记等)的位姿计算方法;最后通过场景实验得出,本文提出的改进算法计算结果的绝对轨迹误差小于原算法.证明该方法能够在存在运动目标干扰或缺乏近景特征的场景中具有较高的位姿估计精度,建立了有效的包含语义信息的稠密点云地图,具有良好的环境适应性.     

有效点较少的动态场景下单目视觉SLAM算法

为了解决有效点较少的动态复杂场景下视觉SLAM准确定位问题,提出了一种基于自适应RANSAC动态特征点剔除的单目视觉SLAM算法.通过ARANSAC算法估计图像间的透视变换矩阵,并扭曲上一帧获得一个估计图像,使上一帧中的点转换到当前帧的坐标系下.通过计算特征点在估计图像和当前帧的光流值,区分并剔除ORB-SLAM2中的动态特征点,从而消除动态物体对SLAM定位性能的影响.利用TUM数据集的动态序列对本文算法进行仿真,并与ORB-SLAM2算法进行对比.结果表明,视觉SLAM算法绝对轨迹误差的标准偏差降低84.00%～96.11%,平移和旋转漂移的标准偏差最佳效果分别降低94.00%和96.44%,明显减少了视觉SLAM算法位姿估计的误差.本文算法能够在有效点较少的动态场景下,消除动态物体对视觉SLAM定位性能的影响,提高定位精度.     

大型工件位姿估计中的稀疏点云配准方法

针对飞机、轮船、汽车等大型设备制造领域中大尺寸工件的精确位姿检测的问题,提出了一种用于估计具有自由曲面特征的工件空间位姿的稀疏点云数据自动配准算法。为了提高点云配准的精度和速度,着重将配准过程分为粗略配准和精确配准两个阶段实现。鉴于稀疏点云数据中的各点曲率具有旋转平移不变性,设计基于曲率特征的点云粗略配准算法;为弥补现有ICP算法的不足,提出基于距离约束的四叉树逼近算法。仿真实验表明,完成点云配准后,稀疏点云中各个点位的平均误差为0.0168 mm,均方差为0.0095 mm,说明该算法能够自动、准确、快速地实现点云数据配准。     

基于重投影深度差累积图与静态概率的动态RGB-D SLAM算法

为了提高同时定位与建图（SLAM）系统在动态场景下的定位精度和鲁棒性,提出新的RGB-D SLAM算法. 建立基于重投影深度差值的累积模型,分割图像的动静态区域;为了避免动态区域过分割,先剔除与匹配地图点欧氏距离过大的动态区域特征点,再根据t分布估计其余特征点的静态概率;将静态区域特征点和动态区域的疑似静态点以不同权重加入位姿优化,得到提纯后的位姿. 在公开数据集上的实验结果表明,所提算法在动态场景下较改进前的RGB-D ORB-SLAM2算法的定位精度提升96.1%,较其他动态SLAM算法提升31.2%,有效提高了视觉SLAM系统在动态环境下的定位精度和鲁棒性.     

基于深度特征的单目视觉惯导里程计

视觉里程计是SLAM (Simultaneous Localization and Mapping)领域中的基石，单目视觉里程计因其成本低廉和仅需较少的相机标定工作而占据着重要的地位，但它存在着尺度不确定、尺度漂移、鲁棒性差等缺点。本文在ORB＿SLAM3的基础上，提出了一种基于深度特征的单目视觉惯导里程计，简称DF-VIO(Visual Inertial Odometry Based on Deep Features)，它采用深度学习网络提取的深度特征替代传统的人工点特征，并融合了人工线特征，强化了系统在现实复杂场景下的鲁棒性；另外，系统提供了多种位姿跟踪方式，除了基于恒速模型和跟踪参考关键帧的方式外，还提供了一种基于深度学习网络的可重复性图的位姿跟踪方法，进一步提高了系统位姿跟踪的精度。在公开数据集Eu Ro C上进行对比实验，在纯视觉模式下，平均轨迹误差下降了25.9%，在视觉惯导模式下，平均轨迹误差下降了8.6%，证明了本文提出的系统在复杂的场景下能够具有更高的鲁棒性。     

迭代中心差分粒子滤波的SLAM算法

为了提高SLAM算法中的位姿估计精度,通过在广泛使用的RBPF粒子滤波器中,利用迭代中心差分卡尔曼滤波器(ICDKF)来代替其中的扩展卡尔曼滤波器(EKF),并融合新的观测数据使提议分布更加接近后验概率分布,并且能够精确估计智能车辆的位姿,进而采用ICDKF算法更新特征地图的位置.该算法在保证定位精度的同时减少了计算的复杂度,提高系统的估计性能,增加了迭代算法的稳定性.仿真实验结果验证了迭代中心差分粒子滤波SLAM算法的有效性.     

基于改进Census变换的单目视觉里程计

针对直接法视觉里程计在光照变化场景下的失效问题,提出基于改进Census变换的单目视觉里程计,向量Census变换半直接单目视觉里程计（VC-SVO）. Census变换是立体视觉领域中非参数变换的一种,可以有效减少光照变化对图像的影响. 将Census变换引入SLAM中的后端优化,改变传统Census变换的形式,转换到欧氏空间中表示,并采用新的误差计算方法. 在SVO算法中增添非平面假设模型,扩展SVO算法并融合改进后的Census变换,通过最小化地图点的Census变换误差来得到更准确的相机位姿,同时构建环境地图. 在EuRoC、New Tsukuba Stereo与TUM公开数据集上的图像实验表明,VC-SVO实现了光照变化情况下的位姿估计,验证了算法的有效性. VC-SVO算法的精度和鲁棒性要优于已开源的SVO和基于直接法的大范围定位和地图构建（LSD-SLAM）算法.     

基于平面运动约束的移动机器人位姿估计

针对大部分基于单目相机的位姿估计方法只适用于平面场景的问题,提出了一种同时适用于 平面场景和立体场景的单目位姿估计方法．首先,将所有图像与参考帧进行特征匹配;然后,提取每 帧图像中都出现的特征点的像素坐标,并结合地平面约束和相机内参矩阵构建出观测矩阵;其次, 对观测矩阵进行奇异值分解得到各帧图像的位姿估计,并利用约束矩阵解决奇异值分解不唯一问 题;最后,利用光束平差法优化图像位姿,得到机器人位姿的最优估计．实验结果表明：该方法能准 确对移动机器人进行位姿估计．     

基于前后端图优化的RGB-D三维SLAM

针对传统滤波方法在解决移动机器人同时定位与地图构建(SLAM)中存在的累积误差问题,将图优化方法应用于前端和后端优化中,以提高移动机器人位姿估计和建图的准确性。运用ORB算法进行图像的特征提取与匹配,将图优化的方法应用到PnP问题的求解中,实现了机器人位姿的准确估计。基于词典(Bag of words)的闭环检测算法来进行闭环检测,得到存在的大回环,同时利用相邻几帧的匹配关系实时检测邻近几帧之间可能存在的局部回环。用图优化的方法对这些回环进行优化,得到准确的运动轨迹和点云地图。实验结果表明:基于前后端图优化的RGB-D三维SLAM算法,在室内环境下具有良好的精度和实时性。     

一种视觉SLAM中运动模糊应对方法

相机高速移动引起的运动模糊在现实环境的中低端设备中经常出现,是影响实时定位与制图(Simultaneous Localization and Mapping SLAM)高精度运行的重要因素.现有的一些应对模糊的方法通常需要较大的计算量,不适用于计算性能有限的移动端、无人机等平台,这在一定程度上影响了SLAM算法的应用.本文通过序列图像分析运动模糊的产生原理,建立相邻图像特征坐标差与模糊尺度之间的量化关系表,利用相邻图像间匹配点的位置关系定量计算E_(BL)参数来表示图像的模糊程度并与帧筛除算法组成E_(BL)-帧筛除算法,在SLAM过程中不断筛除模糊较大的帧来应对运动模糊.在由于运动产生图像模糊的情况下,通过适当增加一些运算量,本文的方法可以提升SLAM系统的定位和建模精度.实验证明了E_(BL)参数对模糊表达的有效性,以及本文算法对SLAM系统精度的提升.结果表明,算法可以明显地降低相机轨迹估计的整体误差,对于模糊影响较严重的数据集,在合适的窗口大小下,用E_(BL)-帧筛除算法剔除部分帧后,通过余下的清晰帧计算得到的相机位姿整体误差下降了20%.     

基于GC-RANSAC算法的单目视觉同时定位与地图构建

移动机器人单目视觉同时定位与地图构建(Simultaneous Localization and Mapping,SLAM)技术在应用过程中会获取大量数据,针对其带来的异常值干扰问题,提出一种基于新提出的随机抽样一致性(Random Sample Consensus,RANSAC)算法改进的半直接单目视觉里程计(Semi-direct Monocular Visual Odometry,SVO)算法。算法分为两个线程:建图线程提取点特征与边缘特征,并采用了图割RANSAC(Graph-Cut RANSAC,GC-RANSAC)算法进行异常值剔除,通过计算特征点的深度值,来构建的环境特征地图;位姿估计线程通过最小化局部地图点和边缘线的重投影误差以及帧与帧、特征与特征之间的约束关系优化,得到位姿信息,实现定位功能。通过Euroc公开数据集上得到的仿真实验结果可见,该算法剔除异常值效果明显,平均定位精度相比SVO算法提高了15.6%。     

V－SLAM中点云配准算法改进及移动机器人实验

针对移动机器人视觉同时定位与地图构建(visual simultaneous location and mapping,V-SLAM)中,存在帧间配准误差大造成重建精度低、位姿轨迹丢失的问题,提出一种三阶段改进点云配准的ICP算法.首先通过RANSAC(随机采样一致性)采样策略对RGB图进行点对的筛选从而获得内点完成预处理;然后采用基于刚体变换一致性的对应点双重距离阈值法完成点云初配准;在得到良好的初始位姿下,引入一种动态迭代角度因子的ICP精配准方法.在后端部分引入滑动窗口法和随机采样法相结合的关键帧筛选机制,结合g2o(general graph optimization)图优化算法优化机器人位姿轨迹,实现全局一致的VSLAM系统.采用标准点云模型对本文算法与文献算法进行点云配准实验对比,在配准精度上有明显提高;通过移动机器人在真实环境下的地图重建实验,验证了本文算法的有效性;最后基于TUM数据集的实验表明了本文算法能有效估计出机器人运行轨迹.     

航天器视觉导航多尺度B-Harris特征提取算法

在航天器视觉相对导航中,为了能够跟踪目标航天器,并对其的位姿信息进行实时、精确地观测和估计,首先需要针对相关图像建立稳定而快速的特征点提取与匹配算法,而特征点提取和匹配算法的准确性与实时性直接影响了航天器相对位姿的估计精度。针对SIFT算法计算量大,匹配时间长,不能满足航天任务高实时性的问题,提出了B-Harris(Binary Harris)算法,该方法结合SIFT算法的结构思想,通过采用多尺度Harris算子提取具有尺度不变的特征点;同时采用128位二进制描述子建立特征向量,组成B-Harris算法,使得特征点匹配时间大大降低。最后通过与SIFT算法的实验对比,证明了B-Harris算法能够适应航天器发生的旋转、尺度、视角等变化,并且在实时性方面明显优于SIFT特征点算法,能够满足航天任务的实时性要求。     

3D混杂场景中机械臂自主分拣小目标的方法

为解决机械臂在大小目标共存的3D混杂场景中无法利用3D视觉传感器直接感知分布于操作视场范围内的小目标这一难题,提出一种基于"固定安装的全局Kinect深度相机"与"安装在机械臂末端执行器上的移动相机(手眼相机)"相结合的视觉系统混合配置方法.固定的全局Kinect深度相机用于感知并获取视场范围内的大目标点云,进而识别估计其位姿,然后借助路径规划技术引导机械臂到达大目标的上方,启动手眼相机近距离获取小目标的图像;离线阶段获取小目标的CAD模型,虚拟2D相机在以目标中心为球心的虚拟球表面的不同位姿和不同半径处拍摄目标的一系列二维视图,并且储存在目标的3D形状模板数据库中;在线阶段从真实手眼相机拍摄的场景图像中基于图像金字塔分层逐一搜索匹配,找到与目标模板相匹配的所有实例并计算其二维位姿,经过一系列转换后得到在相机坐标系下的初始三维位姿,应用非线性最小二乘法对其进行位姿修正.由ABB机械臂和微软Kinect V2传感器以及维视图像公司的工业相机进行位姿估计精度实验和混杂目标分拣实验,利用棋盘标定板来测定目标真实的位姿.实验结果表明,位置精度0.48 mm,姿态精度0.62°,平均识别时间1.85 s,识别率达到98%,远高于传统的基于特征和基于描述符的位姿估计方法,从而证明了提出方法的有效性和可行性.     

双目相机和激光雷达的融合SLAM研究

针对基于图优化的激光SLAM算法在高相似度的场景中闭环检测出错的问题,提出使用双目相机进行闭环检测的方法. 使用加入旋转不变性的FAST特征点和BRIEF描述子进行双目深度估计; 引入局部地图的概念,使用单帧激光雷达数据与局部地图进行匹配,提高SLAM前端的精度. 使用基于词袋(bag of words,BOW)模型的k叉树字典评估图片相似度从而完成闭环检测,最后构建全局优化问题并求解. 与主流开源激光雷达SLAM算法的对比实验表明,研究内容改善了只使用激光雷达数据进行闭环检测的方法在相似度较高场景下失效