融合双目视觉与惯导信息的高效视觉里程计算法

为提高视觉里程计(VO)在大尺度环境下运行的实时性,提出一种融合双目视觉与惯导信息的视觉里程计算法,主要由前端位姿跟踪和后端局部地图优化两个线程组成.位姿跟踪线程首先使用惯导信息辅助光流法进行帧间特征点跟踪并估计相机初始位姿;接着通过最小化图像光度误差获取当前帧像素点与局部地图点的对应关系;而后最小化当前帧上局部地图点的重投影误差和惯性测量单元(IMU)预积分误差,得到当前帧准确的位姿估计.后端局部地图优化线程对滑动窗口内的关键帧提取特征点并三角化新地图点,使用光束平差法(BA)对逆深度参数化表示的地图点位置、关键帧位姿、速度以及陀螺仪和加速度计零偏进行滑窗优化,为前端提供更加精确的局部地图相机位姿和环境信息.在EuRoC数据集上的实验表明,相比于ORB-SLAM2、ORB-SLAM3算法,该融合双目视觉与惯导信息的视觉里程计算法的定位精度略有下降,但可以较大程度地提高位姿跟踪的实时性.     

融合直接法与特征法的快速双目SLAM算法

为了实时得到搭载双目相机的机器人准确的3维位姿状态和环境信息,提出一种融合直接法与特征法的双目SLAM(同时定位与地图创建)算法.该算法主要分为4个线程:跟踪线程、特征提取线程、局部建图线程和闭环线程.跟踪线程通过最小化图像光度误差,获取双目的初始位姿估计和特征对应关系,而后通过最小化局部地图点的重投影误差,得到更为准确的机器人位姿估计.特征提取线程负责提取关键帧的关键点和描述子,能够保证待处理的关键帧较多时不影响后续局部建图线程的执行.局部建图线程管理局部地图,执行局部BA(光束平差法),优化局部关键帧位姿和局部地图点的位置,提高SLAM的局部一致性.闭环线程通过对关键帧的闭环检测和优化,提高SLAM的全局一致性.另外利用闭环线程处理机器人被绑架后重回已探测环境的定位问题.KITTI数据集、TUM数据集以及采集的双目数据实验表明,本文算法相对于ORB-SLAM2算法,在保证定位精度的同时,有效提高了相机位姿的输出帧率,并且在机器人被绑架的情况下,能够得到更为丰富的姿态信息和环境信息.     

基于双目视觉的四边形闭环跟踪算法

针对动态背景下视觉跟踪存在的错误率大、鲁棒性不强以及多目相机信息融合难等问题,提出一种基于双目匹配的视觉跟踪算法.结合双目相机的物理结构特点,该算法以四边形闭环方法对特征点进行匹配,实现特征点的双目匹配和立体跟踪,并优化匹配的搜索结构.算法首先采用高斯-拉普拉斯模板对图像进行滤波,利用Harris角点检测算法提取特征点并依次构造描述子序列,然后以绝对误差和作为匹配代价的衡量准则,建立四边搜索准则进行邻近搜索,同时引入RANSAC(随机采样一致性)算法进行可靠性筛选,最终通过4点构成的四边形闭环检测实现了特征点跟踪精度的改进.通过对不同分辨率、不同路况图像集进行测试实验,所提出的四边形跟踪算法特征跟踪正确率可达99.80%,鲁棒性和精度均优于光流法.     

融合光流与多视角几何的动态视觉SLAM系统

视觉同步定位与地图构建(SLAM)在动态干扰的情况下,导致定位精度下降且无法准确构建静态地图,提出一种结合光流和多视角几何的动态视觉SLAM系统,该系统是在ORB-SLAM2的基础上进行改进的。在追踪线程中引入处理后的光流信息,结合多视图几何,得到动态区域掩码对视野内图像帧进行分割,实现动态区域检测并滤除动态区域中的特征点,在保证视觉SLAM系统实时性的同时提高追踪准确度,替换原本的地图构建线程。在新的地图构建线程中,引入光流信息及Mobile NetV2实例分割网络。利用实例分割网络分割结果结合光流动态区域掩码对获取到的有序点云逐层分割,解决地图构建中动态物体造成的“拖影”问题。同时对分割后的点云团融合语义信息,最终构建静态语义八叉树地图。在TUM Dynamic Objects数据集上的实验结果表明,相较于ORB-SLAM2,在高动态场景序列测试中,该算法的定位精度平均提升70.4%,最高可提升90%。     

基于双目结构光视觉的煤流量测量研究

在常规的双目视觉系统中,常用的加速稳健特征和尺度不变特征转换匹配算法对图像质量要求高,针对煤炭这种颜色纹理比较单一的场景应用时容易失效,且需要消耗大量的计算资源,难以保证实时性;激光雷达在进行煤流量测量时,有效视场范围较小,对应的测量点数较少,扫描频率也较低,在带式输送机运行速度较快时,精度会大幅降低。针对上述问题,提出一种基于双目结构光视觉的煤流量测量方法,将线结构光引入双目视觉系统,利用线结构光的约束,将图像特征点匹配简化成左右2幅图像行之间的匹配。在保证双目系统相机光轴平行度的基础上,采用对应行匹配计算三维坐标点,提高采样频率和分辨率,进而提高煤流量测量精度,降低测量系统对光照和环境的依赖。点云获取：利用线结构光凸显煤料截面曲线,提取煤料截面中心线的图像坐标,利用双目相机获取左右煤料截面线结构光图像,建立双目结构光三维重建模型,左右图像中心线坐标构成匹配点对参与计算煤料截面三维坐标,实现点云的实时获取。煤流量计算：利用空载胶带截面点云和负载胶带截面点云,结合获取煤料点云,利用微元法对煤料三维点云进行采样,分别利用均匀网格化法和三角网格化法求取单位时间内的煤料体积,实现带式输送机煤...     

结合SURF算子和极线约束的柑橘立体图像对匹配

提出一种结合SURF算子和极线约束的立体匹配方法。对采集的双目视觉柑橘图像进行R-B分量的计算,在该分量上,采用快速hessian检测子进行特征点检测,并使用SURF描述子对检测到的特征点进行64维的特征描述。采用欧式距离和极线约束进行特征点匹配。实验表明,该方法对一幅图像对的平均处理时间为293ms,在果实被遮挡或光线变化的情况下均能较好地进行特征点提取和匹配。该方法为后续的深度信息计算提供了基础。     

基于视觉传感器的移动机器人定位算法

针对移动机器人准确实时定位问题,采用视觉传感器Kinect作为信息采集源,提出将光流直接法和特征点匹配进行卡尔曼融合的视觉里程计方法。利用光流直接法快速进行帧间小规模运动估计,同时利用特征点匹配法对关键帧之间进行运动估计,纠正光流法带来的定位误差。结果表明:融合算法能够克服光流法精度差、误差累积等因素和特征点法实时处理速度慢等缺点,突出了特征点匹配精度高和局部地图消除误差累积等优点。提出的方法能提供较准确的实时定位信息,具有一定的鲁棒性。     

改进ORB特征的机器人RGB-D SLAM算法

基于特征的视觉同时定位与地图构建（Simultaneous Localization and Mapping，SLAM）存在实时性和鲁棒性差等问题，提出一种改进的基于四叉树的ORB特征提取方法，设计包含前后端及地图构建的机器人RGB-D SLAM算法。在前端使用四叉树方法完成ORB特征的均匀提取，计算描述子间汉明距离实现特征匹配。根据随机采样一致性算法思想，结合EPNP（Efficient Perspective-N-Point）和迭代最近点法求解位姿，获取多次迭代后的准确位姿。采用关键帧进行回环检测，并且基于光速法平差优化位姿图，从而构建全局一致的3D地图，达到减少累积误差的目的。通过TUM数据集和多履带式全向移动机器人进行对比验证，实验结果满足实时性和稳定性要求，证明了算法的可行性和有效性。     

基于光束平差法的双目视觉里程计研究

机器人自定位是实现机器人自动导航及其他智能行为的前提, 一种基于光束平差法的移动机器人双目视觉里程计可以有效地实现机器人自定位. 为此, 首先采用点模式匹配方法建立相邻图像之间的特征匹配关系, 根据立体视觉算法得到匹配点对的三维对应关系; 然后, 计算摄像机的相对运动参数, 并采用光束平差分段优化算法对其进行优化. 所提出的双目视觉里程计能够避免车轮半径变化、空转、打滑等对里程计测量精度的影响, 相对定位精度较高.

     

基于语义信息和边缘一致性的鲁棒SLAM算法

为解决动态环境中视觉定位精度下降、鲁棒性不足的问题,并改善构建的环境地图,提出一种基于语义信息和边缘一致性的鲁棒同时定位与地图创建(SLAM)算法.首先使用YOLOv3算法获取环境语义信息,得到初步的图像语义动静态分割.而后使用基于图像中边缘的距离变换误差和光度误差的一致性评估,进一步对图像的动静态区域进行细分,并利用连通区域分析和漏洞修补算法修正动态区域.使用图像非动态区域的特征点进行特征匹配,利用非线性优化算法最小化特征点的重投影误差,得到优化的相机位姿.利用特征点共视性和动静态区域面积进行绘图关键帧的选取,从而构建不包含动态物体信息的静态环境地图.公开数据集中高动态环境的实验表明,本文算法能够准确地区分图像中的动静态信息,完成动态环境下的精确定位与地图构建任务.并且本文算法在纯静态环境下不存在定位精度下降的情况.     

利用惯导测量单元确定关键帧的实时SLAM算法

由于嵌入式处理器算力的限制,实时性差一直是视觉惯导同时定位与建图（VI-SLAM）走向实际应用的一个亟待解决的问题,因此提出一种利用惯导测量单元（IMU）确定关键帧的实时同时定位与建图（SLAM）算法,主要分为3个线程：跟踪、局部建图和闭环。首先由跟踪线程通过IMU预积分自适应地确定关键帧,而自适应阈值由视觉惯性紧耦合优化的结果得出;然后仅对关键帧进行跟踪,避免对所有帧进行特征处理;最后利用局部建图线程在滑动窗口中通过视觉惯导光束平差法得到更加精确的无人机位姿,利用闭环线程得到全局一致的轨迹和地图。在数据集EuRoC上的实验结果表明,该算法能在不降低精度和鲁棒性的情况下显著减少跟踪线程耗时,降低VI-SLAM对计算资源的依赖。在实际飞行测试中,该算法能够较实时准确地估计出具有尺度信息的无人机飞行真实轨迹。     

基于视差空间的双目视觉里程计

提出了一种基于视差空间的双目视觉里程计算法.利用SIFT特征点的尺度和旋转不变性,实现左、右图像对特征点的准确匹配,及前后帧间的特征跟踪.在RANSAC框架下对匹配点进行运动估计获得运动参数初始值,然后迭代更新匹配点的视差比值直至收敛.为克服传统算法中3维空间噪声分布不均匀的缺陷,利用了视差空间噪声分布的各向同性的性质进行运动估计,并且通过迭代取得全局最小值.实验结果表明,该算法在运动估计中具有更好的精度.     

基于最小平方中值定理的立体视觉里程计

提出了一种基于最小平方中值定理（LMedS）的立体视觉里程计方法。利用图像中尺度不变的SIFT特征点作为路标,基于KD树的最邻近点搜索算法来实现左右图像对特征点的匹配和前后帧间特征点跟踪。通过特征点的三维重建,基于最小平方中值定理估计出机器人的运动距离和方向信息。实验表明该方法在不同图像间匹配、三维路标跟踪和机器人运动估计中具有很强的鲁棒性。     

基于拉普拉斯分布的双目视觉里程计EI北大核心CSCD

针对相机在未知环境中定位及其周围环境地图重建的问题,本文基于拉普拉斯分布提出了一种快速精确的双目视觉里程计算法.在使用光流构建数据关联时结合使用三个策略:平滑的运动约束、环形匹配以及视差一致性检测来剔除错误的关联以提高数据关联的精确性,并在此基础上筛选稳定的特征点.本文单独估计相机的旋转与平移.假设相机旋转、三维空间点以及相机平移的误差都服从拉普拉斯分布,在此假设下优化得到最优的相机位姿估计与三维空间点位置.在KITTI和New Tsukuba数据集上的实验结果表明,本文算法能快速精确地估计相机位姿与三维空间点的位置.     

一种基于半直接视觉里程计的RGB-D SLAM算法

提出了一种新的基于半直接视觉里程计的RGB-D SLAM（同步定位与地图创建）算法,同时利用直接法和传统特征点法的优势,结合鲁棒的后端优化和闭环检测,有效提高了算法在复杂环境中的定位和建图精度．在定位阶段,采用直接法估计相机的初始位姿,然后通过特征点匹配和最小化重投影误差进一步优化位姿,通过筛选地图点并优化位姿输出策略,使算法能够处理稀疏纹理、光照变化、移动物体等难题．算法具有全局重定位的能力．在后端优化阶段,提出了一种新的关键帧选取策略,同时保留直接法选取的局部关键帧和特征点法选取的全局关键帧,并行地维护2种关键帧,分别在滑动窗口和特征地图中对它们进行优化．算法通过对全局关键帧进行闭环检测和优化,提高SLAM的全局一致性．基于标准数据集和真实场景的实验结果表明,算法的性能在许多实际场景中优于主流的RGB-D SLAM算法,对纹理稀疏和有移动物体干扰的环境的鲁棒性较强．     

双目视觉辅助的激光惯导SLAM算法

激光同步定位与地图构建(simultaneous localization and mapping, SLAM)算法在位姿估计和构建环境地图时依赖环境结构特征信息,在结构特征缺乏的场景下,此类算法的位姿估计精度与鲁棒性将下降甚至运行失败.对此,结合惯性测量单元(inertial measurement unit, IMU)不受环境约束、相机依赖视觉纹理的特点,提出一种双目视觉辅助的激光惯导SLAM算法,以解决纯激光SLAM算法在环境结构特征缺乏时的退化问题.即采用双目视觉惯导里程计算法为激光扫描匹配模块提供视觉先验位姿,并进一步兼顾视觉约束与激光结构特征约束进行联合位姿估计.此外,提出一种互补滤波算法与因子图优化求解的组合策略,完成激光里程计参考系与惯性参考系对准,并基于因子图将激光位姿与IMU数据融合以约束IMU偏置,在视觉里程计失效的情况下为激光扫描匹配提供候补的相对位姿预测.为进一步提高全局轨迹估计精度,提出基于迭代最近点匹配算法(iterative closest point, ICP)与基于图像特征匹配算法融合的混合闭环检测策略,利用6自由度位姿图优化方法显著降低里程计漂移误...     

基于混合运动估计方法的视觉里程计

由于RGB-D相机深度信息范围有限且易受噪声影响,为了提高其视觉里程计的精度,提出一种基于混合3D-3D和3D-2D运动估计方法的视觉里程计。使用基于RICP算法（RANSAC-ICP）的3D-3D模型,并结合3D-2D运动模型,将深度信息缺失的二维特征点添加到估计方法中,充分利用了图像信息,提高了匹配准确率。综合考虑了关键帧和前一帧的地图信息进行迭代估计,增加了匹配点对数量,提供了更多约束信息。在该混合运动估计方法的基础上,结合稀疏光束平差法SBA对位姿估计结果进行优化,达到定位精度高、积累误差小的效果。在基于Kinect相机的移动平台上进行了验证,结合离线和在线实验表明,该方法满足实时性同时有效地提高了定位精度。     

融合图像显著性与特征点匹配的形变目标跟踪

目的 针对目标在跟踪过程中出现剧烈形变,特别是剧烈尺度变化的而导致跟踪失败情况,提出融合图像显著性与特征点匹配的目标跟踪算法。方法 首先利用改进的BRISK（binary robust invariant scalable keypoints）特征点检测算法,对视频序列中的初始帧提取特征点,确定跟踪算法中的目标模板和目标模板特征点集合;接着对当前帧进行特征点检测,并与目标模板特征点集合利用FLANN（fast approximate nearest neighbor search library）方法进行匹配得到匹配特征点子集;然后融合匹配特征点和光流特征点确定可靠特征点集;再后基于可靠特征点集和目标模板特征点集计算单应性变换矩阵粗确定目标跟踪框,继而基于LC（local contrast）图像显著性精确定目标跟踪框;最后融合图像显著性和可靠特征点自适应确定目标跟踪框。当连续三帧目标发生剧烈形变时,更新目标模板和目标模板特征点集。结果 为了验证算法性能,在OTB2013数据集中挑选出具有形变特性的8个视频序列,共2214帧图像作为实验数据集。在重合度实验中,本文算法能够达到0.567 1的平均重合度,优于当前先进的跟踪算法;在重合度成功率实验中,本文算法也比当前先进的跟踪算法具有更好的跟踪效果。最后利用Vega Prime仿真了无人机快速抵近飞行下目标出现剧烈形变的航拍视频序列,序列中目标的最大形变量超过14,帧间最大形变量达到1.72,实验表明本文算法在该视频序列上具有更好的跟踪效果。本文算法具有较好的实时性,平均帧率48.6帧/s。结论 本文算法能够实时准确的跟踪剧烈形变的目标,特别是剧烈尺度变化的目标。     

动态场景下结合语义的半直接法视觉里程计

针对传统视觉里程计方法在动态环境中跟踪效果差、容易失效的问题,提出了一种适用于动态场景下融合语义的半直接法视觉里程计,主要由语义分割、位姿跟踪和地图管理三部分组成。首先,使用语义分割网络Mask R-CNN对每一帧图像进行语义分割,得到语义分割二值图,结合语义先验信息删除动态特征;然后,利用静态部分特征进行帧间对齐和特征匹配完成位姿跟踪;最后,通过筛选关键帧和更新3D点深度对地图更新,并利用光束平差算法对局部地图的位姿和3D点进行优化。在公共数据集TUM RGB-D的动态序列集上的实验结果表明,该方法与ORB-SLAM2、OpenVSLAM相比,其跟踪误差分别减少了68%和72%,验证了该方法在动态场景中位姿跟踪的准确性。