融合双目视觉与惯导信息的高效视觉里程计算法

为提高视觉里程计(VO)在大尺度环境下运行的实时性,提出一种融合双目视觉与惯导信息的视觉里程计算法,主要由前端位姿跟踪和后端局部地图优化两个线程组成.位姿跟踪线程首先使用惯导信息辅助光流法进行帧间特征点跟踪并估计相机初始位姿;接着通过最小化图像光度误差获取当前帧像素点与局部地图点的对应关系;而后最小化当前帧上局部地图点的重投影误差和惯性测量单元(IMU)预积分误差,得到当前帧准确的位姿估计.后端局部地图优化线程对滑动窗口内的关键帧提取特征点并三角化新地图点,使用光束平差法(BA)对逆深度参数化表示的地图点位置、关键帧位姿、速度以及陀螺仪和加速度计零偏进行滑窗优化,为前端提供更加精确的局部地图相机位姿和环境信息.在EuRoC数据集上的实验表明,相比于ORB-SLAM2、ORB-SLAM3算法,该融合双目视觉与惯导信息的视觉里程计算法的定位精度略有下降,但可以较大程度地提高位姿跟踪的实时性.     

基于ORB-SLAM3的改进型特征匹配与稠密建图算法

针对传统ORB算法存在提取的特征点极易堆积在纹理丰富的区域及误匹配率高等而导致无法满足高精度定位要求,以及ORB-SLAM3系统无法构建稠密地图的问题,提出一种基于ORB-SLAM3的改进型ORB-GMS特征匹配方法,并增加稠密建图线程来实现稠密地图的构建。首先,在特征点提取过程中引入四叉树策略,将图像帧分为若干个网格,并在每个网格中提取最优特征点;然后,在特征匹配过程中将运动平滑约束转换为剔除错误匹配的统计量,通过比较匹配对邻域内的匹配对数量和阈值来快速筛选正确匹配;最后,完成位姿估计并根据关键帧与相应位姿完成稠密点云地图的构建。采用TUM的RGB-D数据集进行实验,改进算法提取的特征点相较传统ORB算法分布更加均匀,匹配数比ORB-SLAM3增加64.5%,比GMS算法增加4.7%,匹配耗时比ORB-SLAM3减少20.4%,比GMS算法减少94.6%,从而验证了改进算法在特征点提取与匹配方面的优越性,并且相较于ORB-SLAM3,改进算法的定位精度提高了3.75%,从而验证了其在总体上提高定位精度,进而实现稠密建图的可行性和有效性。     

基于ORB-SLAM的室内机器人定位和三维稠密地图构建

针对在室内机器人定位和三维稠密地图构建系统中,现有方法无法同时满足高精度定位、大范围和快速性要求的问题,应用具有跟踪、地图构建和重定位三平行线程的ORB-SLAM算法估计机器人三维位姿;然后拼接深度摄像头KINECT获得的三维稠密点云,提出空间域上的关键帧提取方法剔除冗余的视频帧;接着提出子地图法进一步减少地图构建的时间,最终提高算法的整体速度。实验结果表明,所提系统能够在大范围环境中准确定位机器人位置,在运动轨迹为50 m的大范围中,机器人的均方根误差为1.04 m,即误差为2%,同时整体速度为11帧/秒,其中定位速度达到17帧/秒,可以满足室内机器人定位和三维稠密地图构建的精度、大范围和快速性的要求。     

基于半直接法SLAM的大场景稠密三维重建系统

当前三维重建系统大多基于特征点法和直接法的同时定位与地图重建(SLAM)系统,特征点法SLAM难以在特征点缺失的地方具有较好的重建结果,直接法SLAM在相机运动过快时难以进行位姿估计,从而造成重建效果不理想.针对上述问题,文中提出基于半直接法SLAM的大场景稠密三维重建系统.通过深度相机(RGB-D相机)扫描,在特征点丰富的区域使用特征点法进行相机位姿估计,在特征点缺失区域使用直接法进行位姿估计,减小光度误差,优化相机位姿.然后使用优化后较准确的相机位姿进行地图构建,采用面元模型,应用构建变形图的方法进行点云的位姿估计和融合,最终获得较理想的三维重建模型.实验表明,文中系统可适用于各个场合的三维重建,得到较理想的三维重建模型.     

一种结合光流追踪的双目视觉里程计算法

针对特征点法视觉里程计频繁计算和匹配描述子导致系统实时性能变差的问题,提出一种结合光流追踪的双目视觉里程计算法;首先进行初始化,生成初始的关键帧和地图点,随后在追踪线程中使用光流追踪特征点获取匹配关系,计算并优化相机位姿;满足生成关键帧的条件后,将当前帧设置为关键帧,提取图像的ORB特征点,并使用描述子匹配获取与上一关键帧特征点的匹配关系,三角化生成新的地图点;最后在优化线程中将新的关键帧和地图点使用滑动窗口算法进行优化,剔除冗余关键帧和地图点;在KITTI数据集上的实验结果表明,所提出的算法轨迹误差与双目模式下的ORB-SLAM3算法处于同一水平,同时实时性能有大幅度提高,追踪每一帧图像的平均时间从52ms降至16ms,在保证高精度的情况下运行速度大大提高,具有较高的实用价值.     

面向嵌入式平台的单目ORB-SLAM稠密化建图实现

针对现有方法在机器人室内定位中无法同时满足高精度定位、快速处理及稠密地图重建的问题,在拥有跟踪、地图构建和回环检测三线程的ORB-SLAM3系统基础上设计了三维稠密地图构建算法,分别在跟踪阶段、局部光束法平差阶段（bundle adjustment,BA）和全局BA阶段,对满足需求的关键帧进行二次采样和位姿更新,然后通过关键帧和对应位姿计算得到三维点云,最终获得稠密地图。实验结果表明,所提方法在Jetson AGX Xavier嵌入式平台上对TUM数据集的定位速度达到了10.8?frame/s,均方根误差仅有0.213%,验证了该系统的高精度与快速性,可以满足机器人室内定位与建图需求。     

基于ORB-SLAM2系统的快速误匹配剔除算法与地图构建

针对ORB-SLAM2系统中随机抽样一致（RANSAC）算法在误匹配剔除时因其算法本身的随机性而导致效率较低的问题和在ORB-SLAM2系统里未能构建稠密点云地图的问题,采用渐进一致采样（PROSAC）算法来改进ORB-SLAM2系统中的误匹配剔除,并在系统中添加稠密点云地图和八叉树地图构建线程。首先,与RANSAC算法相比,PROSAC算法依据评价函数对特征点进行预排序,并选取评价质量较高的特征点求解单应性矩阵,根据单应性矩阵的解与匹配误差阈值进行误匹配剔除;然后,根据ORB-SLAM2系统进行相机的位姿估计与重定位;最后,根据所选关键帧进行稠密点云地图与八叉树地图的构建。根据TUM数据集上的实验结果,PROSAC算法在进行相同图像的误匹配剔除时所用时间是RANSAC算法的50%左右,并且所提系统的绝对轨迹误差与相对位姿误差与ORB-SLAM2系统基本一致,表现出良好的鲁棒性;另外,与稀疏点云地图相比,提出的新构建地图可以直接用于机器人的导航与路径规划。     

基于ORB-SLAM2系统的快速误匹配剔除算法与地图构建

针对ORB-SLAM2系统中随机抽样一致（RANSAC）算法在误匹配剔除时因其算法本身的随机性而导致效率较低的问题和在ORB-SLAM2系统里未能构建稠密点云地图的问题，采用渐进一致采样（PROSAC）算法来改进ORB-SLAM2系统中的误匹配剔除，并在系统中添加稠密点云地图和八叉树地图构建线程。首先，与RANSAC算法相比，PROSAC算法依据评价函数对特征点进行预排序，并选取评价质量较高的特征点求解单应性矩阵，根据单应性矩阵的解与匹配误差阈值进行误匹配剔除；然后，根据ORB-SLAM2系统进行相机的位姿估计与重定位；最后，根据所选关键帧进行稠密点云地图与八叉树地图的构建。根据TUM数据集上的实验结果，PROSAC算法在进行相同图像的误匹配剔除时所用时间是RANSAC算法的50%左右，并且所提系统的绝对轨迹误差与相对位姿误差与ORB-SLAM2系统基本一致，表现出良好的鲁棒性；另外，与稀疏点云地图相比，提出的新构建地图可以直接用于机器人的导航与路径规划。     

基于目标检测的室内动态场景定位与建图

针对室内场景中动态对象严重影响相机位姿估计准确性的问题,提出一种基于目标检测的室内动态场景同步定位与地图构建（SLAM）系统。当相机捕获图像后,首先,利用YOLOv4目标检测网络检测环境中的动态对象,并生成对应边界框的掩膜区域;然后,提取图像中的ORB特征点,并将掩膜区域内部的特征点剔除掉;同时结合GMS算法进一步剔除误匹配,并仅利用剩余静态特征点来估计相机位姿;最后,完成滤除动态对象的静态稠密点云地图和八叉树地图的构建。在TUM RGB-D公开数据集上进行的多次对比测试的结果表明,相对于ORB-SLAM2系统、GCNv2_SLAM系统和YOLOv4+ORB-SLAM2系统,所提系统在绝对轨迹误差（ATE）和相对位姿误差（RPE）上有明显的降低,说明该系统能够显著提高室内动态环境中相机位姿估计的准确性。     

基于动态耦合与空间数据关联的RGB-D SLAM算法

为了解决动态环境下视觉SLAM（同步定位与地图创建）算法定位与建图精度下降的问题,提出了一种基于动态耦合与空间数据关联的RGB-D SLAM算法。首先,使用语义网络获得预处理的语义分割图像,并利用边缘检测算法和相邻语义判定获得完整的语义动态物体;其次,利用稠密直接法模块实现对相机姿态的初始估计,这里动态耦合分数值的计算在利用了传统的动态区域剔除之外,还使用了空间平面一致性判据和深度信息筛选;然后,结合空间数据关联算法和相机位姿实时更新地图点集,并利用最小化重投影误差和闭环优化线程完成对相机位姿的优化;最后,使用相机位姿和地图点集构建八叉树稠密地图,实现从平面到空间的动态区域剔除,完成静态地图在动态环境下的构建。根据高动态环境下TUM数据集测试结果,本文算法定位误差相比于ORB-SLAM算法减小了约90%,有效提高了RGB-D SLAM算法的定位精度和相机位姿估计精度。     

基于分级关键帧筛选的RGB-D SLAM算法研究

利用关键帧求解SLAM算法(simultaneous localization and mapping)能够提高SLAM系统的实时性与精确度。针对现存关键帧筛选算法中存在的计算复杂度高、图像帧冗余以及鲁棒性较差等问题,提出一种分级关键帧筛选方法。该算法考虑了SLAM系统在不同运行阶段时对关键帧的要求,首先结合旋转度指数与地图点跟踪筛选出一级关键帧用于后端优化与回环检测,再利用相邻帧在空间上的相对运动距离筛选出二级关键帧用于三维地图构建,最后,实现了基于此二级筛选算法的RGB-D SLAM系统。实验表明,一级关键帧算法能提高SLAM系统的定位和建图精度,二级关键帧算法则有效减少了数据冗余,提高了建图效率。     

How to localize humanoids with a single camera?

In this paper, we propose a real-time vision-based localization approach for humanoid robots using a single camera as the only sensor. In order to obtain an accurate localization of the robot, we first build an accurate 3D map of the environment. In the map computation process, we use stereo visual SLAM techniques based on non-linear least squares optimization methods (bundle adjustment). Once we have computed a 3D reconstruction of the environment, which comprises of a set of camera poses (keyframes) and a list of 3D points, we learn the visibility of the 3D points by exploiting all the geometric relationships between the camera poses and 3D map points involved in the reconstruction. Finally, we use the prior 3D map and the learned visibility prediction for monocular vision-based localization. Our algorithm is very efficient, easy to implement and more robust and accurate than existing approaches. By means of visibility prediction we predict for a query pose only the highly visible 3D points, thus, speeding up tremendously the data association between 3D map points and perceived 2D features in the image. In this way, we can solve very efficiently the Perspective-n-Point (PnP) problem providing robust and fast vision-based localization. We demonstrate the robustness and accuracy of our approach by showing several vision-based localization experiments with the HRP-2 humanoid robot.     

实时三维重建算法的实现——基于Kinect与单目视觉SLAM的三维重建

作为计算机视觉技术的一个重要分支,基于单目视觉的三维重建技术以其要求简单、成本低廉、易于实现等优点,得到了越来越多的关注。在室内环境下就智能机器人的同步定位以及环境地图创建（SLAM）算法展开了研究,引入RGB-D相机Kinect直接获取3D场景的深度信息,实现了一种基于单目视觉SLAM与Kinect的实时三维重建方法。     

室内动态环境下基于网格分割与双地图耦合的RGB-D SLAM算法

为解决室内动态环境下现有RGB-D SLAM（同步定位与地图创建）系统定位精度低、建图效果差的问题,提出一种基于网格分割与双地图耦合的RGB-D SLAM算法。基于单应运动补偿与双向补偿光流法,根据几何连通性与深度图像聚类结果实现网格化运动分割,同时保证算法的快速性。利用静态区域内的特征点最小化重投影误差对相机进行位置估计。结合相机位姿、RGB-D图像、网格化运动分割图像,同时构建场景的稀疏点云地图和静态八叉树地图并进行耦合,在关键帧上使用基于网格分割和八叉树地图光线遍历的方法筛选静态地图点,更新稀疏点云地图,保障定位精度。公开数据集和实际动态场景中的实验结果都表明,本文算法能够有效提升室内动态场景中的相机位姿估计精度,实现场景静态八叉树地图的实时构建和更新。此外,本文算法能够实时运行在标准CPU硬件平台上,无需GPU等额外计算资源。     

基于VSLAM的自主移动机器人三维同时定位与地图构建

移动机器人在探索未知环境且没有外部参考系统的情况下,面临着同时定位和地图构建（SLAM）问题。针对基于特征的视觉SLAM（VSLAM）算法构建的稀疏地图不利于机器人应用的问题,提出一种基于八叉树结构的高效、紧凑的地图构建算法。首先,根据关键帧的位姿和深度数据,构建图像对应场景的点云地图;然后利用八叉树地图技术进行处理,构建出了适合于机器人应用的地图。将所提算法同RGB-D SLAM（RGB-Depth SLAM）算法、ElasticFusion算法和ORB-SLAM（Oriented FAST and Rotated BRIEF SLAM）算法通过权威数据集进行了对比实验,实验结果表明,所提算法具有较高的有效性、精度和鲁棒性。最后,搭建了自主移动机器人,将改进的VSLAM系统应用到移动机器人中,能够实时地完成自主避障和三维地图构建,解决稀疏地图无法用于避障和导航的问题。     

基于ORB-SLAM2的实时网格地图构建

针对目前视觉SLAM（同时定位与地图构建）系统只能输出相机的运动轨迹图而不能生成用于路径规划和导航地图的缺点,提出了一种基于ORB-SLAM2的网格地图实时构建算法。首先,建立了一个适用于视觉SLAM的逆传感器模型（inverse sensor model,ISM）;针对ISM模型重新编排了网格地图算法的构建机制,并对其进行详细推导;最后,介绍了ORB-SLAM2网格地图构建的具体实施方案。通过实验,对ISM模型和网格地图模型进行分析,确保了算法的可行性;用单目相机和RGB-D深度相机进行实时实验,实现了网格地图的实时构建,且能够清晰地显现出障碍物位置,验证了所提算法的有效性。     

集成RGB-D语义分割网络的室内语义地图构建

针对传统视觉SLAM准确度低、实时性差、缺乏语义的问题,提出一种全新的RGB-D语义分割网络,利用室内场景中受光照等条件影响较小的深度信息来提高分割的准确性,并且设计了轻量级多尺度残差模块（MRAM）和空间金字塔池化模块（ASPP）来轻量化分割网络、提高分割的精度。首先输入的图像序列进入ORB-SLAM2网络进行关键帧筛选,之后关键帧送入语义分割网络得到二维语义标签,再将二维语义信息映射到三维点云空间,最后使用贝叶斯算法更新三维地图得到全局一致的三维点云语义地图。实验采用NYUv2数据集验证语义分割网络性能,采用TUM数据集构建点云语义地图,结果表明,提出的语义分割网络性能和速度优于现有的模型,且此语义分割网络与视觉SLAM相结合可以满足高精度、实时的稠密三维语义点云地图构建要求。     

基于平面约束的RGB-D SLAM系统

针对现有室内环境存在多个平面特征的特点,提出了一种使用平面特征优化相机位姿和建图的实时室内RGB-D 同时定位与地图构建（SLAM）系统。系统在前端采用迭代最近点（ICP）算法和直接法联合估计相机位姿,在后端提取相机关键帧平面特征并建立多种基于平面特征的约束关系,优化相机关键帧的位姿和平面特征参数,同时增量式地构建环境的平面结构模型。在多个公开数据序列上的实验结果表明,在平面信息丰富的环境中,平面特征约束能够减小位姿估计的累积误差,系统能够构建场景平面模型并只消耗少量的存储空间,在真实环境下的实验结果验证了系统在室内增强现实领域具有可行性和应用价值。     

基于几何约束的室内动态环境视觉SLAM

同时定位与地图创建（Simultaneous Localization and Mapping,SLAM）作为自主移动机器人的基本功能,近年来已成为机器人领域的研究热点。然而现有视觉SLAM算法大多将外部场景作为静态假设,忽略了环境中运动物体对SLAM系统精度的影响,影响SLAM系统在实际环境中的应用。鉴于此,提出一种适用于动态场景的鲁棒视觉SLAM算法,以ORB-SLAM2框架RGB-D模式为基础,在前端添加一种基于几何约束的动态检测方法。首先对场景中的动态特征点利用一种几何约束方法进行粗滤除,然后将剩余的特征点作为改进随机抽样一致算法（Random Sample Consensus,RANSAC）的样本点估算稳定的基本矩阵,使用极线几何滤除场景中真正的动态特征点。最后对改进系统在TUM数据集上进行测试,结果表明改进系统可以有效提高ORB-SLAM2系统在高动态场景中的性能。