GVIL：基于图优化的GNSS PPP/视觉/惯性/激光雷达紧组合算法

高精度定位与导航服务在移动机器人、无人机与自动驾驶等新兴领域中发挥着至关重要的作用。视觉/惯性/激光雷达组合算法相较于视觉/惯性组合算法,可同时利用环境的空间结构与纹理信息以实现更为鲁棒的位姿估计结果,然而其在大尺度场景下仍存在误差累计问题。为此提出了一种全球导航卫星系统（global navigation satellite system,GNSS）精密单点定位（precise point positioning,PPP）/视觉/惯性/激光雷达紧组合算法。该算法首先通过4种传感器的联合初始化,实现了不同传感器空间基准的统一;然后,用双频无电离层组合后的GNSS伪距、相位观测值与视觉、惯性、激光雷达原始观测值共同构成误差因子;最后,通过基于关键帧与滑动窗口的因子图优化实现了全局位姿的精确、鲁棒估计。经车载实验验证,所提出的GNSS PPP/视觉/惯性/激光雷达紧组合算法通过4种传感器在原始观测值层面的组合,可以显著提升系统在复杂环境下的位姿估计的精度、连续性与可靠性,实现无缝导航。     

先验地图/IMU/LiDAR的图优化和ESKF位姿估计方法对比

针对滤波和优化融合算法在不同场景下定位性能不明确的问题，该文构建了一种融合先验点云地图、激光雷达(LiDAR)、惯性测量单元(IMU)的位姿估计框架。对比分析了基于图优化和误差状态卡尔曼滤波(ESKF)两种算法的位姿估计精度，并采用3组KITTI数据进行实验分析。结果表明：图优化算法的绝对位姿误差的均方根小于ESKF算法，3组数据的精度分别提升了28.9%、12.5%和21%;在复杂场景下，基于图优化算法的性能高于滤波算法；在简单场景下，滤波和图优化算法的精度接近，而滤波算法更加稳定。     

一种手持式半球形视角激光雷达SLAM三维建图技术

针对室内外场景快速三维建图问题,本文提出了一种半球形视角激光雷达扫描同时定位与建图(SLAM)方法,设计了集成半球形视角激光雷达和惯性测量单元的手持便携式三维激光扫描系统。首先,根据半球形视角激光雷达扫描线结构特征,对分割的地面点云降采样,减少垂直约束冗余。然后,对惯性测量单元(IMU)和降采样激光点云通过一个紧耦合迭代扩展卡尔曼滤波器(iEKF)进行联合位姿估计。最后,使用因子图增量式后端优化处理消除累积误差,提升点云地图精度。采用本文方法研发的原型系统对典型室内外场景进行建图试验,结果表明：本文方法绝对定位精度优于4‰,相对定位精度优于0.3‰,在室内外一体化三维建图方面具有广阔应用前景。     

基于紧耦合的视觉惯性定位方法

惯性测量单元（IMU）受自身温度、零偏、振动等因素干扰,积分时位姿容易发散,并且机器人快速移动时,单目视觉定位精度较差,为此研究了一种基于紧耦合的视觉惯性即时定位与地图构建（SLAM）方法. 首先研究了视觉里程计（VO）定位问题,为减少特征点的误匹配,采用基于快速特征点提取和描述的算法（ORB）特征点的提取方法. 然后构建IMU的数学模型,使用中值法得到运动模型的离散积分. 最后将单目视觉姿态与IMU轨迹对齐,采用基于滑动窗口的非线性优化得到机器人运动的最优状态估计. 通过构建仿真场景以及与单目ORB-SLAM算法对比两个实验进行验证,结果表明,该方法优于单独使用VO,定位精度控制在0.4 m左右,相比于传统跟踪模型提高30%.      

点线联合的优化视觉惯性里程计

为了减弱视觉同时定位与地图构建(SLAM)易受光照、纹理等条件的影响,在非线性化单目SLAM研究基础上,该文提出了 一种加速度计bias估计优化初始化与点线特征结合的优化视觉里程计,使得在光线较弱的情况下也有较好的位姿估计效果,更优秀的初始化结果使得整个系统更加鲁棒、精度更高,且为了减少因为线特征的加入而增加的计算量,提出一种新的数据选择策略.通过和其他优秀算法(如PL-VIO、仅特征点方案)对比及真实场景实验的结果分析可知,该文提出的点线联合的优化视觉惯性里程计不仅能够减少定位误差,而且在光照条件较弱的环境中有较高的精度,既保证了系统的实时性,又提高了系统的鲁棒性.     

惯性测量单元辅助的LiDAR动态点云剔除方法

针对动态场景下动态目标影响激光雷达同时定位与建图算法(LiDAR SLAM)的精度和成图效果问题，该文提出一种基于惯性测量单元(IMU)辅助的多层次模糊综合评价动态点云剔除方法。通过标定IMU/LiDAR外参统一两类传感器坐标系，再将每帧点云聚类分割为若干点云簇，以此为基础，利用IMU信息辅助建立相邻帧各点云簇间的配对关系，构建点云运动状态多层次模糊综合评价模型，判定各点云簇的运动状态，最终将动态点云簇从原始点云数据中剔除。为验证该文方法的可行性和精确性，设计了动态点云剔除实验，并将剔除动态点云后的点云数据输入激光雷达里程计与建图算法(LOAM)进行定位与建图。实验结果表明，该文方法动态点云的剔除成功率为98.67%,静态点云的误剔除率为2.01%,能够有效地提高点云数据质量。相比基于原始点云数据的LOAM算法，均方根误差降低了66.06%,最大误差降低了72.78%,实现了厘米级精度的定位，并且优化了建图效果。     

双目视觉与惯导融合的移动机器人定位方法

为了提高移动机器人的定位精度,提出一种双目视觉与惯导融合的视觉SLAM算法.在视觉SLAM前端部分,为了保持直接法计算速度快及特征法精度高的特点,提出一种融合直接法和特征法的半直接法双目视觉里程计.在后端优化阶段,将视觉数据与IMU数据相互融合,在滑动窗口中以非线性优化的方式构建误差函数,优化位姿计算精度.在EuRoc数据集中对本文提出的算法进行试验验证.结果表明,与开源的视觉惯导融合的SLAM系统OKVIS、ROVIO和VINS-Mono相比,本文系统在Machine Hal l与Vi con Room两个场景中的定位精度均得到了明显的提升,同时可以保持较高的运行效率.     

基于抗差LM的视觉惯性里程计与伪卫星混合高精度室内定位

视觉惯性里程计（VIO）和伪卫星已经广泛应用于室内环境定位中,但在实际应用中,二者各自都有明显的缺陷。视觉里程计依赖于实际场景,在景深变化明显和光照不均匀的环境下会产生粗差,而且误差会不可避免地随着时间累积,但是在相邻帧间能保证相对高精度的位姿测量。由于受到室内多径的影响,伪卫星室内定位的精度和可靠性很难保证。为增加室内定位的可靠性和稳定性,基于抗差LM非线性优化理论,本文主要研究利用视觉惯性里程计的相邻帧间高精度位姿测量和伪卫星融合的室内高精度定位技术。该算法不仅可以抵抗粗差,而且可以减弱不同传感器间权重设置不合理带来的影响。最后使用在室内环境下搭建的高精度动态捕捉设备对组合定位方法进行实验验证。试验结果表明,该方法不依赖回环即可消除视觉惯性里程计的累积误差,有效提高室内定位精度及可靠性。利用改进的LM算法融合后场景1和场景2,相对于VIO单独定位精度分别提高了59.0%和77.5%。     

特征法视觉SLAM逆深度滤波的三维重建

针对现有特征法视觉SLAM只能重建稀疏点云、非关键帧对地图点深度估计无贡献等问题，本文提出一种特征法视觉SLAM逆深度滤波的三维重建方法，可利用视频序列影像实时、增量式地构建相对稠密的场景结构。具体来说，设计了一种基于运动模型的关键帧追踪流程，能够提供精确的相对位姿关系；采用一种基于概率分布的逆深度滤波器，地图点通过多帧信息累积、更新得到，而不再由两帧三角化直接获取；提出一种基于特征法与直接法的后端混合优化框架，以及基于平差约束的地图点筛选策略，可以准确、高效解算相机位姿与场景结构。试验结果表明，与现有方法相比，本文方法具有更高的计算效率和位姿估计精度，而且能够重建出全局一致的较稠密点云地图。     

针对大尺度场景的高效SLAM方法

针对现有各类同步定位与地图构建(simultaneous localization and mapping,SLAM)方法的效率与精度问题,本文提出了一种适用于大尺度场景且鲁棒高效的SLAM方法.该方法使用直接优化与特征匹配融合定位算法提高SLAM过程的鲁棒性,采用图优化算法融合多源数据,并结合高效率联合稀疏优化方法,扩大SLAM系统处理的场景规模.此外,通过采用回环检测策略,有效抑制了重建过程中场景漂移现象的出现.通过对3个大尺度场景进行同步定位与地图构建实验,验证了本方法的有效性.相较于既有SLAM方法,该方法的三维重建效率获得了成倍提升.     

多镜头组合式相机的全景SLAM

同步定位与地图构建（simultaneous localization and mapping，SLAM）是摄影测量、计算机视觉和机器人学的研究热点，并广泛应用于移动测图系统、机器人、无人驾驶车等。本文提出一种针对多镜头组合式全景相机的基于特征的SLAM解决方案。首先，本文建立了鱼眼相机的高精度检校模型，以保证鱼眼相机与全景相机之间的高精度坐标转换；然后，将多镜头组合式全景成像模型嵌入SLAM的初始化、局部地图生成、关键帧选取、图优化等各个流程中。此外，考虑全景相机变形大、基线长的不利因素，本文在特征匹配、平差、特征点跟踪等SLAM的各个步骤都进行了针对性改进。本文在两套车载全景数据集共8000余张全景影像上进行试验。结果表明，本文所提出的全景SLAM很好地实现了全景相机的自动定位与地图构建功能，并达到了接近GPS参考的极高定位精度而无须借助GPS/IMU组合导航系统。相对于主流的基于平面相机的各类SLAM系统，如Mono-SLAM、Stereo-SLAM以及RGB-D SLAM，本文提出的全景SLAM可作为良好的补充，并为GPS信号失锁时的传感器定位提供廉价的自动解决方案。     

Camera localization for augmented reality and indoor positioning: a vision-based 3D feature database approach

ABSTRACT

The recent fast development in computer vision and mobile sensor technology such as mobile LiDAR and RGB-D cameras is pushing the boundary of the technology to suit the need of real-life applications in the fields of Augmented Reality (AR), robotics, indoor GIS and self-driving. Camera localization is often a key and enabling technology among these applications. In this paper, we developed a novel camera localization workflow based on a highly accurate 3D prior map optimized by our RGB-D SLAM method in conjunction with a deep learning routine trained using consecutive video frames labeled with high precision camera pose. Furthermore, an AR registration method tightly coupled with a game engine is proposed, which incorporates the proposed localization algorithm and aligns the real Kinetic camera with a virtual camera of the game engine to facilitate AR application development in an integrated manner. The experimental results show that the localization accuracy can achieve an average error of 35?cm based on a fine-tuned prior 3D feature database at 3?cm accuracy compared against the ground-truth 3D LiDAR map. The influence of the localization accuracy on the visual effect of AR overlay is also demonstrated and the alignment of the real and virtual camera streamlines the implementation of AR fire emergency response demo in a Virtual Geographic Environment.     

RGB-D SLAM在室内高精度三维测图中的应用

高精度三维测图是室内三维制图的重要支撑,基于三维激光雷达扫描技术的三维测图成本高,需要提前布置标靶,在室内复杂环境中易导致数据不完整;基于图像序列的三维重建建模时间长,易受多种因素影响。针对以上问题,本文将RGB-D SLAM技术应用于室内高精度三维测图中。通过将深度相机与SLAM技术相结合,计算相机位姿并恢复三维空间信息,获取室内三维点云模型,并以目标物实际量测为基准评价密集点云精度。试验结果表明,该方法可快速获取精度较高的三维点云模型,成本低且效率高,能够较好地满足应用需求。     

SLAM激光点云整体精配准位姿图技术

基于同步定位与制图(simultaneous localization and mapping,SLAM)技术的激光扫描系统具有成本低、效率高的优点,近年来在测绘领域得到了广泛关注。虽然基于SLAM技术的激光扫描系统能够实现实时数据获取,但该数据获取方式难以保证点云精度,不同位置获取的同一地物的点云存在位置不一致。为了提高该类系统所获点云精度,本文提出一种分层次点云全局优化方法。该方法首先通过"点-切平面"迭代最近邻算法对重叠点云进行配准,形成扫描系统轨迹间的约束;然后构建位姿图对轨迹进行优化,利用优化后的轨迹对点云进行修正。算法通过将优化过程分解为局部和整体两个层次以提高计算效率。试验结果表明,优化后点云同名点对间的距离中误差减小约50%,内部不一致现象得到有效消除。     

移动激光雷达的瞬时三维构像方法

介绍了基于机器视觉的数字摄影测量智能化新方法：移动激光雷达瞬时三维构像方法。该方法作为移动激光雷达瞬时三维构像理论,解决了无GPS辅助的移动激光雷达自定位与瞬时构像问题,使移动激光雷达灵活应用在室内、室外等多种环境。首先,分析了瞬时构像方法与传统构像方法的不同,以及现有方法的可移植性;接着,给出了视准轴误差自定标方法、基于平整度的有效特征提取算法和快速优化平差算法,构建出移动激光雷达自定位与瞬时构像的核心技术框架;最后,通过3种不同环境构像试验验证本文方法的有效性和适应性。研究表明,该方法可应用在结构化环境与非结构化环境、室内与室外环境,可水平构像也可垂直构像,且无需后数据处理瞬时构像。     

LiDAR点云的建筑物立面空洞修复

针对树木等遮挡造成的车载LiDAR建筑物立面点云空洞,该文提出了一种基于机载和车载LiDAR数据融合的建筑物点云修复方法,即在空-地LiDAR点云融合的基础上,基于提取的机载LiDAR建筑物外轮廓线,通过缓冲区分析实现车载LiDAR建筑物点云分割;借助轮廓线信息实现了邻近建筑物间的相似性判断,基于匹配后的相似建筑物点云和空洞探测方法,实现了建筑物立面点云空洞修复。最后通过实验数据验证了该方法的可行性。     

低成本大视场深度相机阵列系统

在测距传感器不断轻量化、小型化以及室内外地图一体化导航应用的驱动下,三维（3D）室内移动测量成为当今研究和应用的热点,在室内建模、室内定位等新兴领域中的应用越来越广泛。3D室内移动测量系统通常配备激光扫描仪、全景相机、惯性测量单元（inertial measurement unit,IMU）系统和里程计等传感器,虽能实现3D室内点云数据的采集,但其距离传感器-激光扫描仪价格昂贵且便携性较差。彩色深度（RGB depth,RGB-D）相机为低成本3D室内移动测量系统构建提供了新的距离成像传感器选择,但主流型号RGB-D相机视场角小,继而导致数据采集效率远低于传统激光扫描仪,难以做到点云数据的完整覆盖与稳健采集,且易造成同时定位与制图（simultaneous localization and mapping,SLAM）过程中跟踪失败。针对以上问题,构建了一种低成本室内3D移动测量系统采集设备,通过组合多台消费级RGB-D相机构成大视场RGB-D相机阵列,提出了一种阵列RGB-D相机内外参数标定方法,并通过实验检验了设计系统采集的点云数据的精度。     

UAV navigation system using line-based sensor pose estimation

Abstract

This work presents a mapping and tracking system based on images to enable a small Unmanned Aerial Vehicle (UAV) to accurately navigate in indoor and GPS-denied outdoor environments. A method is proposed to estimate the UAV’s pose (i.e., the 3D position and orientation of the camera sensor) in real-time using only the on-board RGB camera as the UAV travels through a known 3D environment (i.e., a 3D CAD model). Linear features are extracted and automatically matched between images collected by the UAV’s onboard RGB camera and the 3D object model. The matched lines from the 3D model serve as ground control to estimate the camera pose in real-time via line-based space resection. The results demonstrate that the proposed model-based pose estimation algorithm provides sub-meter positioning accuracies in both indoor and outdoor environments. It is also that shown the proposed method can provide sparse updates to correct the drift from complementary simultaneous localization and mapping (SLAM)-derived pose estimates.     

Heron移动背包三维激光扫描系统在1∶500大比例尺测图中的精度评价及效率分析

近两年基于SLAM、点云配准的背包式三维激光扫描仪发展迅猛。不同于基于GNSS的移动扫描测量系统,该类设备可在复杂环境中便捷地获取目标的三维点云数据。本文利用基于IMU结合点云配准算法定位方式的Heron移动背包三维激光扫描系统,进行1∶500大比例尺测图生产试验,并对其精度进行评价,对其效率进行分析统计。结果表明,该移动背包三维激光扫描系统在大比例尺测图中的精度和效率均不亚于传统测量手段,未来发展前景广阔。     

Mapping natural and urban environments using airborne multi-sensor ADS40–MIVIS–LiDAR synergies

The recent and forthcoming availability of high spatial resolution imagery from satellite and airborne sensors offers the possibility to generate an increasing number of remote sensing products and opens new promising opportunities for multi-sensor classification. Data fusion strategies, applied to modern airborne Earth observation systems, including hyperspectral MIVIS, color-infrared ADS40, and LiDAR sensors, are explored in this paper for fine-scale mapping of heterogeneous urban/rural landscapes. An over 1000-element array of supervised classification results is generated by varying the underlying classification algorithm (Maximum Likelihood/Spectral Angle Mapper/Spectral Information Divergence), the remote sensing data stack (different multi-sensor data combination), and the set of hyperspectral channels used for classification (feature selection). The analysis focuses on the identification of the best performing data fusion configuration and investigates sensor-derived marginal improvements. Numerical experiments, performed on a 20-km stretch of the Marecchia River (Italy), allow for a quantification of the synergies of multi-sensor airborne data. The use of Maximum Likelihood and of the feature space including ADS40, LiDAR derived normalized digital surface, texture layers, and 24 MIVIS bands represents the scheme that maximizes the classification accuracy on the test set. The best classification provides high accuracy (92.57% overall accuracy) and demonstrates the potential of the proposed approach to define the optimized data fusion and to capture the high spatial variability of natural and human-dominated environments. Significant inter-class differences in the identification schemes are also found by indicating possible sub-optimal solutions for landscape-driven mapping, such as mixed forest, floodplain, urban, and agricultural zones.