移动机器人超宽带与视觉惯性里程计组合的室内定位算法

对于移动机器人在室内环境的定位任务,新兴的基于视觉惯性里程计（VIO）的辅助定位技术受光线条件限制大,无法在黑暗环境中工作,且超宽带（UWB）定位易受非视距（NLOS）误差影响。针对以上问题,提出一种UWB与VIO组合的室内移动机器人定位算法。首先,采用立体视觉多状态约束下的Kalman滤波器（S-MSCKF）算法/双边双向测距（DS-TWR）算法和三边定位法,分别得到VIO输出的位置信息/UWB解算的定位信息;然后,建立位置测量系统的运动方程与观测方程;最后,通过误差状态扩展卡尔曼滤波（ES-EKF）算法来进行数据融合,得到机器人的最优位置估计。使用搭建的移动定位平台在不同的室内环境下对组合定位方算法进行验证。实验结果表明在有障碍物的室内环境下,与单一UWB定位方法相比,所提算法的总体定位的最大误差减小了约4.4%,均方误差减小了约6.3%;与VIO定位方法相比,所提算法的总体定位的最大误差减小了约31.5%,均方误差减小了约60.3%。可见所提算法可为室内环境下的移动机器人提供实时、精确且鲁棒的定位结果。     

视觉惯性SLAM综述

对视觉SLAM、惯性导航和视觉惯性SLAM进行了介绍,详细介绍了视觉SLAM的框架结构和细分部分,罗列了近年来出色的视觉SLAM模型。最后在视觉惯性里程计的（visual inertial odometry,VIO）基础上,对现有的不同派别的开源视觉惯性SLAM进行深入分析与比较,探讨视觉惯性SLAM的发展趋势与动向。     

基于三维点云的植物叶片重建及其面积估算

为提高植物叶片面积测量的准确度,本文提出了一种植物叶片三维重建补偿方法。该方法首先使用多角度拍摄植物叶片的方法来获取图像;其次,通过运动恢复结构算法(SFM)、聚类多视角立体算法(CMVS)和基于面片的多视角立体算法(PMVS)处理图像并生成三维点云;然后,对点云进行去噪、分割、填补、三角网格化处理;最后,对叶片面积进行估测。实验结果表明,本文方法测量叶片面积的准确度与扫描法接近,并且能解决由于叶片重叠产生的叶面积测量不准确的问题。     

基于快速不变卡尔曼滤波的视觉惯性里程计

针对相机定位问题,设计基于深度相机和惯性传感器的视觉惯性里程计,里程计包含定位部分和重定位部分.定位部分使用不变卡尔曼滤波融合多层迭代最近点(ICP)的估计值和惯性传感器的测量值来获得精确的相机位姿,其中ICP的估计误差使用费舍尔信息矩阵进行量化.由于需要使用海量的点云作为输入,采用GPU并行计算以快速实现ICP估计和误差量化的过程. 当视觉惯性里程计出现定位失败时,结合惯性传感器数据建立恒速模型,并基于此模型改进随机蕨定位方法,实现视觉惯性里程计的重定位.实验结果表明,所设计的视觉惯性里程计可以获得准确追踪相机且可以进行有效的重定位.     

面向动态环境的视觉惯性定位方法

针对传统的视觉惯性里程计在动态环境下定位精度低和系统鲁棒性差等问题,提出了面向动态环境的视觉惯性定位方法。首先,利用语义分割提取环境中的语义信息,借助环境先验信息识别出动态物体。同时,采用深度生成网络对动态物体区域进行背景修复,生成只包含静态场景的图像,并将生成的图像用于后续的特征提取和跟踪,以减弱动态物体的影响。后端构建了紧耦合的图优化模型,将视觉数据与IMU数据相互融合,在滑动窗口中以非线性优化的方式估计位姿。实验结果表明,本文方法可以有效降低动态物体对定位的影响,提高了系统的定位精度和鲁棒性。     

一种基于主动视觉的三维结构恢复和直接欧氏重建算法

利用三正交平移运动, 提出了一种三维结构恢复和直接欧氏重建新算法. 算法仅需利用主动视觉平台控制相机作一组三正交平移运动, 然后通过图像对应点和平移运动的距离就可以恢复平面结构信息和进行欧氏重建. 并且无需假定相机畸变因子为零. 算法计算过程中无需求解相机的内参数, 也无需进行分层重构, 它是一种直接的欧氏重建算法, 避免了传统算法中的相机标定、仿射重建等两大难题, 并且计算过程完全线性化, 简单实用. 最后用模拟实验和真实图像实验对算法进行验证, 实验结果表明了算法的有效性和准确性.     

基于前后双摄像头的鲁棒视觉里程计算法

针对室内视觉里程计受光照影响明显和现代移动设备双摄像头的特点,提出同时利用双侧摄像头视觉里程计算法。通过对单侧视觉里程计状态的评估和重启,实现单侧故障时系统的持续稳定输出,提高了视觉里程计的鲁棒性。在双侧正常运行时通过对双侧视觉里程计输出结果的卡尔曼滤波融合,提高了视觉里程计的精度。在室内多种实际环境、多种移动速度下的实验结果表明,本算法有效地保证了单侧异常情况下视觉里程计的正常输出,同时在双侧有效的情况下明显提高了里程计输出精度。     

基于视觉惯性融合的半直接单目视觉里程计

针对半直接单目视觉里程计缺乏尺度信息并且在快速运动中鲁棒性较差的缺点,设计了一种融合惯性测量信息的半直接单目视觉里程计,通过IMU(惯性测量单元)信息弥补视觉里程计的缺陷,有效提高跟踪精度与系统鲁棒性.本文联合惯性测量信息与视觉信息进行初始化,较准确地恢复了环境尺度信息.为提高运动跟踪的鲁棒性,提出一种IMU加权的运动先验模型.通过预积分获取IMU的状态估计,根据IMU先验误差调整权重系数,使用IMU先验信息的加权值为前端提供精确的初值.后端构建了紧耦合的图优化模型,融合惯性、视觉以及3维地图点信息进行联合优化,同时在滑动窗口中使用强共视关系作为约束,在消除局部累积误差的同时提高优化效率与优化精度.实验结果表明,本文的先验模型优于匀速运动模型与IMU先验模型,单帧先验误差小于1 cm.后端优化方法改进后,计算效率提高为原来的1.52倍,同时轨迹精度与优化稳定性也得到提高.在EuRoC数据集上进行测试,定位效果优于OKVIS算法,轨迹均方根误差减小为原视觉里程计的1/3.     

基于视觉惯性里程计与语义信息的无人机SLAM方法研究

室内环境中存在丰富的语义信息,可以使机器人更好地理解环境,提高机器人位姿估计的准确性。虽然语义信息在机器人同时定位与地图构建(SLAM)领域得到了深入研究和广泛应用,但是在环境准确感知、语义特征提取和语义信息利用等方面还存在着很多困难。针对上述难点,提出了一种基于视觉惯性里程计算法与语义信息相结合的新方法,该方法通过视觉惯性里程计来估计机器人的状态,通过校正估计,构建从语义检测中提取的几何表面的稀疏语义地图;通过将检测到的语义对象的几何信息与先前映射的语义信息相关联来解决视觉惯性里程计和惯性测量单元的累积误差问题。在室内环境中对装备RGB-D深度视觉和激光雷达的无人机进行验证实验,结果表明,该方法比视觉惯性里程计算法取得了更好的结果。应用结合语义信息和视觉惯性里程计的SLAM算法表现出很好的鲁棒性和准确性,该方法能提高无人机导航精度,实现无人机智能自主导航。     

摄像机沿光轴运动下的场景三维重建

讨论了采用针孔摄像机进行摄像机沿光轴运动下的场景三维重建的方法．基于摄像机轴向运动的特点和性质,利用该方法找到图像间的缩放因子,进而解决了轴向运动下的特征匹配;采用Sturm的摄像机自标定方法得到摄像机的内外参数;从而实现了摄像机沿光轴运动下的场景三维重建．     

基于Kinect的轴类零件三维重建研究

使用Kinect采集的深度数据,进行了轴类零件三维重建算法的研究。首先借助Kinect获取深度和彩色数据,通过坐标转换将深度信息转换成三维点云数据;其次提取出感兴趣目标的点云数据,根据点云数据的噪声特点,并对其进行滤波降噪处理;然后进行点云分割获得点云集,最后对各点云集进行结构参数化分析。实验结果表明,本文算法能够精确、高效地实现轴类零件的重建。     

增强现实与视觉惯导模块的位姿融合方法

基于视觉标志物的增强现实技术和视觉惯性里程计(VIO)技术有着良好的互补性。本文针对当前基于视觉标志物的增强现实系统依赖标志物以及VIO的缺乏地理位置信息、累计误差等问题,提出一种泛用的位姿融合方法,该方法可以将任意的2种不同坐标系下的相同轨迹位姿输出转换到同一坐标系下。针对本文的问题,实现基于视觉标志物的增强现实与视觉惯导模块的位姿融合,并利用视觉标志物自身带有地理信息的特点,为整个系统提供真实的地理信息坐标,使得定位系统能够与地理信息系统相结合。以实时通讯的方式采集华为P10手机输出的图像与IMU信息作为数据源,在Ubuntu16.04和Unity游戏引擎上进行实验。结果表明,本文方法能够有效地完成准确的位姿融合。     

基于Kinect的旋转刚体三维重建方法

针对在非匀速非定轴旋转条件下利用Kinect进行刚体三维重建问题,提出一种改进的基于Kinect传感器的旋转刚体三维重建方法。首先利用Kinect采集深度图像,然后用改进的加权ICP(Iterative Closest Point)算法在非匀速非定轴旋转条件下进行配准,再将各点云变换到同一坐标系下,最后根据所得点云生成三维模型表面,通过GPU(Graphic Processing Unit)编程技术来提高计算速度以满足实际需求。实验结果表明:该方法具有重建效果良好的特点。     

三维重建中散乱点云的聚类筛选与网格重建

三维重建过程中获得的初始海量数据存在大量的噪声和孤立点,使得直接使用这些数据进行网格重建时,将会产生尖锐的凸出,导致重建效果不好,甚至是网格重建失败.针对以上问题,提出首先采用基于密度聚类的方法筛选三维点云,然后进行网格重建.实验表明本文算法获得了较好的网格重建效果.     

Reconstruction of non-rigid 3D shapes from stereo-motion

Several non-rigid structure from motion methods have been proposed so far in order to recover both the motion and the non-rigid structure of an object. However, these monocular algorithms fail to give reliable 3D shape estimates when the overall rigid motion of the sequence is small. Aiming to overcome this limitation, in this paper we propose a novel approach for the 3D Euclidean reconstruction of deformable objects observed by an uncalibrated stereo rig. Using a stereo setup drastically improves the 3D model estimation when the observed 3D shape is mostly deforming without undergoing strong rigid motion. Our approach is based on the following steps. Firstly, the stereo system is automatically calibrated and used to compute metric rigid structures from pairs of views. Afterwards, these 3D shapes are aligned to a reference view using a RANSAC method in order to compute the mean shape of the object and to select the subset of points which have remained rigid throughout the sequence. The selected rigid points are then used to compute frame-wise shape registration and to robustly extract the motion parameters from frame to frame. Finally, all this information is used as initial estimates of a non-linear optimization which allows us to refine the initial solution and also to recover the non-rigid 3D model. Exhaustive results on synthetic and real data prove the performance of our proposal estimating motion, non-rigid models and stereo camera parameters even when there is no rigid motion in the original sequence.     

基于运动恢复结构方法的植株三维重建

为了探究基于运动恢复结构(Structure From Motion, SFM)方法的植株三维重建模型的效果,为植物三维重建工作提供研究案例,本文以紫叶鸭跖草(setcreasea pallida)为研究对象,在搭建序列图像获取平台的基础上,选取35幅、75幅、105幅序列图像进行三维重建的对比分析;同时从植株表型参数方面,对植株三维重建模型进行精度评价。结果表明：75幅图像序列的重建效果最好;不同图像序列的模型计算的植株高度相对误差（Relative Error, RE）均小于2.5%,决定系数（coefficient of determination, R2）均大于0.998;不同图像序列的模型提取叶片长和叶片宽的RE均小于2.89%,R2均大于0.958。因此,序列图像的数量与重建模型的效果有关,但二者并非呈正相关关系;序列图像的数量对重建叶片的长与宽的误差影响较小;SFM方法应用于结构比较复杂的植株的三维重建可以取得较好的重建效果。     

面向三维重建的自适应列文伯格-马夸尔特点云配准方法

针对三维重建时点云配准过程易受环境噪声、点云曝光、光照、物体遮挡等因素的影响,以及传统ICP配准算法配准精度低、耗时长等问题,提出一种基于自适应列文伯格-马夸尔特迭代式的点云配准方法。首先,对初始点云数据采用统计滤波和体素栅格滤波相结合的方式进行降噪预处理;然后,对滤波后的点云进行分层,剔除位于层外的外点数据,以提高后续点云配准的精度;针对传统点云特征描述方法计算量大的问题,使用平滑度参数提取点云特征,以提升点云配准的效率;最后,根据点云特征建立帧间点到线及点到面的约束关系,采用改进的列文伯格-马夸尔特(Levenberg-Marquardt)方法完成点云配准,构建较理想的三维重建模型。实验结果表明,提出的点云配准方法适用于室内及室外场景的三维重建,环境适应性强,且点云配准精度和效率都有较大提升。