基于级联深度神经网络的车辆位姿融合估计

在复杂的城市环境下,全球导航卫星系统信号失效时,现有利用单目相机或惯性导航系统估计车辆位姿的方法存在严重的累积误差。针对以上问题,提出了一种基于级联深度神经网络(CDNN)的车辆位姿融合估计算法。首先,设计了一种级联深度神经网络,减小单目相机因尺度模糊和尺度漂移造成的累积误差;其次,为了减小引入的器件噪声,利用简化惯性传感器系统(RISS)获取车辆横向、纵向加速度和横摆角速度。为了减小系统中不确定噪声的影响,利用H∞滤波融合CDNN和RISS的输出,在准确估计车辆位姿的同时保证高频输出。在KITTI数据集上的实验结果表明,与基于卡尔曼滤波的方法相比,本文算法估计得到的东向位置均方根误差(RMSE)减小了41.3%,北向位置RMSE减小了70.6%,航向角RMSE减小了66.6%。     

基于相机状态方程多模增广的改进MSCKF算法

针对基于多状态约束卡尔曼滤波(MSCKF)的视觉-惯性里程计算法中相机状态方程增广过程的误差累积问题,提出了一种相机状态方程多模增广方法。该方法首先对视觉特征跟踪状态的稳定性进行判断,然后自动地选择基于视觉图像信息优化求解相机相对位姿参数或基于惯性传感器(IMU)状态递推结果联合相机外参初始化新图像帧相机位姿参数两种途径增广相机的状态方程,解决特征跟踪状态稳定情况下IMU误差的累积问题。实验部分通过EuRo C数据和实际应用数据对算法的性能进行了验证分析,结果表明,改进后的MSCKF算法能够在特征跟踪稳定状态下有效避免IMU误差的累积,进一步融合视觉与惯性系统之间的互补优势,提高载体的定位定向精度和稳定性。     

基于深度卷积神经网络的视觉里程计研究

视觉里程计利用视频信息来估计相机运动的位姿参数，实现对智能体的定位。传统视觉里程计方法需要特征提取、特征匹配/跟踪、外点剔除、运动估计、优化等流程，解算非常复杂，因此，提出了基于卷积神经网络的方法来实现端对端的单目视觉里程计。借助卷积神经网络对彩色图片自动学习提取图像帧间变化的全局特征，将用于分类的卷积神经网络转化为帧间时序特征网络，通过三层全连接层输出相机的帧间相对位姿参数。在KITTI数据集上的实验结果表明，提出的Deep-CNN-VO模型可以较准确地估计车辆的运动轨迹，证明了方法的可行性。在简化了复杂模型的基础上，与传统的视觉里程计系统相比，该模型的精度也有所提高。     

结合视觉里程计的微小型空中机器人SLAM研究

经典的基于“平滑摄像机模型”的单目视觉同步定位与地图构建方法无法适用于具有复杂飞行模式的微小型空中机器人.针对这个问题,提出一种结合视觉里程计的单目视觉同步定位与地图构建方法.该方法通过视觉里程计直接估计机器人机载摄像机相对位姿变化,并将这些位姿信息嵌入基于EKF的单目视觉同步定位与地图构建算法中.同时,在采用视觉里程计进行位姿估计时,针对可能出现的退化问题,采用特征分类的策略,提高了估计的鲁棒性.将方法应用于一套真实的微小型智能无人直升机系统上,实验数据验证了方法具有良好的适用性和实用性.     

IMU松耦合的KinectFusion算法改进

针对KinectFusion算法中采用frame-to-model ICP进行位姿估计时经常发生位姿丢失的问题,提出了使用惯性测量传感器IMU进行松耦合的算法改进。通过使用IMU采集到位移数据结合ICP算法实现位姿估计,意图在快速移动或者采集的图像数据缺少有效配准点的情况下保证相机跟踪不丢失,增强KinectFusion算法的整体鲁棒性。通过实验,将提出的算法与原有的算法进行比较,结果表明这里算法在没有明显降低实时性的情况下,其鲁棒性上优于原有算法,可以满足移动机器人的实时SLAM需求。     

单目相机-IMU外参自动标定与在线估计的视觉-惯导SLAM

针对视觉-惯导信息融合同时定位与地图构建(VI-SLAM)中,单目相机-惯性测量单元(IMU)外参离线标定繁琐的问题,以及单目相机-IMU外参因传感器受到冲击或调整发生变化影响系统跟踪精度的问题,提出一种单目相机-IMU外参自动标定与在线估计的VI-SLAM算法。该算法首先利用手眼标定方法计算单目相机-IMU外参旋转矩阵并估计陀螺仪零偏;接着,在不考虑加速度计零偏的情况下估计系统的尺度、重力加速度以及单目相机-IMU外参平移向量;然后,利用已知的重力加速度大小估计加速度计零偏并更新以上已估计的初始化参数;最后,将单目相机-IMU外参放入状态向量中进行在线估计。EuRo C数据集实验表明,该VI-SLAM算法可以自动标定并在线估计单目相机-IMU外参,得到的旋转与平移外参误差分别在0. 5°和0. 02 m之内,这有利于VI-SLAM系统的快速使用以及精度的提升。     

一种可参数自标定的鲁棒视觉 / 惯性定位方法

以视觉/惯性里程计为代表的视觉/惯性定位方法近年来被广泛应用。传统的视觉/惯性里程计通过离线标定方法得到固定的相机畸变参数,当相机畸变参数标定不准确或发生变化时定位精度会下降。针对于此,提出了一种面向相机畸变参数在线自标定的鲁棒视觉/惯性里程计方法:首先,将相机畸变参数加入到视觉/惯性里程计的待优化变量中,推导了视觉重投影误差关于待优化变量的雅可比矩阵;然后通过因子图优化技术,实现相机畸变参数的在线自标定与载体导航信息的实时优化求解;最后,通过EuRoC数据集试验和实际试验验证了所提方法的有效性。实际试验结果表明:相对传统的视觉/惯性里程计方法,所提方法在室外开阔场景中精度提升了65.40%。     

基于惯性传感器和视觉里程计的机器人定位

针对机器人快速运动下,由运动模糊而导致视觉里程计定位估计精度下降的问题,结合惯性传感器和视觉里程计提出一种定位算法.该方法以扩展卡尔曼滤波(extended Kalman filter,EKF)为框架,利用惯性传感器的航位推算构建EKF的过程模型,视觉里程计作为相对线速度和相对角速度传感器用来建模观测方程,同时考虑到机器人运动在平面上,在垂直方向和侧向方向不会产生跳动和滑动,利用这两个方向上瞬时速度为零的约束构建另外一个观测方程.提出的定位方法能够克服视觉定位和惯性定位的缺点,提高了定位精度.基于机器人实测数据进行实验,结果表明提出的算法优于单独采用惯性传感器和视觉里程计.     

激光雷达与惯性测量单元同步融合下的园区三维建图

针对自动驾驶三维建图中存在的建图不准确以及位姿飘移的问题,利用激光雷达里程计消除惯性测量单元（Inertial Measurement Unit, nIMU）累计误差并通过IMU预积分去除激光雷达点云畸变,形成激光雷达与IMU的紧耦合建图系统;通过增加回环检测因子、激光雷达里程计因子以及IMU预积分因子进行后端图优化,旨在提升定位建图的全局一致性,减小位姿估计误差,降低累计漂移误差。最后,在学校园区实地场景以及利用开源数据集KITTI进行实验验证,实验表明,在选取的学校园区实地场景下,改进算法APE误差均值相较于原算法降低了11.04%,APE均方根误差较于原算法降低了17.35%;改进算法在KITTI数据集场景下平均APE误差下降了10.04%,均方误差方面相较于原算法平均下降了12.04%。研究结果表明,改进的建图方法能够有效提高建图的位姿估计精度与地图构建精度。     

基于三维模型的单目车辆位姿估计

车辆位姿估计是智慧交通系统的重要组成部分,然而复杂的运动场景以及单目相机存在无法获取深度信息等问题。本文提出了一种结合单目相机及车辆三维模型进行车辆位姿估计的方法。首先对多尺度的车辆目标进行尺度归一化,然后以向量场的形式回归车辆关键点的坐标提升在遮挡或者截断状态下的位姿估计精度。在此过程中提出使用基于距离加权的向量场损失函数和关键点误差最小化的投票方法,进一步提高了位姿估计算法的准确性。此外,本文制作了一个含有丰富标注信息的合成车辆位姿估计数据集,在其上的验证结果表明,本文算法的平均定位误差和角度误差分别为0.162 m和4.692°,在实际场景中有着非常大的应用价值。     

应用摄像机位姿估计的点云初始配准

基于摄像机位姿估计的数学模型,提出了一种检测摄像机位移前后目标图像特征点的方法,通过求解摄像机发生位移前后的相对位姿矩阵来解决应用视觉图像获得点云的初始配准问题。首先,介绍了摄像机位姿估计模型,包括本质矩阵、旋转矩阵以及平移矩阵;然后,介绍了SURF算子的特征点检测、描述和匹配的方法,在此基础上面向双目视觉和单目结构光系统,分别提出了摄像机位移前后目标图像SURF特征点匹配和深度估计模型;最后,分别进行双目视觉和单目结构光系统点云的获取、位移前后目标图像特征点检测匹配和深度估计实验,应用摄像机位姿估计模型求解旋转矩阵和位移矩阵,并对位移矩阵进行统计分析剔除粗差。实验中采用基于点云空间特征点和基于图像的方法进行对比,点云对应特征点均方误差缩小至12.46mm。实验结果验证了方法的可行性,表明本文的点云初始配准方法能较好地获得点云精确配准初值。     

单目相机-IMU-机械臂的空间联合标定方法

将单目相机和惯性测量单元(IMU)固定在机械臂末端,可以有效地协助机械臂进行运动估计和场景感知。单目相机、IMU和机械臂之间可靠、准确的标定是实现随动感知的前提。但是,传统的标定方法存在耦合误差大、标定一致性差和6自由度激励不充分的问题。为此,本文提出了一种新颖的单目相机-IMU-机械臂的空间联合标定模型,该模型能够将旋转分量的误差和平移分量的误差完全解耦。此外,创新性地设计了一种螺旋式运动轨迹来标定感知模块,采用这种运动轨迹能够避免6自由度激励不充分和一致性差等问题。在实验环节,本研究搭建了单目相机-IMU-机械臂空间联合标定平台,计算得到三轴姿态角和平移分量的均方根误差分别小于0.7°和7 mm,证明了所提标定方法的有效性。     

利用平行透视投影模型的位姿迭代估计

提出了一种利用平行透视投影模型的高效位姿迭代估计方法来提高单目视觉测量系统的精度和鲁棒性.通过引入齐次坐标表示,避免了现有算法对平行透视投影参考点选择的限制.首先,研究了平行透视投影模型下使用齐次坐标求解目标位姿的方法,阐述了它的几何意义.然后,通过迭代的方式将其应用于一般透视模型下目标位姿的高精度估计.仿真实验结果表明,本文方法提高了基于平行透视投影模型的位姿迭代估计的精度,速度和抗噪性能.实物测量结果表明,本文方法的平移测量精度优于0.1 mm,旋转测量精度优于0.1°,可以满足各种视觉检测系统的要求.另外,使用标志点和图像特征亚像素定位技术还可进一步提高该算法的精度.     

基于惯性测量单元辅助的激光里程计求解方法

在同步定位与建图(SLAM)问题中,里程计部分的求解精度对后续建图起着至关重要的作用,惯性测量单元(IMU)可以为SLAM中里程计求解提供良好辅助。在考虑平面移动机器人运动特点及室内环境特征的基础上提出一种基于IMU松耦合的激光里程计求解方法,实现里程计部分的精准定位。第1阶段,机器人运动过程中实时处理点云信息,将地面点分割并提取有效关键点;第2阶段,将IMU信息引入卡尔曼滤波器,为帧间匹配提供位姿先验;第3阶段,滤波器输出位姿估计值后,利用非线性优化方法进行点云帧间匹配,实现里程计运动的求解。实验表明,所提方法在激光点云处理、运动求解,具有良好的稳定性和准确性,可将偏移量误差控制在0.4%以内,为后续建图提供有力数据保障。     

基于彩色图像的高速目标单目位姿测量方法

针对风洞分离实验对于视觉测量系统的高精度、大视场、高速的测量要求,提出一种基于单目摄像机的风洞运动目标位姿测量方法。该方法利用单目摄像机进行运动目标位姿信息测量,相比于双目测量方法具有设备简单、视场大的优点。首先提出一种基于靶标特征点相互约束关系的参数优化方法,采用复合式靶标实现摄像机的快速高精度标定;针对目标运动图像处理,提出一种基于图像差叠法和标记点位置估计的图像快速分割与目标定位方法,实现图像特征的快速准确定位;针对单目测量要求及目标运动特性,提出一种基于方向估计标记点布局方式,实现合作标记点的快速识别和提取;最后利用单目视觉原理求解运动目标的位置和姿态信息,通过实验室模拟实验完成了测量系统的精度验证,在1 m×1 m视场范围内,其位移测量精度可达到0.19 mm,俯仰和偏航角测量精度可达到0.18°。     

应用抛物线运动估计摄像机姿态

根据抛物线运动特有的射影几何性质,提出了一种应用抛物线运动估计摄像机姿态的新方法。首先,计算不同位置自由落体运动轨迹在摄像机图像平面上投影直线的交点,并证明该交点即为地球重力方向的灭点。其次,使用Sampson近似计算抛物线运动轨迹在摄像机平面上的投影二次曲线方程。最后,在摄像机内参数已知的条件下,利用抛物线投影二次曲线中隐含的关于灭点和灭线的射影几何性质,完成摄像机姿态的估计。通过数值模拟和实际实验验证了提出算法的正确性和可行性。结果表明：与传统的棋盘估计方法比较,本文算法估计旋转矢量的轴平均误差为0.017 rad,角平均误差为0.007 rad,平移矢量方向的平均误差为0.071 rad。得到的结果显示该方法可以应用于计算机视觉中摄像机的姿态估计。     

MEMS-based rotary strapdown inertial navigation system

As the inertial navigation completely depends on the sensed acceleration and rotation rate by IMU, the sensor errors accumulate and eventually lead to diverged inertial solutions. Therefore the compensation of the inertial sensor errors is an effective approach to improve the SINS navigation performance. The rotation error modulation in rotary SINS, which has been extensively used for the filter-optical IMU in the past, is one of the techniques to compensate or mitigate the inertial sensor errors and eventually improve the system navigation performance. The rotary SINS is an inertial navigator in which the IMU is installed on the rotational platform and rotated following the pre-designed rotation configuration, and the rotation error modulation is the technique that compensates the navigation errors caused by inertial sensor bias in a complete rotation cycle by rotating IMU. Given the auto-compensation of inertial sensor bias in rotation error modulation, the objective of this paper to develop a MEMS-based rotary SINS, in which the significant sensor bias is automatically compensated by rotating the IMU, to offer the comparable navigation performance to tactical-grade IMU. Simulation results indicate that, compared with the conventional method, the proposed approach attenuates the navigation errors and improve the calibration accuracy based on the reciprocating rotation scheme can be used to automatically improve the observability.