融合动态区域检测的自监督视觉里程计方法

为解决室外场景中动态区域对视觉里程计计算过程的干扰,获得准确的相机位姿和场景深度,提出一种自监督深度学习框架下融合动态区域检测的视觉里程计算法.给定相邻2帧图像,首先,采用深度估计网络计算2幅图像对应深度图,采用位姿估计网络获得二者初始相对位姿.然后,借助视点变换,计算两视角深度图像之间的差异,确定动态区域.在此基础上,对输入图像中动静态区域进行分离.之后,匹配两视角图像静态区域特征,计算最终相机位姿.从光度、平滑度以及几何一致性三方面构造损失函数,并在损失函数中融入动态区域信息,对所构造网络模型进行端到端自监督训练.在KITTI数据集上验证了所提算法,并将其与最近2年提出的相关算法进行比较.实验结果表明,该算法能够更好地应对动态场景,实现更高精度的相机姿态估计和细小物体深度估计.     

GNSS/SINS/视觉导航鲁棒算法

全球导航卫星系统(Global Navigation Satellite System,GNSS)、捷联惯性导航系统(Strapdown Inertial Navigation System,SINS)和视觉传感器优势互补,3者信息融合可获得高精度、无漂移的导航定位信息.针对GNSS／SINS／视觉融合导航易受运动速度、光照变化、遮挡等影响导致定位精度和鲁棒性降低问题,本文在图优化框架的代价函数中加入SoftLOne鲁棒核函数,设置量测值粗差检验程序,降低离群点带来的负面影响.进一步,对量测值计算残差进行卡方检验,对超限残差降权处理,提高系统精度和鲁棒性.实验结果表明,本文算法较不施加鲁棒核函数、不采用异常值剔除策略和卡方检验的传统算法,以及加入其他鲁棒核函数的算法精度更高、鲁棒性更好,能够较大程度提升GNSS／SINS／视觉导航定位精度和鲁棒性,在大尺度环境下,未出现较大漂移误差,绝对位姿均方根误差0.735 m,绝对位姿误差标准差0.336 m.     

基于重投影深度差累积图与静态概率的动态RGB-D SLAM算法

为了提高同时定位与建图（SLAM）系统在动态场景下的定位精度和鲁棒性,提出新的RGB-D SLAM算法. 建立基于重投影深度差值的累积模型,分割图像的动静态区域;为了避免动态区域过分割,先剔除与匹配地图点欧氏距离过大的动态区域特征点,再根据t分布估计其余特征点的静态概率;将静态区域特征点和动态区域的疑似静态点以不同权重加入位姿优化,得到提纯后的位姿. 在公开数据集上的实验结果表明,所提算法在动态场景下较改进前的RGB-D ORB-SLAM2算法的定位精度提升96.1%,较其他动态SLAM算法提升31.2%,有效提高了视觉SLAM系统在动态环境下的定位精度和鲁棒性.     

多运动视觉里程计的方法与技术

多运动视觉里程计(multi-motion visual odometry, MVO)是在动态场景中估计动态物体位姿变化的算法,对于移动机器人和自动驾驶汽车等自主化设备(autonomous things, AuT)的研发具有重要的理论意义和较大的实用价值。综述机器人领域多运动视觉里程计的发展过程及最新研究进展,根据特征点聚类方法的不同,从特征点几何聚类和语义几何聚类两个方面介绍多运动视觉里程计融合特征点及语义信息求解空间内多运动视觉里程计的重要研究成果。基于相同的评价指标及数据集对几种常用方法进行深入的对比研究,展望未来多运动视觉里程计的发展方向。     

动态场景下基于视差空间的立体视觉里程计

针对实际的复杂动态场景,提出了一种基于视差空间的立体视觉里程计方法.利用SIFT特征点的尺度和旋转不变性及一些合理的约束条件,实现左、右图像对和连续帧间的特征点匹配和跟踪.通过结合了RANSAC的最小二乘估计滤除运动物体上的干扰特征点,得到较为准确的运动参数的初始值,在视差空间中推导出视觉里程估计的数学模型,通过最小化误差函数得到最终运动估计.实验结果表明,该算法在室内外存在运动物体的复杂动态场景中都具有较传统方法更高的精度.     

有效点较少的动态场景下单目视觉SLAM算法

为了解决有效点较少的动态复杂场景下视觉SLAM准确定位问题,提出了一种基于自适应RANSAC动态特征点剔除的单目视觉SLAM算法.通过ARANSAC算法估计图像间的透视变换矩阵,并扭曲上一帧获得一个估计图像,使上一帧中的点转换到当前帧的坐标系下.通过计算特征点在估计图像和当前帧的光流值,区分并剔除ORB-SLAM2中的动态特征点,从而消除动态物体对SLAM定位性能的影响.利用TUM数据集的动态序列对本文算法进行仿真,并与ORB-SLAM2算法进行对比.结果表明,视觉SLAM算法绝对轨迹误差的标准偏差降低84.00%～96.11%,平移和旋转漂移的标准偏差最佳效果分别降低94.00%和96.44%,明显减少了视觉SLAM算法位姿估计的误差.本文算法能够在有效点较少的动态场景下,消除动态物体对视觉SLAM定位性能的影响,提高定位精度.     

融合全局位姿信息的视觉惯性SLAM算法

为了解决纯视觉SLAM算法无法在弱纹理、特征点缺失等场景中维持良好的鲁棒性,提出一种视觉传感器与惯性器件紧耦合的策略.即在视觉信息缺失的情况下,可通过惯性器件提供位置和姿态信息,避免误差的大量累积.在SLAM算法后端优化中,将全局位姿信息与视觉重投影误差、惯性元件残差和边缘化误差一起进行非线性优化,增加后端的约束条件....     

基于视觉信息的航天器位姿估计迭代算法

基于视觉信息的空间目标相对位姿估计问题是未来空间操作的关键所在,正交迭代算法是一种具有实时性好且全局收敛特点的单目位姿估计算法.为了有效利用多个摄像机荻取的数据,进一步提高位姿估计算法的综合性能,提出了一种双目正交迭代融合算法,取两个摄像机获取的所有特征点的目标空间共线性误差平方和作为误差函数,推导得到使两个摄像机总的...     

结合道路结构化特征的语义SLAM算法

视觉SLAM(simultaneous localization and mapping)是智能车辆领域的研究热点,在包含运动目标干扰或近景特征不显著的场景中,容易产生帧间位姿估计结果精度不足或失效问题.为此,本文提出一种结合场景语义信息和路面结构化特征的SLAM算法.首先,针对上述特殊场景中运动目标干扰的情况,设计带有改进金字塔池化模块的语义分割神经网络,得到图像中各像素对应的目标类别,作为剔除运动像素点的依据,从而避免运动点参与特征匹配导致的位姿计算准确性下降问题;然后,针对有效近景特征点不足的情况,基于V视差算法确定图像中的道路平面区域并拟合出精确的视差方程,以计算路面上像素点的精确视差值,并提出一种基于路面结构化特征(车道线、马路边界、路面交通标记等)的位姿计算方法;最后通过场景实验得出,本文提出的改进算法计算结果的绝对轨迹误差小于原算法.证明该方法能够在存在运动目标干扰或缺乏近景特征的场景中具有较高的位姿估计精度,建立了有效的包含语义信息的稠密点云地图,具有良好的环境适应性.     

基于改进Mumfold-Shah模型的图像分割算法

针对传统图像分割方法中由于边缘模糊难以取得理想分割效果的问题,提出了一种基于改进Mumfold-Shah模型的图像分割算法.结合模糊C均值聚类算法对Mumfold-Shah模型进行改进,以提高图像的分割速度和分割的鲁棒性.实验结果表明:该算法具有可行性和有效性.     

Real-Time Structure and Motion by Fusion of Inertial and Vision Data for Mobile AR System

In our previous work,we have presented a mo-bile augmented reality system,which is based on vi-sual inside-out tracking of natural landmarks[1].However it is unrealistic to demand a priori accuratemodeling of an outdoor scene for subsequent trackingpurpose.Furthermore,it is very hard to establishmodel for i mage correspondence,especially in thereal-ti me.Online structure and motion algorithmscould avoid the difficult correspondence problem,be-cause correspondenceisinherently esti mated bytrack…     

基于稀疏直接法闭环检测定位的视觉里程计

视觉里程计在移动机器人的定位导航中发挥着关键性作用, 但当前的算法在运行速度、轨迹精度和鲁棒性等方面依然存在改善空间。为提高相机轨迹精度, 提出基于稀疏直接法的闭环检测算法。该算法直接提取两种特征组成混合型特征点提升系统鲁棒性, 混合型特征点用于跟踪和匹配关键帧, 使视觉里程计能够检测闭环, 再用位姿图优化提升定位精度。实验结果表明在复杂环境中具有较强的鲁棒性, 并且在速度和精度之间取得平衡。     

Semi-Direct Visual Odometry and Mapping System with RGB-D Camera

In this paper a semi-direct visual odometry and mapping system is proposed with a RGB-D camera, which combines the merits of both feature based and direct based methods. The presented system directly estimates the camera motion of two consecutive RGB-D frames by minimizing the photometric error. To permit outliers and noise, a robust sensor model built upon the t-distribution and an error function mixing depth and photometric errors are used to enhance the accuracy and robustness. Local graph optimization based on key frames is used to reduce the accumulative error and refine the local map. The loop closure detection method, which combines the appearance similarity method and spatial location constraints method, increases the speed of detection. Experimental results demonstrate that the proposed approach achieves higher accuracy on the motion estimation and environment reconstruction compared to the other state-of-the-art methods. Moreover, the proposed approach works in real-time on a laptop without a GPU, which makes it attractive for robots equipped with limited computational resources.     

基于运动补偿和自适应插值的混合去隔行方法

针对传统运动补偿去隔行算法因运动估计失误造成的局部插值失真,提出一种基于自适应插值的混合运动补偿去隔行算法.通过边缘检测和运动估计的置信评估,提高了边缘信息和运动矢量的鲁棒性;利用运动矢量和边缘等信息自适应地选择插值方法,有效抑制了因边缘定位不准或运动估计失误等造成的插补缺陷,保护了边缘的连续性和图像的锐利度.实验表明,混合去隔行算法能够自动融合运动补偿插值和边缘定向插值的优点,对运动估计的失误具有更强的抵御性,大大提升了图像的清晰度,表现出比传统算法更优的性能.     

New two-dimensional fuzzy C-means clustering algorithm for image segmentation

To solve the problem of poor anti-noise performance of the traditional fuzzy C-means （FCM） algorithm in image segmentation, a novel two-dimensional FCM clustering algorithm for image segmentation was proposed. In this method, the image segmentation was converted into an optimization problem. The fitness function containing neighbor information was set up based on the gray information and the neighbor relations between the pixels described by the improved two-dimensional histogram. By making use of the global searching ability of the predator-prey particle swarm optimization, the optimal cluster center could be obtained by iterative optimization, and the image segmentation could be accomplished. The simulation results show that the segmentation accuracy ratio of the proposed method is above 99%. The proposed algorithm has strong anti-noise capability, high clustering accuracy and good segment effect, indicating that it is an effective algorithm for image segmentation.     

高适应性激光雷达SLAM

时定位与地图构建(SLAM),或同步建图与定位,目前主要应用于自动驾驶及机器人自主导航领域.由于激光雷达SLAM系统具有较高的测量准确性、对光照变化不敏感的特点,其在工业界获得了广泛的应用.但是基于激光雷达的SLAM算法有几个难以处理的问题:1)在结构化信息较少或在变化场景下的定位的不准确性;2)对于运动畸变的矫正能力...     

基于改进Census变换的单目视觉里程计

针对直接法视觉里程计在光照变化场景下的失效问题,提出基于改进Census变换的单目视觉里程计,向量Census变换半直接单目视觉里程计（VC-SVO）. Census变换是立体视觉领域中非参数变换的一种,可以有效减少光照变化对图像的影响. 将Census变换引入SLAM中的后端优化,改变传统Census变换的形式,转换到欧氏空间中表示,并采用新的误差计算方法. 在SVO算法中增添非平面假设模型,扩展SVO算法并融合改进后的Census变换,通过最小化地图点的Census变换误差来得到更准确的相机位姿,同时构建环境地图. 在EuRoC、New Tsukuba Stereo与TUM公开数据集上的图像实验表明,VC-SVO实现了光照变化情况下的位姿估计,验证了算法的有效性. VC-SVO算法的精度和鲁棒性要优于已开源的SVO和基于直接法的大范围定位和地图构建（LSD-SLAM）算法.