动态场景下基于光流的语义RGBD-SLAM算法

为解决传统的同时定位与建图算法在复杂动态环境下容易受到动态目标干扰而导致定位精度差和建图错误的问题,提出了一种动态场景下基于光流的语义RGBD-SLAM算法。首先,通过优化的二维相邻帧透视矫正方法,对当前帧进行透视矫正以补偿相机运动;然后,将矫正后的图像输入RAFT-S网络中,在获得低分辨率的稠密光流场后提取动态目标的掩码,并根据上一帧掩码中动态目标的位置和速度信息,对当前掩码中的动态区域进行跟踪和优化,从而提取动态目标在每一帧中的精确区域;最后,分离静态和动态特征点,通过最小化静态特征点的重投影误差,得到优化后的相机位姿,并结合轻量级语义分割网络BiSeNetv2提供的语义信息和相机提供的深度信息,构建无人的静态语义八叉树地图。公开数据集TUM上的测试结果表明,本文算法的绝对轨迹误差相对于ORB-SLAM2减少了90%以上,并能获取精确的动态区域掩码以及准确的语义地图,验证了该算法在复杂动态场景中具有良好的定位精度和鲁棒性。     

实时的移动机器人语义地图构建系统

语义信息可以使机器人更充分地理解未知环境,为更高级的人机交互和完成更复杂的任务奠定基础。为了能够使移动机器人实时地创建语义地图,在Jetson TX1嵌入式电脑上开发了一种轻量级的深度学习目标检测模型,在保证了检测精度的同时,实现了高效的目标检测功能。并利用了视频流中的帧间光流信息,使用运动信息指导传播算法降低检测算法的漏检率。对于Kinect传感器生成的深度图像有黑边、黑洞等缺陷,使用统一计算设备架构(CUDA)技术开发了一种实时的深度图像修复算法。利用即时定位与地图构建(SLAM)技术,实现移动机器人底层的定位、导航、地图创建功能,并在此基础上使用贝叶斯推理框架,同时融合了环境的度量信息与视觉识别信息完成了语义地图的创建。经过实验表明,所提出的方法在实际的、复杂的室内环境下可以使移动机器人实时地创建语义地图。     

快速跟踪分割辅助的动态 SLAM

目前,同时定位与地图构建(SLAM)技术在真实环境中的应用仍受多种因素制约,室内环境中的动态对象干扰就是其中一个亟待解决的问题。提出一种基于ORB-SLAM3并以实例分割网络为辅助的视觉SLAM系统,该系统将分割任务置于后端,在前端结合RGB-D相机输入和核相关滤波(KCF)算法对后端检测到的语义信息进行跟踪传递,并且使用语义信息在贝叶斯概率框架中追踪关键点的运动状态。与目前基于检测或分割的方法相比,该系统使用更为轻量化的方案来分割和跟踪场景中的运动对象,并在贝叶斯滤波模型的进一步辅助下,既实现了准确的动态干扰滤除,又优化了卷积神经网络(CNN)预处理导致的系统运行实时性问题。在TUM RGB-D数据集上的实验表明,该系统能以约16 fps的速度取得较高的定位精度,相较于ORB-SLAM3平均领先78.56%,相较于DynaSLAM平均领先11.85%。     

语义信息增强的 3D 激光 SLAM 技术进展

由于激光雷达可直接获得测距信息且相较于视觉传感器对光照等环境变化更具鲁棒性等优点,激光同步定位与建图(SLAM)技术近年来得到广泛发展。传统激光SLAM已取得很多研究成果,但其仅利用几何特征,对场景的理解有限,难以应对复杂任务,除此之外,当前SLAM应用场景已由传统静态场景向复杂动态场景过渡,传统方法由于动态元素干扰大多难以获得较好的性能。因此,语义信息增强的三维(3D)激光SLAM技术愈发受到研究学者们的关注,通过赋予点云语义标签与纯几何特征进行融合,一方面借助语义信息滤除潜在运动对象以解决静态环境假设问题,另一方面以语义信息辅助激光里程计获得高精度的定位与建图。综述了语义信息增强的3D激光SLAM技术研究进展,提出了该技术通用框架,分模块对该领域的突出研究成果及应用进行重点介绍,最后对该领域发展方向进行了总结与展望。     

多传感器信息融合的移动机器人定位算法研究

为有效降低使用单一传感器进行移动机器人定位时的不确定误差,提高机器人定位与建图的准确性和鲁棒性,提出了一种多传感器信息融合的移动机器人定位算法。基于激光RBPF-SLAM算法实现机器人同时定位与路标地图构建,运用图优化理论约束优化蒙特卡洛定位的位姿估计结果;通过双目视觉重建环境的三维点特征,针对视觉信息处理计算量大、跟踪精度不高的问题,研究改进基于ORB的特征点提取与四边形闭环匹配算法;利用因子图模型对激光RBPF-SLAM定位和双目视觉定位进行最大后验概率准则下的信息融合。仿真和实验结果表明通过上述方法可以得到比传统RBPF-SLAM算法及一般改进算法更高的定位精度,验证了所提方法的有效性和实用性。     

人工路标辅助的室内移动机器人SLAM

为了提高移动机器人在大规模室内场景中同时定位与建图(SLAM)的精度,利用人工路标和激光雷达传感器对移动机器人SLAM进行了研究。针对大规模室内环境下移动机器人里程计信息不可靠,且低成本雷达测距范围较小导致地图创建结果与真实环境尺度严重不符的问题,提出了利用简单人工路标辅助移动机器人定位并结合基于RaoBlackwellized的粒子滤波算法进行室内走廊场景的移动机器人SLAM,保证移动机器人在长距离运行下的准确定位,最后通过实验验证了方法的可行性,实验结果与真实环境一致性较高,基于人工路标的移动机器人运动轨迹精度提高了6%左右。     

一种基于计算机视觉的无人机实时三维重建方法

针对机器人(或无人机)实时的三维重建中面临的噪声干扰和计算量大的问题,提出一种实时的鲁棒性的同时定位和建图的方法:用RGB-D相机精确估计相机位置的同时重建三维环境。关键思想是测量残差函数——用于估计当前帧的移动量,同时用金字塔模型一步步去逼近真实值。提出一种新的衡量标准用于建立关键帧。然后通过与相邻关键帧的三角化投影给全局地图增加地图点。此外,应用图优化来实现全局优化以获取更高的精度。     

基于图优化方法融合激光反光柱和环境信息的地图构建

针对自动导引运输车（Automated Guided Vehicle,AGV）在环境复杂情况下的对建图定位的稳定性以及精确性的要求,提出了一种基于图优化的即时定位与建图（Simultaneous Localizationand Mapping,SLAM）方法,此算法进行优化时会在构建环境地图时将反光柱信息融合其中。在SLAM前端检测到反光柱并获取到反光柱坐标位姿坐标之后,首先使用扩展卡尔曼滤波（Extended Kalman Filter,EKF）算法对反光柱进行位姿进行初步优化,然后在SLAM系统后端将其作为一个节点和地图中的子图节点一起进行优化。经实验验证,当系统在几何特征少或复杂场景时,将反光柱位姿信息融入之后,以图优化为后端的SLAM算法建图定位精度和鲁棒性都能够获得一定的提升。     

3D 激光雷达 SLAM 算法综述

无人平台在大范围环境中实现自主定位与导航的能力需求日益严苛,其中基于激光雷达的同步定位和绘图技术(SLAM)是主流的研究方案。在这项工作中,本文系统概述了3D激光雷达SLAM算法框架和关键模块,分析阐述了近年来的研究热点问题和未来发展趋势,梳理了3D激光雷达SLAM算法性能的评估标准,并据此选取目前较为成熟的具有代表性的6种开源3D激光雷达SLAM算法在机器人操作系统(ROS)中进行了测试评估,基于KITTI基准数据集,从KITTI官方精度标准、SLAM算法精度指标、算法耗时和处理帧率3方面进行了横向比较,结果表明,所选6种算法中LIO-SAM算法性能综合表现突出,其在00序列数据集的测试中,绝对轨迹误差(ATE)和相对位姿误差(RPE)的RMSE数据分别为1.303和0.028,算法处理的帧率(fps)为28.6,最后依据CiteSpace分析讨论了3D激光雷达SLAM技术的应用趋势。     

基于多传感器融合的机器人室内建图方法研究

设计了一种基于多传感器融合的室内建图方法,能够实现在包含玻璃物体的室内环境进行地图构建。主要利用激光雷达采集的数据和双目相机的数据进行特征级融合,再通过扩展卡尔曼滤波进行位姿融合;依据激光雷达对数据进行采集,利用参考阈值对疑似点进行判定;进一步使用双目视觉进行识别判定,实现多传感器融合建图。该方法可以提高局部定位能力和全局定位能力,解决传统Gmapping算法中对玻璃无法准确识别的问题。     

三维语义场景复原网络

从不完整的视觉信息中推断出物体的三维几何形状是机器视觉系统应当具备的重要能力,而识别出场景中物体的语义是机器视觉系统的核心。传统方法通常将二者分离实现,本文将场景复原与目标语义紧密结合,提出了一种三维语义场景复原网络模型,仅以单一深度图作为输入,实现对三维场景的语义分类和场景复原。首先,建立一种端到端的三维卷积神经网络,网络的输入是深度图,使用三维上下文模块来对相机视锥体内的区域进行学习,进而输出带有语义标签的三维体素;其次,建立了带有密集体积标签的合成三维场景数据集,用于训练本文的深度学习网络模型;最后通过实验表明,与现有的语义分类和场景复原方法相比,语义场景的复原接收区域增加了2.0%。结果表明:三维学习网络的复原性能良好,语义标注的准确率较高。     

实物表面三维相位图定标的研究

本文提出了一种对实物表面三维相位图进行定标的方法。三维数字成像系统＾［５］所得到的三维相位图和实物表面相应各点高度的关系由光学系统的几何结构参数决定。本文首次从到理论上推导了这种对应关系,然后用实验加以验证,并对误差作了相应的估计。     

基于CT图像的肺部肿瘤三维分割研究

肺部CT图像的三维分割计算机肺部肿瘤三维辅助诊断系统的关键技术之一,肿瘤与周围组织的复杂性造成分割困难。利用Connected Threshold及Fast Marching算法,通过两种途径实现了肺部肿瘤的三维分割,并经过实验证明这两种三维分割方法的有效性,为医务人员提供了更为直观逼真的肿瘤立体图像。     

动态场景下基于实例分割和三维重建的多物体单目 SLAM

针对大多数SLAM系统在动态环境下相机位姿估计不准确与环境语义信息利用不充分的问题,提出一种基于实例分割的关键帧检测和贝叶斯动态特征概率传播的动态物体检测算法,并对环境中存在的静态物体三维重建,以此构建一个动态环境下的多物体单目SLAM系统。该系统对关键帧输入图像进行实例分割与特征提取,获取潜在运动物体特征点集合与静态物体特征点集合;利用非运动物体特征点集合获取帧间位姿变换,普通帧利用贝叶斯对动静态特征点进行概率传播,利用静态特征点集实现对相机位姿的精准估计;在关键帧中对静态物体进行联合数据关联,数据充足后进行多物体三维重建,构建多物体语义地图,最终实现多物体单目SLAM。本文在TUM与Boon公开数据集上的实验结果表明,在动态场景下,相较于ORB-SLAM2算法,绝对位姿误差的均方根误差平均降低54.1%和58.2%。     

机械产品三维参数化变型设计研究与应用

分析了目前机械产品三维参数化变型设计的现状,指出了其存在的不足。提出了模块划分、设计计算、参数化变型设计、有限元分析、工程图自动调整的机械产品闭环设计步骤。论述了机械产品三维参数化变型设计的内涵和关键技术。基于主流三维CAD软件平台,开发企业级基础组件,提供专用产品及零部件模块的三维参数化变型设计软件。     

利用图像分割思想的二维混沌映射及图像加密算法

根据二维混沌映射思想,设计了一种新的图像加密算法。二维混沌映射包括左映射和右映射两个子映射。通过对图像的拉伸和折叠处理,实现图像的混沌加密。沿图像的对角线方向,将方图分割为上下两个等腰三角形图像;利用等腰三角形图像两列像素之间的像素数目差,以水平方向,依次将某列中的像素插入到相邻下一列像素之中,直至将原始图像拉伸成为一条直线。最后,按照原始图像大小,将这条直线折叠成一个新的图像。映射是可逆的,可应用于图像加密,密钥设计为二维混沌映射的左映射和右映射的组合。进行了仿真研究,结果表明:当密钥为64 bit时,密钥空间为1.84×10¹⁹,加密速度约为3 Mb/s。该加密算法具有加密速度快、安全性高、没有信息损失、可移植性强和容易软、硬件实现等特点。     

铁路场景三维点云分割与分类识别算法

铁路限界侵入检测对保障高速铁路安全具有重要意义,基于激光三维点云分割与分类识别的异物侵入检测具有准确、直观的优点,在诸如隧道口和站台的铁路重点区域监测中具有广泛应用前景。设计了一种带动二维激光雷达进行俯仰运动的装置用于铁路三维点云的采集,基于法线方向一致性原则提出采用区域生长分割算法解决欧氏聚类分割和随机采样一致性(RANSAC)分割造成的过分割和欠分割问题;针对分割后的单物体点云,提出利用视点特征直方图(VFH)进行不同目标的三维点云特征提取,基于不同物体VFH建立KD树,并利用最近点搜索方法完成单物体点云分类识别。铁路场景典型物体的分类实验结果表明,本算法对铁路场景典型物体的分类识别准确率大于90%。