复杂环境下视觉SLAM闭环检测方法综述

随着无人驾驶技术和虚拟现实技术的快速发展,近几年视觉同时定位与建图(SLAM)成为研究热点.本文针对复杂环境下视觉SLAM闭环检测的3个主要问题,场景描述、决策模型和闭环检测性能评价展开综述.首先,介绍了基于经典图像特征、深度学习、深度信息以及时变地图的场景描述方法,并详细分析了不同方法的优缺点.其次,概述了在基于场景描述的闭环识别过程中常用的一些决策模型,着重介绍了概率模型和序列匹配.再次,说明了闭环检测的性能评价方法,并分析了其与后端优化的联系.最后,围绕深度学习、后端优化和多种描述子融合等关键点,展望了有助于推动闭环检测技术未来发展的方向.     

基于语义位置验证的鲁棒闭环检测算法

针对现有闭环检测算法因视觉干扰而产生的闭环误判问题,提出一种利用场景语义信息进行验证的闭环检测算法.该算法通过视觉词袋库模型检索闭环候选帧,用后验方法剔除算法可能产生的错误闭环.后验方法首先将场景中的语义信息抽象为语义节点;然后提取包含邻域信息的节点特征,并以此匹配图像间的语义节点,降低算法对于动态物体干扰的敏感性.随后,算法基于图像间的匹配语义节点构建相对位置网络,根据网络相似度验证闭环帧,提高闭环检测算法在具有相似纹理的场景中应对感知混淆的鲁棒性.实验结果表明,语义位置验证算法能够显著提升视觉词袋模型的检测准确率.与其他经典算法相比,所提出的闭环检测算法具备更快速、更准确的检测性能.     

基于场景几何信息的显著性目标检测方法综述

显著性目标检测在图像和视频压缩、伪装物体检测、医学图像分割等领域具有重要作用.随着深度传感器和光场技术的广泛应用,深度图像和光场数据等场景几何信息开始应用于显著性目标检测,可提升模型在复杂场景下的性能,由此学者们提出一系列基于场景几何信息的显著性目标检测方法.文中旨在分析总结经典的基于场景几何信息的显著性目标检测方法.首先,介绍方法的基本框架及评估标准.然后,围绕多模态特征融合、多模态信息优化、网络模型轻量化三方面,分类概述和分析经典的RGB-D显著性目标检测方法和光场显著性目标检测方法.同时,详细介绍基于场景几何信息的显著性目标检测方法的工作进展.最后,讨论方法目前存在的问题,展望未来的研究方向.     

基于姿态测量模块和闭环检测算法的仿生SLAM研究

基于传感器模型的SLAM导航策略精度较高,但由于摩擦等因素误差长时间累计会造成里程计的漂移现象.依靠视觉里程计进行导航的RatSLAM系统,通过在局部场景细胞中引入闭环检测策略实现累计误差的校正,在静态环境下具有一定的鲁棒性,但在复杂场景里,如移动障碍物的出现,视觉里程计会提取到错误的速度等姿态信息,导致航迹出现较大偏移,有时无法通过场景重定位进行闭环校正.结合两种模型的优势提出一种带姿态测量模块和闭环检测算法的仿生SLAM模型.实验表明,相较于仅带带闭环检测的RatSLAM系统或仅由姿态测量模块构成的导航系统,本文提出的新系统更能适应长期复杂场景下的导航,且鲁棒性更强.     

基于空间位置不确定性约束的改进闭环检测算法

针对在多歧义场景下移动机器人VSLAM(visual simultaneous localization and mapping)的闭环检测问题,提出了一种基于空间位置不确定性约束的改进闭环检测算法.首先针对ICP(迭代最近点)算法点云配准环节提出新的距离函数,弥补了欧氏距离与马氏距离的不足.其次,基于特征点的空间位置不确定性,建立视觉里程计累积误差模型并采用卡尔曼滤波减小误差.然后,根据视觉里程计累积误差模型给出闭环检测的空间范围约束.最后,根据闭环检测结果修正累积误差,进一步缩小闭环检测范围.一方面,改进算法限制了闭环检测的范围,提高了实时性;另一方面,空间约束有效排除了大部分的感知歧义,提高了闭环检测的准确率.数据集和实际场景下的对比实验均表明,对于感知歧义场景,本文提出的闭环检测算法在保证一定的召回率下,准确率明显高于IAB-MAP、FAB-MAP和RTAB-MAP,并且表现出良好的实时性;对于复杂室内场景,本文算法也有着较好的实时性和准确率.     

高校 BIM 课程教学闭环管理体系研究

随着建筑信息模型(BIM)的发展和国家政策的出台,BIM 技术逐步纳入到高校教学体系中,然而 现有的高校 BIM 课程和教学方法不适应 BIM 人才培养的要求。基于对现阶段 BIM 课程存在问题的分析,首先构 建了由专业知识、软件知识、软件操作知识、项目应用知识 4 个方面组成的 BIM 课程教学内容闭环;其次根据 闭环式管理理念,提出了包含课前回顾与导入、传统的教与学、课上练习与讨论以及借助线上平台的课后练习发 布提交与即时反馈的 BIM 课程教学流程闭环,并在学习效果反馈环节中提出主观题目直观答的方法;然后受吉 尔伯特行为工程模型启发,在关键环节建立了资源场景与应用场景,构建出 BIM 课程教学场景闭环。最后在某 高校开设的 BIM 课程中应用了闭环管理体系,并总结了经验教训,可为我国高校 BIM 教学改革提供参考     

V-SLAM深度学习闭环检测研究进展与展望

闭环检测是同步定位与建图（simultaneous localization and mapping,SLAM）中的一个重要组成部分,用于减少移动机器人在位置估计和构建环境地图时产生的累计误差。传统方法采用人工设计的特征,但在外界环境中容易受到光照、天气和视点变化等因素所带来的影响。随着深度学习技术的发展,闭环检测得到广泛的探索,且在复杂环境中基于深度学习的闭环检测具有较强的鲁棒性。通过梳理闭环检测的背景和发展现状,从基于深度卷积神经网络、自动编码器和语义信息三个方面,对目前视觉SLAM（visual-SLAM,V-SLAM）闭环检测方法的基本原理、算法特点进行了对比分析,并从视觉应用层面上总结了三类方法所适用的场景,最后讨论了闭环检测未来在自然环境变化、多移动目标和实时动态三个方面所存在的挑战和研究展望。     

基于场景显著区域的改进闭环检测算法

针对闭环路径不一致、闭环视角变化较大的VSLAM(视觉同时定位与地图创建)闭环检测问题,提出了一种基于场景显著区域的改进闭环检测算法.首先设计了基于场景显著区域的闭环检测架构,并构建了相应的闭环全概率模型.其次,提出了融合特征跟踪率与RGB直方图匹配的关键帧选取方法,降低了闭环检测过程的信息冗余.然后,采用基于逆向索引的预匹配场景选取方法,极大地提高了闭环检测的实时性.最后,根据本文的场景显著区域的几何特点给出了显著区域之间的观测几何匹配概率,提高了闭环检测算法对歧义场景的分辨能力.与FAB-MAP 2.0的对比实验表明,在保证较高的闭环准确率的条件下,本文算法能够有效提高对不重合路径闭环以及大视角变化的闭环的召回率,并具有良好的实时性.     

网格数据库性能监控研究与设计

提出了开放可扩展的监控信息模型，在Globus MDS4监控系统的基础上，增加信息持久化功能，将监控信息收集服务化，实现了网格数据库性能监控系统——DBMg。实验证明，该系统对被监控数据库性能影响很小，为数据库的故障诊断、性能调整和优化提供了强有力的支持。     

一种基于历史模型集的改进闭环检测算法

为了提高移动机器人同时定位与地图创建(SLAM)问题中闭环检测的准确率和实时性,提出了一种基于历史模型集的改进闭环检测算法.首先,在基于Kinect传感器的帧到模型配准模型的基础上,增加特征描述向量并使用加权方法对其进行更新,从而构建历史模型集,并利用视觉词典树(visual vocabulary tree)对历史模型集和当前帧数据进行场景描述;其次,以反比例函数代替最小值函数,使两幅图像在单个节点的相似性得分函数得以优化,从而得到改进的金字塔TF-IDF(词频-逆向文件频率)得分匹配方法.一方面,改进方法能够减少感知歧义,提高闭环检测的准确率;另一方面,利用改进方法对当前帧数据与历史模型集的从属关系进行有效判断,与传统逐帧比较方法相比,比较次数明显减少,闭环检测的实时性得到较大提高.再次,使用改进的金字塔TF-IDF得分匹配方法对当前帧数据和候选历史模型集所包含的关键帧进行相似性分析,进而提取候选闭环;最后,从时间连续性和对极几何约束两个方面剔除误正闭环.数据集和实际场景对比实验均表明,相比于IAB-MAP(incremental appearance-based mapping)、FAB-MAP(fast appearance-based mapping)和RTAB-MAP(real-time appearance-based mapping),本文的闭环检测算法具有更好的实时性,且在确保100%准确率的情况下,具有更高的召回率.     

嵌入重评分机制的自然场景文本检测方法

针对自然场景文本检测中存在大量假阳性问题，提出了嵌入重评分机制的自然场景文本检测方法。引入实例分割网络(Mask R-CNN)作为基本框架，实现对自然场景中多方向、不规则文本的检测；设计文本掩膜重评分机制，通过预测文本掩膜的质量，将文本的语义类别信息与其对应的掩膜完整性信息相结合，重新评估文本掩膜的质量，精确了文本的候选区域；重新设计损失函数的作用范围。上述模型基于端到端训练，在ICDAR2013、ICDAR2015和Total-Text等数据集进行性能测试，结果表明，提出的方法有效的提高了字符分割的完整性，较之现有方法明显地提高了文本检测的准确率和召回率，更适合自然场景中的不规则文本的识别。     

基于局部语义拓扑图的视觉SLAM闭环检测

针对视觉SLAM(同步定位与地图创建)中现有的闭环检测方法容易产生假阳性检测的问题,利用YOLOv3目标检测算法获取场景中的语义信息,以DBSCAN(density-based spatial clustering of application with noise)算法修正错误检测和遗漏检测,构建语义节点,对关键帧形成局部语义拓扑图.利用图像特征和目标类别信息进行语义节点匹配,计算不同语义拓扑图中对应边的变换关系,得到关键帧之间的相似度,并根据连续关键帧的相似度变化情况进行闭环的判断.在公开数据集上的实验表明,目标聚类有效地提高了室内场景下的闭环检测准确性.与单纯利用传统视觉特征的算法相比,本文算法能够获得更加准确的闭环检测结果.     

真实有雾场景下的目标检测

在有雾场景中实现对目标精确检测,是视频监控、智慧城市、无人驾驶等多个实际应用中一个重要的研究内容.为促进真实有雾场景下的目标检测研究,探讨了2个问题:有雾场景目标检测数据集的构建以及真实有雾场景下目标检测的解决方案.首先,设计了一种系统化的、具有真实感的有雾图像合成方法,并建立了合成有雾场景的目标检测数据集.同时,探讨了对真实有雾场景下目标检测器具有提升性能作用的数据集处理方法.其次,探讨了先验知识和模型的联合优化对真实有雾场景的目标检测性能的有效性,并提出了2个框架:基于知识引导的目标检测框架和基于图像去雾和目标检测的联合学习框架.基于知识引导的目标检测框架将统计先验知识用于指导通用目标检测网络学习有雾场景下的目标特征,使通用目标检测器能更好地适应特殊的目标检测场景.基于图像去雾和目标检测的联合学习框架通过去雾模型和目标检测模型的联合优化学习,有效学习图像去雾中恢复的结构细节和颜色特征,从而提高真实有雾场景下的目标检测精度.在RTTS数据集上的实验结果表明,基于知识引导的目标检测框架和基于图像去雾和目标检测的联合学习框架能够有效地提高有雾场景下目标检测器的性能,均值平均精度(mAP)分别为70.5％和66.6％.     

基于Rényi散度最大化的多特征闭环检测

相比单特征,多图像特征的组合提供更多的场景判别信息,可以提高检测精度,但需要设计合适的组合准则.文中提出多特征组合的加权方法,把特征组合的闭环检测精度表示为正确匹配和错误匹配的图像对在特征空间中距离分布的Rényi散度,最优特征组合为最大化Rényi散度.分析验证Rényi散度的参数与对应最优特征组合的闭环检测性能之间的关系.实验表明,文中方法可以提高闭环检测精度.当Rényi散度的参数取0.75~1 时,最优特征组合性能最佳.     

平行点云: 虚实互动的点云生成与三维模型进化方法

三维信息的提取在自动驾驶等智能交通场景中正发挥着越来越重要的作用, 为了解决以激光雷达为主的深度传感器在数据采集方面面临的成本高、样本覆盖不全面等问题, 本文提出了平行点云的框架. 利用人工定义场景获取虚拟点云数据, 通过计算实验训练三维模型, 借助平行执行对模型性能进行测试, 并将结果反馈至数据生成和模型训练过程. 通过不断地迭代, 使三维模型得到充分评估并不断进化. 在平行点云的框架下, 我们以三维目标检测为例, 通过闭环迭代, 构建了虚实结合的点云数据集, 在无需人工标注的情况下, 可达到标注数据训练模型精度的72%.     

自然场景文本检测与识别的深度学习方法

许多自然场景图像中都包含丰富的文本,它们对于场景理解有着重要的作用。随着移动互联网技术的飞速发展,许多新的应用场景都需要利用这些文本信息,例如招牌识别和自动驾驶等。因此,自然场景文本的分析与处理也越来越成为计算机视觉领域的研究热点之一,该任务主要包括文本检测与识别。传统的文本检测和识别方法依赖于人工设计的特征和规则,且模型设计复杂、效率低、泛化性能差。随着深度学习的发展,自然场景文本检测、自然场景文本识别以及端到端的自然场景文本检测与识别都取得了突破性的进展,其性能和效率都得到了显著提高。本文介绍了该领域相关的研究背景,对基于深度学习的自然场景文本检测、识别以及端到端自然场景文本检测与识别的方法进行整理分类、归纳和总结,阐述了各类方法的基本思想和优缺点。并针对隶属于不同类别下的方法,进一步论述和分析这些主要模型的算法流程、适用场景和技术发展路线。此外,列举说明了部分主流公开数据集,对比了各个模型方法在代表性数据集上的性能情况。最后总结了目前不同场景数据下的自然场景文本检测、识别及端到端自然场景文本检测与识别算法的局限性以及未来的挑战和发展趋势。     

基于改进EAST的场景文本检测算法

文字在生活中随处可见,是人们沟通、互动和传递信息的主要媒介.EAST(Efficient and Accuracy Scene Text)模型是一种高效、准确的场景文本检测算法,可以出色地检测自然场景中的文本.但是该方法仍存在长文本检测精度不高等问题.论文对EAST模型进行了改进,在特征提取阶段用Resnet50深度网络来增加模型的鲁棒性,其次在特征融合阶段加入长短时记忆方法LSTM(Long-Short Term Memory),优化了样本信息.实验结果表明,论文设计的场景文字检测算法能够实时处理自然场景图像,准确定位图像中文字的位置,提高了检测精度.     

基于轻型尺度自适应深度网络的低清人脸检测算法

由于安防设备硬件条件等因素制约，在视频监控场景下的低清人脸检测中注重模型在检测精度、速度以及占用内存大小等方面的权衡已然是必须考虑的问题。针对此问题，将可变形卷积（Deformable convolution，DC）和Lambda层进行融合，提出一种轻型尺度自适应深度网络的低清人脸检测模型DLFace。首先借鉴RetinaFace算法，使用改进后的深度可分离卷积能够有效防止训练过程中信息丢失；其次将改进后的可变形卷积引入骨干网络和SSH （Single stage headless） 检测模块，通过增强感受野适应人脸多因素的变化；最后在骨干网络高层引入Lambda层，有效挖掘语义和位置信息，形成更加丰富的特征表示。在WiderFace数据集上的实验结果表明，DLFace实现了性能和速度的平衡，在不同场景下均验证了DLFace的优越性，表明DLFace能较好地适用于视频监控场景下的低清人脸检测任务。     

低成本激光和视觉相结合的同步定位与建图研究

激光雷达和视觉传感是目前两种主要的服务机器人定位与导航技术,但现有的低成本激光雷 达定位精度较低且无法实现大范围闭环检测,而单独采用视觉手段构建的特征地图又不适用于导航应用。因此,该文以配备低成本激光雷达与视觉传感器的室内机器人为研究对象,提出了一种激光和视觉相结合的定位与导航建图方法：通过融合激光点云数据与图像特征点数据,采用基于稀疏姿态调整的优化方法,对机器人位姿进行优化。同时,采用基于视觉特征的词袋模型进行闭环检测,并进一步优化基于激光点云的栅格地图。真实场景下的实验结果表明,相比于单一的激光或视觉定位建图方 法,基于多传感器数据融合的方法定位精度更高,并有效地解决了闭环检测问题。     

Darknet-NVPP视觉SLAM快速闭环检测方法

针对存在快速移动物体等大型复杂场景下，现有基于卷积神经网络的视觉即时定位与地图构建(视觉SLAM)闭环检测方法没有很好的利用图像的局部空间特性且闭环位置预测困难、实时性差问题，本文提出了一种Darknet-NVPP视觉SLAM快速闭环检测方法.本文所用网络保留了CSP-Darknet的部分结构，增添了NetVLAD池化层，对所提取的图像特征进行编码.VLAD(局部空间聚合描述符)能够考虑特征点每一维的值，进而保留图像的空间信息.且根据闭环检测特性，改进其损失函数，构建训练集，对网络重训练，使提取的特征更加适用于闭环检测.又为了避免在不发生或很少发生闭环的情况下，浪费时间于检测，提出了一种基于概率预测与贪心算法的闭环检测方法.通过在New College数据集和目前最具挑战的Nordland数据集上进行实验，结果表明大型复杂场景下，相较于其他传统和基于深度学习的方法，本文方法具有更高的鲁棒性，可以在视觉SLAM中达到更高准确率和效率.