基于全融合网络的三维点云语义分割

为提高室内场景的点云语义分割精度,设计了一个全融合点云语义分割网络。网络由特征编码模块、渐进式特征解码模块、多尺度特征解码模块、特征融合模块和语义分割头部组成。特征编码模块采用逆密度加权卷积作为特征编码器对点云数据进行逐级特征编码,提取点云数据的多尺度特征;然后通过渐进式特征解码器对高层语义特征进行逐层解码,得到点云的渐进式解码特征。同时,多尺度特征解码器对提取的点云多尺度特征分别进行特征解码,得到点云多尺度解码特征。最后将渐进式解码特征与多尺度解码特征融合,输入语义分割头部实现点云的语义分割。全融合网络增强了网络特征提取能力的鲁棒性,实验结果也验证了该网络的有效性。     

基于特征增强的三维点云语义分割

为挖掘感知点云几何特征并通过特征增强的方式进一步提高点云语义分割效果,提出了一种基于特征增强的点云语义分割网络。首先,通过设计点云的几何特征感知（GFSOP）模块赋予网络点云局部几何结构的感知能力,捕获点间的空间特征以强化语义表征,并利用分层提取特征思想获得多尺度特征。同时,使用空间注意力和通道注意力融合预测点云语义标签,并通过强化空间关联性和通道依赖性提升分割性能。在室内数据集S3DIS(Stanford large-scale 3D Indoor Spaces)上的实验结果显示,所提网络相较于PointNet++在平均交并比（mIoU）上提升了5.7个百分点,在总体准确度（OA）上提升了3.1个百分点,且在存在噪声、点云密度不均和边界不清晰等问题的点云上表现出更强的泛化性能和更加鲁棒的分割效果。     

基于区块特征融合的点云语义分割方法

为降低室外大规模点云场景中多类三维目标语义分割的计算复杂度,提出一种融合区块特征的语义分割方法。采用方形网格分割方法对三维点云进行区块划分、采样以及组合,求取简化的点云组合区块集,将其输入至区块特征提取和融合网络中从而获得每个区块的特征修正向量。设计点云区块全局特征修正网络,以残差的方式融合特征修正向量与原始点云全局特征,修正因分割造成的错误特征。在此基础上,将方形网格分割尺寸作为神经网络的参数引入反向传播过程中进行优化,从而建立高效的点云语义分割网络。实验结果表明,反向传播算法可以优化分割尺寸至最佳值附近,所提网络中的全局特征修正方法能够提高语义分割精度,该方法在Semantic3D数据集上的语义分割精度达到78.7%,较RandLA-Net方法提升1.3%,且在保证分割精度的前提下其点云预处理计算复杂度和网络计算时间明显降低,在处理点数为10万~100万的大规模点云时,点云语义分割速度较SPG、KPConv等方法提升2~4倍。     

基于编码特征学习的3D点云语义分割网络

目前点云语义分割已广泛应用到自动驾驶、虚拟现实等多个领域,但现阶段点云分割算法无法提取较完整的空间结构信息,难以解释每个点编码信息的问题.针对此缺陷,文中提出基于编码特征学习的3D点云语义分割网络.首先,在引入角度信息和增强特征的基础上构造局部特征编码器(Local Feature Encoder, LFE),学习较完整的局部空间结构,缓解相似物体错分割问题.然后,设计混合池化聚合模块(Mixed Pooling Polymerization, MPP),聚合粗犷特征和精细特征,同时保证点云的排序不变性.最后,采用多尺度特征融合,充分利用编码层不同尺度特征,实现准确的语义分割.在两个大型基准数据集S3DIS和SemanticKITTI上的实验表明文中网络的优越性.     

基于深度学习的三维点云语义分割方法研究

综述了基于深度学习的三维点云语义分割方法的研究进展。利用文献分析法,按照数据的表现形式对基于深度学习的三维点云语义分割的方法进行阐述。探讨了近些年的国内外发展现状,分析了目前相关方法的优缺点,并展望了未来发展的趋势。深度学习的加入在点云语义分割技术研究上发挥着越来越重要的作用,推动了制造与包装等领域趋向于智能信息化。根据各类方法的优缺点,利用深度学习技术构建出基于投影、体素、多视图以及直接基于点云的2D-3D组合语义分割框架模型是未来的一个重要研究方向。     

基于距离视图表示与逐点细化结合的点云语义分割方法

三维点云语义分割是机器实现环境感知的重要途径。在现有的研究中,基于体素的算法和基于点的算法在面对大规模的点云数据时计算效率低下。而基于距离视图的算法,在对点云进行投影和反投影时会不可避免地造成精度损失。针对上述问题,提出了基于距离视图表示与逐点细化结合的点云语义分割新框架RPNet。充分的实验表明,所提出的方法在三维点云室外场景数据集SemanticKITTI上的平均交并比达到64.2%,推理速度达到58帧/秒,兼顾了高精度和高速度。     

基于深度学习的三维点云分割综述

作为三维场景理解的重要技术之一,三维点云分割受到广泛的关注,具有重要的研究价值和广阔的应用前景.基于此,梳理基于深度学习的三维点云分割技术的最新研究进展;在介绍三维点云分割常用的8个室内和室外数据集的基础上,重点阐述和分析现有主要基于深度学习的语义分割、实例分割和部件分割方法,并基于量化数据进行部分方法的效能比较;最后从10个方面总结现有方法的不足,并针对性地提出工作展望.     

多特征融合与残差优化的点云语义分割方法

目的 当前的大场景3维点云语义分割方法一般是将大规模点云切成点云块再进行处理。然而在实际计算过程中,切割边界的几何特征容易被破坏,使得分割结果呈现明显的边界现象。因此,迫切需要以原始点云作为输入的高效深度学习网络模型,用于点云的语义分割。方法 为了解决该问题,提出基于多特征融合与残差优化的点云语义分割方法。网络通过一个多特征提取模块来提取每个点的几何结构特征以及语义特征,通过对特征的加权获取特征集合。在此基础上,引入注意力机制优化特征集合,构建特征聚合模块,聚合点云中最具辨别力的特征。最后在特征聚合模块中添加残差块,优化网络训练。最终网络的输出是每个点在数据集中各个类别的置信度。结果 本文提出的残差网络模型在S3DIS （Stanford Large-scale 3D Indoor Spaces Dataset）与户外场景点云分割数据集Semantic3D等2个数据集上与当前的主流算法进行了分割精度的对比。在S3DIS数据集中,本文算法在全局准确率以及平均准确率上均取得了较高精度,分别为87.2%,81.7%。在Semantic3D数据集上,本文算法在全局准确率和平均交并比上均取得了较高精度,分别为93.5%,74.0%,比GACNet （graph attention convolution network）分别高1.6%,3.2%。结论 实验结果验证了本文提出的残差优化网络在大规模点云语义分割的应用中,可以缓解深层次特征提取过程中梯度消失和网络过拟合现象并保持良好的分割性能。     

基于局部特征聚合网络的三维语义分割

激光雷达采集的自动驾驶场景点云数据规模庞大且包含丰富的空间结构信息,一些方法将点云变换到体素化网格等稠密表示形式进行处理,但却忽略了点云变换引起的信息丢失问题,导致分割性能降低。为此,提出了一种基于局部特征聚合网络的三维语义分割方法。其中的局部特征融合模块,聚合中心点的K个最近点的特征,并通过强大的注意力机制,得到增强的点特征,从而弥补丢失的信息,提高网络的分割精度。此外,为了提高小物体的分类精度,提出了3D注意力特征融合块,通过摒弃常规的特征图拼接,使用注意力机制来决定不同层次语义特征的权重,得到更加丰富的语义特征,提高网络的性能。在SemanticKITTI和nuScenes数据集上的大量实验表明了该方法的优越性。     

基于深度学习的点云语义分割研究综述

近年来,深度传感器和三维激光扫描仪的普及推动了三维点云处理方法的快速发展。点云语义分割作为理解三维场景的关键步骤,受到了研究者的广泛关注。随着深度学习的迅速发展并广泛应用到三维语义分割领域,点云语义分割效果得到了显著提升。主要对基于深度学习的点云语义分割方法和研究现状进行了详细的综述。将基于深度学习的点云语义分割方法分为间接语义分割方法和直接语义分割方法,根据各方法的研究内容进一步细分,对每类方法中代表性算法进行分析介绍,总结每类方法的基本思想和优缺点,并系统地阐述了深度学习对语义分割领域的贡献。然后,归纳了当前主流的公共数据集和遥感数据集,并在此基础上对比主流点云语义分割方法的实验结果。最后,对语义分割技术未来的发展方向进行了展望。     

结合特征图切分的图像语义分割

目的 基于全卷积神经网络的图像语义分割研究已成为该领域的主流研究方向。然而,在该网络框架中由于特征图的多次下采样使得图像分辨率逐渐下降,致使小目标丢失,边缘粗糙,语义分割结果较差。为解决或缓解该问题,提出一种基于特征图切分的图像语义分割方法。方法 本文方法主要包含中间层特征图切分与相对应的特征提取两部分操作。特征图切分模块主要针对中间层特征图,将其切分成若干等份,同时将每一份上采样至原特征图大小,使每个切分区域的分辨率增大;然后,各个切分特征图通过参数共享的特征提取模块,该模块中的多尺度卷积与注意力机制,有效利用各切块的上下文信息与判别信息,使其更关注局部区域的小目标物体,提高小目标物体的判别力。进一步,再将提取的特征与网络原输出相融合,从而能够更高效地进行中间层特征复用,对小目标识别定位、分割边缘精细化以及网络语义判别力有明显改善。结果 在两个城市道路数据集CamVid以及GATECH上进行验证实验,论证本文方法的有效性。在CamVid数据集上平均交并比达到66.3%,在GATECH上平均交并比达到52.6%。结论 基于特征图切分的图像分割方法,更好地利用了图像的空间区域分布信息,增强了网络对于不同空间位置的语义类别判定能力以及小目标物体的关注度,提供更有效的上下文信息和全局信息,提高了网络对于小目标物体的判别能力,改善了网络整体分割性能。     

基于语义分割引导的三维目标检测

三维目标检测是计算机视觉领域的热门研究内容之一。在自动驾驶系统中,三维目标检测技术通过捕获周围的点云信息与RGB图像信息,对周围物体进行检测,从而为车辆规划下一步的行进路线。因此,通过三维目标检测实现对周边环境的精准检测与感知是十分重要的。针对三维目标检测技术中随机采样算法导致前景点丢失的问题,首先提出了基于语义分割的随机采样算法,通过预测的语义特征指导采样过程,提升了前景点的采样比重,进而提高了三维目标检测精度;其次,针对三维目标检测定位置信度与分类置信度不一致的问题,提出了CL联合损失,使得网络倾向于选择定位置信度与分类置信度都高的3D候选框,避免了传统的NMS仅考虑分类置信度所带来的歧义问题。在KITTI三维目标检测数据集进行了实验,结果表明,该方法能够在简单、中等、困难3个难度下均获得精度的提升,从而验证了其在三维目标检测任务中的有效性。     

集成RGB-D语义分割网络的室内语义地图构建

针对传统视觉SLAM准确度低、实时性差、缺乏语义的问题,提出一种全新的RGB-D语义分割网络,利用室内场景中受光照等条件影响较小的深度信息来提高分割的准确性,并且设计了轻量级多尺度残差模块(MRAM)和空间金字塔池化模块(ASPP)来轻量化分割网络、提高分割的精度。首先输入的图像序列进入ORB-SLAM2网络进行关键帧筛选,之后关键帧送入语义分割网络得到二维语义标签,再将二维语义信息映射到三维点云空间,最后使用贝叶斯算法更新三维地图得到全局一致的三维点云语义地图。实验采用NYUv2数据集验证语义分割网络性能,采用TUM数据集构建点云语义地图,结果表明,提出的语义分割网络性能和速度优于现有的模型,且此语义分割网络与视觉SLAM相结合可以满足高精度、实时的稠密三维语义点云地图构建要求。     

Neighborhood co-occurrence modeling in 3D point cloud segmentation

A significant performance boost has been achieved in point cloud semantic segmentation by utilization of the encoder–decoder architecture and novel convolution operations for point clouds. However,co-occurrence relationships within a local region which can directly influence segmentation results are usually ignored by current works. In this paper, we propose a neighborhood co-occurrence matrix(NCM) to model local co-occurrence relationships in a point cloud. We generate target NCM and prediction...     

基于语义分割动态特征点剔除的SLAM算法

针对动态物体容易干扰SLAM建图准确性的问题,提出了一种新的动态环境下的RGB-D SLAM框架,将深度学习中的神经网络与运动信息相结合。首先,算法使用Mask R-CNN网络检测可能生成动态对象掩模的潜在运动对象。其次,算法将光流方法和Mask R-CNN相结合进行全动态特征点的剔除。最后在TUM RGB-D数据集下的实验结果表明,该方法可以提高SLAM系统在动态环境下的位姿估计精度,比现有的ORB-SLAM2的表现效果更好。     

基于Spider卷积的三维点云分类与分割网络

针对传统的卷积神经网络（CNN）不能直接处理点云数据，需先将点云数据转换为多视图或者体素化网格，导致过程复杂且点云识别精度低的问题，提出一种新型的点云分类与分割网络Linked-Spider CNN。首先，在Spider CNN基础上通过增加Spider卷积层数以获取点云深层次特征；其次，引入残差网络的思想在每层Spider卷积增加短连接构成残差块；然后，将每层残差块的输出特征进行拼接融合形成点云特征；最后，使用三层全连接层对点云特征进行分类或者利用多层卷积层对点云特征进行分割。在ModelNet40和ShapeNet Parts数据集上将所提网络与PointNet、PointNet++和Spider CNN等网络进行对比实验，实验结果表明，所提网络可以提高点云的分类精度和分割效果，说明该网络具有更快的收敛速度和更强的鲁棒性。     

结合图像分割和点云分割的障碍物检测算法

针对单目图像检测障碍物的低可靠性和当前双目视觉检测障碍物的局限性的问题,提出一种结合图像分割和点云分割技术的双目视觉障碍物检测方法。通过设定检测深度范围,分割障碍物点云与道路点云;采用将分割出的障碍物点云对应的视差图与图像分割得到的子图进行比较的策略,有效解决对不同深度、倾斜面和不规则障碍物检测效果差的问题。通过实验验证了在获得稀疏三维点云的情况下,该方法对障碍物的检测具有较好的鲁棒性。     

融合稀疏注意力和实例增强的雷达点云分割

目的 雷达点云语义分割是3维环境感知的重要环节,准确分割雷达点云对象对无人驾驶汽车和自主移动机器人等应用具有重要意义。由于雷达点云数据具有非结构化特征,为提取有效的语义信息,通常将不规则的点云数据投影成结构化的2维图像,但会造成点云数据中几何信息丢失,不能得到高精度分割效果。此外,真实数据集中存在数据分布不均匀问题,导致小样本物体分割效果较差。为解决这些问题,本文提出一种基于稀疏注意力和实例增强的雷达点云分割方法,有效提高了激光雷达点云语义分割精度。方法 针对数据集中数据分布不平衡问题,采用实例注入方式增强点云数据。首先,通过提取数据集中的点云实例数据,并在训练中将实例数据注入到每一帧点云中,实现实例增强的效果。由于稀疏卷积网络不能获得较大的感受野,提出Transformer模块扩大网络的感受野。为了提取特征图的关键信息,使用基于稀疏卷积的空间注意力机制,显著提高了网络性能。另外,对不同类别点云对象的边缘,提出新的TVloss用于增强网络的监督能力。结果 本文提出的模型在SemanticKITTI和nuScenes数据集上进行测试。在SemanticKITTI数据集上,本文方法在线单帧...