结合空间结构卷积和注意力机制的三维点云分类网络

目的 三维点云分类作为一项关键任务,在计算机视觉、机器人和自动驾驶等领域有着广泛的应用场景。现有的三维点云分类网络在使用边卷积进行局部特征提取时通常存在输入特征差异性小,空间结构信息提取、融合不充分等问题。针对上述问题,设计了一种结合空间结构卷积和注意力机制的点云分类网络。方法 首先,提出一种空间结构卷积,在边卷积的基础上引入邻接点之间的相对位置信息来降低输入特征相似性,而后从结构和位置两个角度分别进行特征编码,实现更具多样性的局部几何结构捕获。其次,设计了全局特征编码模块,从坐标信息中提炼全局特征信息,同时在网络中融合了注意力机制,用于关联局部和全局特征表示,有效保留了全局特征信息,实现全局特征的适应性调整。最后,将局部几何结构信息和全局位置信息进行有效的融合,获得更具代表性和差异性的特征表征。结果 设计实验在公开数据集ModelNet40上对提出的网络模型的性能进行评估,点云分类总体准确率和平均准确率分别达到93.0%和89.7%,具备良好的分类性能和预测效率。实验结果表明,空间结构卷积的使用有效增加了输入特征的多样性,位置和结构的单独编码有效提高了局部特征的表达能力。同时,提出的注意力加权方式在保留全局特征前提下实现了局部特征和全局特征的关联。结论 提出的网络有较强的细粒度特征提取能力,具有良好的分类性能。     

基于特征通道和空间位置注意力的三维点云特征学习网络

点云模型的分类与部件分割是三维点云数据处理的基本任务,其核心在于获取可以有效表示三维模型的点云特征。提出一个引入注意力机制的三维点云特征学习网络。该网络采用多层次点云特征提取方法,首先使用特征通道注意力模块获取各通道间的关联,增强关键通道信息; 接着引入空间位置注意力机制,基于点的空间位置信息获取各点的注意力权重;然后结合以上2种注意力机制获取增强的点云特征;最后基于该特征继续进行多层次特征提取,获得面向下游任务的点云特征。分别在ModelNet40和ShapeNet数据集上进行形状分类与部件分割实验,结果表明,使用所提方法可以实现高精度、具有鲁棒性的三维点云形状分类与分割。     

基于环查询和通道注意力的点云分类与分割

点云数据的特征处理是机器人、自动驾驶等领域中三维物体识别技术的关键组成部分,针对点云局部特征信息重复提取、点云物体整体几何结构缺乏识别等问题,提出一种基于环查询和通道注意力的点云分类与分割网络。首先将单层环查询和特征通道注意力机制进行结合,减少局部信息冗余并加强局部特征;然后计算法线变化识别出物体边缘、拐角区域的高响应点,并将其法线特征加入全局特征表示中,加强物体整体几何结构的识别。在 ModelNet40 和 ShapeNet Part 数据集上与多种点云网络进行比较,实验结果表明,该网络不仅有较高的点云分类与分割精度,同时在训练时间和内存占用等方面也优于其他方法,此外对于不同输入点云数量具有较强鲁棒性。因此该网络是一种有效、可行的点云分类与分割网络。     

基于注意力机制的时间分组深度网络行为识别算法

受人脑视觉感知机制启发,在深度学习框架下提出基于注意力机制的时间分组深度网络行为识别算法.针对局部时序信息在描述持续时间较长的复杂动作上的不足,使用视频分组稀疏抽样策略,以更低的成本进行视频级时间建模.在识别阶段引入通道注意力映射,进一步利用全局特征信息和捕捉分类兴趣点,执行通道特征重新校准,提高网络的表达能力.实验表明,文中算法在UCF101、HMDB51数据集上的识别准确率较高.     

一种基于注意力机制的三维点云物体识别方法

三维点云数据通常具备无序排列的结构。在三维点云数据处理领域,深度学习模型通常会利用最大池化等对称操作来处理点云的排列不变性。最大池化方法一方面会破坏点云的信息结构,使得局部信息与全局信息难以交互。另一方面,最大池化方法对点云信息过度压缩,得到的特征对局部细节描述不足。针对上述问题,提出了AttentionPointNet的网络结构。该网络利用注意力机制,使每个点与点云其余部分进行特征交互,实现了局部与全局信息的综合。为降低最大池化造成的信息损失,提出了一种稀疏卷积方法来替代池化操作。这种方法利用大步长的稀疏卷积实现全局信息的提取。在ModelNet40数据集上,AttentionPointNet取得了87.2%的准确率。不使用池化层,完全采用卷积层实现的模型取得了86.2%的分类准确率。     

多特征融合与残差优化的点云语义分割方法

目的 当前的大场景3维点云语义分割方法一般是将大规模点云切成点云块再进行处理。然而在实际计算过程中,切割边界的几何特征容易被破坏,使得分割结果呈现明显的边界现象。因此,迫切需要以原始点云作为输入的高效深度学习网络模型,用于点云的语义分割。方法 为了解决该问题,提出基于多特征融合与残差优化的点云语义分割方法。网络通过一个多特征提取模块来提取每个点的几何结构特征以及语义特征,通过对特征的加权获取特征集合。在此基础上,引入注意力机制优化特征集合,构建特征聚合模块,聚合点云中最具辨别力的特征。最后在特征聚合模块中添加残差块,优化网络训练。最终网络的输出是每个点在数据集中各个类别的置信度。结果 本文提出的残差网络模型在S3DIS （Stanford Large-scale 3D Indoor Spaces Dataset）与户外场景点云分割数据集Semantic3D等2个数据集上与当前的主流算法进行了分割精度的对比。在S3DIS数据集中,本文算法在全局准确率以及平均准确率上均取得了较高精度,分别为87.2%,81.7%。在Semantic3D数据集上,本文算法在全局准确率和平均交并比上均取得了较高精度,分别为93.5%,74.0%,比GACNet （graph attention convolution network）分别高1.6%,3.2%。结论 实验结果验证了本文提出的残差优化网络在大规模点云语义分割的应用中,可以缓解深层次特征提取过程中梯度消失和网络过拟合现象并保持良好的分割性能。     

适用于点云数据的注意力机制研究

注意力机制作为一种即插即用的有效提高网络特征提取性能的手段,在自然语言处理、图像识别领域有着广泛的应用。然而由于点云数据的不规则性与无序性,使得注意力机制无法直接应用于点云领域。提出适用于点云的注意力机制,以PointNet类网络作为点云特征提取的骨干网络,通过对点云数据进行多角度池化,采用共享权重的多层感知器获取自适应注意力权重,并与原特征相乘以实现输入特征优化,从而提升网络性能,实现注意力机制在点云领域的应用。设计的适用于点云的注意力机制在ModelNet40分类任务上,帮助PointNet（vanilla）和PointNet网络的分类准确率分别提升0.89和0.40个百分点;在ShapeNet零件分割任务上,帮助PointNet网络的平均交并比提升1.38个百分点;在KITTI三维检测任务上,帮助基于视锥体法的融合检测Frustum-PointNet网络在行人和骑行者两种小物体的平均精度也取得了可观的提升。实验结果表明所设计的注意力机制在多种点云处理任务的有效性和轻量级特点。     

基于伪点云特征增强的多模态三维目标检测方法

环境感知是自动驾驶汽车落地的关键技术之一,它对于提高自动驾驶汽车的安全性和可靠性至关重要.三维目标检测是其中的一项核心任务,旨在识别和定位三维空间中的物体,为后续决策提供重要的信息.点云和图像是该任务最常用的输入数据,点云由三维空间中不规则分布的点组成,而图像则是由二维空间上规则分布的像素组成.因此,点云和图像之间难以进行有效的融合.而伪点云作为一种点云表征的图像信息,近几年受到了该领域学者的广泛关注.现阶段基于伪点云的三维目标检测方法还存在伪点云特征提取粗糙和相应感兴趣区域(Region-of-Intersts, Ro I)特征表征能力差的问题.本文针对上述问题开展研究,分别提出细粒度注意力卷积和多尺度分组稀疏卷积.细粒度注意力卷积将规则图像处理中常用的深度可分离卷积引入不规则点云的处理流程,并在此基础上嵌入通道和分组注意力机制,进行精细的特征提取,增强伪点云特征;多尺度分组稀疏卷积将格网池化后的Ro I特征分组,进行差异化特征学习,获取不同尺度的Ro I特征,增强伪点云Ro I格网特征的表征能力.基于此,本文在SFD(Sparse Fuse Dense)网络的伪点云特征提取流程中引...     

基于Feature-pointNet大场景点云分类

大场景下的激光(Lidar)点云数据分类是一个复杂的问题任务,有时需要多种技术的结合,以获得所需的结果。我们提出了一种基于多维特征矩阵和PointNet的深度神经网络模型。实现了大场景点云下的激光Lidar点云分类工作。文章先将提取点云的三维和二维邻域特征,再将特征进行融合转换为特征矩阵,将局部特征矩阵输入到PointNet框架中提取的全局特征。最后返回每个类别的分数并输出点云分类结果。我们使用公开的Oakland 3D数据集,测试了我们的大场景点云分类框架。实验结果表明,我们的总体分类准确率为98.0%,与其他的点云分类框架相比达到了一个更好的分类效果。     

面向三维点云的端到端细粒度分类网络

针对基于深度学习的三维点云分类方法在元类识别中对子类解译不足的问题,提出一种面向点云的三维模型细分类框架,构建具备层间语义相关和层内上下文感知的端到端细粒度点云网络——FGP-Net.首先以相互连接的卷积算子构建密集连接块,层内利用球邻域查询构造局部区域以完成局部到整体的特征映射,并通过偏置注意力机制关注上下文差异,从而更好地捕捉细粒度属性;然后在层间利用多层特征融合策略探索各层特征间的相关性,通过反向传播学习相关语义信息以提升模型分类性能.在FG3D的3个子数据集Airplane, Chair和Car上的实验结果表明,FGP-Net的总体准确率分别达到95.77%,80.88%和77.94%;与先进的三维点云分类模型PointNet++,PointCNN,Point2Sequence, DGCNN等相比, FGP-Net的分类性能均具有一定的优越性.     

结合动态图卷积和空间注意力的点云分类与分割

目的 随着3维采集技术的飞速发展,点云在计算机视觉、自动驾驶和机器人等领域有着广泛的应用前景。深度学习作为人工智能领域的主流技术,在解决各种3维视觉问题上已表现出巨大潜力。现有基于深度学习的3维点云分类分割方法通常在聚合局部邻域特征的过程中选择邻域特征中的最大值特征,忽略了其他邻域特征中的有用信息。方法 本文提出一种结合动态图卷积和空间注意力的点云分类分割方法（dynamic graph convolution spatial attention neural networks,DGCSA）。通过将动态图卷积模块与空间注意力模块相结合,实现更精确的点云分类分割效果。使用动态图卷积对点云数据进行K近邻构图并提取其边特征。在此基础上,针对局部邻域聚合过程中容易产生信息丢失的问题,设计了一种基于点的空间注意力（spatial attention,SA）模块,通过使用注意力机制自动学习出比最大值特征更具有代表性的局部特征,从而提高模型的分类分割精度。结果 本文分别在ModelNet40、ShapeNetPart和S3DIS（Stanford Large-scale 3D Indoor Spaces Dataset）数据集上进行分类、实例分割和语义场景分割实验,验证模型的分类分割性能。实验结果表明,该方法在分类任务上整体分类精度达到93.4%;实例分割的平均交并比达到85.3%;在室内场景分割的6折交叉检验平均交并比达到59.1%,相比基准网络动态图卷积网络分别提高0.8%、0.2%和3.0%,有效改善了模型性能。结论 使用动态图卷积模块提取点云特征,在聚合局部邻域特征中引入空间注意力机制,相较于使用最大值特征池化,可以更好地聚合邻域特征,有效提高了模型在点云上的分类、实例分割与室内场景语义分割的精度。     

基于区块特征融合的点云语义分割方法

为降低室外大规模点云场景中多类三维目标语义分割的计算复杂度,提出一种融合区块特征的语义分割方法。采用方形网格分割方法对三维点云进行区块划分、采样以及组合,求取简化的点云组合区块集,将其输入至区块特征提取和融合网络中从而获得每个区块的特征修正向量。设计点云区块全局特征修正网络,以残差的方式融合特征修正向量与原始点云全局特征,修正因分割造成的错误特征。在此基础上,将方形网格分割尺寸作为神经网络的参数引入反向传播过程中进行优化,从而建立高效的点云语义分割网络。实验结果表明,反向传播算法可以优化分割尺寸至最佳值附近,所提网络中的全局特征修正方法能够提高语义分割精度,该方法在Semantic3D数据集上的语义分割精度达到78.7%,较RandLA-Net方法提升1.3%,且在保证分割精度的前提下其点云预处理计算复杂度和网络计算时间明显降低,在处理点数为10万~100万的大规模点云时,点云语义分割速度较SPG、KPConv等方法提升2~4倍。     

多特征融合与几何卷积的机载LiDAR点云地物分类

目的 点云分类传统方法中大量依赖人工设计特征,缺乏深层次特征,难以进一步提高精度,基于深度学习的方法大部分利用结构化网络,转化为其他表征造成了3维空间结构信息的丢失,部分利用局部结构学习多层次特征的方法也因为忽略了机载数据的几何信息,难以实现精细分类。针对上述问题,本文提出了一种基于多特征融合几何卷积神经网络（multi-feature fusion and geometric convolutional neural network,MFFGCNN）的机载LiDAR （light detection and ranging）点云地物分类方法。方法 提取并融合有效的浅层传统特征,并结合坐标尺度等预处理方法,称为APD模块（airporne laser scanning point cloud design module）,在输入特征层面对典型地物有针对性地进行信息补充,来提高网络对大区域、低密度的机载LiDAR点云原始数据的适应能力和基础分类精度,基于多特征融合的几何卷积模块,称为FGC （multi-feature fusion and geometric convolution）算子,编码点的全局和局部空间几何结构,实现对大区域点云层次化几何结构的获取,最终与多尺度全局的逐点深度特征聚合提取高级语义特征,并基于空间上采样获得逐点的多尺度深度特征实现机载LiDAR点云的语义分割。结果 在ISPRS （International Society for Photogrammetry and Remote Sensing）提供的3维标记基准数据集上进行模型训练与测试,由于面向建筑物、地面和植被3类典型地物,对ISPRS的9类数据集进行了类别划分。本文算法在全局准确率上取得了81.42%的较高精度,消融实验结果证明FGC模块可以提高8%的全局准确率,能够有效地提取局部几何特性,相较仅基于点的3维空间坐标方法,本文方法可提高15%的整体分类精度。结论 提出的MFFCGNN网络综合了传统特征的优势和深度学习模型的优点,能够实现机载LiDAR点云的城市重要地物快速分类。     

一种运用PCA的深度学习激光点云分类方法

为了提高机载激光雷达数据的分类精度和避免耗时的点云多特征提取,本文在点云去噪的基础上,对点云数据进行相对高程的特征提取,提出一种基于PCA数据降维与Point-Net相结合而形成的网络模型,并将获取的相对高程特征和原始特征经过降维处理后输入到网络中。运用Point-Net网络模型提取的全局特征进行点云分类,返回每个点分类后的标签,并根据点云的坐标信息和标签进行分类结果可视化,实现机载激光雷达点云数据的分类,最后再对得到的分类结果进行精度分析。分类实验表明,此方法获得的点云分类结果较好。     

融合TDA的深度自编码网络车辆目标检测

针对在雪天环境下交通监控检测实时性差和准确率低的问题，提出了融合TDA的深度自编码网络车辆目标检测方法.该方法首先将监控视频帧的图像转化为点云数据；进而通过分割后提取车辆目标的点云数据并利用拓扑数据分析对车辆目标的点云数据进行处理；最后利用量化后的拓扑数据分析得到的车辆目标数据的单纯复形表示作为输入样本，对深度自编码网络进行训练，以栈式自编码结构的最后两层隐藏层作为输出构建车辆目标的特征模型，通过全连接层输入Softmax分类层做分类，使网络可以更加快速精确地对雪天环境下的目标和背景进行分类.实验结果表明，该方法能有效在雪天复杂环境下检测车辆目标并在精度以及速度上均有所提高.