集图卷积和三维方向卷积的点云分类分割模型

现有的深度学习方法在提取点云的局部特征时往往忽略了节点间的位置关系和方向信息，导致不能有效地学习点云的局部特征。为解决这一问题，提出一种集图卷积和三维方向卷积的点云分类分割模型GCN3D。GCN3D模型将图卷积神经网络应用在点云分类分割领域。将点云视作图上的节点，对每个节点求其K近邻，建立局部K近邻邻域内两两节点之间的边，并通过图卷积神经网络参数化边特征以捕捉节点间局部位置关系并更新中心节点特征；使用方向编码模块将节点的邻域划分为八个方位的细粒度的邻域小块，并按照三维空间坐标轴的方向依次将局部邻域结构内的节点特征映射到不同细粒度邻域空间内以提取节点间的方向信息，并且叠加两个方向编码模块增大网络的感受野，提高模型对于稀疏点云数据的鲁棒性并获取局部邻域多尺度特征。在ModelNet40数据集和ShapeNet数据集上分别进行点云分类和点云部分分割的实验。结果表明，相比没有考虑局部特征信息的PointNet,GCN3D模型在ModelNet40数据集上的总体分类精度提高了3.8个百分点，平均分类精度提高了4.3个百分点；在ShapeNet数据集上的平均交并比提高了1.5个百分点。相比其他深度...     

基于残差边卷积的3D点云分类算法

3D点云的不规则性与无序性使点云的分类仍具有挑战性.针对上述问题,文中设计基于残差边卷积的3D点云分类算法,可直接从点云学习到具有区分度的形状描述子,用于目标分类.首先,设计具有残差学习的边卷积模块,用于点云的特征提取.通过K近邻算法,该边卷积模块在输入点云上构建局部图,使用卷积及最大池化进行局部特征的提取与聚合.然后,通过多层感知器从原始点特征中提取全局特征,并以残差学习的方式与局部特征结合.最后,以该卷积块为基本单元,构建深度神经卷积网络,实现3D点云的分类.文中方法较全面地考虑点云局部特征与全局特征的有机结合,网络具有更深层次的结构,最终得到的形状描述子更抽象,具有更高的区分度.在具有挑战性的ModelNet40、ScanObjectNN数据集上的实验证实文中方法的分类性能较优.     

基于孪生自适应图卷积算法的点云分类与分割

点云数据具有稀疏性、不规则性和置换不变性,缺乏拓扑信息,导致它的特征难以被提取,为此,提出一种孪生自适应图卷积算法（SAGCA）进行点云分类与分割。首先,构建特征关系图挖掘不规则、稀疏点云特征间的拓扑关系;其次,引入共享卷积学习权重的孪生构图思想,保证点云的置换不变性,使拓扑关系表达更准确;最后,采用整体、局部两种结合方式,将SAGCA与各种处理点云数据的深度学习网络相结合,增强网络的特征提取能力。分别在ScanObjectNN、ShapeNetPart和S3DIS数据集上进行分类、对象部件分割和场景语义分割实验的结果表明,相较于PointNet++基准网络,基于同样的数据集和评价标准,SAGCA分类实验的类别平均准确率（mAcc）提高了2.80个百分点,对象部件分割实验的总体类别平均交并比（IoU）提高了2.31个百分点,场景语义分割实验的类别平均交并比（mIoU）提高了2.40个百分点,说明SAGCA能有效增强网络的特征提取能力,适用于多种点云分类分割任务。     

一种基于注意力机制的三维点云物体识别方法

三维点云数据通常具备无序排列的结构。在三维点云数据处理领域,深度学习模型通常会利用最大池化等对称操作来处理点云的排列不变性。最大池化方法一方面会破坏点云的信息结构,使得局部信息与全局信息难以交互。另一方面,最大池化方法对点云信息过度压缩,得到的特征对局部细节描述不足。针对上述问题,提出了AttentionPointNet的网络结构。该网络利用注意力机制,使每个点与点云其余部分进行特征交互,实现了局部与全局信息的综合。为降低最大池化造成的信息损失,提出了一种稀疏卷积方法来替代池化操作。这种方法利用大步长的稀疏卷积实现全局信息的提取。在ModelNet40数据集上,AttentionPointNet取得了87.2%的准确率。不使用池化层,完全采用卷积层实现的模型取得了86.2%的分类准确率。     

基于自注意力机制的点云分类分割

3D点云由于其无序性以及缺少拓扑信息使得点云的分类与分割仍具有挑战性.针对上述问题,我们设计了一种基于自注意力机制的3D点云分类算法,可学习点云的特征信息,用于目标分类与分割.首先,设计适用于点云的自注意力模块,用于点云的特征提取.通过构建领域图来加强输入嵌入,使用自注意力机制进行局部特征的提取与聚合.最后,通过多层感知机以及解码器-编码器的方式将局部特征进行结合,实现3D点云的分类与分割.该方法考虑了输入嵌入时单个点在点云中的局部语境信息,构建局部长距离下的网络结构,最终得到的结果更具区分度.在ShapeNetPart、RoofN3D等数据集上的实验证实所提方法的分类与分割性能较优.     

融合稀疏注意力和实例增强的雷达点云分割

目的 雷达点云语义分割是3维环境感知的重要环节,准确分割雷达点云对象对无人驾驶汽车和自主移动机器人等应用具有重要意义。由于雷达点云数据具有非结构化特征,为提取有效的语义信息,通常将不规则的点云数据投影成结构化的2维图像,但会造成点云数据中几何信息丢失,不能得到高精度分割效果。此外,真实数据集中存在数据分布不均匀问题,导致小样本物体分割效果较差。为解决这些问题,本文提出一种基于稀疏注意力和实例增强的雷达点云分割方法,有效提高了激光雷达点云语义分割精度。方法 针对数据集中数据分布不平衡问题,采用实例注入方式增强点云数据。首先,通过提取数据集中的点云实例数据,并在训练中将实例数据注入到每一帧点云中,实现实例增强的效果。由于稀疏卷积网络不能获得较大的感受野,提出Transformer模块扩大网络的感受野。为了提取特征图的关键信息,使用基于稀疏卷积的空间注意力机制,显著提高了网络性能。另外,对不同类别点云对象的边缘,提出新的TVloss用于增强网络的监督能力。结果 本文提出的模型在SemanticKITTI和nuScenes数据集上进行测试。在SemanticKITTI数据集上,本文方法在线单帧...     

基于亲疏度矩阵的点云置换不变特征提取方法

点云识别与分割在应用过程中通常需要提取空间旋转不变和置换不变的点云特征，PointCNN采用监督学习的方式来提取，但会产生额外的计算量，PointNet使用最大池化算子提取置换不变特征，且容易忽略点云的局部信息，导致识别准确率下降。提出一种基于亲疏度矩阵的新方法，将点云空间坐标映射到曲率特征空间，提取空间旋转不变特征。通过K邻域内的点集合构建基于欧式内积的亲疏度矩阵，对亲疏度矩阵特征值进行排序，并将对应的特征向量组成变换矩阵，从而变换点云特征，进行置换不变的点云特征卷积操作。在ModelNet40数据集上的实验结果表明，该方法的总体准确率和类别平均准确率分别为92.28%和88.80%，超过PointCNN等基于卷积的方法。此外，该方法通过代数计算的方式获得变换矩阵，可以提高模型训练的效率，且浮点运算数仅为36.6×10⁶ frame/s，大幅降低了训练的复杂度。     

扩展点态卷积网络的点云分类分割模型

目的 点态卷积网络用于点云分类分割任务时,由于点态卷积算子可直接处理点云数据,逐点提取局部特征向量,解决了结构化点云带来的维度剧增和信息丢失等问题。但是为了保持点云数据结构的一致性,点态卷积算子及卷积网络模型本身并不具有描述点云全局特征的结构,因此,对点态卷积网络模型进行扩展,扩展后的模型具有的全局特征是保证分类分割准确性的重要依据。方法 构造中心点放射模型来描述点云逐点相对于全局的几何约束关系,将其引入到点态卷积网络的特征拼接环节扩展特征向量,从而为点态卷积网络构建完善的局部—全局特征描述,用于点云数据的分类分割任务。首先,将点云视为由中心点以一定方向和距离放射到物体表面的点的集合,由中心点指向点云各点的放射矢量,其矢量大小确定了各点所存在的曲面和对于中心点的紧密程度,矢量方向描述了各点对于中心点的包围方向及存在的射线。进而由点云中的坐标信息得到点云的中心点,逐点计算放射矢量构造中心点放射模型,用以描述点云的全局特征。然后,利用点云数据的坐标信息来检索点的属性,确定卷积中参与特定点卷积运算的邻域,点态卷积算子遍历点云各点,输出逐点局部特征,进一步经多层点态卷积操作得到不同深度上的局部特征描述。最后,将中心点放射模型的全局特征和点态卷积的局部特征拼接,完成特征扩展,得到点态卷积网络的扩展模型。拼接后的局部—全局特征输入全连接层用于类标签预测,输入点态卷积层用于逐点标签预测。结果 在ModelNet40和S3DIS（Stanford large-scale 3D indoor spaces dataset）数据集上分别进行实验,验证模型的分类分割性能。在ModelNet40的分类实验中,与点态卷积网络相比,扩展后的网络模型在整体分类精度和类属分类精度上分别提高1.8%和3.5%,在S3DIS数据集的分割实验中,扩展后的点态卷积网络模型整体分割精度和,类属分割精度分别提高0.7%和2.2%。结论 引入的中心点放射模型可以有效获取点云数据的全局特征,扩展后的点态卷积网络模型实现了更优的分类和分割效果。     

基于多粒度特征的点云物体的分割与分类

要由于点云数据的无规则性,很多研究者通过MLP或者卷积等操作学习点云的特征。针对上述方法在学习点云时可能会忽略每个点之间的信息联系,提出一种结合粒计算中的多粒度思想,利用每个点周围的邻域信息,对点云采用KNN算法和下采样操作提取到每个点的局部特征信息,再利用上一层每个点所携带的局部信息进行粒化操作提取特征,从而得到多层次的特征表示。对于不同粒度的点云层进行MLP操作提取更多的特征信息,最后再把每个层提取到的特征信息与每个点原始的特征信息差值结合。实验结果表明,模型在点云的零件分割和形状分类数据集方面能达到更好的效果。     

基于Spider卷积的三维点云分类与分割网络

针对传统的卷积神经网络（CNN）不能直接处理点云数据，需先将点云数据转换为多视图或者体素化网格，导致过程复杂且点云识别精度低的问题，提出一种新型的点云分类与分割网络Linked-Spider CNN。首先，在Spider CNN基础上通过增加Spider卷积层数以获取点云深层次特征；其次，引入残差网络的思想在每层Spider卷积增加短连接构成残差块；然后，将每层残差块的输出特征进行拼接融合形成点云特征；最后，使用三层全连接层对点云特征进行分类或者利用多层卷积层对点云特征进行分割。在ModelNet40和ShapeNet Parts数据集上将所提网络与PointNet、PointNet++和Spider CNN等网络进行对比实验，实验结果表明，所提网络可以提高点云的分类精度和分割效果，说明该网络具有更快的收敛速度和更强的鲁棒性。     

基于动态图卷积的加权点云分类网络

传统的直接处理点云的PointNet类深度学习网络大多只考虑了点云的全局特征而忽视了点云局部特征,动态图卷积网络DGCNN通过构建[k]近邻图完成了对局部特征的弥补。然而现有的DGCNN使用简单的边缘特征作为局部特征的输入,没有对局部特征进行更深入的研究,且仅使用最大池化处理点云无序性问题,这造成了一定的信息损失。提出加权点云分类网络WDGCNN,使用特征拼接思想优化网络结构以实现多层次特征的融合、通过对[k]近邻图构成的边缘特征设计恰当的加权函数以弱化远点的干扰,相对加强近点的特征、采用最大池化和平均池化相结合的对称函数弥补单独使用最大池化造成的全局信息损失的新方法,实现了模型优化。实验结果表明,在通用点云分类数据集ModelNet40上,WDGCNN相比于DGCNN分类准确率由91.61%达到了93.22%,验证了新方法的有效性。     

基于注意力机制的三维点云车辆目标检测

针对自动驾驶场景下三维点云车辆的识别和定位问题,提出了一种基于注意力机制的三维点云车辆目标检测算法.算法将稀疏无序的点云空间划分成等距规则的体素表示,用三维稀疏卷积和辅助网络同步从所有体素中提取内部点云特征,进而生成鸟瞰图.但在将内部三维的点云特征转化为二维的鸟瞰图后,通常会造成目标空间特征信息丢失,使得最终检测结果以及方向性预估差.为进一步提取鸟瞰图中特征信息,提出了一种注意力机制模块,其中包含两种注意力模型,并对其采用首、中、尾的"立体式"布局结构,实现对鸟瞰图中特征信息的放大和抑制,最后使用卷积神经网络和PS-Warp变换机制对处理过后的鸟瞰图进行三维目标检测.实验表明,该算法在保证实时检测效率的前提下,与现有算法相比,具有更好的方向预估性以及更高的检测精度.     

结合动态图卷积和空间注意力的点云分类与分割

目的 随着3维采集技术的飞速发展,点云在计算机视觉、自动驾驶和机器人等领域有着广泛的应用前景。深度学习作为人工智能领域的主流技术,在解决各种3维视觉问题上已表现出巨大潜力。现有基于深度学习的3维点云分类分割方法通常在聚合局部邻域特征的过程中选择邻域特征中的最大值特征,忽略了其他邻域特征中的有用信息。方法 本文提出一种结合动态图卷积和空间注意力的点云分类分割方法（dynamic graph convolution spatial attention neural networks,DGCSA）。通过将动态图卷积模块与空间注意力模块相结合,实现更精确的点云分类分割效果。使用动态图卷积对点云数据进行K近邻构图并提取其边特征。在此基础上,针对局部邻域聚合过程中容易产生信息丢失的问题,设计了一种基于点的空间注意力（spatial attention,SA）模块,通过使用注意力机制自动学习出比最大值特征更具有代表性的局部特征,从而提高模型的分类分割精度。结果 本文分别在ModelNet40、ShapeNetPart和S3DIS（Stanford Large-scale 3D Indoor Spaces Dataset）数据集上进行分类、实例分割和语义场景分割实验,验证模型的分类分割性能。实验结果表明,该方法在分类任务上整体分类精度达到93.4%;实例分割的平均交并比达到85.3%;在室内场景分割的6折交叉检验平均交并比达到59.1%,相比基准网络动态图卷积网络分别提高0.8%、0.2%和3.0%,有效改善了模型性能。结论 使用动态图卷积模块提取点云特征,在聚合局部邻域特征中引入空间注意力机制,相较于使用最大值特征池化,可以更好地聚合邻域特征,有效提高了模型在点云上的分类、实例分割与室内场景语义分割的精度。     

基于深度卷积神经网络的点云三维目标识别方法研究

为了提高对三维点云目标的识别精确度,提出一种基于深度卷积神经网络(Convolutional Neural Network, CNN)的点云目标识别模型。针对已有的深度卷积点云目标识别网络无法有效提取点云局部拓扑特征的问题,采用迭代最远点采样(Iterative Farthest Point Sampling, FPS)结合方向卷积编码方式来捕获局部形状特征。并引入空间变换网络(Spatial Transform Network, STN)使点云数据能够自适应进行空间变换和对齐,以解决点云数据旋转性会造成目标识别结果不稳定的问题。实验结果表明：文中提出的点云目标识别方法有效提高了识别精度度,相较于PointNet在ModelNet40和ShapeNetCore两个数据集上分别提高1.2%和1.4%。     

基于卦限卷积神经网络的3D点云分析

基于深度学习的三维点云数据分析技术得到了越来越广泛的关注, 然而点云数据的不规则性使得高效提取点云中的局部结构信息仍然是一大研究难点. 本文提出了一种能够作用于局部空间邻域的卦限卷积神经网络(Octant convolutional neural network, Octant-CNN), 它由卦限卷积模块和下采样模块组成. 针对输入点云, 卦限卷积模块在每个点的近邻空间中定位8个卦限内的最近邻点, 接着通过多层卷积操作将8卦限中的几何特征抽象成语义特征, 并将低层几何特征与高层语义特征进行有效融合, 从而实现了利用卷积操作高效提取三维邻域内的局部结构信息; 下采样模块对原始点集进行分组及特征聚合, 从而提高特征的感受野范围, 并且降低网络的计算复杂度. Octant-CNN通过对卦限卷积模块和下采样模块的分层组合, 实现了对三维点云进行由底层到抽象、从局部到全局的特征表示. 实验结果表明, Octant-CNN在对象分类、部件分割、语义分割和目标检测四个场景中均取得了较好的性能.     

基于动态图卷积的混合注意力点云特征学习网络

当前针对点云模型的形状分类、部件分割等工作的深度学习网络缺乏从全局和局部两个角度综合利用上下文信息的能力,从而阻碍了点云对象在细节部分的准确度性能。因此,该文提出了一种通道注意力与局部区域注意力相结合的混合注意力机制,并基于动态图卷积构建了新的三维点云特征学习网络EDANet。通过通道注意力优化边卷积的处理过程,充分挖掘点云的局部特征信息,同时使用局部区域注意力从全局视角提取上下文特征,并将两部分信息相结合并逐层传递,从而提高特征提取效果网络的能力。在ModelNet40与ShareNet数据集上分别进行了点云形状分类、部件分割实验,实验结果表明在ModelNet40数据集上,EDANet网络的总体精度OA达到了92.9%,相较于PointNet、PointNet++、DGCNN分别高出了3.7%、2.3%、0.7%。在ShareNet数据集上平均并交比(mIoU)达到了86%,相较于PointNet、PointNet++、DGCNN分别高出了2.3%、0.9%、0.8%。相比其他深度学习网络也具有不同程度的性能提高。验证了该方法在点云处理任务中的优越性能。     

结合稀疏八叉树卷积神经网络的牙齿预备体颈缘线提取方法

针对传统手工提取牙齿预备体颈缘线需要交互标记特征点,操作复杂,效率低的问题,提出了一种基于稀疏八叉树的卷积神经网络自动提取牙齿预备体颈缘线的方法.首先利用稀疏八叉树的空间划分,牙齿预备体模型被预处理为带有标签信息的稀疏点云,构建牙齿预备体数据集;其次利用已训练的卷积神经网络模型将牙齿预备体点云分割为2部分;然后采用密集条件随机场优化分割点云的边界,再将边界点拟合及插值获取新的边界点集;最后连接边界点在预备体模型上对应的投影点形成牙齿预备体颈缘线.在牙齿预备体数据集上的实验结果表明,卷积神经网络模型的预测准确率达到97.23%,通过对该方法提取的预备体颈缘线与专业医生提取的颈缘线之间的曲线偏差进行对比分析,验证了该方法的有效性.     

基于局部空间信息表征融合和信息深度残差提取的点云分类分割算法

点云作为一种能提供丰富空间信息与物体几何特征的数据表达形式,在自动驾驶和机器人等领域有着广泛的应用前景。点云数据具有无序性的特点,早期研究者利用深度学习工具完成点云的分类分割任务时,一般采用结构化表示方法(如将点云转换成体素,多视图),但这些方法会导致部分三维空间信息损失和预处理计算量大等问题。PointNet创新性地使用共享的MLP(多层感知机)处理每个点云的向量,有效地解决了点云的无序性问题。PointNet的扩展版本PointNet++利用Encode-Decode结构进行局部特征提取。整体采用Encode-Decode结构,提出了PointRFE神经网络模型。其中,设计了能够对局部进行更充分表征的局部信息表征融合(Local Information Representing and Fusing, LIRF)模块,该模块融合了局部采样点特征,局部点云仿射变换特征和局部空间几何结构信息特征;设计了信息深度残差提取(Information Deep Residual Extractor, IDRE)模块,该模块通过带有瓶颈残差结构的共享MLP(多层感知机)对LIRF模块输出的融合特...     

基于改进胶囊网络的文本分类

针对卷积神经网络（CNN）中的池化操作会丢失部分特征信息和胶囊网络（CapsNet）分类精度不高的问题，提出了一种改进的CapsNet模型。首先，使用两层卷积层对特征信息进行局部特征提取；然后，使用CapsNet对文本的整体特征进行提取；最后，使用softmax分类器进行分类。在文本分类中，所提模型比CNN和CapsNet在分类精度上分别提高了3.42个百分点和2.14个百分点。实验结果表明，改进CapsNet模型更适用于文本分类。     

基于多尺度动态图卷积网络的3D点云分类

3D点云数据是一种不规则性数据,传统卷积神经网络无法直接对3D点云数据进行处理.对此,提出一种基于多尺度动态图卷积网络的3D点云分类模型.利用最远点采样方法采样3D点云数据集的代表点,降低模型计算复杂度;利用不同尺度的k最邻近节点聚合方式,对图中每一个中心节点的k最邻近节点进行定位;利用边卷积操作对中心节点及其邻接节点的局部属性特征进行提取与聚合用于分类.实验表明,该模型在3D点云分类准确度上,达到了比当前主流模型更高的水平,并且大幅降低了模型生成参数的数量.