面向点云语义分割的多特征融合PointNet++网络

PointNet和PointNet++方法以最大池化为聚合函数使得深度神经网络可直接分类无序点云,得到了较高的分类精度,但对点云空间相关性局部特征提取能力不足,制约了点云语义分割精度的提升。针对该问题,设计了一种面向点云语义分割的多特征融合PointNet++网络,在PointNet++网络中加入一个特征编码器,并以最小信息熵法计算的最优邻域来计算人工特征作为特征编码器的输入。在ISPRS提供的Vaihingen区域三维点云分类标准数据集上进行语义分割实验对比,结果表明多特征融合PointNet++网络语义分割精度比PointNet和PointNet++分别提高了4.3%和3.2%。     

融合多特征深度学习的地面激光点云语义分割

针对当前点云语义分割研究对地面站激光点云特征利用不足、正确率较低的问题,该文提出了一种基于多尺度球形邻域特征的深度神经网络算法。该算法基于多尺度球形邻域计算的地面激光点云的粗糙度、高斯曲率,以及全方差、线性度等基于协方差的多种特征,结合XYZ坐标、RGB颜色、激光反射强度组成47维特征向量作为神经网络的输入,经过多组参数组合实验优化神经网络结构,最后通过softmax分类器输出每个点的类别。利用Semantic-3D测试集验证所提的深度神经网络模型,取得了较好的分类精度,总体正确率和平均交并比分别达到了86.6%和55.0%。实验结果表明,所提算法充分利用了地面站激光点云的特征,可有效提升语义分割的正确率。     

结合自注意力机制的多特征融合点云语义分割网络

由于三维激光点云的无序性、稀疏性、非结构性以及光谱纹理信息缺乏,使得点云的语义信息提取十分困难,而可以直接对原始非结构化点云进行语义分割的PointNet++网络无法考虑点云的空间相关性。针对这个问题,本文提出了一种结合自注意力机制的多特征融合点云语义分割网络,使用PointNet++和非局部信息统计注意力模块分别提取点云的多尺度特征和空间相关性特征,并融合两种特征以进行最终的点云分割。通过在ISPRS 3D语义分割数据集上进行对比实验,证明本文通过自注意力机制提取的空间相关性特征优于人工设计的特征,可以明显提高点云语义分割的精度,本文方法较PointNet++总体精度提升了4.5%。     

顾及法向量的点云语义分割方法

针对在复杂场景下激光雷达点云数据的语义分割研究中,存在点云特征损失大、点云语义挖掘不足和分割精度不高等问题,该文提出了一种将法向量和RandLA-Net相结合的点云语义分割方法。把点云法向量与RandLA-Net网络的局部特征聚合模块融合,提取局部语义聚合特征,利用softmax分类器对每个点进行分类。实现了复杂场景下LiDAR点云数据的语义分割。通过对Oakland点云数据集和德国Vaihingen城市语义数据集进行实验分析,验证了本文算法具有较强的泛化能力,本文算法在Oakland点云数据集和Vaihingen城市语义数据集上的平均交并比分别为96.38%和92.49%,与RandLA-Net网络相比,该算法充分利用了激光点云数据的语义特征,有效地提高了点云语义分割的准确性。     

几何特征与神经网络联合优化的室内三维点云语义分割方法

室内三维点云数据精准语义分割是实现深层次室内空间应用的基础。针对现有三维点云数据语义分割方法存在目标不完整和不一致的问题,本文提出了一种几何特征与深度神经网络联合优化的室内三维点云语义分割方法。该方法首先利用深度学习实现室内结构信息语义标签的初步提取,然后利用几何与颜色特征的点云分割方法对原始数据进行精确分割,最后利用概率模型将深度学习语义分割结果与几何分割结果进行交叉融合,实现语义分割结果的联合优化。基于开放数据集对本文提出的分割方法进行了精度和有效性验证,分别采用室内场景简单到复杂的三组室内点云数据进行了测试,试验结果表明,本文提出的方法能够有效提升室内三维点云语义分割精度。     

基于语义推理的城区机载LiDAR分割点云分类

目前,机载LiDAR系统获取的点云数据具有多回波的特性,回波特性可以揭示地物的类型信息。本文在排除粗差、首次回波和中间次回波后,对单次回波和尾次回波形成的点云子集进行基于3DHough变换分割和滤波处理以区分地面点和非地面点(包括墙面点),然后合并首次回波、中间次回波和非地面点再次进行点云分割,利用分割面片的尺寸大小、单次回波激光脚点比例、首次回波和中间次回波激光脚点比例等三个指标区分建筑物激光脚点和植被激光脚点。实验证明,上述方法可以很好地将点云数据分类为墙面点、地面点、建筑物点和植被点。     

基于语义特征的堤防外坡激光脚点分割

在缺乏影像等辅助数据的情况下,本文直接利用激光雷达LiDAR点云数据,提取水系边缘,并在此基础上实现基于语义分割的堤防外坡激光点云提取方法。分两步进行边坡的提取:首先获取LiDAR数据中水体边缘轮廓线,进一步获取堤防边坡的下缘线;然后以下缘线为增长基线,通过最小二乘平面拟合,利用区域增长的方法,将边坡平面提取出来,从而获取边坡脚点。     

基于深度学习的大规模点云语义分割方法综述

为了展示深度学习在点云处理上最新进展,同时促进对点云语义分割方法的研究,该文对基于深度学习的大规模点云语义分割方法进行了综述。在介绍8个室内和室外语义分割数据集的基础上,重点对近几年的深度学习点云语义分割方法进行了归纳和分析,并在S3DIS、Semantic3D、Toronto3D、ISPRS Vaihingen 3D和SemanticKITTI数据集上对不同方法进行了比较,并构建了相应的基准。最后对目前点云语义分割算法存在的问题和未来趋势进行了分析。     

利用局部几何特征与空洞邻域的点云语义分割

点云具有数据量大、无拓扑结构等特点,现有的深度学习语义分割模型难以充分挖掘大范围邻域内点云中所隐藏的几何特征。由此提出了一种基于空洞邻域并结合角度等几何特征作为模型输入的点云语义分割模型。首先,在局部邻域构建过程中,将图像处理的空洞卷积操作扩展至点云,建立空洞邻域结构,以扩大感受野;然后,在特征提取过程中,将中心点与邻域点之间相对坐标、距离、角度等基本几何特征作为模型输入,最大程度挖掘邻域内的几何特征;最后,基于所提邻域结构与特征提取算法构建了点云语义分割模型。采用Semantic3D数据集进行实验验证,结果表明,所提模型分割效果优于对比的点云语义分割算法,空洞邻域与局部几何输入特征能够有效改善点云语义模型的性能。     

顾及语义的机载LiDAR点云格网化方法

传统的点云格网化方法采用纯数字拟合内插的方法,基本不顾及平面坐标和高程之间存在的潜在关系——语义信息。将语义信息纳入点云格网化生成的高程格网具有更高的语义一致性,更适合用于3维可视化和真正射影像的生成。以静态水体为例,研究了顾及语义的机载LiDAR点云格网化方法。最后通过实验验证了该方法的有效性。     

顾及语义的机载LiDAR点云格网化方法

传统的点云格网化方法采用纯数字拟合内插的方法,基本不顾及平面坐标和高程之间存在的潜在关系———语义信息。将语义信息纳入点云格网化生成的高程格网具有更高的语义一致性,更适合用于3维可视化和真正射影像的生成。以静态水体为例,研究了顾及语义的机载L iDAR点云格网化方法。最后通过实验验证了该方法的有效性。     

3D点云震害建筑物深度学习样本增强方法

针对震后复杂场景下LiDAR点云建筑物破坏类型自动识别问题,为满足应急救援时效性、准确性需求,告别传统人工震害特征提取,充分挖掘点云数据中灾区建筑物震害信息,进一步实现建筑物自动化智能化识别。本文将3D点云深度学习方法应用于建筑物震害识别,构建了包含倒塌、局部倒塌、未倒塌3种建筑物破坏类型的点云数据集。基于PointNet++网络探究了各类别样本量及其均衡性对识别精度的影响,并提出破坏建筑物样本增强方法,丰富了各类别样本点云形态。利用2010年海地7.0级地震后机载LiDAR数据,在PointNet++网络中进行了样本增强前后分类精度比较、样本量以及均衡性分析实验,样本增强后倒塌和局部倒塌的分类精度分别提高近27%和17%,模型整体平均分类精度、Kappa系数均有近15%的提升。实验结果表明三维建筑物震害深度学习模型在各类别样本量足够且均衡时,才能取得较好的分类识别效果。     

基于特征点的点云压缩方法研究

针对现有点云数据,在VC++平台下,提出一种基于特征点的压缩方法,实现点云数据的抽稀,其中试验数据采用扫描数据以及美国斯坦福大学试验点云数据。经试验表明,该方法能够实现点云的抽稀,减少点云的数据量,提高点云后期处理的效率。     

基于多维欧氏空间相似度的激光点云分割方法

点云数据分割是对激光扫描(LiDAR)场景进行三维重建的基础。针对现有基于边界、表面或聚类的点云分割方法中存在的分割不足或过度分割问题,提出了一种基于多维欧几里德空间相似度的点云数据分割方法。通过计算激光点的法向量,结合点云的光谱特征进行数学变换,计算激光点在多维空间中的欧氏距离,比较邻近点间的相似性,最终完成对激光点云数据的分割。该方法解决了常用点云分割中几何特征和光谱特征无法同时使用的问题,融合了几何分割和颜色分割的两方面优势,提高了点云分割精度。采用2组数据分别比较了基于几何特征、光谱特征和多维空间相似度的3种不同分割算法的分割结果,实验结果验证了该方法的可行性和实用性。     

多源数据融合的三维点云特征面分割和拟合一体化方法

针对单纯利用三维激光点云信息不足的问题,提出融合多源数据对三维激光扫描仪获取的点云数据进行特征拟合的方法。根据地面点云及对应的扫描仪参数生成反射值影像;以反射值影像分割结果作为种子面,基于随机抽样一致性方法分割与拟合一体化;融合彩色影像提取的直线信息确定和验证拟合特征的边界。采用RIEGL VZ-400获取的建筑物点云数据进行了特征拟合试验,证明了该方法的有效性。     

SANet:空间注意力机制下的LiDAR点云实时语义分割方法

语义分割是智能机器人由感知智能迈向认知智能的重要基础,当前针对点云数据的语义分割方法存在实时性差、精度低等现象。本文系统分析了点云经球面投影所得的距离图像与自然图像的差异,为基于距离图像的实时语义分割网络设计提供了思路。通过分析发现,距离图像具有强空间相关性的特点,将强空间相关性与注意力机制相结合,提出基于空间注意力机制下的LiDAR点云实时语义分割方法SANet。该方法能够高效地聚合空间分布特征与上下文特征,且模型参数量较少,满足实时性的要求。在SemanticKITTI数据集上的试验表明,与其他优秀算法相比,SANet兼顾了实时性与准确性,显著提高了LiDAR点云语义分割的精度,可为自动驾驶及其他机器人应用领域提供辅助支撑。     

面向地面点识别的机载LiDAR点云分割方法研究

提出一种面向地面目标识别的机载LiDAR点云分割方法。方法首先求每个激光脚点的法向量和残差,由此确定种子点和种子平面;然后对种子点进行区域生长,生长的过程中以邻接点到种子平面的距离和邻接点与种子点的法向量角度差作为相似性的度量标准;当全部的扫描点都被划分,则算法终止。实验表明,文中提出的分割方法,对于城区区域和农村区域的地面目标有很好的识别效果。     

基于LiDAR点云的建筑物分割深度学习模型研究

本文针对深度神经网络算法应用于机载激光点云进行大规模建筑物提取的问题,分别选取PointNet++和PointCNN两个网络模型进行了改进和对比。对于PointCNN,通过参数调整,使其更适合大场景信息提取。对于PointNet++,为了增加更多特征,加快大场景下网络模型的训练效率,在网络体系结构中添加了一种新的特征提取层——K-means层。另外,通过在测试数据集上的训练和验证发现,本文基于深度学习方法的分类较好地克服了点云的无序特性,能够更好地利用点之间的空间相关性,改进后两种模型的精度均达96%以上,在建筑物提取的时间效率和效果上优于原始模型。     

三维激光点云配电房结构及设备语义分割方法

针对配电房点云场景的三维重建需求问题,该文提出了一种配电房结构及设备点云的自动化语义分割方法。对于配电房主体结构点云,先采用区域增长的方法获取所有结构面的点云块,再基于随机采样一致性平面拟合的方法,对属于同一结构面的点云进行精准合并;对配电房内部设备点云,先采用欧式聚类的方法对每个设备点云进行聚类分割,再采用点云投影与栅格化的方法生成每个设备的主面图像,最后基于深度残差网络搭建深度神经网络对每个设备主面图像进行分类,得到每个设备点云的语义信息。实验证明,该文提出的方法对配电房点云分割的正确率优于0.9,设备识别的正确率优于96%,能够满足后续配电房及设备三维重建的要求。     

基于2D-3D语义传递的室内三维点云模型语义分割

针对现有三维点云模型重建对象化和结构化信息缺失的问题,提出一种基于图模型的二维图像语义到三维点云语义传递的算法。该算法利用扩展全卷积神经网络提取2D图像的室内空间布局和对象语义,基于以2D图像超像素和3D点云为结点构建融合图像间一致性和图像内一致性的图模型,实现2D语义到3D语义的传递。基于点云分类实验的结果表明,该方法能够得到精度较高的室内三维点云语义分类结果,点云分类的精度可达到73.875 2%,且分类效果较好。