基于Feature-pointNet大场景点云分类

大场景下的激光(Lidar)点云数据分类是一个复杂的问题任务,有时需要多种技术的结合,以获得所需的结果。我们提出了一种基于多维特征矩阵和PointNet的深度神经网络模型。实现了大场景点云下的激光Lidar点云分类工作。文章先将提取点云的三维和二维邻域特征,再将特征进行融合转换为特征矩阵,将局部特征矩阵输入到PointNet框架中提取的全局特征。最后返回每个类别的分数并输出点云分类结果。我们使用公开的Oakland 3D数据集,测试了我们的大场景点云分类框架。实验结果表明,我们的总体分类准确率为98.0%,与其他的点云分类框架相比达到了一个更好的分类效果。     

基于K-means聚类的三维点云分类

针对三维点云分类算法受到点云稀疏性和无序性影响的问题,提出一种改进算法。在点云预处理阶段,对密集的点云进行冗余数据去除,以减少后续计算量;对于稀疏的点云数据则进行三角形插值计算,以使分类更精确。加入K-means聚类分析算法,之后并行通过PointNet网络进行特征提取,该方法可体现点云空间中的点云分布特性。分别在ModelNet10/40上进行三维点云分类实验,并对比不同[K]值对分类结果的影响。实验结果表明,当[K=5]时分类准确率最高,其在ModelNet10/40上的准确率分别是94.2%和92.6%。提出的算法性能高于其他对比算法,同时训练时间大大减少。     

激光点云的稀疏体素金字塔邻域构建与分类

目的 在点云分类处理的各环节中,关键是准确描述点云的局部邻域结构并提取表达能力强的点云特征集合。为了改进传统邻域结构单尺度特征表达能力的有限性和多尺度特征的计算复杂性,本文提出了用于激光点云分类的稀疏体素金字塔邻域结构及对应的分类方法。方法 通过对原始数据进行不同尺度下采样构建稀疏体素金字塔,并根据稀疏体素金字塔提取多尺度特征,利用随机森林分类器进行初始分类;构建无向图,利用直方图交集核计算邻域点之间连接边的权重,通过多标签图割算法优化分类结果。当体素金字塔的接收域增大时,邻域点密度随其距离中心点距离的增加而减小,有效减少了计算量。结果 在地基Semantic3D数据集、车载点云数据和机载点云数据上进行实验,结果表明,在降低计算复杂性的前提下,本文方法的分类精度、准确性和鲁棒性达到了同类算法前列,验证了该框架作为点云分类基础框架的有效性。结论 与类似方法相比,本文方法提取的多尺度特征既保持了点的局部结构信息,也更好地兼顾了较大尺度的点云结构特征,因而提升了点云分类的精度。     

基于改进PointNet++的大规模猪体点云部位分割

PointNet++点云分割网络能直接处理点云并有良好的分类和分割效果,然而对于自由运动状态下获取的大型牲畜点云,存在较大姿态差异,PointNet++无法难以直接捕捉其局部特征,对牲畜体点云各部位分割效果不佳。针对此问题论文采用Octree结构改进了PointNet++集合抽象层中的分组与采样层,使得网络能够更好地捕捉目标点云的非刚性变化,充分提取不同层次下的局部信息,实现对大规模牲畜点云数据的自动分割。采用Octree改进的PointNet++模型分割活体猪点云数据的头部、耳朵、尾部、躯体和四腿。实验表明,500组猪体点云数据,采用320组不同姿态下的猪体点云进行网络训练,180组分割测试结果的平均mIoU达到了88.06%,OA达到了96.57%。     

基于分层特征化网络的三维人脸识别

针对三维人脸多表情、多姿态变化同时存在,人脸点云数据不同程度缺失的问题,探索性地将三维点云人脸数据应用于PointNet系列的分类网络并进行了识别结果的对比与分析,然后提出了一种新的网络框架——HFN。首先,在数据预处理后随机采样固定点数的点云;其次,将固定点数的人脸点云输入SA模块,以获取局部区域的质心点、邻域点并提取局部区域的特征,然后拼接由DSA模块基于多方向卷积提取的点云空间结构特征;最后,利用全连接层进行三维人脸的分类,从而实现三维人脸识别。在CASIA数据库上的结果显示,所提方法的平均识别率为96.34%,优于PointNet、PointNet++、PointCNN和空间聚合网络（SAN）这几种分类网络。     

结合MAML和Dirichlet过程的小样本点云分类

点云被广泛使用在各种三维应用场景中,但是实际应用中通常存在扫描、标注费时费力等局限性,因此基于小样本数据集的点云分类网络更加符合应用需求.为了有效地提高深度学习分类算法在小样本点云数据集上的分类效果,提出一种针对小样本数据集的点云分类方法.针对训练数据集不平衡问题,首先采用基于相似度依赖的Dirichlet中餐馆过程对数据集进行预处理,在无需人工指定聚类个数的前提下对样本进行重新聚类,以提升分类网络在小样本数据集上的性能;然后在重新聚类后的样本上使用模型无关(model agnostic meta learning, MAML)算法训练PointNet++,达到用少量点云样本就能快速适应新任务的能力.所提方法不但降低了模型对数据量的依赖,提高了模型泛化能力,而且成功地把MAML算法从二维图像分类拓展到三维点云分类中;在Modelnet40数据集上的实验结果表明,与PointNet++相比,该方法的训练时间减少了一半,分类准确率平均提高6.67%,验证了该方法在小样本数据集上的有效性.     

保留边界的点云简化方法

针对点云简化算法中边界点丢失的问题,提出了一种保留边界的三维散乱点云的非均匀简化算法。首先利用kd-tree建立散乱数据点云的空间拓扑关系,计算出每个数据点的k邻域;然后针对目前依据点云分布均匀性算法提取边界效率低的问题,提出一种改进的点云边界点判定算法;最后保留所有边界点,对非边界点,根据曲面变分值和k邻域点已保留比例,进行点云的非均匀简化。实验结果表明,该算法精度高,空间复杂度低,而且简化后点云边界保留完整。     

基于分层特征化网络的三维人脸识别

针对三维人脸多表情、多姿态变化同时存在，人脸点云数据不同程度缺失的问题，探索性地将三维点云人脸数据应用于PointNet系列的分类网络并进行了识别结果的对比与分析，然后提出了一种新的网络框架——HFN。首先，在数据预处理后随机采样固定点数的点云；其次，将固定点数的人脸点云输入SA模块，以获取局部区域的质心点、邻域点并提取局部区域的特征，然后拼接由DSA模块基于多方向卷积提取的点云空间结构特征；最后，利用全连接层进行三维人脸的分类，从而实现三维人脸识别。在CASIA数据库上的结果显示，所提方法的平均识别率为96.34%，优于PointNet、PointNet++、PointCNN和空间聚合网络（SAN）这几种分类网络。     

一种邻域自适应的双阈值点云特征提取方法

点云数据的特征提取是点云数据处理环节中的一项重要内容,对几何分析、数据分割、点云配准、模型重建等研究起关键作用。研究了基于法向量和曲率的点云特征提取技术,阐明了特征提取过程中邻域选取与单一参数计算存在的问题,提出了邻域自适应的双阈值点云特征提取方法。通过实验对比了该算法与基于曲率的特征提取算法的提取效果,验证了本算法的稳定性、准确性。该算法对于几何特征复杂的点云具有较好的提取效果,对提高点云特征点提取的精度及效率具有重要的意义。     

偏度特征约束下的机载激光雷达点云数据分类

机载激光雷达获得的点云具有密度低、分布不均匀、分支结构不清晰等特点,其动态扫描过程的数据特征动态偏差很小,无法提取有效的数据去噪特征。为此提出偏度特征约束下的机载激光雷达点云数据实时分类方法。该方法将扫描获取的点云大容量实时数据引入在正态分布中,利用衡量对称性正态分布的关键度量偏度特征作为动态特征分界约束,完成数据滤波;提取机载激光雷达点云特征,从中选取优质特征,以此构建SVM分类器。点云大容量数据训练结果即为最终的分类结果。实验结果表明,所提方法分类的准确性与效率较高。     

融合小样本元学习和原型对齐的点云分割算法

目的 针对点云分割需要大量监督信息所造成的时间成本高、计算效率低的问题，采用融合原型对齐的小样本元学习算法对点云进行语义分割，使模型能够在监督信息很少的情况下完成分割任务。方法 首先，为了避免小样本训练时易导致的过拟合问题，采用2个边缘卷积层（edge convolution layer，EdgeConv）与6个MLP （multilayer perceptron）交叉构造DGCNN （dynamic graph convolutional neural network），同时还保证了能充分学习到点云信息；然后，以N-way K-shot的形式将数据集输入上述网络学习支持集与查询集的特征，通过average pooling feature获取类别原型并融合原型对齐算法得到更为鲁棒的支持集原型；最后，通过计算查询集点云特征与支持集原型的欧氏距离实现点云分割。结果 在S3DIS （Stanford large-scale 3D indoor spaces dataset）、ScanNet和闽南古建筑数据集上进行点云语义分割实验，与原型网络和匹配网络在S3DIS数据集上进行比较。分割1-way时，平均交并比（mean intersection over union，mIoU）相比原型网络和匹配网络分别提高了0.06和0.33，最高类别的mIoU达到0.95；分割2-way时，mIoU相比原型网络提高了0.04；将DGCNN网络与PointNet++做特征提取器的对比时，分割ceiling和floor的mIoU分别提高了0.05和0.30。方法应用在ScanNet数据集和闽南古建筑数据集上的分割mIoU分别为0.63和0.51。结论 提出的方法可以在少量标记数据的情况下取得良好的点云分割效果。相比于此前需用大量标记数据所训练的模型而言，只需要很少的监督信息，便能够分割出该新类，提高了模型的泛化能力。当面临样本的标记数据难以获得的情况时，提出的方法更能够发挥关键作用。     

一种鲁棒的多特征点云分类分割深度神经网络

现有的深度学习方法在处理点云分割任务时,难以有效地学习点云的局部特征,存在分类分割精度低和鲁棒性差的问题。构建深度神经网络RMFP-DNN用于多特征点云分类分割。分别利用自注意力模块和多层感知机提取点云的局部特征和全局特征,并将两者相互融合,提高分类分割的准确率和鲁棒性。实验结果表明,RMFP-DNN平均分类准确率和整体分类准确率分别为88.9%和92.6%,与PointNet、PointNet++、DGCNN等方法相比,准确率较高且鲁棒性较好。     

基于显著性图的点云替换对抗攻击

目的 传统针对对抗攻击的研究通常集中于2维图像领域,而对3维物体进行修改会直接影响该物体的3维特性,生成令人无法察觉的扰动是十分困难的,因此针对3维点云数据的对抗攻击研究并不多。点云对抗样本,如点云物体分类、点云物体分割等的深度神经网络通常容易受到攻击,致使网络做出错误判断。因此,提出一种基于显著性图的点云替换对抗攻击方法。方法 由于现有点云分类网络通常需要获取点云模型中的关键点,该方法通过将点移动到点云中心计算点的显著性值,从而构建点云显著性图,选择具有最高显著性值的采样点集作为关键点集,以确保对网络分类结果造成更大的影响;利用Chamfer距离衡量点云模型之间的差异性,并选择与点云模型库中具有最近Chamfer距离的模型关键点集进行替换,从而实现最小化点云扰动并使得人眼难以察觉。结果 使用ModelNet40数据集,分别在点云分类网络PointNet和PointNet++上进行对比实验。在PointNet网络上,对比FGSM （fast gradient sign method）、I-FGSM （iterative fast gradient sign method）和JSMA （Jacobian-based saliency map attack）方法,本文方法攻击成功率分别提高38.6%、7.3%和41%;若扰动100个采样点,本文方法将使网络准确率下降到6.2%。在PointNet++网络上,对比FGSM和JSMA,本文方法的攻击成功率分别提高58.6%和85.3%;若扰动100个采样点,本文方法将使网络准确率下降到12.8%。结论 本文提出的点云对抗攻击方法,不仅考虑到对抗攻击的效率,而且考虑了对抗样本的不可察觉性,能够高效攻击主流的点云深度神经网络。     

基于Spider卷积的三维点云分类与分割网络

针对传统的卷积神经网络（CNN）不能直接处理点云数据，需先将点云数据转换为多视图或者体素化网格，导致过程复杂且点云识别精度低的问题，提出一种新型的点云分类与分割网络Linked-Spider CNN。首先，在Spider CNN基础上通过增加Spider卷积层数以获取点云深层次特征；其次，引入残差网络的思想在每层Spider卷积增加短连接构成残差块；然后，将每层残差块的输出特征进行拼接融合形成点云特征；最后，使用三层全连接层对点云特征进行分类或者利用多层卷积层对点云特征进行分割。在ModelNet40和ShapeNet Parts数据集上将所提网络与PointNet、PointNet++和Spider CNN等网络进行对比实验，实验结果表明，所提网络可以提高点云的分类精度和分割效果，说明该网络具有更快的收敛速度和更强的鲁棒性。     

融合逆密度函数与关系形状卷积神经网络的点云分析

目的 3D点云与以规则的密集网格表示的图像不同,不仅不规则且无序,而且由于输入输出大小和顺序差异,具有密度不均匀以及形状和缩放比例存在差异的特性。为此,提出一种对3D点云进行卷积的方法,将关系形状卷积神经网络（relation-shape convolution neural network,RSCNN）与逆密度函数相结合,并在卷积网络中增添反卷积层,实现了点云更精确的分类分割效果。方法 在关系形状卷积神经网络中,将卷积核视为由权重函数和逆密度函数组成的3D点局部坐标的非线性函数。对给定的点,权重函数通过多层感知器网络学习,逆密度函数通过核密度估计（kernel density estimation,KDE）学习,逆密度函数的引入对点云采样率不均匀的情况进行弥补。在点云分割任务中,引入由插值和关系形状卷积层两部分组成的反卷积层,将特征从子采样点云传播回原始分辨率。结果 在ModelNet40、ShapeNet、ScanNet数据集上进行分类、部分分割和语义场景分割实验,验证模型的分类分割性能。在分类实验中,与PointNet++相比,整体精度提升3.1%,在PointNet++将法线也作为输入的情况下,精度依然提升了1.9%;在部分分割实验中,类平均交并比（mean intersection over union,mIoU）比PointNet++在法线作为输入情况下高6.0%,实例mIoU比PointNet++高1.4%;在语义场景分割实验中,mIoU比PointNet++高13.7%。在ScanNet数据集上进行不同步长有无逆密度函数的对比实验,实验证明逆密度函数将分割精度提升0.8%左右,有效提升了模型性能。结论 融合逆密度函数的关系形状卷积神经网络可以有效获取点云数据中的局部和全局特征,并对点云采样不均匀的情况实现一定程度的补偿,实现更优的分类和分割效果。     

Performance evaluation of classification trees for building detection from aerial images and LiDAR data: a comparison of classification trees models

This study assesses the performance of three classification trees (CT) models (entropy, gain ratio and gini) for building detection by the fusion of airborne laser scanner data and multispectral aerial images. Data from four study areas with different sensors and scene characteristics were used to assess the performance of the models. The process of performance evaluation is based on four criteria: model validation and testing, classification accuracies, relative importance of input variables, as well as transferability of CT derived from one data set to another. The LiDAR point clouds were filtered to generate a digital terrain model (DTM) based on the orthogonal polynomials, and then a digital surface model (DSM) and the normalized digital surface model (nDSM) were generated. A set of 26 uncorrelated feature attributes were derived from the original aerial images, LiDAR intensity image, DSM and nDSM. Finally, the three CT models were used to classify buildings, trees, roads and ground from aerial images, LiDAR data and the generated attributes, with the most accurate average classifications of 95% being achieved. The entropy splitting algorithm proved to be a preferable algorithm for building detection from aerial images and LiDAR data.     

动态环境中多帧点云融合算法及三维目标检测算法研究

低线束激光雷达扫描的点云数据较为稀疏,导致无人驾驶环境感知系统中三维目标检测效果欠佳,通过多帧点云配准可实现稀疏点云稠密化,但动态环境中的行人与移动车辆会降低激光雷达的定位精度,也会造成融合帧中运动目标上的点云偏移较大。针对上述问题,提出了一种动态环境中多帧点云融合算法,利用该算法在园区道路实况下进行三维目标检测,提高了低线束激光雷达的三维目标检测精度。利用16线和40线激光雷达采集的行驶路况数据进行实验,结果表明该算法能够增强稀疏点云密度,改善低成本激光雷达的环境感知能力。     

适用于点云数据的注意力机制研究

注意力机制作为一种即插即用的有效提高网络特征提取性能的手段,在自然语言处理、图像识别领域有着广泛的应用。然而由于点云数据的不规则性与无序性,使得注意力机制无法直接应用于点云领域。提出适用于点云的注意力机制,以PointNet类网络作为点云特征提取的骨干网络,通过对点云数据进行多角度池化,采用共享权重的多层感知器获取自适应注意力权重,并与原特征相乘以实现输入特征优化,从而提升网络性能,实现注意力机制在点云领域的应用。设计的适用于点云的注意力机制在ModelNet40分类任务上,帮助PointNet（vanilla）和PointNet网络的分类准确率分别提升0.89和0.40个百分点;在ShapeNet零件分割任务上,帮助PointNet网络的平均交并比提升1.38个百分点;在KITTI三维检测任务上,帮助基于视锥体法的融合检测Frustum-PointNet网络在行人和骑行者两种小物体的平均精度也取得了可观的提升。实验结果表明所设计的注意力机制在多种点云处理任务的有效性和轻量级特点。     

基于LiDAR点云数据的三角网构建算法

在现有Delaunay三角网生长法的基础上进行改进,提出了一种三角网生长算法.该算法对大规模点云进行等格网分块,自适应确定搜索范围.通过在构建过程中对生成的基线进行分组和排序,动态删除封闭点,提高了构建三角网的速度;通过在整个点集范围内进行搜索,避免了通过插值所产生的误差和模块之间的拼接过程.利用此算法对大规模LiDAR点云数据进行构网,结果表明了该算法的有效性.     

基于深度学习的道路障碍物检测方法

针对基于激光雷达（LiDAR）的三维点云数据处理及道路障碍物检测的问题,提出一种基于深度学习的路障碍物检测方法。首先,采用统计滤波算法对原始点云进行离群点的剔除处理;其次,提出一种端到端的深度神经网络VNMax,利用最大池化对区域候选网络（RPN）架构进行优化,构建改进的目标检测层;最后,在KITTI数据集上进行了训练及测试实验。结果显示,经过滤波处理,点云中各点之间的平均距离得到有效减少。通过对在KITTI数据集的简单、中等和困难任务的车辆定位处理结果比较得出,所提方法的平均精度比VoxelNet（Unofficial）分别提高了11.3个百分点、6.02个百分点和3.89个百分点。实验测试结果表明,统计滤波算法仍是有效的三维点云数据处理手段,最大池化模块可以提高深度神经网络的学习性能和目标定位能力。