平行点云: 虚实互动的点云生成与三维模型进化方法

三维信息的提取在自动驾驶等智能交通场景中正发挥着越来越重要的作用, 为了解决以激光雷达为主的深度传感器在数据采集方面面临的成本高、样本覆盖不全面等问题, 本文提出了平行点云的框架. 利用人工定义场景获取虚拟点云数据, 通过计算实验训练三维模型, 借助平行执行对模型性能进行测试, 并将结果反馈至数据生成和模型训练过程. 通过不断地迭代, 使三维模型得到充分评估并不断进化. 在平行点云的框架下, 我们以三维目标检测为例, 通过闭环迭代, 构建了虚实结合的点云数据集, 在无需人工标注的情况下, 可达到标注数据训练模型精度的72%.     

车载激光雷达点云数据处理关键技术

激光雷达具有探测精度高、穿透能力强、能够三维成像等诸多优点,故自动驾驶车辆常常搭载激光雷达来对车身周围环境进行感知;车辆实现自动驾驶的关键技术包括车载激光雷达信号的发射、接收和对点云数据的处理,通过对接收到的点云数据进行处理可以使车辆准确的感知到当前路面状况并做出相应操作;文章重点介绍了车载激光雷达点云数据处理中的关键技术,对每个关键技术中常用算法的基本原理、优缺点和改进等进行了阐述,以期为车载激光雷达点云数据处理提供参考。     

基于地面激光雷达点云数据的森林树高、胸径自动提取与三维重建

针对亚热带环境条件下森林树高、胸径自动化提取精度较低、单木形态模拟较为困难的问题,提出基于地面激光雷达点云数据提取森林树高、胸径及重建森林场景三维模型的方法。首先采用变尺度地面点识别法获取地面点并构建DEM。然后根据树木主干点云主方向相似度及轴向分布密度分割主干与其他植物器官点云。接着以主干点云为基础,采用迭代最小二乘拟合圆柱的方法自动提取树木位置、胸径;构建点云的八叉树结构,利用体素的空间邻接性实现点云分割,自动提取树高。最后,结合单株植物建模技术,以树根节点为纽带构建样地尺度上的森林场景三维模型。实验结果显示,胸径估测R~2为0.996,平均相对误差为2.09%,RMSE为0.66 cm;树高估测R~2为0.972,平均相对误差为2.16%,RMSE为0.92 m;所重建的森林场景三维模型可表达森林样地的真实形态。     

应用激光雷达与相机信息融合的障碍物识别

针对探测器在地外星体表面软着陆过程中的障碍物识别问题,提出了一种融合三维点云数据与灰度图像数据进行精确障碍物识别的方法。首先利用坐标转换将灰度图像与三维点云归一化到同一坐标系下,实现传感器数据的融合。然后采用改进K均值聚类算法对预处理后灰度图像进行图像分割,生成光学障碍图。最后利用开源库PCL(Point Cloud Library)对激光雷达生成的三维激光点云数据进行处理,采用随机采样一致性算法提取着陆区地形水平面,对去除水平面后的点云数据进行点云分割,分离出突起物、凹坑等障碍物,并通过激光雷达与相机转换坐标系,投影到像平面,生成最终障碍图。     

基于激光雷达数据的行人检测

在自动驾驶领域涉及的众多任务中,行人识别是必不可少的技术之一。针对基于图像数据的行人检测算法无法获得行人深度的问题,提出了基于激光雷达数据的行人检测算法。该算法结合传统基于激光雷达数据的运动目标识别算法和基于深度学习的点云识别算法,可以在不依赖图像数据的条件下感知和检测行人,进而获取行人的准确三维位置,辅助自动驾驶控制系统作出合理决策。该算法在KITTI三维目标检测任务数据集上进行性能测试,中等难度测试达到33.37%的平均准确度,其表现领先于其他基于激光雷达的算法,充分证明了该方法的有效性。     

基于网络图的地基激光雷达复杂树木点云枝叶分离方法

地基激光雷达树木点云数据的枝叶分离是精确计算地上生物量和叶面积指数的重要前提,也是树木三维建模的重要步骤.然而,山地复杂树木冠幅大且结构复杂,从而造成树叶与枝干之间的相互遮挡,因此很难获取高质量的点云数据,目前对其实现枝叶分离依然存在较大的困难.利用地基激光雷达FARO Focus3D X330获取三维激光点云数据,提...     

基于机载激光雷达数据的简单规则建筑物模型重建

机载激光雷达数据具有直接描述对象几何特征、便于表达空间不连续变化等优势,是建筑物重建的主要数据源之一。为实现基于激光雷达点云数据的模型自动重建和解决现有方法存在的问题,提出了一种基于特征线提取、面向简单规则建筑物的重建方法。该方法以投影为基础,以平高分解为手段,通过在多个投影平面内逐步确定平面、高程信息实现特征线提取及模型重建。实验表明,该方法能够避免现有方法遇到的若干困难,有效重建简单规则建筑物模型。     

基于点云-模型匹配的激光雷达目标识别

为实现激光雷达自动目标识别,本文给出了一种基于点云模型匹配的方法。将点云进行三视投影,对投影点云进行二值化处理得到二值图像,采用Sobel算子和Hough变换提取点云轮廓边界及获得边界直线参数,然后以投影点云轮廓信息为约束提取包围矩形,完成目标姿态估计和几何特征提取。在此基础上以点云到CAD模型面元的欧氏距离最小为优化目标,采用单位四元数法计算点云与模型之间的刚体变换,通过迭代实现点云和候选目标CAD模型的匹配,并以归一化平均欧氏距离作为相似性度量完成目标识别。采用五种地面装甲目标在不同激光雷达视角下的点云进行目标识别实验,统计结果表明目标类别的正确识别率为100%,目标型号的正确识别率大于91%,因而本文方法具有较好的识别性能和较高的应用价值。     

基于机载激光雷达点云的交互式树木分割与建模方法研究

机载激光雷达扫描(ALS)系统可大规模获取地表树木点云,有助于较高精度树木结构参数提取 和景观层面的几何重建,然而树木复杂的拓扑结构和树种的多样性给树木的准确分割与建模带来挑战。传统基 于点云的自动树木分割和建模算法虽然效率高,但存在分割误差较大、建模鲁棒性较差等问题,难以满足深度 学习大背景下用户对树木分割与建模结果进行精准标注的需求。针对 ALS 树点云密度低、点云缺失导致的自 动分割与建模困难等问题,提出一种基于高度图的交互式层次分割法用于从稀疏树点云中提取单棵树点云,然 后基于改进的空间殖民算法,通过交互式调节约束角度、删除阈值和影响半径等 3 个参数实现单棵树的重建。 实验结果表明,提出的交互式分割算法能够解决最小生成树和规范割等分割算法产生的误分割问题;提出的基 于改进空间殖民算法的交互式重建算法鲁棒性好,能够有效解决稀疏及缺失树点云的几何重建问题,且生成的 树模型能够较好地保留原始点云的特征。     

基于DST融合多视图模糊推理赋值的三维目标检测

针对前置激光雷达的点云数据,提出一种基于DST融合多视图模糊推理赋值的有效障碍物分割判别方法.将点云数据转换为体素地图并进行路面分割,得到前、俯视图.在两视图中根据不同的模糊推理规则对某体素属于目标的程度进行基本概率赋值,并通过DST融合判别目标,精确分割目标,从而得到方盒模型参数.将三维识别问题转换为一系列的二维检测问题,与直接利用三维点云信息相比,可以降低数据处理复杂度,提高系统稳定性.在自主研发的自动驾驶汽车上采用前置16线激光雷达和TX2嵌入式开发板进行多次在线试验,并在KITTI上进行对比验证,结果表明所提方法在实际应用中拥有较好的实时性和准确性.     

融合稀疏注意力和实例增强的雷达点云分割

目的 雷达点云语义分割是3维环境感知的重要环节,准确分割雷达点云对象对无人驾驶汽车和自主移动机器人等应用具有重要意义。由于雷达点云数据具有非结构化特征,为提取有效的语义信息,通常将不规则的点云数据投影成结构化的2维图像,但会造成点云数据中几何信息丢失,不能得到高精度分割效果。此外,真实数据集中存在数据分布不均匀问题,导致小样本物体分割效果较差。为解决这些问题,本文提出一种基于稀疏注意力和实例增强的雷达点云分割方法,有效提高了激光雷达点云语义分割精度。方法 针对数据集中数据分布不平衡问题,采用实例注入方式增强点云数据。首先,通过提取数据集中的点云实例数据,并在训练中将实例数据注入到每一帧点云中,实现实例增强的效果。由于稀疏卷积网络不能获得较大的感受野,提出Transformer模块扩大网络的感受野。为了提取特征图的关键信息,使用基于稀疏卷积的空间注意力机制,显著提高了网络性能。另外,对不同类别点云对象的边缘,提出新的TVloss用于增强网络的监督能力。结果 本文提出的模型在SemanticKITTI和nuScenes数据集上进行测试。在SemanticKITTI数据集上,本文方法在线单帧...     

基于区域结构特征的城区LiDAR数据快速分类

机载激光雷达能够及时准确地获取大量具有精确三维位置信息的三维点云数据,在数字城市、森林防火、智能交通等领域有着广泛的应用。城市中心区域的三维点云数据往往会因为高大树木或植被的遮挡,造成建筑物等人造目标识别特别困难。本文通过直接的二次多项式拟合方式提取高大树木等植被与建筑物目标典型局部区域的区域信息,构建区域目标敏感的结构特征,进而,通过模糊逻辑即可完成三维点云数据的建筑物目标敏感的分类任务。实验结果表明,该方法能够快速有效地实现较大尺度范围内LiDAR点云数据的分类,具有较好的应用前景和推广能力。     

Delineation of individual deciduous trees in plantations with low-density LiDAR data

Delineation of individual deciduous trees with Light Detection and Ranging (LiDAR) data has long been sought for accurate forest inventory in temperate forests. Previous attempts mainly focused on high-density LiDAR data to obtain reliable delineation results, which may have limited applications due to the high cost and low availability of such data. Here, the feasibility of individual deciduous tree delineation with low-density LiDAR data was examined using a point-density-based algorithm. First a high-resolution point density model (PDM) was developed from low-density LiDAR point cloud to locate individual trees through the horizontal spatial distribution of LiDAR points. Then, individual tree crowns and associated attributes were delineated with a 2D marker-controlled watershed segmentation. Additionally, the PDM-based approach was compared with a conventional canopy height model (CHM) based delineation. The results demonstrated that the PDM-based approach produced an 89% detection accuracy to identify deciduous trees in our study area. The tree attributes derived from the PDM-based algorithm explained 81% and 83% of tree height and crown width variations of forest stands, respectively. The conventional CHM-based tree attributes, on the other hand, could explain only 71% and 66% of tree height and crown width, respectively. Our results suggest that the application of the PDM-based individual tree identification in deciduous forests with low-density LiDAR data is feasible and has relatively high accuracy to predict tree height and crown width, which are highly desired in large-scale forest inventory and analysis.     

多特征融合与几何卷积的机载LiDAR点云地物分类

目的 点云分类传统方法中大量依赖人工设计特征,缺乏深层次特征,难以进一步提高精度,基于深度学习的方法大部分利用结构化网络,转化为其他表征造成了3维空间结构信息的丢失,部分利用局部结构学习多层次特征的方法也因为忽略了机载数据的几何信息,难以实现精细分类。针对上述问题,本文提出了一种基于多特征融合几何卷积神经网络（multi-feature fusion and geometric convolutional neural network,MFFGCNN）的机载LiDAR （light detection and ranging）点云地物分类方法。方法 提取并融合有效的浅层传统特征,并结合坐标尺度等预处理方法,称为APD模块（airporne laser scanning point cloud design module）,在输入特征层面对典型地物有针对性地进行信息补充,来提高网络对大区域、低密度的机载LiDAR点云原始数据的适应能力和基础分类精度,基于多特征融合的几何卷积模块,称为FGC （multi-feature fusion and geometric convolution）算子,编码点的全局和局部空间几何结构,实现对大区域点云层次化几何结构的获取,最终与多尺度全局的逐点深度特征聚合提取高级语义特征,并基于空间上采样获得逐点的多尺度深度特征实现机载LiDAR点云的语义分割。结果 在ISPRS （International Society for Photogrammetry and Remote Sensing）提供的3维标记基准数据集上进行模型训练与测试,由于面向建筑物、地面和植被3类典型地物,对ISPRS的9类数据集进行了类别划分。本文算法在全局准确率上取得了81.42%的较高精度,消融实验结果证明FGC模块可以提高8%的全局准确率,能够有效地提取局部几何特性,相较仅基于点的3维空间坐标方法,本文方法可提高15%的整体分类精度。结论 提出的MFFCGNN网络综合了传统特征的优势和深度学习模型的优点,能够实现机载LiDAR点云的城市重要地物快速分类。     

伪点云修正增强激光雷达数据

目的 激光雷达在自动驾驶中具有重要意义,但其价格昂贵,且产生的激光线束数量仍然较少,造成采集的点云密度较稀疏。为了更好地感知周围环境,本文提出一种激光雷达数据增强算法,由双目图像生成伪点云并对伪点云进行坐标修正,进而实现激光雷达点云的稠密化处理,提高3D目标检测精度。此算法不针对特定的3D目标检测网络结构,是一种通用的点云稠密化方法。方法 首先利用双目RGB图像生成深度图像,根据先验的相机参数和深度信息计算出每个像素点在雷达坐标系下的粗略3维坐标,即伪点云。为了更好地分割地面,本文提出了循环RANSAC （random sample consensus）算法,引入了一个分离平面型非地面点云的暂存器,改进复杂场景下的地面分割效果。然后将原始点云进行地面分割后插入KDTree （k-dimensional tree）,以伪点云中的每个点为中心在KDTree中搜索若干近邻点,基于这些近邻点进行曲面重建。根据曲面重建结果,设计一种计算几何方法导出伪点云修正后的精确坐标。最后,将修正后的伪点云与原始激光雷达点云融合得到稠密化点云。结果 实验结果表明,稠密化的点云在视觉上具有较好的质量,物体具有更加完整的形状和轮廓,并且在KITTI （Karlsruhe Institute of Technology and Toyota Technological Institute）数据集上提升了3D目标检测精度。在使用该数据增强方法后,KITTI数据集下AVOD （aggregate view object detection）检测方法的AP_3D-Easy （average precision of 3D object detection on easy setting）提升了8.25%,AVOD-FPN （aggregate view object detection with feature pyramid network）检测方法的AP_BEV-Hard （average precision of bird’s eye view on hard setting）提升了7.14%。结论 本文提出的激光雷达数据增强算法,实现了点云的稠密化处理,并使3D目标检测结果更加精确。     

基于地面激光雷达点云数据的单木三维重建

利用地面激光雷达三维点云数据,在已有的枝干结构重建方法基础上,提出了一种利用点云密度,结合间隙率模型反演的单木总叶面积,在冠层内分体元添加树叶的方法,重建完整的单木三维结构。该方法成功应用于基于光线追踪方法模拟的点云和野外实测点云数据,实现了单木三维结构重构。重建的单木叶面积与真实叶面积相对误差小于0.9%,方向间隙率的相对误差不超过4.0%。实验结果表明:重建单木三维结构与真实结构在目视效果和定量评价两方面都具有较好的一致性。     

Urban 3D segmentation and modelling from street view images and LiDAR point clouds

3D urban maps with semantic labels and metric information are not only essential for the next generation robots such autonomous vehicles and city drones, but also help to visualize and augment local environment in mobile user applications. The machine vision challenge is to generate accurate urban maps from existing data with minimal manual annotation. In this work, we propose a novel methodology that takes GPS registered LiDAR (Light Detection And Ranging) point clouds and street view images as inputs and creates semantic labels for the 3D points clouds using a hybrid of rule-based parsing and learning-based labelling that combine point cloud and photometric features. The rule-based parsing boosts segmentation of simple and large structures such as street surfaces and building facades that span almost 75% of the point cloud data. For more complex structures, such as cars, trees and pedestrians, we adopt boosted decision trees that exploit both structure (LiDAR) and photometric (street view) features. We provide qualitative examples of our methodology in 3D visualization where we construct parametric graphical models from labelled data and in 2D image segmentation where 3D labels are back projected to the street view images. In quantitative evaluation we report classification accuracy and computing times and compare results to competing methods with three popular databases: NAVTEQ True, Paris-Rue-Madame and TLS (terrestrial laser scanned) Velodyne.     

虚拟旅游中海量3D点云数据的细节层次索引技术研究

虚拟旅游中的3D点云数据特别庞大,批量索引成为了当今的研究热点。许多索引树存在兄弟结点空间区域重叠、不能实现细节层次索引、索引效率低等问题。为此,将点数据反射强度和细节层次技术引入R树,在改进R树的基础上提出LODR树。建树前,将点云数据进行排序、分组、去除空间重叠等预处理。树的每层设有不同反射强度阈值,把叶结点中满足阈值条件的索引记录沿父-祖父-曾祖父的家谱关系上移,并插入对应的非叶结点,利用该方法创建细节层次索引树。利用反射强度控制数据冗余,棱锥裁剪技术实现查询优化。实验结果表明,LODR树在细节层次索引、查询效率等方面具有明显优势。     

Complete residential urban area reconstruction from dense aerial LiDAR point clouds

We present an automatic system to reconstruct 3D urban models for residential areas from aerial LiDAR scans. The key difference between downtown area modeling and residential area modeling is that the latter usually contains rich vegetation. Thus, we propose a robust classification algorithm that effectively classifies LiDAR points into trees, buildings, and ground. The classification algorithm adopts an energy minimization scheme based on the 2.5D characteristic of building structures: buildings are composed of opaque skyward roof surfaces and vertical walls, making the interior of building structures invisible to laser scans; in contrast, trees do not possess such characteristic and thus point samples can exist underneath tree crowns. Once the point cloud is successfully classified, our system reconstructs buildings and trees respectively, resulting in a hybrid model representing the 3D urban reality of residential areas.     

基于知识的车载LiDAR地物自动分类

车载LiDAR已广泛应用于三维数字城市建模、道路信息数据采集等领域。海量点云信息中不同地物目标的自动识别和分类是LiDAR数据后处理的难点之一。根据不同地物目标物理特性、空间拓扑关系及其在点云中的相关特征知识,建立地物分类规则,依据分类知识进行地物自动识别和分类。通过实测数据分类试验,证明该方法可以较好实现建筑物、树木、线杆、行人等不同地物的自动识别和分类。