基于IMU和动态目标检测的多帧点云融合算法

针对16线激光雷达点云数据稀疏,而导致环境感知效果不佳的问题,提出了一种基于惯性测量单元和动态目标检测相结合的多帧点云数据融合算法.该算法利用惯性测量单元提供的位姿信息进行点云中静态物体部分的融合,利用动态目标检测完成运动物体部分的融合,既可以增快点云融合的速度,又可以缓解融合时运动物体点云偏移过大的问题,在节约成本的同时,达到有效地增大点云密度的目的.实验结果表明,该算法进行点云融合时具有良好的效果,在无人驾驶环境感知方面具有较高的应用价值.     

路侧多激光雷达协同感知和误差自校准方法

多激光雷达3D点云数据融合能够弥补单个激光雷达感知范围有限的缺陷,而雷达安装误差自校准能够获取更加准确的感知数据。基于此,提出了路侧激光雷达协同感知数据融合算法和安装误差自校准方法。首先,使用KD-tree和k近邻算法查找两幅点云的重叠点,并对重叠点进行拼接处理。其次,基于深度学习模型实现多激光雷达数据融合,利用点云数据拼接特征实现激光雷达的误差自校准。最后,基于长安大学车联网与智能汽车试验场搭建多激光雷达数据采集平台,采集试验场内的点云数据来验证本次提出的数据融合算法和误差自校准方法。结果表明,后融合目标识别比前融合目标识别效率提升11.6%,且激光雷达误差自校准方法使有效数据精度提升了13.44%。     

模拟激光雷达点云在路侧感知算法中的应用

路侧感知算法融合车载感知算法实现了超视距感知, 基于深度学习的感知算法性能取决于激光雷达点云标签标注的质量, 而点云标签相对于二维图像更难标注, 需要大量时间人力成本进行标注, 且现行感知算法都是针对于车载激光雷达. 针对这些问题, 本文提出了一种基于路侧激光雷达栅格特征聚类的感知算法, 该算法首先对路侧激光雷达点云栅格化并提取特征, 再构建深度学习方法模型学习栅格的初级感知信息, 最后根据初级感知信息进行聚类完成感知检测. 本文还利用仿真平台模拟路侧激光雷达点云, 并研究混合数据集在感知算法训练上的应用, 基于模拟数据预训模型微调(Fine-tune)在感知算法上的应用. 实验结果表明, 本文提出的路侧感知算法具有较高的实时性与可靠性, 模拟路侧激光雷达点云有助于路侧感知算法训练, 减少路侧感知算法对标注工作的依赖, 提高感知算法性能.     

基于改进栅格图的道路和障碍物检测算法研究

多线激光雷达(LIDAR)是无人驾驶汽车在环境感知过程中的核心传感器,运用多线激光雷达中提取的点云数据进行道路和障碍物检测是环境感知过程中重要的任务.目前常见的栅格化算法无法实现高效的障碍物和道路检测,论文针对这些问题提出一种新颖改进栅格化方法,通过统计栅格内点云高度分布的方法进行障碍物分类,有效避免噪声点和悬浮障碍对结果的影响,并运用自适应半圆弧道边点搜索和改进RANSAC(Random Sample Consensus)算法结合进行道边检测.最终,在实验中验证了算法的精度和实时性.     

基于光学图像的多粒度随动环境感知算法

针对快速三维建模中的室内外随动环境感知问题,提出一种基于光学图像的多粒度随动环境感知算法.该算法根据多种光学图像生成拟合真实三维环境的多粒度点云模型,然后通过概率八叉树压缩并统一表示已生成的多粒度三维模型.进而伴随相机轨迹每个时间节点,通过卡尔曼滤波动态融合多粒度点云模型的概率八叉树表示.最终生成唯一的时态融合概率八叉树三维模型,简称TFPOM,使TFPOM能够在较少的噪声影响下以任意粒度动态拟合真实环境.该算法配合剪枝和归并策略能够适应多粒度融合和多粒度表示的环境建模要求,有效压缩环境模型存储空间,实现鲁棒的随动环境感知,便于基于环境模型的视觉导航,增强现实等应用.实验结果表明,该算法能够在以可穿戴设备为代表的内含多种异构光学图像传感器,低计算效能的平台上实时得到充分拟合真实动态环境的多粒度TFPOM,基于该模型的视觉导航具有较小的轨迹误差.     

融合稀疏点云补全的3D目标检测算法

基于雷达点云的 3D 目标检测方法有效地解决了 RGB 图像的 2D 目标检测易受光照、天气等因 素影响的问题。但由于雷达的分辨率以及扫描距离等问题,激光雷达采集到的点云往往是稀疏的,这将会影响 3D 目标检测精度。针对这个问题,提出一种融合稀疏点云补全的目标检测算法,采用编码、解码机制构建点 云补全网络,由输入的部分稀疏点云生成完整的密集点云,根据级联解码方式的特性,定义了一个新的复合损 失函数。除了原有的折叠解码阶段的损失之外,还增加了全连接解码阶段存在的损失,以保证解码网络的总体 误差最小,从而使得点云补全网络生成信息更完整的密集点云 Ydetail,并将补全的点云应用到 3D 目标检测任务 中。实验结果表明,该算法能够很好地将 KITTI 数据集中稀疏的汽车点云补全,并且有效地提升目标检测的精 度,特别是针对中等和困难等级的数据效果更佳,提升幅度分别达到 6.81%和 9.29%。     

融合双目视觉和2D激光雷达的室外定位

高精度的定位对于自动驾驶至关重要. 2D激光雷达作为一种高精度的传感器被广泛应用于各种室内定位系统.然而在室外环境下,大量动态目标的存在使得相邻点云的匹配变得尤为困难,且2D激光雷达的点云数据存在稀疏性的问题,导致2D激光雷达在室外环境下的定位精度极低甚至无法实现定位.为此,提出一种融合双目视觉和2D激光雷达的室外定位算法.首先,利用双目视觉作为里程计提供相对位姿,将一个局部时间窗口内多个时刻得到的2D激光雷达数据融合成一个局部子图;然后,采用DS证据理论融合局部子图中的时态信息,以消除动态目标带来的噪声;最后,利用基于ICA的图像匹配方法将局部子图与预先构建的全局先验地图进行匹配,消除里程计的累积误差,实现高精度定位.在KITTI数据集上的实验结果表明,仅利用低成本的双目相机和2D激光雷达便可实现较高精度的定位,所提出算法的定位精度相比于ORB-SLAM2里程计最高可提升37.9%.     

基于激光雷达数据的行人检测

在自动驾驶领域涉及的众多任务中,行人识别是必不可少的技术之一。针对基于图像数据的行人检测算法无法获得行人深度的问题,提出了基于激光雷达数据的行人检测算法。该算法结合传统基于激光雷达数据的运动目标识别算法和基于深度学习的点云识别算法,可以在不依赖图像数据的条件下感知和检测行人,进而获取行人的准确三维位置,辅助自动驾驶控制系统作出合理决策。该算法在KITTI三维目标检测任务数据集上进行性能测试,中等难度测试达到33.37%的平均准确度,其表现领先于其他基于激光雷达的算法,充分证明了该方法的有效性。     

机载激光雷达系统高精度点云生成研究

为了解决基于无人直升机的机载激光雷达(Lidar)系统中获得三维激光点云数据的效率低、精度低问题,提出了一种可获得高精度三维点云数据的解决方案;从系统点云数据生成原理分析影响点云精度的因素;实现十一阶扩展卡尔曼算法对多传感器数据进行数据融合处理,充分利用了不同传感器的优点;改进的扩展卡尔曼融合算法,不但有效地降低噪声和干扰对系统影响,而且提高了激光雷达系统点云数据的可靠性和精度;实验结果验证了算法的正确性和点云数据的精度。     

基于注意力的毫米波-激光雷达融合目标检测

针对自动驾驶中使用激光雷达进行目标检测时漏检被遮挡目标、远距离目标和复杂天气场景下目标的问题,提出一种基于注意力机制的毫米波-激光雷达特征融合的目标检测方法。首先,将毫米波和激光雷达各自的扫描帧数据分别聚合到它们的标注帧上,并将毫米波和激光雷达的数据点进行空间对齐;其次,对两者进行聚合和空间对齐后的数据分别进行PointPillar点云柱快速编码,转换成伪图像;最后,通过中间卷积层提取两者的传感器特征,并利用注意力机制对两者的特征图进行融合,融合后的特征图通过单阶段检测器得到检测结果。实验结果显示,该融合算法在nuScenes数据集中的平均精度均值（mAP）高于PointPillar基础网络,而且注意力融合的检测方法的性能表现优于利用拼接融合、相乘融合、相加融合的检测方法。可视化结果显示所提方法是有效的,能提高网络对被遮挡目标、远处目标和雨雾天气下目标检测的鲁棒性。     

伪点云修正增强激光雷达数据

目的 激光雷达在自动驾驶中具有重要意义,但其价格昂贵,且产生的激光线束数量仍然较少,造成采集的点云密度较稀疏。为了更好地感知周围环境,本文提出一种激光雷达数据增强算法,由双目图像生成伪点云并对伪点云进行坐标修正,进而实现激光雷达点云的稠密化处理,提高3D目标检测精度。此算法不针对特定的3D目标检测网络结构,是一种通用的点云稠密化方法。方法 首先利用双目RGB图像生成深度图像,根据先验的相机参数和深度信息计算出每个像素点在雷达坐标系下的粗略3维坐标,即伪点云。为了更好地分割地面,本文提出了循环RANSAC （random sample consensus）算法,引入了一个分离平面型非地面点云的暂存器,改进复杂场景下的地面分割效果。然后将原始点云进行地面分割后插入KDTree （k-dimensional tree）,以伪点云中的每个点为中心在KDTree中搜索若干近邻点,基于这些近邻点进行曲面重建。根据曲面重建结果,设计一种计算几何方法导出伪点云修正后的精确坐标。最后,将修正后的伪点云与原始激光雷达点云融合得到稠密化点云。结果 实验结果表明,稠密化的点云在视觉上具有较好的质量,物体具有更加完整的形状和轮廓,并且在KITTI （Karlsruhe Institute of Technology and Toyota Technological Institute）数据集上提升了3D目标检测精度。在使用该数据增强方法后,KITTI数据集下AVOD （aggregate view object detection）检测方法的AP_3D-Easy （average precision of 3D object detection on easy setting）提升了8.25%,AVOD-FPN （aggregate view object detection with feature pyramid network）检测方法的AP_BEV-Hard （average precision of bird’s eye view on hard setting）提升了7.14%。结论 本文提出的激光雷达数据增强算法,实现了点云的稠密化处理,并使3D目标检测结果更加精确。     

基于稀疏Transformer的雷达点云三维目标检测

随着计算机视觉技术的发展,基于点云的三维目标检测算法被广泛应用于自动驾驶、机器人控制等领域。针对点云稀疏条件下基于点云三维目标检测算法鲁棒性较差、检测精度低的问题,提出基于稀疏Transformer的三维目标检测算法。在注意力矩阵生成阶段,通过稀疏Transformer模块显式选择Top-t个权重元素,以保留有利于特征提取的权重元素,在降低环境噪点对鲁棒性影响的同时加快Transformer模块的运行速度。在回归阶段,将基于空间特征粗回归模块生成的边界框作为检测头模块的初始锚框,用于后续边界框的精细回归操作。设计基于体素的三维目标检测算法的损失函数,以精确地衡量类别损失、位置回归损失和方向损失。在KITTI数据集上的实验结果表明,相比PointPillars算法,该算法的平均精度均值提高3.46%,能有效提高点云三维目标的检测精度且具有较优的鲁棒性。相比原始Transformer模块,所提稀疏Transformer模块在点云图像上的平均运行速度加快了约0.54 frame/s。     

混合视觉系统的运动物体检测和静态地图重建

复杂动态背景环境下的运动物体检测和静态地图重建中容易出现运动物体检测不完整的问题。针对上述问题,提出了一种混合视觉系统下点云分割辅助的运动物体检测方法。首先,提出了直通滤波+随机采样一致性（PassThrough+RANSAC）方法来克服大面积墙壁干扰以实现点云地面点的识别;其次,将非地面点数据作为特征点投射到图像上,并估计其光流运动向量和人工运动向量,从而对动态点进行检测;然后,采用动态阈值策略对点云进行欧氏聚类;最后,整合动态点检测结果与点云分割结果来完整地提取出运动物体。此外,通过八叉树地图（Octomap）工具将点云地图转换为三维栅格地图以完成地图的构建。通过实验结果和数据分析可知,所提方法可以有效提高运动物体检测的完整性,同时重建出低损耗、高实用性的静态栅格地图。     

Estimation of planes of a rock mass in a gallery wall from point cloud data based on MD PSO

LiDAR (laser imaging detection and ranging) has been developed to measure the distance of the mesh of points on an object with a high level of accuracy. It provides high-resolution point cloud data as a result of distance measurement. Detailed 3D shapes of objects can be estimated from point cloud data. LiDAR has been used to identify discontinuities in a rock mass of a tunnel gallery wall. To identify discontinuities, it is necessary to approximate the rock mass surface with small planes. Normal vectors of the planes are important to identify discontinuities. We developed an algorithm for estimation of planes based on multi-dimensional particle swarm optimization (MD PSO) from point cloud data. Point cloud data were segmented into bounding boxes and grouped into clusters by MD PSO. Planes were estimated using the least squares method for point cloud data in the respective clusters. The newly developed algorithm based on MD PSO was evaluated using point cloud data obtained from a gallery wall. Evaluation was carried out in comparison with the previous developed variable-box segmentation (VBS) algorithm. The MD PSO-based algorithm showed a 7% higher accuracy than that of the VBS algorithm.     

动态场景下基于语义和光流约束的视觉同步定位与地图构建

针对动态场景下的定位与静态语义地图构建问题,提出了一种基于语义和光流约束的动态环境下的同步定位与地图构建（SLAM）算法,以降低动态物体对定位与建图的影响。首先,对于输入的每一帧,通过语义分割获得图像中物体的掩模,再通过几何方法过滤不符合极线约束的特征点;接着,结合物体掩模与光流计算出每个物体的动态概率,根据动态概率过滤特征点以得到静态特征点,再利用静态特征点进行后续的相机位姿估计;然后,基于RGB-D图片和物体动态概率建立静态点云,并结合语义分割建立语义八叉树地图。最后,基于静态点云与语义分割创建稀疏语义地图。公共TUM数据集上的测试结果表明,高动态场景下,所提算法与ORB-SLAM2相比,在绝对轨迹误差和相对位姿误差上能取得95%以上的性能提升,与DS-SLAM、DynaSLAM相比分别减小了41%和11%的绝对轨迹误差,验证了该算法在高动态场景中具有较好的定位精度和鲁棒性。地图构建的实验结果表明,所提算法创建了静态语义地图,与点云地图相比,稀疏语义地图的存储空间需求量降低了99%。     

融合稀疏注意力和实例增强的雷达点云分割

目的 雷达点云语义分割是3维环境感知的重要环节,准确分割雷达点云对象对无人驾驶汽车和自主移动机器人等应用具有重要意义。由于雷达点云数据具有非结构化特征,为提取有效的语义信息,通常将不规则的点云数据投影成结构化的2维图像,但会造成点云数据中几何信息丢失,不能得到高精度分割效果。此外,真实数据集中存在数据分布不均匀问题,导致小样本物体分割效果较差。为解决这些问题,本文提出一种基于稀疏注意力和实例增强的雷达点云分割方法,有效提高了激光雷达点云语义分割精度。方法 针对数据集中数据分布不平衡问题,采用实例注入方式增强点云数据。首先,通过提取数据集中的点云实例数据,并在训练中将实例数据注入到每一帧点云中,实现实例增强的效果。由于稀疏卷积网络不能获得较大的感受野,提出Transformer模块扩大网络的感受野。为了提取特征图的关键信息,使用基于稀疏卷积的空间注意力机制,显著提高了网络性能。另外,对不同类别点云对象的边缘,提出新的TVloss用于增强网络的监督能力。结果 本文提出的模型在SemanticKITTI和nuScenes数据集上进行测试。在SemanticKITTI数据集上,本文方法在线单帧...     

基于DST融合多视图模糊推理赋值的三维目标检测

针对前置激光雷达的点云数据,提出一种基于DST融合多视图模糊推理赋值的有效障碍物分割判别方法.将点云数据转换为体素地图并进行路面分割,得到前、俯视图.在两视图中根据不同的模糊推理规则对某体素属于目标的程度进行基本概率赋值,并通过DST融合判别目标,精确分割目标,从而得到方盒模型参数.将三维识别问题转换为一系列的二维检测问题,与直接利用三维点云信息相比,可以降低数据处理复杂度,提高系统稳定性.在自主研发的自动驾驶汽车上采用前置16线激光雷达和TX2嵌入式开发板进行多次在线试验,并在KITTI上进行对比验证,结果表明所提方法在实际应用中拥有较好的实时性和准确性.