动态环境中多帧点云融合算法及三维目标检测算法研究

低线束激光雷达扫描的点云数据较为稀疏,导致无人驾驶环境感知系统中三维目标检测效果欠佳,通过多帧点云配准可实现稀疏点云稠密化,但动态环境中的行人与移动车辆会降低激光雷达的定位精度,也会造成融合帧中运动目标上的点云偏移较大。针对上述问题,提出了一种动态环境中多帧点云融合算法,利用该算法在园区道路实况下进行三维目标检测,提高了低线束激光雷达的三维目标检测精度。利用16线和40线激光雷达采集的行驶路况数据进行实验,结果表明该算法能够增强稀疏点云密度,改善低成本激光雷达的环境感知能力。     

面向车路协同的路侧感知仿真系统

路侧感知是车路协同应用开发的重要组成部分,通过在路侧部署传感器,将采集到的路面信息经V2X通信给到车辆,使车辆拥有超视距的感知能力.在实际应用中,为达到最优的路侧感知效果,不同的场景往往需要不同的RSU配置,RSU的选型及安装是一个耗时耗力的过程.交通参与者的识别是路侧感知的核心,基于机器学习的识别算法需要大量的标签数据,而人工打标签被验证是一个效率极其低下的方式.通过构建路侧感知仿真系统可以很好地解决RSU配置及样本数据生成的问题,实验一通过在仿真系统中调整激光雷达的高度和角度,得到极端情况下的车辆遮挡情况,从而为激光雷达的实际安装高度提供参考,实验二在仿真环境中输出带标签的激光雷达点云数据,通过与实际采集的点云数据进行融合对比,验证仿真系统输出的激光雷达点云数据可以作为模型训练的数据补充.     

复杂环境中的无人车多传感器紧耦合SLAM方法

提出了一种多传感器信息紧耦合的无人驾驶车辆SLAM方法—Ligom,此方法在复杂环境中，可以实现无人驾驶车辆状态的实时估计与环境地图的构建。Ligom基于迭代扩展卡尔曼滤波(iEKF)理论设计，融合了惯性测量单元(IMU)、全球导航卫星系统(GNSS)、激光雷达(Lidar)与相机(Camera)等不同传感器。首先利用IMU预测车辆的先验状态与消除点云畸变，并使用滑动窗口方法保存点云特征以提高点云匹配精度；然后，通过对GNSS信息作初始化与坐标系变换，分别完成滤波更新得到后验状态；最后在后端环节引入关键帧进行状态优化与反馈更新，构建全局环境点云地图。此外，利用Camera-Lidar联合检测的多目标检测与跟踪算法，完成全局桩桶地图的构建。Ligom在四个不同平台与环境采集的数据集上进行了充分验证。     

结构化环境下基于结构单元软编码的3维激光雷达点云描述子

在同时定位与地图构建（SLAM）系统中,基于3维激光雷达点云数据的闭环检测由于描述子计算困难而极具挑战．为此,本文提出一种结构化环境下可用于闭环检测的基于结构单元软编码的新型3维激光雷达点云描述子．针对3维激光雷达点云的稀疏性和独立性导致的3维空间线段提取困难的问题,首先通过几何滤波的方法提取3维空间中垂直于地面的线段,用于保留3维空间的结构信息;然后,基于线段的空间几何关系构建结构单元集合,并通过软编码技术计算特征向量,作为3维激光雷达点云的描述子;最后,通过两帧点云描述子的匹配实现闭环检测．在KITTI公开数据集和自采数据集上的对比实验,验证了本文方法在时效性和鲁棒性等方面均优于主流的3维激光闭环检测方法．     

新能源汽车激光雷达传感器缺失数据填补方法研究

为了增强车辆激光雷达传感器数据采集的全面性,研究新能源汽车激光雷达传感器缺失数据填补方法。利用数据融合的点云采集技术和中值滤波算法,预处理点云数据。采用改进的噪声密度聚类算法构建点云超体素块,建立图模型,并利用图割算法进行全局聚类。结合典型地物特征提取地物信息,并利用全景图像进行密集匹配填补缺失区域,以完成点云数据中空洞区域的填补。实验结果表明,该方法能够有效实现缺失数据的填补,并且填补效果良好。填补后的点云数据与缺失区域原始点云在深度方向上的分布状况几乎一致。     

融合稀疏点云补全的3D目标检测算法

基于雷达点云的 3D 目标检测方法有效地解决了 RGB 图像的 2D 目标检测易受光照、天气等因 素影响的问题。但由于雷达的分辨率以及扫描距离等问题,激光雷达采集到的点云往往是稀疏的,这将会影响 3D 目标检测精度。针对这个问题,提出一种融合稀疏点云补全的目标检测算法,采用编码、解码机制构建点 云补全网络,由输入的部分稀疏点云生成完整的密集点云,根据级联解码方式的特性,定义了一个新的复合损 失函数。除了原有的折叠解码阶段的损失之外,还增加了全连接解码阶段存在的损失,以保证解码网络的总体 误差最小,从而使得点云补全网络生成信息更完整的密集点云 Ydetail,并将补全的点云应用到 3D 目标检测任务 中。实验结果表明,该算法能够很好地将 KITTI 数据集中稀疏的汽车点云补全,并且有效地提升目标检测的精 度,特别是针对中等和困难等级的数据效果更佳,提升幅度分别达到 6.81%和 9.29%。     

基于IMU和动态目标检测的多帧点云融合算法

针对16线激光雷达点云数据稀疏,而导致环境感知效果不佳的问题,提出了一种基于惯性测量单元和动态目标检测相结合的多帧点云数据融合算法.该算法利用惯性测量单元提供的位姿信息进行点云中静态物体部分的融合,利用动态目标检测完成运动物体部分的融合,既可以增快点云融合的速度,又可以缓解融合时运动物体点云偏移过大的问题,在节约成本的同时,达到有效地增大点云密度的目的.实验结果表明,该算法进行点云融合时具有良好的效果,在无人驾驶环境感知方面具有较高的应用价值.     

路侧多激光雷达协同感知和误差自校准方法

多激光雷达3D点云数据融合能够弥补单个激光雷达感知范围有限的缺陷,而雷达安装误差自校准能够获取更加准确的感知数据。基于此,提出了路侧激光雷达协同感知数据融合算法和安装误差自校准方法。首先,使用KD-tree和k近邻算法查找两幅点云的重叠点,并对重叠点进行拼接处理。其次,基于深度学习模型实现多激光雷达数据融合,利用点云数据拼接特征实现激光雷达的误差自校准。最后,基于长安大学车联网与智能汽车试验场搭建多激光雷达数据采集平台,采集试验场内的点云数据来验证本次提出的数据融合算法和误差自校准方法。结果表明,后融合目标识别比前融合目标识别效率提升11.6%,且激光雷达误差自校准方法使有效数据精度提升了13.44%。     

模拟激光雷达点云在路侧感知算法中的应用

路侧感知算法融合车载感知算法实现了超视距感知, 基于深度学习的感知算法性能取决于激光雷达点云标签标注的质量, 而点云标签相对于二维图像更难标注, 需要大量时间人力成本进行标注, 且现行感知算法都是针对于车载激光雷达. 针对这些问题, 本文提出了一种基于路侧激光雷达栅格特征聚类的感知算法, 该算法首先对路侧激光雷达点云栅格化并提取特征, 再构建深度学习方法模型学习栅格的初级感知信息, 最后根据初级感知信息进行聚类完成感知检测. 本文还利用仿真平台模拟路侧激光雷达点云, 并研究混合数据集在感知算法训练上的应用, 基于模拟数据预训模型微调(Fine-tune)在感知算法上的应用. 实验结果表明, 本文提出的路侧感知算法具有较高的实时性与可靠性, 模拟路侧激光雷达点云有助于路侧感知算法训练, 减少路侧感知算法对标注工作的依赖, 提高感知算法性能.     

基于3D激光雷达道路边缘实时检测算法的研究与实现

针对自然环境下无人驾驶车辆的道路边缘检测问题,提出一种基于3D激光雷达的实时道路边缘检测算法。对激光雷达的点云数据进行网格化处理,求出每个网格中的高度差,并针对道路边缘的高度特征,对网格数据进行阈值处理;再由近及远逐个提取左右道路边缘,利用最小二乘法对左右道路边缘网格进行曲线拟合平滑处理,得到左右道路边缘。实验结果表明,该道路边缘检测算法可靠性高,稳定性强,能够准确完成道路边缘检测,满足实时系统的要求。     

基于无人机载多载荷的输电线路巡检方法研究检测

无人机进行电力线路巡检的作业模式在南方电网已经开展了一些示范验证并获得一定的推广应用,目前的巡检方式多为无人机或有人机挂载激光雷达进行巡检。为提高线路巡检效率、提高隐患目标识别准确度,本文提出激光雷达和可见光相机一体化应用的方法来提高巡检自动化程度、提高巡检精细度、提高作业效率及可靠性。首先针对一次飞行同步采集巡检区域的激光点云数据和可见光影像数据,在对采集的数据分别进行相应的预处理;然后将点云数据和影像数据融合处理分析,实现输电线路隐患目标自动识别和精准定位。采用旋翼无人机实际巡检获取的输电线路激光点云数据和影像数据对该过程进行了验证,试验结果表明,基于无人机载多载荷的输电线路巡检具有较高的自动化程度和准确性,缺陷识别检测的水平距离误差为0.1467米,缺陷识别的垂直距离误差为 0.1025米,缺陷识别的净空距离误差为0.1575米,识别检测效果良好,对输电线路巡检具有重要的意义。     

低成本激光和视觉相结合的同步定位与建图研究

激光雷达和视觉传感是目前两种主要的服务机器人定位与导航技术,但现有的低成本激光雷 达定位精度较低且无法实现大范围闭环检测,而单独采用视觉手段构建的特征地图又不适用于导航应用。因此,该文以配备低成本激光雷达与视觉传感器的室内机器人为研究对象,提出了一种激光和视觉相结合的定位与导航建图方法：通过融合激光点云数据与图像特征点数据,采用基于稀疏姿态调整的优化方法,对机器人位姿进行优化。同时,采用基于视觉特征的词袋模型进行闭环检测,并进一步优化基于激光点云的栅格地图。真实场景下的实验结果表明,相比于单一的激光或视觉定位建图方 法,基于多传感器数据融合的方法定位精度更高,并有效地解决了闭环检测问题。     

基于多传感器融合的城市道路目标检测方法

面对动态目标种类繁多的城市道路复杂场景，单一传感器无法获取准确全面的目标状态信息，针对上述问题，提出了一种基于多传感器信息融合的城市道路目标检测方法。首先，基于中心点图像检测网络获取目标尺寸大小、估计深度等信息，构建3D感兴趣区域截锥，获取目标初始状态信息，利用体素网格滤波法进行激光雷达点云预处理，减少点云冗余信息，并提出一种F-PointPillars方法融合激光雷达与毫米波雷达点云特征信息，获取目标位置和速度信息。然后，在截锥区域内，依据最近相邻原则匹配目标图像对应的点云信息，数据关联后将融合结果输入归一化头网络，获取目标准确全面的目标状态信息，为下一步决策控制提供精准数据。最后，在标准数据集Nuscenes上进行评估，与单相机检测方法和激光雷达融合毫米波雷达检测方法相比，NDS得分分别增加了9.4%和15.6%,平均尺度误差和平均角度误差分别降低了4.9%和2.9%,验证了上述方法的有效性。     

基于激光雷达和视觉融合的机器人SLAM应用研究

通过研究激光雷达和视觉传感器融合SLAM,实现双目视觉传感器对单线激光雷达点云的补充,以提高建图精度。实现方案以2D激光雷达点云数据为主,双目视觉传感器作为激光雷达点云盲区的补充,搭建SLAM实验平台,完成机器人实时地图构建并获取当前位置信息,同时降低携带传感器的成本。     

融合双目视觉和2D激光雷达的室外定位

高精度的定位对于自动驾驶至关重要. 2D激光雷达作为一种高精度的传感器被广泛应用于各种室内定位系统.然而在室外环境下,大量动态目标的存在使得相邻点云的匹配变得尤为困难,且2D激光雷达的点云数据存在稀疏性的问题,导致2D激光雷达在室外环境下的定位精度极低甚至无法实现定位.为此,提出一种融合双目视觉和2D激光雷达的室外定位算法.首先,利用双目视觉作为里程计提供相对位姿,将一个局部时间窗口内多个时刻得到的2D激光雷达数据融合成一个局部子图;然后,采用DS证据理论融合局部子图中的时态信息,以消除动态目标带来的噪声;最后,利用基于ICA的图像匹配方法将局部子图与预先构建的全局先验地图进行匹配,消除里程计的累积误差,实现高精度定位.在KITTI数据集上的实验结果表明,仅利用低成本的双目相机和2D激光雷达便可实现较高精度的定位,所提出算法的定位精度相比于ORB-SLAM2里程计最高可提升37.9%.     

基于地磁传感器的车辆检测算法研究

针对现有地磁传感器车辆检测算法存在基线漂移、固定阈值导致车辆检测准确率低,以及干扰引起的状态机误判等问题,提出了基于地磁传感器的自适应阈值有限状态机车辆检测算法。在研究了三轴异相磁阻(AMR)地磁传感器车辆检测原理的基础上,分析了AMR传感器采集的原始信号,对原始信号进行了滑动窗口均值滤波处理;为了消除基准值漂移造成的检测误差和固定阈值造成的累积误差,提出了基准值和阈值实时更新的自适应车辆检测算法。采用加权函数进行基准值的实时更新,阈值随着基准值的更新而更新。同时,该算法以多状态机判断为主体,在有限状态机中增加了车辆到来计数和波动计数两个状态,消除了干扰引起的误判,提高了车辆检测准确率。现场车辆测试结果表明,该算法的车流量检测准确率在97%以上,可用于智能交通系统中车流量的检测。     

车载激光雷达点云数据处理关键技术

激光雷达具有探测精度高、穿透能力强、能够三维成像等诸多优点,故自动驾驶车辆常常搭载激光雷达来对车身周围环境进行感知;车辆实现自动驾驶的关键技术包括车载激光雷达信号的发射、接收和对点云数据的处理,通过对接收到的点云数据进行处理可以使车辆准确的感知到当前路面状况并做出相应操作;文章重点介绍了车载激光雷达点云数据处理中的关键技术,对每个关键技术中常用算法的基本原理、优缺点和改进等进行了阐述,以期为车载激光雷达点云数据处理提供参考。     

基于数据特征的多传感器融合实时目标检测

为了进一步降低目标检测出现的误检率,提出了一种基于传感器数据特征的融合目标检测算法。首先,为了减少部分离群噪声点对点云表达准确性的影响,采用统计滤波器对激光雷达原始点云进行滤波处理;其次,为了解决点云地面分割在坡度变化时,固定阈值会导致分割不理想的问题,提出了自适应坡度阈值的地面分割算法;然后,建立KD（k-dimensional）树索引,加速DBSCAN（density-based spatial clustering of applications with noise）点云聚类,基于Andrew最小凸包算法,拟合最小边界矩形,生成目标三维边界框,完成聚类后的目标点云位姿估计;最后,将激光雷达检测到的三维目标点云投影到图像上,投影边界框与图像检测的目标边界框通过IoU关联匹配,提出基于决策级的三维激光雷达与视觉图像信息融合算法。使用KITTI数据集进行的测试实验表明,提出的点云聚类平均耗时降低至173 ms,相比传统的欧氏距离聚类,准确性提升6%。搭建硬件实验平台,基于实测数据的实验结果表明,提出的融合算法在目标误检率上比YOLO v4网络降低了约10%。     

学习点云邻域信息的三维物体形状补全

在现实世界中,点云数据的采集方式有激光雷达、双目相机和深度相机,但是在机器人采集过程中由于设备分辨率、周围环境等因素的影响,收集到的点云数据通常是非完整的。为了解决物体形状缺失的问题,提出了一种使用局部邻域信息的三维物体形状自动补全的网络架构。该架构包括点云特征提取网络模块和点云生成网络模块,输入为缺失的点云形状,输出为缺失部分的点云形状,将输入与输出点云形状进行合并完成物体的形状补全。采用倒角距离和测地距离进行评估,实验结果表明,在ShapeNet数据集上,平均倒角距离和平均测地距离均小于多层感知机特征提取网络与PCN网络的值,两值分别为0.000 84和0.028。对于现实中扫描的点云数据进行补全处理也达到了预期效果,说明该网络有较强的泛化性,可以修复不同类别的物体。     

基于图像点云的道路缺陷检测

本文针对无人机图像点云道路缺陷检测问题, 提出了一种基于点云切片平面拟合与聚类的道路缺陷检测方法. 首先, 采集无人机图像进行三维重建生成图像点云, 对点云进行坡度滤波与统计离群点滤波, 消除噪声和异常点的干扰. 然后, 对点云进行切片并利用随机采样一致性平面拟合算法估计道路的平面模型. 随后, 运用点云DBSCAN聚类算法分类出边缘噪声与道路损伤点云. 最后, 采用点云切片法估计损伤程度. 在实验中, 我们使用真实无人机采集的点云数据, 并与基于点云垂直度特征检测方法进行了对比. 实验结果表明, 本文方法表现出较高的准确性和鲁棒性, 体积估计的误差为1307 cm³. 相较于传统方法, 本文方法能够更精确地检测出道路损伤, 并能适应复杂的道路形状变化.