应用激光雷达与相机信息融合的障碍物识别

针对探测器在地外星体表面软着陆过程中的障碍物识别问题,提出了一种融合三维点云数据与灰度图像数据进行精确障碍物识别的方法。首先利用坐标转换将灰度图像与三维点云归一化到同一坐标系下,实现传感器数据的融合。然后采用改进K均值聚类算法对预处理后灰度图像进行图像分割,生成光学障碍图。最后利用开源库PCL(Point Cloud Library)对激光雷达生成的三维激光点云数据进行处理,采用随机采样一致性算法提取着陆区地形水平面,对去除水平面后的点云数据进行点云分割,分离出突起物、凹坑等障碍物,并通过激光雷达与相机转换坐标系,投影到像平面,生成最终障碍图。     

基于三维激光雷达的道路边界提取和障碍物检测算法

为了快速有效地提取智能车辆在不同环境下的道路环境信息,提出基于三维激光雷达的道路边界提取和障碍物检测算法.首先,对三维激光雷达点云数据进行栅格化滤波处理,利用单束激光点云空间邻域联合分割的方法进行空间分析,得到点云平滑度特征图像.然后,采用自适应方向搜索算法获取道路边界候选点,并进行聚类分析和曲线拟合.最后,对道路边界约束下可通行区域内点云进行聚类分割,获得道路内障碍物方位和距离信息.实验表明,文中算法能够实时准确地提取道路边界和障碍物位置信息,满足智能车环境建模和路径规划的需求.     

基于稀疏Transformer的雷达点云三维目标检测

随着计算机视觉技术的发展,基于点云的三维目标检测算法被广泛应用于自动驾驶、机器人控制等领域。针对点云稀疏条件下基于点云三维目标检测算法鲁棒性较差、检测精度低的问题,提出基于稀疏Transformer的三维目标检测算法。在注意力矩阵生成阶段,通过稀疏Transformer模块显式选择Top-t个权重元素,以保留有利于特征提取的权重元素,在降低环境噪点对鲁棒性影响的同时加快Transformer模块的运行速度。在回归阶段,将基于空间特征粗回归模块生成的边界框作为检测头模块的初始锚框,用于后续边界框的精细回归操作。设计基于体素的三维目标检测算法的损失函数,以精确地衡量类别损失、位置回归损失和方向损失。在KITTI数据集上的实验结果表明,相比PointPillars算法,该算法的平均精度均值提高3.46%,能有效提高点云三维目标的检测精度且具有较优的鲁棒性。相比原始Transformer模块,所提稀疏Transformer模块在点云图像上的平均运行速度加快了约0.54 frame/s。     

动态环境中多帧点云融合算法及三维目标检测算法研究

低线束激光雷达扫描的点云数据较为稀疏,导致无人驾驶环境感知系统中三维目标检测效果欠佳,通过多帧点云配准可实现稀疏点云稠密化,但动态环境中的行人与移动车辆会降低激光雷达的定位精度,也会造成融合帧中运动目标上的点云偏移较大。针对上述问题,提出了一种动态环境中多帧点云融合算法,利用该算法在园区道路实况下进行三维目标检测,提高了低线束激光雷达的三维目标检测精度。利用16线和40线激光雷达采集的行驶路况数据进行实验,结果表明该算法能够增强稀疏点云密度,改善低成本激光雷达的环境感知能力。     

一种改进的基于平面拟合的机载LiDAR点云滤波方法

在分析现有方法优劣的基础上,提出一种改进的基于平面拟合的机载LiDAR点云滤波方法。首先基于区域生长算法对重采样的LiDAR数据图像分割,提取最大连通区域为初始地面,然后基于坡度阈值剔除初始地面内的地物点,最后对筛选后的地面点克里金插值实现滤波。采用国际摄影测量与遥感学会(ISPRS)提供的测试数据进行实验,研究了设置不同坡度阈值对滤波结果产生的影响。结果表明,坡度阈值取0.5时滤波效果最优,整体错误率仅为4.29%。与传统的基于平面拟合的滤波方法相比较,该方法更简单实用。     

复杂环境下基于信息融合的视频实时抠像算法

针对复杂场景下传统的视频抠像算法对目标物体与背景纹理相似或边界不清晰的图像分割困难的问题,提出了一种基于视觉传感器和激光雷达信息相融合的视频实时抠像算法。该算法从原始激光雷达点云数据中获取感兴趣区域深度信息,并作为先验知识融合到改进的谱抠图算法,创建感兴趣区域深度抠图拉普拉斯矩阵,通过聚类算法最优迭代得出抠像结果,并运用导向滤波器对抠像结果进行后处理。实验证明,对比于融合深度信息的传统算法和没有融合其他信息的算法,该算法降低了欠分割率、提高了运行效率,抠像目标的边缘信息也更加饱满、清晰、平滑。     

伪点云修正增强激光雷达数据

目的 激光雷达在自动驾驶中具有重要意义,但其价格昂贵,且产生的激光线束数量仍然较少,造成采集的点云密度较稀疏。为了更好地感知周围环境,本文提出一种激光雷达数据增强算法,由双目图像生成伪点云并对伪点云进行坐标修正,进而实现激光雷达点云的稠密化处理,提高3D目标检测精度。此算法不针对特定的3D目标检测网络结构,是一种通用的点云稠密化方法。方法 首先利用双目RGB图像生成深度图像,根据先验的相机参数和深度信息计算出每个像素点在雷达坐标系下的粗略3维坐标,即伪点云。为了更好地分割地面,本文提出了循环RANSAC （random sample consensus）算法,引入了一个分离平面型非地面点云的暂存器,改进复杂场景下的地面分割效果。然后将原始点云进行地面分割后插入KDTree （k-dimensional tree）,以伪点云中的每个点为中心在KDTree中搜索若干近邻点,基于这些近邻点进行曲面重建。根据曲面重建结果,设计一种计算几何方法导出伪点云修正后的精确坐标。最后,将修正后的伪点云与原始激光雷达点云融合得到稠密化点云。结果 实验结果表明,稠密化的点云在视觉上具有较好的质量,物体具有更加完整的形状和轮廓,并且在KITTI （Karlsruhe Institute of Technology and Toyota Technological Institute）数据集上提升了3D目标检测精度。在使用该数据增强方法后,KITTI数据集下AVOD （aggregate view object detection）检测方法的AP_3D-Easy （average precision of 3D object detection on easy setting）提升了8.25%,AVOD-FPN （aggregate view object detection with feature pyramid network）检测方法的AP_BEV-Hard （average precision of bird’s eye view on hard setting）提升了7.14%。结论 本文提出的激光雷达数据增强算法,实现了点云的稠密化处理,并使3D目标检测结果更加精确。     

基于激光点云的道路可通行区域检测方法

以车载激光雷达获取的点云数据为研究对象,针对无人车道路环境感知的关键技术展开研究。为解决无人驾驶中道路可通行区域检测存在的地面不平整、缓坡、障碍物单一等问题,提出基于激光点云数据的道路可通行区域检测方法。通过基于分段校准的RANSAC算法进行地面分割,解决地面不平整导致的欠分割问题。使用多特征复合判据,利用基于体素化的DBSCAN聚类算法和基于结构特征的障碍物识别方法完成障碍物的分割与识别。结合道路结构以及数据高程突变特征,提取道路边界候选点并拟合得到完整的道路边界线。将道路区域栅格化,根据道路边界悬空障碍物判断并更新可通行区域,实现可通行区域的准确检测。实验结果表明,该方法在复杂道路场景中的边界检测准确率高于95%,可有效检测出障碍物及道路的可通行区域,具有良好的实时性与鲁棒性。     

基于特征匹配的激光雷达和相机外参标定方法

智能驾驶系统的车载传感信息通常由激光雷达信息和相机信息融合而成,精确稳定的外参数标定是有效多源信息融合的基础。为提高感知系统鲁棒性,文章提出一种基于特征匹配的激光雷达和相机标定方法。首先,提出点云数据球心算法和图像数据椭圆算法提取特征点的点云三维坐标和像素二维坐标;接着,建立特征点在激光雷达坐标系和相机坐标系下的点对约束,构建非线性优化问题;最后,采用非线性优化算法优化激光雷达和相机的外参数。利用优化后的外参数将激光雷达点云投影至图像,结果显示,激光雷达和相机联合标定精度横向平均误差和纵向平均误差分别为3.06像素和1.19像素。文章提出的方法与livox＿camera＿lidar＿calibration方法相比,平均投影误差减少了40.8%,误差方差减少了56.4%,其精度和鲁棒性明显优于后者。     

激光雷达点云数据的滤波算法述评

机载激光雷达是一种快速获取高精度三维地理数据的新技术,对它所获取的点云数据的滤波过程就是将LIDAR点云数据中的地面点和非地面点分离的过程。主要对数学形态学的滤波算法、基于坡度的滤波法、基于TIN的LIDAR点云过滤算法、基于伪扫描线的滤波算法、基于多分辨率方向预测的LIDAR点云滤波方法等几种较为重要且实用的激光雷达点云数据滤波算法进行介绍和讨论,评价对比了各自算法的优势和不足,初步探讨了每种算法缺陷及其改进方向。     

混合视觉系统的运动物体检测和静态地图重建

复杂动态背景环境下的运动物体检测和静态地图重建中容易出现运动物体检测不完整的问题。针对上述问题,提出了一种混合视觉系统下点云分割辅助的运动物体检测方法。首先,提出了直通滤波+随机采样一致性（PassThrough+RANSAC）方法来克服大面积墙壁干扰以实现点云地面点的识别;其次,将非地面点数据作为特征点投射到图像上,并估计其光流运动向量和人工运动向量,从而对动态点进行检测;然后,采用动态阈值策略对点云进行欧氏聚类;最后,整合动态点检测结果与点云分割结果来完整地提取出运动物体。此外,通过八叉树地图（Octomap）工具将点云地图转换为三维栅格地图以完成地图的构建。通过实验结果和数据分析可知,所提方法可以有效提高运动物体检测的完整性,同时重建出低损耗、高实用性的静态栅格地图。     

多尺度Transformer激光雷达点云3D物体检测

激光雷达点云3D物体检测,对于小物体如行人、自行车的检测精度较低,容易漏检误检,提出一种多尺度Transformer激光雷达点云3D物体检测方法MSPT-RCNN(multi-scale point transformer-RCNN),提高点云3D物体检测精度.该方法包含两个阶段,即第一阶段(RPN)和第二阶段(RCN...     

改进损失函数的地基云状目标检测算法

云是一种常见的天气现象,云状是天气预测的关键特征.目前,地基云图像中的云状观测主要依赖于气象观测员的目视观测,十分依赖观测员的经验,实时性和效率较低.针对这一问题,提出使用深度学习的方法进行地基云状检测识别.设计了一种新的目标检测边界框损失函数UIoU,将其应用于YOLOv3算法上.并且使用了K-means聚类算法重新...     

基于YOLOv4改进算法的复杂行人检测模型研究

在图像和视频序列中进行行人检测时,存在行人姿态和尺度多样及行人遮挡的问题,导致YOLOv4算法对部分行人检测不准确,存在误检和漏检的情况。针对这一问题,提出了基于YOLOv4改进算法的复杂行人检测模型。首先,使用改进的k-means聚类算法对行人数据集真实框尺寸进行分析,根据聚类结果确定先验框尺寸;其次,利用PANet进行多尺度特征融合,增强对多姿态、多尺度行人目标的敏感度,以提高检测效果;最后,针对行人遮挡问题,使用斥力损失函数使预测框尽可能地靠近正确的目标。实验表明,相比于YOLOv4和其他行人检测模型,新提出的检测模型具有更好的检测效果。     

改进YOLOv5的机场跑道异物目标检测算法

针对机场跑道异物(foreign object debris,FOD)在图像中目标占比小,特征不明显,经常导致误检、漏检的问题,提出一种改进YOLOv5的FOD目标检测算法。改进多尺度融合与检测部分,融合高分辨率特征图增强小目标特征表达,移除大目标检测层以减少网络推理计算量;引入轻量高效的卷积注意力模块(CBAM),从空间与通道两个维度提升模型关注目标特征的能力;在特征融合阶段采用RepVGG模块,提高模型特征融合能力的同时提高了检测精度;采用SIoU Loss作为损失函数,提升了边框回归的速度与精度。在自制FOD数据集上进行对比实验,结果表明：该方法在满足实时性的条件下,实现了95.01%的mAP50、55.79%的mAP_50:95,比原算法YOLOv5分别提高了2.78、3.28个百分点,有效解决了传统FOD检测误检、漏检问题,同时与主流目标检测算法相比,提出的改进算法更适用于FOD检测任务。     

基于改进YOLOv2的无标定3D机械臂自主抓取方法

提出了一种多物体环境下基于改进YOLOv2的无标定3D机械臂自主抓取方法。首先为了降低深度学习算法YOLOv2检测多物体边界框重合率和3D距离计算误差,提出了一种改进的YOLOv2算法。利用此算法对图像中的目标物体进行检测识别,得到目标物体在RGB图像中的位置信息; 然后根据深度图像信息使用K-means++聚类算法快速计算目标物体到摄像机的距离,估计目标物体大小和姿态,同时检测机械手的位置信息,计算机械手到目标物体的距离; 最后根据目标物体的大小、姿态和到机械手的距离,使用PID算法控制机械手抓取物体。提出的改进YOLOv2算法获得了更精准的物体边界框,边框交集更小,提高了目标物体距离检测和大小、姿态估计的准确率。为了避免了繁杂的标定,提出无标定抓取方法,代替了基于雅克比矩阵的无标定估计方法,通用性好。实验验证了提出的系统框架能对图像中物体进行较为准确的自动分类和定位,利用Universal Robot 3机械臂能够对任意摆放的物体进行较为准确的抓取。     

基于图像与点云的三维障碍物检测

为提高平截头点云网络在三维障碍物检测中的精度,基于平截头点云网络的结构提出一种扩张平截头点云的检测方法。采用图像和点云数据,使用二维目标检测网络Yolov3,检测障碍物的二维包围框;扩张包围框的大小,在点云数据中提取出障碍物对应的点云;通过改进的Pointnet网络对该点云计算,得到障碍物的三维信息。在原模型基础上,加入扩张包围框,提高点云数据提取的完整性。通过KITTI数据集的验证和测试,实验结果表明,通过扩张二维包围框可以有效提高检测网络的性能。     

基于融合分层条件随机场的道路分割模型

为了在道路检测中结合图像的多尺度特征以及点云的空间结构特征,使检测算法能有效地排除道路场景中的阴影、光线等干扰,本文提出一种基于融合分层条件随机场的图像和点云融合的道路分割模型．首先,利用Meanshift算法产生多个尺度的超像素分割,建立基于图像的多尺度分层条件随机场．将点云数据投影到图像平面,再建立基于点云的多尺度分层条件随机场．在条件随机场的像素层和点云层之间建立连接,构造多尺度的融合模型．然后,针对多尺度融合模型中图像层的每一层和点云层的每一层,分别提取对应尺度的图像特征或点云特征．每一层用梯度提升树算法根据提取的特征训练1个分类器,利用每一层的分类器得到对应层的数据项代价．最后,使用α扩张算法对融合模型进行联合优化求解．在KITTI Road数据集上的实验结果表明,该方法具有良好的道路检测性能．     

基于DST融合多视图模糊推理赋值的三维目标检测

针对前置激光雷达的点云数据,提出一种基于DST融合多视图模糊推理赋值的有效障碍物分割判别方法.将点云数据转换为体素地图并进行路面分割,得到前、俯视图.在两视图中根据不同的模糊推理规则对某体素属于目标的程度进行基本概率赋值,并通过DST融合判别目标,精确分割目标,从而得到方盒模型参数.将三维识别问题转换为一系列的二维检测问题,与直接利用三维点云信息相比,可以降低数据处理复杂度,提高系统稳定性.在自主研发的自动驾驶汽车上采用前置16线激光雷达和TX2嵌入式开发板进行多次在线试验,并在KITTI上进行对比验证,结果表明所提方法在实际应用中拥有较好的实时性和准确性.