基于激光雷达与毫米波雷达融合的车辆目标检测算法

针对仅基于单一传感器的目标检测算法存在检测精度不足及基于图像与激光雷达的多传感器融合算法检测速度较慢等问题,提出一种基于激光雷达与毫米波雷达融合的车辆目标检测算法,该算法充分利用激光雷达点云的深度信息和毫米波雷达输出确定目标的优势,采用量纲一化方法对点云做预处理并利用处理后的点云生成特征图,融合毫米波雷达数据生成感兴趣区域,设计了多任务分类回归网络实现车辆目标检测.在Nuscenes大型数据集上进行训练验证.结果表明:检测精度可达60.52％,每帧点云检测耗时为35 ms,本算法能满足智能驾驶车辆对车辆目标检测的准确性和实时性要求.     

基于俯视角融合的多模态三维目标检测

三维目标检测中图像数据难以获得目标距离信息,点云数据难以获得目标类别信息,为此提出一种将图像转为俯视角特征的方法,将多尺度图像特征按水平维度展平,通过稠密变换层转变为多尺度图像俯视角特征,最终重塑为全局图像俯视角特征.在此基础上,提出一种基于俯视角融合的多模态三维目标检测网络,利用特征拼接或元素相加的方法融合图像俯视角特征与点云俯视角特征.在KITTI数据集上的实验表明,提出的基于俯视角融合的多模态三维目标检测网络对于车辆、行人目标的检测效果优于其他流行的三维目标检测方法 .     

基于多帧信息的多传感器融合三维目标检测

为提高三维目标检测中多传感器融合的效果,并利用前后帧之间的特征关联,提高目标检测的准确率,提出了一种基于多帧信息的多传感器特征融合三维目标检测网络.首先通过基于指导点的特征映射模块,将图像相机视角特征转换为鸟瞰图特征,并通过自适应融合模块对点云特征和图像特征进行融合;之后利用历史帧跟踪信息,融合多帧特征;最后采用基于CenterPoint检测头进行目标检测.在nuScenes数据集和实车上对三维目标检测网络进行了测试,试验结果表明该网络具有更高的精度和实时性.     

激光雷达和相机的决策级融合目标检测方法

【目的】激光雷达与相机这两类传感器检测数据格式不统一、分辨率不同,且数据级和特征级的融合计算复杂度高,故提出一种决策级的目标融合检测方法。【方法】对激光雷达与相机的安装位置进行联合标定,实现这两类传感器检测结果的坐标系转换;利用匈牙利算法将激光雷达点云检测目标框和相机图像检测目标框进行匹配,设定目标框重合面积阈值,检测获得目标物的位置、类型等。【结果】实车测试结果表明,根据检测目标检测框长宽比选取不同交并比阈值的方法使得车辆和行人的目标识别准确率分别提升了3.3%和5.3%。利用公开数据集KITTI对所提融合方法进行验证,结果表明,在3种不同难度等级场景下,所提融合方法的检测精度分别达到了75.42%、69.71%、63.71%,与现有常用的融合方法相比,检测精度均有所提升。【结论】这两类传感器的检测目标框重合面积阈值对决策级融合检测结果影响较大,根据检测目标检测框长宽比选取不同阈值可有效提升车辆和行人的目标识别准确率。决策级融合方法能准确匹配雷达和相机的检测目标,有效提升目标检测精度。     

基于RDB-YOLOv5的遥感图像车辆检测

为了解决遥感图像中目标密集、目标小车辆检测难的问题,提出基于YOLOv5的改进模型RDB-YOLOv5,并将其首次应用于遥感图像车辆检测领域。首先,针对遥感图像车辆方向任意的问题,对现有基于旋转边界框(rotated bounding box)的目标检测方法环形平滑标签(circular smooth label, CSL)进行改进;其次,针对遥感图像中背景信息复杂,车辆尺寸小导致检测精度降低的问题,提出基于注意力的多尺度目标检测方法,在骨干网络中添加双注意力机制(dual attention mechanism)将局部特征与全局特征相结合,并用空洞卷积进行改进;再借鉴双向特征融合网络(BiFPN)的思想,加入新的浅层特征和深层特征信息传递路径,更好融合浅层中车辆的位置信息,并设计新的检测头,提高网络对小目标车辆的检测能力。研究结果表明,改进的RDB-YOLOv5相比YOLOv5的均值平均精度(mAP)增长2.7%,特别是小型车辆检测提高了3.5%,相较于传统模型RCNN等mAP整体平均提高了10%。RDB-YOLOv5能够在通用数据库上取得较高的检测精度,同时在遥感图像的复杂场景中能...     

基于改进DBSCAN算法的激光雷达车辆探测方法

结合车辆行驶的实际环境,提出了一种基于改进DBSCAN快速聚类算法的激光雷达车辆探测方法.建立激光雷达与摄像机传感器坐标与车辆坐标之间的转换模型,进行数据融合,通过改进DBSCAN算法对雷达数据进行去噪声和聚类处理,根据车辆在激光雷达探测中的形状特征模型进行形状匹配,实时完成车辆探测,并将探测结果投影至图像上.实车实验结果证明,改进的DBSCAN算法在车辆探测应用中具有良好的准确性和实时性.     

基于TOPHAT-PCNN的图像车辆目标检测方法研究

对传统的车辆目标检测方法进行改进,提出了一种基于形态学高帽变换(TOPHAT)与脉冲耦合神经网络(PCNN)相结合的车辆目标检测方法.首先对交通图像进行形态学高帽变化提取图像的目标区域、然后分析了PCNN特征对车辆图像与非车辆图像的区分度,统计了熵特征和脉冲点火特征分别对原始图像和TOPHAT图像的有效性,选取了迭代平均熵作为车辆检测的有效特征,并采用滑窗的方式进行车辆检测,最后利用边缘密度信息对检测出的车辆目标进行后续验证.实验从有效性和准确性两方面进行验证,实验图片来自实际交通路口,结果表明:该方法能够有效地进行车辆目标检测,同时与其他车辆目标检测方法相比,具有检测率高、误检率低,消耗时间少等特点,能够较好的实现智能交通中车辆目标的快速检测.     

基于改进Mask RCNN的工程车辆分割算法

针对输电通道下施工车辆与输电线之间距离难以计算、工程车辆检测精度较低等问题,提出一种改进Mask RCNN的工程车辆分割算法.首先将特征提取网络中的卷积替换为动态卷积,使网络训练时可以根据输入图像及时调整卷积核的大小,有效提高模型性能;然后在网络中添加NAM注意力机制,提高网络对工程车辆的关注度;最后修改特征融合网络为ssFPN,防止特征融合时信息丢失,加强语义融合,提高模型检测精度.对比试验结果表明,与改进前基于ResNet50的Mask RCNN算法相比,改进后算法提高了对工程车辆的检测精度,mAP提高了4.1%,后续处理得到的车辆轮廓精确,证明了改进后算法的有效性.     

基于多模态特征融合的无人驾驶系统车辆检测

针对无人驾驶系统环境感知中的车辆检测精度低的问题,本文提出一种基于多模态特征融合的三维车辆检测算法.该算法通过毫米波雷达与摄像机联合标定,匹配2个传感器间的坐标关系并减小采样误差;采用统计滤波剔除毫米波雷达数据冗余点,减少离群点干扰;构造多模态特征融合模块,利用逐像素平均融合点云与图像信息;加入特征金字塔提取融合后的高...     

基于激光雷达和摄像机融合的智能车障碍物识别方法研究

针对智能车环境感知中单一传感器所存在的局限性问题,本文提出一种通过激光雷达融合摄像机来感应识别智能车前方障碍物的方法。首先,通过激光雷达与摄像机之间的校准,来实现目标的三维数据的图像投影,并进行视觉图像与目标的三维雷达数据的融合,以提取障碍物候选区域。其次,提出了一种基于卷积神经网络和SVM的障碍物识别模型,用于训练KITTI数据库中的数据,检测视觉图像中的行人和车辆目标,以此来得到所需要的单帧下各传感器的目标检测数据。实验结果表明,所提出的模型在KITTI中选择的小数据集上获得的模型在实际测试中具有良好的性能,具有可靠的识别能力和良好的分类结果。     

改进RetinaNet的无人机小目标检测

无人机技术的不断成熟,使得搭载高效视觉系统的无人机应用也更加广泛。针对无人机航拍图像中小目标较多、分辨率低等原因导致的检测精度不高的问题,提出了一种改进RetinaNet的无人机航拍目标检测算法。算法针对特征图中小目标信息提取不足的问题,设计了多阶段特征融合方法,并将其与注意力机制串联设计了特征挖掘模块,可以在浅层特征图中融入深层的语义信息,丰富小目标特征;设计了基于中心点检测的无锚框(Anchor-free)方法,网络通过对中心点的回归来定位目标,而不是通过固定大小的锚框去匹配,这样做可以使网络对小目标的回归更加灵活,提高了算法的整体性能;且通过深度可分离卷积方法对网络进行轻量化设计,以压缩模型大小并提高检测速度。实验结果表明,改进算法较原RetinaNet算法平均精度提升了8.5%,检测速度提升了6帧/s,且与其他先进算法相比也具有性能优势,达到了检测精度与检测速度的均衡。     

基于残差密集块和自编码网络的红外与可见光图像融合

红外与可见光图像融合是复杂环境中获得高质量目标图像的一种有效手段,在目标检测与跟踪、图像增强、遥感、医疗等领域有广泛应用前景.为解决目前基于深度学习的红外与可见光图像融合方法中存在的网络无法充分提取特征、特征信息利用不充分和融合图像清晰度低的问题,本文提出了一种基于残差密集块的端到端自编码图像融合网络结构,利用基于残差密集块的编码器网络将图像分解成背景特征图和细节特征图,然后将两种特征图进行融合,再通过解码器进行重构,还原出最终的融合图像.测试结果表明,本文的方法可以得到清晰度高、目标突出、轮廓明显的融合图像,在SF、AG、CC、SCD、Qabf、SSIM 6个融合质量评估指标上与目前代表性融合方法相比均有不同程度的提升,特别是在融合图像清晰度上优势明显,且对于模糊、遮挡、逆光、烟雾等复杂环境图像有较好的融合效果.      

基于面特征和SIFT特征的LiDAR点云与航空影像配准

针对LiDAR数据与航空影像融合中的配准问题,提出一种将面特征与点特征相结合的配准方法,首先由LiDAR点云生成深度影像,对深度影像和航空影像提取面特征,在此基础上采用SIFT算子提取点特征,完成LiDAR点云与航空影像的配准。文中方法采取了由面特征到SIFT特征的配准策略,减少了面特征配准的数据量和SIFT算法的计算量。从ISPRS提供的数据集中选取了3组数据进行实验,实验结果表明该方法能有效减少SIFT算子的特征描述符的数量,减少寻找正确匹配点的时间,在保证配准精度的情况下提高配准的效率,适用于城市地区等包含大量面特征地区的LiDAR点云与航空影像配准。     

基于改进Faster R-CNN的自然场景文字检测算法

自然场景中的文字受光照、污迹、文字较小等方面的影响,其检测难度较大,且传统的检测方法效果不好。在研究目标检测方法Faster RCNN的基础上,提出一种针对自然场景文字的改进方法。改进的模型由卷积神经网络特征提取模块,嵌套LSTM(nested long short-term memory,NLSTM)模块和区域候选网络(region proposal network,RPN)模块3部分组成,改进点主要是卷积神经网络特征提取模块增加了不同卷积层的空间特征融合,能够提取多层次的特征;增加嵌套LSTM模块能够学习长序列文本的序列特征,便于检测不定长度的文本序列;RPN模块通过设置宽为8像素,高度不定的锚点(anchor),可以提取一系列可能存在的目标建议框,其对小目标文字效果较好?。在实验部分,通过对标准数据集(ICDAR 2013,Multilingual)的实验结果对比表明,所提出的改进算法在准确率和效率方面明显优于改进前的算法。通过实列测试,改进的模型对小目标文字检测效果也有所提升。     

二维距离图分割的激光雷达点云无损压缩方法

激光雷达动态获取点云压缩是智能驾驶的关键技术之一。针对动态获取点云场景范围大,分布稀疏,本文将点云几何信息映射到二维距离图(range image),提出一种基于距离图分割的激光雷达点云无损压缩方法。由于动态获取点云的稀疏性,以及噪声和离群点等的影响,目前的距离图分割算法分割后类别过多,导致对分割区域编码时,边缘信息消耗较大的比特数。对此本文提出孤立区域精细处理的方法,有效地改善了过度分割的问题,提高了分割区域的压缩性能。为了保持残差、地面区域点云等数据原有的相关性,我们利用两种无损的数据压缩技术进行编码。实验结果表明,本文设计的基于距离图分割的激光雷达点云无损压缩方法具有较高的压缩性能。     

基于改进FPFH-ICP的车载激光雷达点云配准方法

为了改善传统车载激光雷达点云配准方法准确度低、计算速度慢的问题，提出了一种基于快速点特征直方图（fast point feature histograms, FPFH）初始匹配与改进迭代最近点（iterative closestpoint,ICP）精确配准相结合的改进FPFH-ICP配准算法。配准前使用体素滤波器和statistical-outlier-removal滤波器进行预处理；采用FPFH提取点云特征，基于采样一致性（sample consensus initial alignment, SAC-IA）进行初始配准，为精确配准提供良好的位姿信息；建立K-D树并在传统ICP配准算法的基础上添加法向量阈值，对车载激光雷达点云数据进行精确配准；在4种不同场景的实验中，改进FPFH-ICP配准比ICP配准的均方根误差和配准用时分别平均减少了7.56%和41.22%，比点特征直方图（point feature histograms, PFH）配准的均方根误差和配准用时分别平均减少了30.28%和18.95%，表明改进的FPFH-ICP能够对车载激光雷达点云数据实现精确且高效的配准。     

融合边缘检测的 3D 点云语义分割方法研究

针对点云分割中分割目标不明确,边缘不清晰,全局特征与边缘特征未能有效融合等问题,提出 了一种融合边缘检测的 3D 点云语义分割算法。 首先,通过 3D 点云语义分割网络对点云数据进行初步提取 区域内的全局语义特征;然后,采用引入了注意力机制的语义边缘检测网络,能够更好地对点云数据中的物 体进行特征提取增强,抑制非边缘信息的产生,得到了具有丰富的语义信息的边缘特征;最后,通过融合模块 将属于同一物体的语义特征融合起来进行分割细化处理,使得分割目标更精确;此外,使用了双重语义损失 函数,使网络产生具有更好边界的语义分割结果。 通过搭建实验平台和使用 S3DIS 标准数据集进行测试,改 进后的算法在数据集上的平均交互比为 70. 21%,在精度上较 KPConv 语义分割算法有所提高。 实验结果表 明:该算法能够有效改善物体边界分割不清晰、边缘信息模糊等问题,总体分割性能良好。     

基于卷积神经网络的小目标交通标志检测算法

PVANet(performance vs accuracy network)卷积神经网络用于小目标检测的检测能力较弱.针对这一瓶颈问题,采用对PVANet网络的浅层特征提取层、深层特征提取层和HyperNet层(多层特征信息融合层)进行改进的措施,提出了一种适用于小目标物体检测的改进PVANet卷积神经网络模型,并在TT100K(Tsinghua-Tencent 100K)数据集上进行了交通标志检测算法验证实验.结果表明,所构建的卷积神经网络具有优秀的小目标物体检测能力,相应的交通标志检测算法可以实现较高的准确率.     

基于改进YOLOv5的车辆目标检测研究

针对现有目标检测算法在自动驾驶等领域的车辆目标检测中存在检测精度不高,实时性和鲁棒性较差等问题,本文提出一种基于YOLOv5的车辆目标检测方法.本文在YOLOv5s网络模型框架下,引入一次性聚合（OSA）模块优化主干网络结构,提升网络特征提取能力;并采用非局部注意力机制进行特征增强;同时利用加权非极大值抑制方法实现检测框筛选.实验结果表明,在自制车辆检测数据集上,改进网络模型与原YOLOv5s模型相比,平均准确率均值（mAP）提升3%,不同目标类检测的平均准确率（AP）均得到提升,且检测速度满足实时性要求,对于密集车辆和不同光照条件下均能较好实现车辆目标检测.     

An Algorithm to Recognize the Target Object Contour Based on 2D Point Clouds by Laser-CCD-Scanning

For a vision measurement system consisted of laser-CCD scanning sensors, an algorithm is proposed to extract and recognize the target object contour. Firstly, the two-dimensional(2D) point cloud that is output by the integrated laser sensor is transformed into a binary image. Secondly, the potential target object contours are segmented and extracted based on the connected domain labeling and adaptive corner detection. Then, the target object contour is recognized by improved Hu invariant moments and BP neural network classifier. Finally, we extract the point data of the target object contour through the reverse transformation from a binary image to a 2D point cloud. The experimental results show that the average recognition rate is 98.5% and the average recognition time is 0.18 s per frame. This algorithm realizes the real-time tracking of the target object in the complex background and the condition of multi-moving objects.