基于多传感器融合的城市道路目标检测方法

面对动态目标种类繁多的城市道路复杂场景，单一传感器无法获取准确全面的目标状态信息，针对上述问题，提出了一种基于多传感器信息融合的城市道路目标检测方法。首先，基于中心点图像检测网络获取目标尺寸大小、估计深度等信息，构建3D感兴趣区域截锥，获取目标初始状态信息，利用体素网格滤波法进行激光雷达点云预处理，减少点云冗余信息，并提出一种F-PointPillars方法融合激光雷达与毫米波雷达点云特征信息，获取目标位置和速度信息。然后，在截锥区域内，依据最近相邻原则匹配目标图像对应的点云信息，数据关联后将融合结果输入归一化头网络，获取目标准确全面的目标状态信息，为下一步决策控制提供精准数据。最后，在标准数据集Nuscenes上进行评估，与单相机检测方法和激光雷达融合毫米波雷达检测方法相比，NDS得分分别增加了9.4%和15.6%,平均尺度误差和平均角度误差分别降低了4.9%和2.9%,验证了上述方法的有效性。     

一种毫米波雷达和图像特征级融合的目标检测方法

论文为了降低复杂场景中基于单一传感器进行目标检测的局限性,提出了一种特征级的毫米波雷达和图像融合的目标检测方法（SPCRF-Net）。该方法将毫米波雷达原始数据预处理成固定大小的线段并映射到图像中,引入金字塔池化处理毫米波雷达数据;对图像采用VGG16作为主干网络进行特征提取,并在每一层中融合毫米波雷达特征和图像特征。在融合层次中引入SE注意力模块增强高级别特征感知能力,并构建了一种融合结构（PFPN）强化特征提取。实验表明该方法有效减少了目标的漏检情况,提升了模型目标检测的性能。     

基于红外相机和毫米波雷达融合的夜间行人检测

为了提升夜间环境行人检测的能力,使用红外相机和毫米波雷达进行信息融合.对两传感器数据进行时间配准并分别进行处理,利用改进YOLO算法处理红外图像得到目标类别特征,处理毫米波雷达数据获得目标的距离和速度特征,再建立空间对准模型对两传感器进行目标匹配,最后利用基于特征的融合算法完成夜间行人多模态信息输出.两传感器检测目标首次匹配之后,可以将类别信息反馈给雷达数据处理单元进行记录,当红外图像检测算法漏检时,利用雷达记录的信息补充输出类别特征.通过实验证明该融合算法提升了单一传感器行人检测成功率,在夜间场景具有良好的应用效果.     

基于注意力的毫米波-激光雷达融合目标检测

针对自动驾驶中使用激光雷达进行目标检测时漏检被遮挡目标、远距离目标和复杂天气场景下目标的问题,提出一种基于注意力机制的毫米波-激光雷达特征融合的目标检测方法。首先,将毫米波和激光雷达各自的扫描帧数据分别聚合到它们的标注帧上,并将毫米波和激光雷达的数据点进行空间对齐;其次,对两者进行聚合和空间对齐后的数据分别进行PointPillar点云柱快速编码,转换成伪图像;最后,通过中间卷积层提取两者的传感器特征,并利用注意力机制对两者的特征图进行融合,融合后的特征图通过单阶段检测器得到检测结果。实验结果显示,该融合算法在nuScenes数据集中的平均精度均值（mAP）高于PointPillar基础网络,而且注意力融合的检测方法的性能表现优于利用拼接融合、相乘融合、相加融合的检测方法。可视化结果显示所提方法是有效的,能提高网络对被遮挡目标、远处目标和雨雾天气下目标检测的鲁棒性。     

基于注意力机制的三维点云车辆目标检测

针对自动驾驶场景下三维点云车辆的识别和定位问题,提出了一种基于注意力机制的三维点云车辆目标检测算法.算法将稀疏无序的点云空间划分成等距规则的体素表示,用三维稀疏卷积和辅助网络同步从所有体素中提取内部点云特征,进而生成鸟瞰图.但在将内部三维的点云特征转化为二维的鸟瞰图后,通常会造成目标空间特征信息丢失,使得最终检测结果以及方向性预估差.为进一步提取鸟瞰图中特征信息,提出了一种注意力机制模块,其中包含两种注意力模型,并对其采用首、中、尾的"立体式"布局结构,实现对鸟瞰图中特征信息的放大和抑制,最后使用卷积神经网络和PS-Warp变换机制对处理过后的鸟瞰图进行三维目标检测.实验表明,该算法在保证实时检测效率的前提下,与现有算法相比,具有更好的方向预估性以及更高的检测精度.     

雷达与视频融合的复杂环境目标检测方法

提出了一种将优化雷达点迹关联和雷达信息与相机图像信息融合决策的方法。使用微波雷达和可变焦相机，从带有噪声的原始雷达数据中提取出有效的目标信号，利用齐次坐标表示投影方程，实现雷达-视觉数据空间对齐，利用雷达点投影影响视觉ROI检测框的位置。实验结果表明，相对于传统方法，对于复杂环境中的目标融合，本文提出的方法融合检测成功率提升了1.5%～5.7%,在获取更精确目标属性的同时消除了环境杂波干扰。     

图像与点云多重信息感知关联的三维多目标跟踪

目的 三维多目标跟踪是一项极具挑战性的任务,图像和点云的多模态融合能够提升多目标跟踪性能,但由于场景的复杂性以及多模态数据类型的不同,融合的充分性和关联的鲁棒性仍是亟待解决的问题。因此,提出图像与点云多重信息感知关联的三维多目标跟踪方法。方法 首先,提出混合软注意力模块,采用通道分离技术对图像语义特征进行增强,更好地实现通道和空间注意力之间的信息交互。然后,提出语义特征引导的多模态融合网络,将点云特征、图像特征以及逐点图像特征进行深度自适应持续融合,抑制不同模态的干扰信息,提高网络对远距离小目标以及被遮挡目标的跟踪效果。最后,构建多重信息感知亲和矩阵,利用交并比、欧氏距离、外观信息和方向相似性等多重信息进行数据关联,增加轨迹和检测的匹配率,提升跟踪性能。结果 在KITTI和NuScenes两个基准数据集上进行评估并与较先进跟踪方法进行对比。KITTI数据集上,HOTA(higher order tracking accuracy)和MOTA(multi-object tracking accuracy)指标分别达到76.94%和88.12%,相比于对比方法中性能最好的模型,分别提升1....     

雷达占据栅格图车辆目标的轻量化YOLOv5s方法研究

毫米波雷达传感器可穿透火障、烟瘴及高温，是特长隧道等封闭空间灾中车辆目标检测的主要信息来源。基于雷达的同时定位与构图技术（Simultaneous Localization and Mapping,SLAM）可对受灾的静止车辆及环境进行占据栅格成像，并在低成本边缘计算平台上进行高精度实时车辆目标检测。现有YOLOv5s目标检测网络模型过于复杂，且训练模型针对光学数据，与雷达占据栅格地图（Radar Occupancy Grid Map,ROGM）中的车辆目标特征存在差异。针对上述问题提出了YOLOv5s-MDS轻量化网络模型，以雷达图像特征为约束优化网络结构，参数量相对原YOLOv5s模型降低42.3%。实验表明：该网络模型在大规模VOC光学图像预训练模型辅助下，利用雷达小样本数据微调可快速收敛。     

子图匹配和强化学习增强的三维点云配准

针对低质量三维点云数据配准精度不足、效率低的问题,为了实现低质量点云的精确、快速配准,提出一种基于子图匹配和强化学习的点云配准方法.首先将三维点云配准转化为一系列离散的刚性变换连续作用结果,利用强化学习策略训练一个端到端的模型以迭代输出刚性变换动作;然后对于模型架构,采用双流主干网络分别提取源点云与目标点云的局部特征信息,设计交叉图注意力模块将源点云图和目标点云图中的相似节点关联起来,使用带选通向量的加权实现图节点的聚合,分别获取源点云图与目标点云图的全局特征表示;最后融合源点云图与目标点云图的全局特征,基于融合特征预测离散的刚性变换动作.强化学习策略的引入显著提高了点云配准算法的泛化性,在加入交叉图注意力模块后,点云配准的精度及效率也进一步被提升.在ModelNet40和ScanObjectNN这2个公共基准数据集上与最新的点云配准方法 ReAgent进行实验的结果表明,所提方法能够将旋转误差的均方差数值降低至少0.16,各向同性旋转误差数值也降低至少0.16,有效地提升低质量点云配准的精度.     

基于自引导注意力的双模态校准融合目标检测算法

为了解决传统双模态目标检测方法难以在复杂场景(如大雾、眩光、黑夜)中克服低对比度噪声以及无法有效识别小尺寸目标的问题，文中提出基于自引导注意力的双模态校准融合目标检测算法.首先，设计双模态融合网络，利用通道特征和空间特征校准纠正输入图像(可见光图像与红外图像)中的低对比度噪声，从纠正后的特征中获取互补信息，并准确实现特征融合，提高算法在眩光、黑夜和大雾等场景下的检测精度.然后，构建自引导注意力机制，捕捉图像像素之间的依赖关系，增强不同尺度特征的融合能力，提高算法对于小尺寸目标的检测精度.最后，在行人、行人车辆、航拍车辆三类六种数据集上进行的大量实验表明，文中算法检测精度较高.     

基于 ADAS 平台的下线标定系统设计与实现

标定是汽车驾驶辅助系统中至关重要的一环,为了使驾驶辅助系统更加精确地感知目标,提升汽车驾驶主动安全性,设计了一种针对摄像头和毫米波雷达的多传感器下线标定系统;该系统通过利用摄像头和毫米波雷达自身结构特性建立数学模型,计算出各传感器的外部参数,将不同传感器感知的目标数据转换到一个统一的世界坐标系下,实现了摄像头和毫米波雷达的单独标定和联合标定;采用了基于CAN总线的UDS诊断服务作为通信媒介,实现了会话控制、安全访问、待机握手、例行程序控制等诊断服务,设计了符合前装量产标准的下线标定流程;为方便产线工人操作和简化前装量产中的操作步骤,设计了专门针对前装量产场景下的上位机标定软件;经过实验测试验证了该下线标定系统的可靠性、实时性和准确性,标定之后的测距误差均值在0.25m附近,毫米波雷达投影点与图像检测框坐标匹配的比率是93.2%,可以满足汽车辅助驾驶系统中摄像头和毫米波雷达感知精度的要求。     

融合TDA的深度自编码网络车辆目标检测

针对在雪天环境下交通监控检测实时性差和准确率低的问题，提出了融合TDA的深度自编码网络车辆目标检测方法.该方法首先将监控视频帧的图像转化为点云数据；进而通过分割后提取车辆目标的点云数据并利用拓扑数据分析对车辆目标的点云数据进行处理；最后利用量化后的拓扑数据分析得到的车辆目标数据的单纯复形表示作为输入样本，对深度自编码网络进行训练，以栈式自编码结构的最后两层隐藏层作为输出构建车辆目标的特征模型，通过全连接层输入Softmax分类层做分类，使网络可以更加快速精确地对雪天环境下的目标和背景进行分类.实验结果表明，该方法能有效在雪天复杂环境下检测车辆目标并在精度以及速度上均有所提高.     

面向室外移动机器人的雷达-图像跨模态检索

移动机器人主要依靠激光雷达采集的点云和摄像机采集的图像信息来感知周围环境.在极端天气或夜晚的情况下,摄像机采集图像会受到极大干扰;本文基于聚类典型相关分析(cluster-canonical correlation analysis,cluster–CCA)提出一种面向室外移动机器人的雷达图像跨模态检索技术,首先利用深度学习网络提取点云和图像的特征,然后使用聚类典型相关分析将两种模态的特征映射到子空间,最后计算欧氏距离进行检索,可以从图像数据库中检索得出与点云最相似的图像文件.本文所提出的方法在KITTI数据集上进行了验证,实现了从点云到图像的跨模态检索,结果验证了cluster–CCA在室外移动机器人雷达图像检索方面应用的有效性.     

多维加权密集连接卷积网络的卫星云图云检测

云检测是多光谱卫星云图分析的前提。传统云检测方法不能很好地对多光谱卫星云图进行特征表示,导致了云检测不是很准确。卷积神经网络虽然能有效地提取特征,但训练时会产生梯度扩散,训练效率低,优化困难等问题。针对这些问题,提出多维加权密集连接卷积神经网络模型实现对多光谱卫星云图的云检测。跨层连接能够实现网络中所有层之间的信息流,从而减少训练过程中的梯度消失导致收敛困难的问题。特征图之间连接的权值不同使得网络能够更高效地利用特征信息。通过实验结果对比,该模型可以很好地提取云图特征,提高多光谱云图检测的准确率,具有更好的泛化性能和优化效率。     

基于雷视一体机的交通流数据采集系统设计

交通流数据是进行交通管理宏观决策的基础数据,交通流数据采集系统是交通管理信息化智能化的重要组成部分。随着我国交通领域的蓬勃发展,交通流量激增、高速交通拥堵、交通事故等突发事件频发,为此,设计一套实时性好、准确度高的交通流数据采集系统是十分必要的。论文基于雷视一体机开发了一套高速公路交通流数据采集系统,采用端-边-云分级传输的物联网架构,并结合了自主研发的雷视一体机,采用CNN神经网络技术提取图像信息后,在边缘计算机中通过一维数据最优估计、多传感器数据匹配、多传感器双向最优估计、多传感器目标特征融合的软件工作流程,将雷达与监控相机提取到的信息进行最优化估计,准确提取道路目标交通信息,仅将处理后的特征信息上传至云端服务器,实现交通流数据的精确、实时采集。系统试运行结果表明,该基于雷视一体机的交通流数据采集系统能够有效提高检测准确性,加强检测结果的实时性。     

结合坐标转换和时空信息注入的点云人体行为识别

目的 行为识别中广泛使用的深度图序列存在着行为数据时空结构信息体现不足、易受深色物体等因素影响的缺点,点云数据可以提供丰富的空间信息与几何特征,弥补了深度图像的不足,但多数点云数据集规模较小且没有时序信息。为了提高时空结构信息的利用率,本文提出了结合坐标转换和时空信息注入的点云人体行为识别网络。方法 通过将深度图序列转换为三维点云序列,弥补了点云数据集规模较小的缺点,并加入帧的时序概念。本文网络由两个模块组成,即特征提取模块和时空信息注入模块。特征提取模块提取点云深层次的外观轮廓特征。时空信息注入模块为轮廓特征注入时序信息,并通过一组随机张量投影继续注入空间结构信息。最后,将不同层次的多个特征进行聚合,输入到分类器中进行分类。结果 在3个公共数据集上对本文方法进行了验证,提出的网络结构展现出了良好的性能。其中,在NTU RGB+d60数据集上的精度分别比PSTNet（point spatio-temporal network）和SequentialPointNet提升了1.3%和0.2%,在NTU RGB+d120数据集上的精度比PSTNet提升了1.9%。为了确保网络模型的鲁棒性,在MSR Action3D小数据集上进行实验对比,识别精度比SequentialPointNet提升了1.07%。结论 提出的网络在获取静态的点云外观轮廓特征的同时,融入了动态的时空信息,弥补了特征提取时下采样导致的时空损失。     

基于图像与点云的三维障碍物检测

为提高平截头点云网络在三维障碍物检测中的精度,基于平截头点云网络的结构提出一种扩张平截头点云的检测方法。采用图像和点云数据,使用二维目标检测网络Yolov3,检测障碍物的二维包围框;扩张包围框的大小,在点云数据中提取出障碍物对应的点云;通过改进的Pointnet网络对该点云计算,得到障碍物的三维信息。在原模型基础上,加入扩张包围框,提高点云数据提取的完整性。通过KITTI数据集的验证和测试,实验结果表明,通过扩张二维包围框可以有效提高检测网络的性能。     

融合稀疏点云补全的3D目标检测算法

基于雷达点云的3D目标检测方法有效地解决了RGB图像的2D目标检测易受光照、天气等因素影响的问题.但由于雷达的分辨率以及扫描距离等问题,激光雷达采集到的点云往往是稀疏的,这将会影响3D目标检测精度.针对这个问题,提出一种融合稀疏点云补全的目标检测算法,采用编码、解码机制构建点云补全网络,由输入的部分稀疏点云生成完整的密...     

37 GHz和94 GHz的大气微波衰减比较分析

毫米波更接近云粒子的尺度,因此毫米波及短厘米波段雷达已被应用于云层的探测,美国与加拿大的云卫星计划(CloudSat)将要上3 mm云雷达(CPR),如何与已在天上的TRMM/PR结合,获得从薄云到浓厚云的垂直结构信息,是一个值得关注的课题。但是,毫米波云雷达探测,必须考虑的问题之一是大气衰减订正。主要比较分析了在37 GHz和94 GHz大气的衰减特性,目的是对星载94 GHz云雷达进行大气的衰减订正。计算分析了在不同云、大气条件下37 GHz和94 GHz
的大气衰减,得出如下结论:①大气气体的微波吸收在测云波段产生明显的衰减,其中水汽衰减效应变化很大;即将上天的空间94 GHz测云雷达必须有水汽衰减订正方案。②37 GHz和94 GHz雷达测云,由于大气和云衰减不同和雷达反射率的很大差异,导致雷达回波信号强弱不同。③对云层较薄、含水量较少的云,在不计雷达参数的情况下,37 GHz雷达回波信号不如94 GHz测云雷达,也就是说94 GHz对薄云有更强的探测能力;对云层较厚、含水量大的云,由于强衰减的作用,94 GHz雷达回波信号小于37 GHz雷达。④从大气衰减的不利因素方面考虑,空间94 GHz雷达测高层薄云的效果最好;测低层薄云时需要考虑气体衰减订正;因浓厚云的强衰减作用,探测其中下部的能力大大减弱,不仅要进行衰减订正,而且要借助其它信息来反演整个云层的含水量垂直分布。⑤为了获得从极薄到极浓厚云的垂直分布探测能力,未来测云雷达系统最好采用双波长甚至三波长(如94、37和13 GHz)。     

改进的基于冗余点过滤的3D目标检测方法

VoxelNet网络模型是第一个基于点云的端对端目标检测网络,只利用点云数据来生成高精度的3D目标检测框,具有十分良好的效果。但是,VoxelNet使用完整场景的点云数据作为输入,导致耗费了更多的计算资源在背景点云数据上,而且只包含几何信息的点云对目标的识别粒度较低,在较复杂的场景中容易出现误检测和漏检测。针对这些问题对VoxelNet进行了改进,在VoxelNet模型中加入视锥体候选区。首先,通过RGB前视图对感兴趣目标进行定位;然后,将目标2D位置升维至空间视锥体,在点云中提取目标视锥体候选区,过滤冗余点云,仅对视锥体候选区中的点云数据进行计算来得到检测结果。改进后的算法与VoxelNet相比,降低了点云计算量,避免了对背景点云数据的计算,提升了有效运算率,同时,避免了过多背景点的干扰,降低了误检测和漏检测率。KITTI数据集上的实验结果表明,改进后的算法在简单、中等、困难三种模式下的3D平均精度分别为67.92%、59.98%、53.95%,优于VoxelNet模型。