基于定位不确定性的鲁棒3D目标检测方法

针对3D点云训练数据因人工标注不精确而导致模型定位不准确的问题,提出了一种基于定位不确定性的鲁棒3D目标检测方法。首先,以基于3D体素网格的稀疏嵌入卷积检测（SECOND）网络作为基础网络,在候选区域生成网络（RPN）的基础上增加对定位不确定性的预测;然后,在训练过程中使用高斯和拉普拉斯两种分布模型对定位不确定性进行建模,并对定位损失函数进行重新定义;最后,在预测过程中结合定位不确定性和分类置信度作为目标置信度,使用阈值过滤和非极大值抑制（NMS）方法筛选候选目标。实验结果表明,在KITTI 3D目标检测数据集上,所提算法对于车辆类别的检测准确率在中等难度上比SECOND网络提高了0.5个百分点;当在训练数据中额外加入扰动模拟噪声的情况下,所提算法的检测准确率比SECOND网络最多提高了3.1个百分点。所提算法提高了3D目标检测准确率,减少了误检且提高了3D边界框的精度,并且对于带噪声的数据更鲁棒。     

基于注意力机制的YOLOv5优化模型

目标检测是机器视觉研究中的重要分支。目前在工业生态中应用广泛的YOLOv5模型经过版本迭代,在预测权重大小以及检测精度方面都有所优化,但模型的处理速度仍然较低,尤其是对于小目标及遮挡目标的检测效果有待改进。该文提出一种基于注意力机制的YOLO v5改进模型。首先,通过引入维度关联注意力机制模块进行特征融合,提升主干网络的特征提取能力,达到改善小目标与遮挡目标的检测效果;其次,采用SIoU损失函数代替CIoU损失函数,作为新的边界框回归参数的损失函数,提高边界框的定位精度以及检测速度。实验结果显示,优化模型的平均精度均值达到87.8%,相比于YOLOv5提高了4.7百分点,在单GPU上模型的检测速度达到83.3 FPS。     

基于地面先验的3D目标检测算法

为了提高自动驾驶汽车环境感知的性能,增强单目相机对障碍物三维和边界信息的感知能力,提出了一种基于地面先验的3D目标检测算法。基于优化的中心网络(CenterNet)模型,以DLA(deep layer aggregation)为主干网络,增加目标3D边沿框中心点冗余信息预测。根据自动驾驶场景的地面先验信息,结合针孔相机模型,获取目标3D中心深度信息,以优化深度网络学习效果。使用KITTI 3D数据集评测算法性能,结果表明:在保证2D目标检测准确性的基础上,该算法运行帧率约20 fps,满足自动驾驶感知实时性要求;同时相比于CenterNet模型,在平均方位角得分(average orientation score)和鸟视图平均准确率(bird eye view AP)上分别有4.4和4.4%的性能提升。因而,该算法可以提高自动驾驶汽车对障碍物三维和边界信息的感知能力。     

改进的基于YOLOv3的人脸检测算法

针对因背景与人脸高度相似和人脸目标尺度过小而导致的人脸检测精度较低的问题,提出了一种改进的基于YOLOv3的人脸检测算法。首先使用遗传算法改进原算法中随机初始化的影响,生成更符合目标大小的预测框,其次用轻量级网络改进原特征提取网络,提高人脸检测速度,最后使用边框回归损失代替YOLOv3坐标损失函数并改进置信度损失函数以提升训练收敛速度和结果精度。所设计的算法模型在Wider Face数据集上的检测精度和速度得到了提升。     

遥感图像舰船检测的旋转卷积集成YOLOv3模型

遥感图像俯视角带来的目标朝向多样性影响了大长宽比舰船目标检测的旋转不变性。针对这一问题,提出了一个基于改进YOLOv3的倾斜边界框检测模型。通过引入角度预测实现倾斜边界框回归;提出一种旋转卷积集成模块,通过旋转卷积和旋转激活提高深度卷积网络（Deep Convolutional Neural Networks,DCNN）特征图对于角度变化的敏感性;将目标边界框倾斜角度预测建模为由粗粒度到细粒度的两次角度分类问题;将角度惩罚引入模型的多任务损失函数中,使得模型能够学习目标的角度偏移。通过对舰船目标标注数据集上的实验可以看到,所提的模型和经典YOLOv3模型相比平均精度提高了12.7%,同时能够保持单阶段目标检测的速度优势。     

面向驾驶场景的多尺度特征融合目标检测方法

针对驾驶场景中目标检测卷积神经网络模型检测精度较低的问题,提出一种基于改进RefineDet网络结构的多尺度特征融合目标检测方法。在RefineDet网络结构中嵌入LFIP（Light-weight Featurized Image Pyramid,轻量级特征化的图像金字塔）网络,将LFIP网络生成的多尺度特征图与RefineDet中的ARM（Anchor Refinement Module,锚点框修正模块）输出的主特征图相融合,提升特征层中锚点框初步分类和回归的输出效果,为ODM（Object Detection Module,目标检测模块）模块提供修正的锚点框以便于进一步回归和多类别预测;在RefineDet网络结构中的ODM之后嵌入多分支结构RFB（Receptive Field Block,感受野模块）,在检测任务中获得不同尺度的感受野以改善主干网络中提取的特征。将模型中的激活函数替换为带有可学习参数的非线性激活函数PReLU（Parametric Rectified Linear Unit,参数化修正线性单元）,加快网络模型的收敛速度;将RefineDet的边界框回归损失函数替换为排斥力损失函数Repulsion Loss,使目标检测中的某预测框更靠近其对应的目标框,并使该预测框远离附近的目标框及预测框,可以提升遮挡情况下目标检测的精度;构建驾驶视觉下的目标检测数据集,共计48 260张,其中38 608张作为训练集,9 652张作为测试集,并在主流的GPU硬件平台进行验证。该方法的mAP为85.59%,优于RefineDet及其他改进算法;FPS为41.7 frame/s,满足驾驶场景目标检测的应用要求。实验结果表明,该方法在检测速度略微下降的情况,能够较好地提升驾驶视觉下的目标检测的精确度,并能够一定程度上解决驾驶视觉下的遮挡目标检测和小目标检测的问题。     

改进YOLOV3算法的视频目标检测

由于监控中的行人检测存在背景复杂,目标尺度和姿态多样性及人与周围物体互相遮挡的问题,造成YOLOV3对部分目标检测不准确,会产生误检、漏检或重复检测的情况。因此,在YOLOV3的网络基础上,利用残差结构思想,将浅层特征和深层特征进行上采样连接融合得到104×104尺度检测层,并将K-means算法聚类得到的边界框尺寸应用到各尺度网络层,增加网络对多尺度、多姿态目标的敏感度,提高检测效果。同时,利用预测框对周围其他目标的斥力损失更新YOLOV3损失函数,使预测框向正确的目标靠近,远离错误的目标,降低模型的误检率,以改善目标间互相遮挡而影响的检测效果。实验结果证明,在MOT16数据集上,相比YOLOV3算法,提出的网络模型具有更好的检测效果,证明了方法的有效性。     

基于边界极限点特征的改进YOLOv3目标检测

目标数量多、尺度较小与高度重叠等问题导致目标检测精度低、难度大。为提升目标检测精度,尽可能避免漏检、误检情况,提出一种基于边界极限点特征的改进YOLOv3目标检测算法。首先,引入边界增强算子Border,从边界的极限点中自适应地提取边界特征来增强已有点特征,提高目标定位准确度;然后,增加目标检测尺度,细化特征图,增强特征图深、浅层语义信息的融合,提高目标检测精度;最后,基于目标检测中目标实例特性及改进网络模型,引入完全交并比（CIoU）函数对原YOLOv3损失函数进行改进,提高检测框收敛速度以及检测框召回率。实验结果表明,相较于原YOLOv3目标检测算法,改进后的YOLOv3目标检测算法的平均精度提高了3.9个百分点,且检测速度与原算法相近,能有效提高模型对目标的检测能力。     

一种用于目标跟踪边界框回归的光滑IoU损失

边界框回归分支是深度目标跟踪器的关键模块,其性能直接影响跟踪器的精度.评价精度的指标之一是交并比(Intersection over union, IoU).基于IoU的损失函数取代了?_n-norm损失成为目前主流的边界框回归损失函数,然而IoU损失函数存在2个固有缺陷:1)当预测框与真值框不相交时IoU为常量0,无法梯度下降更新边界框的参数; 2)在IoU取得最优值时其梯度不存在,边界框很难收敛到IoU最优处.揭示了在回归过程中IoU最优的边界框各参数之间蕴含的定量关系,指出在边界框中心处于特定位置时存在多种尺寸不同的边界框使IoU损失最优的情况,这增加了边界框尺寸回归的不确定性.从优化两个统计分布之间散度的视角看待边界框回归问题,提出了光滑IoU (Smooth-IoU, SIoU)损失,即构造了在全局上光滑(即连续可微)且极值唯一的损失函数,该损失函数自然蕴含边界框各参数之间特定的最优关系,其唯一取极值的边界框可使IoU达到最优.光滑性确保了在全局上梯度存在使得边界框更容易回归到极值处,而极值唯一确保了在全局上可梯度下降更新参数,从而避开了IoU损失的固有缺...     

YOLOv5预测边界框分簇自适应损失权重改进模型

目标检测的精确程度是计算机视觉识别任务的主要影响因素.针对单阶段目标检测模型YOLOv5存在的检测精度问题,从多任务损失优化角度,提出一种在不同分辨率特征图上基于同一目标的预测边界框分簇自适应损失权重改进模型.该模型由GT(ground true)目标边界框UID分配器、GT目标边界框UID匹配器、边界框位置及分类损失权重算法构成,通过改善YOLOv5的位置精度和分类精度实现模型整体精度的提升.实验结果表明,改进模型的平均精度均值(mean average precision, mAP)较YOLOv5.6标准模型相对提升5.23%;相较于更为复杂的YOLOv5x6标准模型,改进模型mAP取得8.02%的相对提升.     

基于相机模型投影的多目标三维人体跟踪算法

针对基于二维目标检测和卡尔曼滤波的多目标人体跟踪算法在视频拍摄角度不定的情况下,检测算法生成不同角度人体二维检测框的朝向和尺度混淆以及卡尔曼滤波器随机初始化造成的初始跟踪误差逐步放大问题,提出一种基于相机模型投影的多目标三维人体跟踪算法.在人体检测阶段,提出Multi-task RCNN(MTRC-NN)网络,使用人体...     

基于数据特征的多传感器融合实时目标检测

为了进一步降低目标检测出现的误检率,提出了一种基于传感器数据特征的融合目标检测算法。首先,为了减少部分离群噪声点对点云表达准确性的影响,采用统计滤波器对激光雷达原始点云进行滤波处理;其次,为了解决点云地面分割在坡度变化时,固定阈值会导致分割不理想的问题,提出了自适应坡度阈值的地面分割算法;然后,建立KD（k-dimensional）树索引,加速DBSCAN（density-based spatial clustering of applications with noise）点云聚类,基于Andrew最小凸包算法,拟合最小边界矩形,生成目标三维边界框,完成聚类后的目标点云位姿估计;最后,将激光雷达检测到的三维目标点云投影到图像上,投影边界框与图像检测的目标边界框通过IoU关联匹配,提出基于决策级的三维激光雷达与视觉图像信息融合算法。使用KITTI数据集进行的测试实验表明,提出的点云聚类平均耗时降低至173 ms,相比传统的欧氏距离聚类,准确性提升6%。搭建硬件实验平台,基于实测数据的实验结果表明,提出的融合算法在目标误检率上比YOLO v4网络降低了约10%。     

单目视觉下基于逆投影空间的车辆细粒度识别

当前车辆识别大多采用深度学习方法,直接输入图像数据进行训练以获得车辆分类的深度网络,由于图像本身存在透视形变及尺度变化,因此不得不采取大量不同类型数据进行训练,同时也无法获取车辆相关的物理信息.为了改进上述问题,本文提出基于逆投影空间训练的车辆细粒度识别方法.首先利用标定信息及几何约束,对单目投影下的车辆构建精细化的三...     

基于图像与点云的三维障碍物检测

为提高平截头点云网络在三维障碍物检测中的精度,基于平截头点云网络的结构提出一种扩张平截头点云的检测方法。采用图像和点云数据,使用二维目标检测网络Yolov3,检测障碍物的二维包围框;扩张包围框的大小,在点云数据中提取出障碍物对应的点云;通过改进的Pointnet网络对该点云计算,得到障碍物的三维信息。在原模型基础上,加入扩张包围框,提高点云数据提取的完整性。通过KITTI数据集的验证和测试,实验结果表明,通过扩张二维包围框可以有效提高检测网络的性能。     

改进YOLOv3在机场跑道异物目标检测中的应用

针对机场跑道异物（Foreign Object Debris,FOD）的小目标特点,提出一种基于改进YOLOv3的FOD目标检测算法。以YOLOv3网络为基础,采用运算复杂度相对更低的Darknet-49作为特征提取网络,并将检测尺度增加至4个,进行多尺度特征融合。使用基于马尔科夫链蒙特卡罗采样（Markov Chain Monte Carlo sampling,MCMC）的[K]-means++算法对标注边界框尺寸信息进行聚类分析。训练时引入GIoU边界框回归损失函数。实验结果表明,改进的YOLOv3目标检测算法在满足实时性要求的情况下,精确率和召回率达到了95.3%和91.1%,与Faster R-CNN相比具有更高的检测速度,与SSD相比具有更高的检测精度,有效解决了原YOLOv3存在的定位精度偏低和漏检问题。     

局部双目视差回归的目标距离估计

目的 双目视觉是目标距离估计问题的一个很好的解决方案。现有的双目目标距离估计方法存在估计精度较低或数据准备较繁琐的问题,为此需要一个可以兼顾精度和数据准备便利性的双目目标距离估计算法。方法 提出一个基于R-CNN（region convolutional neural network）结构的网络,该网络可以实现同时进行目标检测与目标距离估计。双目图像输入网络后,通过主干网络提取特征,通过双目候选框提取网络以同时得到左右图像中相同目标的包围框,将成对的目标框内的局部特征输入目标视差估计分支以估计目标的距离。为了同时得到左右图像中相同目标的包围框,使用双目候选框提取网络代替原有的候选框提取网络,并提出了双目包围框分支以同时进行双目包围框的回归;为了提升视差估计的精度,借鉴双目视差图估计网络的结构,提出了一个基于组相关和3维卷积的视差估计分支。结果 在KITTI（Karlsruhe Institute of Technology and Toyota Technological Institute）数据集上进行验证实验,与同类算法比较,本文算法平均相对误差值约为3.2%,远小于基于双目视差图估计算法（11.3%）,与基于3维目标检测的算法接近（约为3.9%）。另外,提出的视差估计分支改进对精度有明显的提升效果,平均相对误差值从5.1%下降到3.2%。通过在另外采集并标注的行人监控数据集上进行类似实验,实验结果平均相对误差值约为4.6%,表明本文方法可以有效应用于监控场景。结论 提出的双目目标距离估计网络结合了目标检测与双目视差估计的优势,具有较高的精度。该网络可以有效运用于车载相机及监控场景,并有希望运用于其他安装有双目相机的场景。     

旋转目标检测算法在卫星影像中的应用

近年来,深度学习在卫星影像目标检测领域得到了快速的发展,如何精准高效定位目标物体是卫星影像目标检测研究中的主要难点。提出了一种基于旋转矩形空间的YOLOv3改进算法来精准定位卫星影像目标,对原有网络进行改进,增加角度变换的数据预处理过程,防止实例角度变化对网络训练造成影响。使用双旋转坐标进行回归训练,增加了角度锚点,提高了网络对卫星目标的检测有效性。提出了基于旋转矩形空间的非极大值抑制改进算法,可以有效去除多余的旋转预测框。实验结果表明,改进YOLOv3算法相较于原始YOLOv3算法拥有更好的可视化效果,可以有效准确地定位卫星影像的目标物体,有效避免了密集场景下预测框的遮挡问题,在保证实时性的前提下,将均值平均精度提高了0.8个百分点。     

基于原始点云的三维目标检测算法

针对当前三维目标检测中存在的数据降采样难、特征提取不充分、感受野有限、候选包围盒回归质量不高等问题,基于3DSSD三维目标检测算法,提出了一种基于原始点云、单阶段、无锚框的三维目标检测算法RPV-SSD(random point voxel single stage object detector),该算法由随机体素采样层、3D稀疏卷积层、特征聚合层、候选点生成层、区域建议网络层共五个部分组成,主要通过聚合随机体素采样的关键点逐点特征、体素稀疏卷积特征、鸟瞰图特征,进而实现对物体类别、3D包围盒以及物体朝向的预测。在KITTI数据集上的实验表明,该算法整体表现良好,不仅能够命中真值标签中的目标并且回归较好的包围盒,还能够从物体的不完整点云推测出物体的类别及其完整形状,提高目标检测性能。     

特征响应权重自适应的IoU网络跟踪算法改进

基于IoU网络提出一种IT-AWCR(IoU network tracking with adaptive weighted characteristic responses)目标跟踪算法.首先,根据目标运动速度设计目标搜索区域确定策略,通过理论分析使用ResNet50的block 3、block 4卷积块的输出分别作为目标的浅层和深层特征表示;然后,以目标定位准确度和滤波模型抗干扰能力为评价指标,通过优化算法自适应计算目标深、浅特征响应加权权重,从加权融合响应中获取目标粗略位置和边界框,经扰动操作获取多个候选边界框输入IoU调制-预测网络预测IoU值,取最大IoU对应边界框为最终预测目标边界框;最后,根据训练样本的相关学习权重和样本间相似度更新生成样本集,基于样本集采用稀疏优化策略实现滤波模型更新. OTB2015和VOT2018数据集上的实验结果验证了所提出算法的有效性.