轻量型多尺度注意力融合的车牌检测算法

车牌识别技术在交通管理中发挥着重要作用,其中车牌检测环节对后续识别性能有重大影响。现有的车牌检测系统容易受到外部环境的干扰,在自然场景下的检测性能差。提出一种基于多尺度注意力融合的车牌检测网络模型,利用金字塔网络特征图和CBAM（Convolutional Block Attention Module）注意力结构,提高小目标的检测精度。同时该方法不仅能够准确地检测定位出自然场景下的车牌,还能精确地定位出车牌的4个角点,有利于后续的车牌识别应用。实验中采用数据增强方法对CCPD数据集进行扩增,有效缓解了复杂环境变化对车牌检测造成的影响,增强了模型鲁棒性。通过对模型进行训练和测试,获得了98.05%的平均精确率和98.71%的召回率,优于其他车牌检测方法,并且帧率达到64?frame/s,实时性高。     

改进的YOLOv5烟雾检测模型

针对烟雾发生场景复杂，小目标烟雾检测困难的问题，提出一种改进的YOLOv5烟雾检测模型。为了增加模型对目标烟雾的检测精度，结合加权双向特征金字塔网络（BiFPN）结构对特征融合过程进行修改，并在通道和空间维度上加入混合注意力机制对融合特征图的权重进行重新赋值，在增强烟雾目标特征的同时抑制无关区域特征，使烟雾特征表达具有更高的鲁棒性；使用α-CIOU替换G-IOU作为预测框回归损失，提升预测框的预测精度；剔除分类损失以降低模型的复杂度。实验结果表明，改进后的YOLOv5烟雾检测模型相比于YOLOv5模型检测精度更高，其准确率达到99.35%，召回率达到99.18%，并且检测速度可达46 frame/s，该算法能有效提取烟雾的整体特征，对于复杂场景下的烟雾以及小目标烟雾检测任务更为适用。     

结合图采样和图注意力的3D目标检测方法

在点云中进行三维目标检测时,小目标和复杂背景下目标的检测精度不足是突出的问题之一。针对该问题,提出了一种基于图采样和图注意力机制的3D点云目标检测方法。减小基准网络下采样体素大小以保持小目标的点云密度;引入图采样降低在点云中构造拓扑图的代价;通过对图采样前后的图分别嵌入自注意力机制,提高网络的特征提取能力。在KITTI数据集上与基准网络Point-GNN相比,对汽车目标在复杂场景上的检测精度提升了1.96%,对行人与骑行者目标在中等难度场景和复杂场景上的检测精度分别提升4.21%和2.57%;与Point-GNN相比,减少了15%的训练时间。实验结果表明,设计的方法对于3D点云中小目标和复杂背景下目标的检测更加有效,图采样方法还能够提升模型的训练效率。     

复杂场景下基于增强YOLOv3的舰面多目标检测

针对舰面场景复杂、目标相互遮挡导致检测率较低等问题,在YOLOv3算法基础上提出了适用于舰面目标检测的增强YOLOv3算法。在输入网络中加入融合的数据增强策略对图像进行色域变换、裁剪、遮挡等操作,设计了多种类图片选取、变换及组合方式来丰富样本信息;针对舰面目标尺寸的特点,利用K-means算法重新设计与检测目标相匹配的先验锚框并分配至对应的预测尺度,以加速模型收敛;在输出网络中通过线性函数对Soft-NMS算法的高斯软阈值函数参数设定进行了改进,以适应不同密集度下的抑制需要,提高网络检测能力。通过将增强的目标检测算法在目标数据集上进行实验对比,其结果显示,在5类舰面目标识别的精确率和召回率分别提高了1.4%和10.3%,平均准确率值（mAP）达到了95.24%,检测速度达到21.5?frame/s,有效解决了复杂场景下的舰面多目标检测问题。     

基于自适应关键点热图的遮挡篮球运动员检测算法

运动员检测是篮球运动智能化分析的基础,由于篮球视频存在场景复杂、目标运动快速、目标间遮挡严重的问题,现有目标检测技术不能实现对密集遮挡运动员的精确检测.为此,提出一种基于自适应关键点热图的遮挡篮球运动员检测算法.首先通过预先构建的全卷积编码-解码网络进行运动员特征提取,利用高斯核函数在特征图上渲染关键点热图,热图的渲染采用自适应策略,高斯核半径随着目标宽和高的变化而变化,能够加快网络收敛;然后在热图中提取运动员中心点,回归得到运动员宽高、位置等信息,省去了基于锚框检测中复杂耗时的后处理过程,更利于在遮挡条件下区分2个运动员.在篮球运动数据集BasketballPlayer上进行实验的结果表明,在复杂篮球视频场景下,该算法能有效地解决密集遮挡运动员之间漏检、误检和检测精度不高的问题,处理速度可达到26帧/s.     

自然场景下变形车牌检测模型DLPD-Net

目的 随着智能交通领域车牌应用需求的升级,以及车牌图像复杂性的提高,自然场景下的车牌识别面临挑战。为应对自然场景下车牌的不规则变形问题,充分考虑车牌的形状特征,提出了一种自然场景下的变形车牌检测模型DLPD-Net （distorted license plate detection network）。方法 该模型首次将免锚框目标检测方法应用于车牌检测任务中,不再使用锚框获取车牌候选区域,而是基于车牌热力值图与偏移值图来预测车牌中心;然后基于仿射变换寻找车牌角点位置,将变形车牌校正为接近于正面视角的平面矩形,从而实现在各种自然场景下变形车牌的检测。结果 一方面,基于数据集CD-HARD评估DLPD-Net检测算法的性能;另一方面,基于数据集AOLP （the application-oriented license plate database）和CD-HARD评估基于DLPD-Net的车牌识别系统的有效性。实验结果表明,DLPD-Net具有更好的变形车牌检测性能,能够提升车牌识别系统的识别准确率,在数据集CD-HARD上识别准确率为79.4%,高出其他方法4.4% 12.1%,平均处理时间为237 ms。在数据集AOLP上取得了96.6%的识别准确率,未使用扩充数据集的情况下识别准确率达到了94.9%,高出其他方法1.6% 25.2%,平均处理时间为185 ms。结论 本文提出的自然场景下的变形车牌检测模型DLPD-Net,能够实现在多种变形条件下的车牌检测,鲁棒性强,对遮挡、污垢和图像模糊等复杂自然环境下的车牌检测具有良好检测效果,同时,基于该检测模型的车牌识别系统在非受限的自然场景下具有更高的实用性。     

基于YOLOv3-HM的手部姿态估计方法研究

二维手部姿态估计是人机交互领域的一项关键技术。为增强复杂环境下系统鲁棒性,提高手势姿态估计精度,提出一种基于目标检测和热图回归的YOLOv3-HM算法。首先,利用YOLOv3算法从RGB图像中识别框选手部区域,采用CIoU作为边界框损失函数;然后,结合热图回归算法对手部的21个关键点进行标注;最终,通过回归手部热图实现二维手部姿态估计。分别在FreiHAND数据集与真实场景下进行测试,结果表明,该算法相较于传统手势检测算法在姿态估计精度和检测速度上均有所提高,对手部关键点的识别准确率达到99.28%,实时检测速度达到59 f/s,在复杂场景下均能精准实现手部姿态估计。     

多层卷积特征的真实场景下行人检测研究

针对真实场景下的行人检测方法存在漏检、误检率高,以及小尺寸目标检测精度低等问题,提出了一种基于改进SSD网络的行人检测模型（PDIS）。PDIS通过引出更底层的输出特征图改进了原始SSD网络模型,并采用卷积神经网络不同层输出的抽象特征对行人目标分别做检测,融合多层检测结果,提升了小目标行人的检测性能。此外,针对数据集样本多样性能有效地提升检测算法的泛化能力,本文采集了不同光照、姿态、遮挡等复杂场景下的行人图像,对背景比较复杂的INRIA行人数据集进行了扩充,在扩增的行人数据集上训练的PDIS模型,提高了在真实场景下的行人检测精度。实验表明:PDIS在INRIA测试集上测试结果达到93.8%的准确率,漏检率低至7.4%。     

改进SSD算法的道路小目标检测研究

在道路场景中,因小目标分辨率低且特征不明显,传统的目标检测算法难以确认其所属类别和位置信息,导致检测精度低、检测速度慢、漏检率高。提出一种改进SSD的道路小目标检测算法RFG_SSD。在SSD网络结构的主干部分和检测部分之间,通过引入改进的特征金字塔网络结构,融合浅层和深层感受野的特征信息,以获得小目标语义信息丰富的特征图。将深层特征提取网络ResNet 50作为改进网络的主干特征提取网络,提高整体网络的检测精度。为加快网络运算速度,基于检测层结构,利用全局平均池化层代替全连接层,减少网络参数量。实验结果表明,与SSD、VGG16+SFPN等算法相比,该算法能够有效提高小目标检测性能,且加快检测速度,其在BDD100K数据集上的平均精度和检测速度分别为98.05%和85.56 frame/s,小目标检测个数相较于SSD算法提高3倍多。     

复杂热红外监控场景下行人检测

目的 复杂热红外监控场景中的行人检测问题是计算机视觉领域的重要研究内容之一,是公共安全、灾难救援以及智慧城市等实际应用中的重要基础任务。现今的热红外行人检测算法大多依据图像中人体目标的灰度值高于场景环境这一假设,导致当环境温度升高热红外图像发生灰度值反转时行人检测率较低。为提高行人检测系统在不同场景中的鲁棒性以及行人目标检测率,提出一种面向热红外监控场景的基于频域显著性检测的全卷积网络行人目标检测算法。方法 该算法首先对热红外图像进行基于频域的显著性检测,生成对行人目标全覆盖的显著图;然后结合热红外原图像生成感兴趣区域图作为输入,以行人目标概率图为输出,搭建全卷积网络;最后,对热红外行人检测系统进行端对端训练,获取网络输出的行人目标概率图,进而实现行人目标检测。结果 论文使用俄亥俄州立大学建立的红外视频数据集OTCBVS中的OSU热红外行人数据库对算法进行验证,与目前5种较为成熟的算法进行对比。实验结果表明,本文算法可以在各种场景中准确检测出行人目标,以MR-FP（丢失率—假阳率）为对比依据,本文算法7%的平均丢失率低于其他算法,具有更高的检测率,对热红外图像中的灰度值反转问题具有更好的鲁棒性。结论 本文提出一种面向热红外监控场景的基于频域显著性检测的全卷积网络行人目标检测算法,在实现检测算法端对端训练的同时,提高了其对各种复杂场景的鲁棒性以及行人目标检测率,提升热红外监控系统中行人目标检测性能。     

复杂场景下基于改进YOLOv3的车牌定位检测算法

针对在光照、多车辆和低分辨率等复杂场景下车牌定位困难、检测速度慢和精度低等问题,提出了一种改进YOLOv3的方法。采用K-means++方法对实例的标签信息进行聚类分析获取新的anchor尺寸,通过改进后的精简特征提取网络（DarkNet41）来提高模型的检测效率并降低计算消耗。此外,改进了多尺度特征融合,由3尺度预测增加至4尺度预测并在检测网络中加入了改进后的Inception-SE结构来提高检测的精度,选取了CIoU作为损失函数。预处理方面用MSR（Multi-Scale Retinex）算法对数据进行增强。实验分析表明,采用该算法mAP（均值平均精度）达到了98.84%,检测速度达到36.4帧/s,与YOLOv3模型以及其他算法相比具有更好的准确性和实时性。     

自适应置信度阈值的非限制场景车牌检测算法

针对车牌检测模型泛化性低,在智慧交通的不同应用场景中复用困难的问题,提出一种自适应置信度阈值的非限制场景车牌检测算法。首先,构建多预测头网络模型,利用分割预测头减少模型复用的预处理工作,利用自适应置信度阈值预测头提升模型的检测能力,并利用多尺度融合机制及边框回归预测头来提升模型的泛化能力;其次,采用可微分二值网络训练方法,利用可微分二值变换联合训练分类置信度及置信度阈值来学习模型参数;最后,利用连通感知非极大值抑制（CANMS）方法提升车牌检测的后处理速度,并引入轻量级网络ResNet18作为特征提取骨干网络,以减少模型参数量,进一步地提高检测速度。实验结果表明,在中国城市停车场数据集（CCPD）的6个不同限制条件特点的场景中,所提算法可获得平均99.5%的准确率与99.8%的召回率,并达到每秒70帧的高效检测速率,优于Faster R-CNN、SSD等锚框类算法的性能;在3个补充场景测试集上,所提算法对不同分辨率、不同拍摄距离、不同拍摄俯仰角等非限制场景下的车牌检测精度均高于90%。可见,所提算法在非限制场景下具备良好的检测性能及泛化能力,可以满足模型复用的要求。     

基于主成分分析网络的车牌检测方法

车牌识别是智能交通系统的核心技术,车牌检测是车牌识别技术中至关重要的一步。传统的车牌检测方法多利用浅层的人工特征,在复杂场景下的车牌检测率不高。基于主成分分析网络的车牌检测算法,能够无监督地逐级提取车牌深层特征,可有效提高算法的鲁棒性。算法首先采用Sobel算子边缘检测和边缘对称性分析获取车牌候选区域;然后将候选区域输入到主成分分析网络中进行车牌深度特征提取,并利用支持向量机实现对车牌区域的判别;最后采用非极大值抑制算法标记最佳车牌检测区域。利用收集的复杂场景下的车辆图像对所提方法的参数进行分析,并将其与传统方法进行比较。实验结果表明,所提算法的鲁棒性高,性能优于传统的车牌检测方法。     

复杂环境下基于角点回归的全卷积神经网络的车牌定位

车牌定位是车牌识别系统中核心部分,具有较高的研究和应用价值。尽管近些年来该研究取得了很大的进展,但仍无法很好地解决低亮度、低分辨率和车辆倾斜等环境下的定位问题。本文提出了一种新的全卷积神经网络,通过回归车牌角点的方式准确地进行车牌定位。为了保证训练的有效性,对45 000幅含有车牌的图像进行人工标注。同时,对标注的图像随机进行平移、缩放、旋转和加噪,提高训练样本的数量和多样性。在本文构建的卡口图像数据集和复杂环境数据集上与两种方法进行了比较,验证了本文方法的有效性。     

Multi-Object Detection of Chinese License Plate in Complex Scenes

Multi-license plate detection in complex scenes is still a challenging task because of multiple vehicle license plates with different sizes and classes in the images having complex background. The edge features of high-density distribution and the high curvature features of stroke turning of Chinese character are important signs to distinguish Chinese license plate from other objects. To accurately detect multiple vehicle license plates with different sizes and classes in complex scenes, a multi-object detection of Chinese license plate method based on improved YOLOv3 network was proposed in this research. The improvements include replacing the residual block of the YOLOv3 backbone network with the Inception-ResNet-A block, imbedding the SPP block into the detection network, cutting the redundant Inception-ResNet-A block to suit for the multi-license plate detection task, and clustering the ground truth boxes of license plates to obtain a new set of anchor boxes. A Chinese vehicle license plate image dataset was built for training and testing the improved network, and the location and class of the license plates in each image were accurately labeled. The dataset has 62,153 pieces of images and 4 classes of China vehicle license plates, almost images have multiple license plates with different sizes. Experiments demonstrated that the multi-license plate detection method obtained 83.4% mAP, 98.88% precision, 98.17% recall, 98.52 F₁ score, 89.196 BFLOPS and 22 FPS on the test dataset, and whole performance was better than the other five compared networks including YOLOv3, SSD, Faster-RCNN, EfficientDet and RetinaNet.     

基于CTPN神经网络对营业执照文字检测模型

对于复杂背景图片的文字识别,首先要做的就是定位目标文字的位置,即文字检测。想要文字识别率高,那对文字检测的准确度的要求就非常高了。传统的RPN(region proposal network)神经网络在文字检测领域的研究已经很成熟,但RPN神经网络在营业执照水平文字检测的准确度上不是很理想。而基于CTPN(connectionist text proposal network)神经网络的文字检测模型明显提高了营业执照水平文字检测的正确率,但用于项目中的话,准确率还是远远不够的。该文是以最新的营业执照作为研究对象,由于检测的图片易受光照和采集设备的影响,加上营业执照的背景比较复杂,所以能够准确地检测到目标文字的位置就非常具有挑战性。文中是通过CTPN神经网络模型来检测出营业执照中水平文字所在的位置,用矩形框来标注,也就是横向水平检测。目前开源的CTPN模型,都是基于某种数据集来训练的,所以对营业执照的文字检测效果就很差,因此该文使用2000张营业执照图像作为实验数据,进行10000迭代训练CTPN模型,最终能够准确地检测到营业执照中目标文字的位置,供项目使用。     

基于多层感知机模型的车牌识别技术

车牌识别是对实时图像中的车牌区域进行感知和截取,进行光学字符识别的过程。针对人工检测效率低的弊端,设计了一种应用于Android移动平台的车牌识别检测系统,利用OpenCV视觉开发库进行二次开发,使用支持向量机对图像进行判断,截取有效车牌区,并使用人工神经网络中的多层感知机模型实现字符的识别。测试结果表明,该系统检测速度快,准确性能高,对硬件设备要求低,实现了在移动环境下对车牌信息的有效检测和采集。     

基于角点检测与颜色连贯性分析的车牌定位算法

针对低分辨率视频图像,提出一种基于角点检测与颜色连贯性分析的快速车牌定位算法。考虑到车牌具备固定的颜色连贯性特点,首先由车牌背景颜色与车牌字体颜色得出分析掩膜;然后使用较小的阈值和最小角点间距计算得出掩膜内角点;最后对角点进行颜色加权,选择权值最大的分析区域。该方法对图像噪声具有极好的抗干扰性,适用于分辨率较低的视频图像数据。实验表明与其他方法相比,该方法的车牌定位准确率高,平均耗时短。