复杂场景下基于热图的车牌检测

随着车牌识别的应用场景不断扩展,处理的图像复杂性也随之提高,车牌检测面临车牌定位困难、检测速度慢和精度低等挑战。为提高光照不均衡、透视变形、雨雾天气、低分辨率等复杂场景下车牌检测的准确率,提出一种基于车牌角点热图的检测网络LPHD-Net。不同于传统模板匹配和目标检测中矩形先验框的方式,该网络通过车牌角点热图和车牌边界向量场的方法对车牌进行检测。在中国城市停车数据集中进行训练和测试,使用目标检测任务中常用的平均精度和召回率对模型的整体性能进行评价。实验结果表明,LPHD-Net模型对多种复杂场境下的车牌检测精确率和速度分别达到99.2%和78 frame/s,较LMAFLPD模型提升1.15个百分点和14 frame/s。同时,其对场景中的多车牌检测也具有较好的检测效果。     

自然场景下变形车牌检测模型DLPD-Net

目的 随着智能交通领域车牌应用需求的升级,以及车牌图像复杂性的提高,自然场景下的车牌识别面临挑战。为应对自然场景下车牌的不规则变形问题,充分考虑车牌的形状特征,提出了一种自然场景下的变形车牌检测模型DLPD-Net （distorted license plate detection network）。方法 该模型首次将免锚框目标检测方法应用于车牌检测任务中,不再使用锚框获取车牌候选区域,而是基于车牌热力值图与偏移值图来预测车牌中心;然后基于仿射变换寻找车牌角点位置,将变形车牌校正为接近于正面视角的平面矩形,从而实现在各种自然场景下变形车牌的检测。结果 一方面,基于数据集CD-HARD评估DLPD-Net检测算法的性能;另一方面,基于数据集AOLP （the application-oriented license plate database）和CD-HARD评估基于DLPD-Net的车牌识别系统的有效性。实验结果表明,DLPD-Net具有更好的变形车牌检测性能,能够提升车牌识别系统的识别准确率,在数据集CD-HARD上识别准确率为79.4%,高出其他方法4.4% 12.1%,平均处理时间为237 ms。在数据集AOLP上取得了96.6%的识别准确率,未使用扩充数据集的情况下识别准确率达到了94.9%,高出其他方法1.6% 25.2%,平均处理时间为185 ms。结论 本文提出的自然场景下的变形车牌检测模型DLPD-Net,能够实现在多种变形条件下的车牌检测,鲁棒性强,对遮挡、污垢和图像模糊等复杂自然环境下的车牌检测具有良好检测效果,同时,基于该检测模型的车牌识别系统在非受限的自然场景下具有更高的实用性。     

基于多类别特征信息融合的车牌检测

自然场景下复杂多变的影响因素给车牌检测带来困难,为检测并定位自然场景下移动车辆的车牌区域,通过分析信息融合和多类特征提取的特点,提出基于多类别特征信息融合的车牌检测方法.该算法在两种不同场景数据集上的测试效果验证了信息融合和多类特征提取能显著提高车牌检测的检测率和场景鲁棒性.     

自然场景下配电线网施工安全帽佩戴检测算法

对于配电线网施工作业这一类高危行业而言,在施工过程中按照安全守则佩戴安全帽是避免事故发生的有效途径之一。由于配电线网施工环境复杂多变,导致现有的安全帽识别方法在自然场景下常出现误检漏检的问题且不能满足实时性需求。为提高自然场景下的安全帽识别准确率以及识别效率,提出一种面向自然场景下配电线网施工的安全帽佩戴识别检测网络模型YOLO-ACON-Attention。该方法以YOLOv5算法为基础,采用自适应判断激活函数取代原有的激活函数,加强模型检测能力。在骨干网络中使用二轮四向IRNN网络构造自适应注意力模块提升模型的图像信息特征提取能力。实验结果证明,与原YOLOv5算法相比,该算法的精确率和召回率为94.75%和89.29%,分别提高了7.65%和5.17%,检测速度为36.5 FPS。     

基于级联卷积网络的自然场景下的车牌检测

为有效解决自然场景下车牌检测的分类效率和分类准确率之间的矛盾,提出一种鲁棒的快速车牌检测方法。以整个车牌作为训练和检测的基本单位,直接使用卷积网络作为检测器,级联多个卷积网络,对自然场景下的车牌进行检测。通过引入卷积网络作为基本的学习子单元,进一步把多个子单元组织成级联结构,满足了自然场景下的车牌检测对检测准确率和检测效率的要求。在现实数据上的实验结果表明,级联卷积网络在保证较低误报率的同时具有较高的检测率和检测效率。     

基于深度学习的车牌定位和识别方法

针对现有的基于车牌字符分割的车牌识别方法,在光照,阴暗等特定自然场景下存在无法定位且车牌字符无法正确分割,直接影响车牌字符识别效果的问题,提出一种基于深度学习的车牌定位和识别方法.首先采用深度学习FasterR-CNN算法进行车牌定位,利用k-means++算法来选择最佳车牌区域尺寸,解决现有车牌定位方法在某些自然场景下无法正确定位车牌的问题;然后在AlexNet网络模型的基础上进行改进和重新构建,提出一种增强的卷积神经网络模型AlexNet-L,该模型是一种针对车牌字符识别的端对端网络模型,可提高车牌识别准确率,避免现有的基于车牌字符分割的车牌识别方法中因无法正确分割车牌字符对车牌字符识别的影响.实验结果表明,该方法可以更有效地提高车牌定位和车牌字符识别的准确度和效率.     

基于主成分分析网络的车牌检测方法

车牌识别是智能交通系统的核心技术,车牌检测是车牌识别技术中至关重要的一步。传统的车牌检测方法多利用浅层的人工特征,在复杂场景下的车牌检测率不高。基于主成分分析网络的车牌检测算法,能够无监督地逐级提取车牌深层特征,可有效提高算法的鲁棒性。算法首先采用Sobel算子边缘检测和边缘对称性分析获取车牌候选区域;然后将候选区域输入到主成分分析网络中进行车牌深度特征提取,并利用支持向量机实现对车牌区域的判别;最后采用非极大值抑制算法标记最佳车牌检测区域。利用收集的复杂场景下的车辆图像对所提方法的参数进行分析,并将其与传统方法进行比较。实验结果表明,所提算法的鲁棒性高,性能优于传统的车牌检测方法。     

融合ViBe与帧差法的交叉路口多车辆检测方法

前景检测的精确程度是交叉路口车辆检测的重要因素,传统的基于背景建模的前景检测方法存在拖影现象,并且通常难以分辨出无牌车辆,针对上述问题,提出一种融合ViBe与帧差法的前景检测算法,并在此基础上结合车牌检测算法来检测场景当中的车辆;首先,结合帧差法和ViBe算法对背景像素点的判定结果,采用不同更新因子更新背景模型,其次,使用一种多条件过滤车牌检测算法定位运动区域当中车牌,最后,以检测到的车牌中心为锚点,定位出最终车牌区域;实验结果表明,该前景检测算法可有效应对交叉路口场景下的前景检测的拖影现象,同时车辆检测算法可以准确检测出进入场景时的车辆,并分辨出无牌车辆。     

自适应置信度阈值的非限制场景车牌检测算法

针对车牌检测模型泛化性低,在智慧交通的不同应用场景中复用困难的问题,提出一种自适应置信度阈值的非限制场景车牌检测算法。首先,构建多预测头网络模型,利用分割预测头减少模型复用的预处理工作,利用自适应置信度阈值预测头提升模型的检测能力,并利用多尺度融合机制及边框回归预测头来提升模型的泛化能力;其次,采用可微分二值网络训练方法,利用可微分二值变换联合训练分类置信度及置信度阈值来学习模型参数;最后,利用连通感知非极大值抑制（CANMS）方法提升车牌检测的后处理速度,并引入轻量级网络ResNet18作为特征提取骨干网络,以减少模型参数量,进一步地提高检测速度。实验结果表明,在中国城市停车场数据集（CCPD）的6个不同限制条件特点的场景中,所提算法可获得平均99.5%的准确率与99.8%的召回率,并达到每秒70帧的高效检测速率,优于Faster R-CNN、SSD等锚框类算法的性能;在3个补充场景测试集上,所提算法对不同分辨率、不同拍摄距离、不同拍摄俯仰角等非限制场景下的车牌检测精度均高于90%。可见,所提算法在非限制场景下具备良好的检测性能及泛化能力,可以满足模型复用的要求。     

基于双注意力生成对抗网络的煤流异物智能检测方法

在煤炭开采过程中混入的异物可能会导致输送带连接处堵塞甚至输送带撕裂等事故,现有的机器学习算法大多采用监督学习的方式自动识别物品类别,而在真实工矿场景下,异常样本稀缺,易导致建模数据集存在严重的样本分布不平衡且显著特征丢失的问题。针对上述问题,提出了一种基于双注意力生成对抗网络(DA-GANomaly)的煤流异物智能检测方法。该方法采用半监督学习的方式,仅需要正常样本完成异物检测模型训练,有效解决了因样本分布不平衡造成的识别精度低、鲁棒性差的问题;在Skip-GANomaly的基础上引入双注意力机制,增强了编码器与解码器之间的信息交流,以抑制无关特征和噪声,同时突出有利于区分异常样本的感兴趣特征,进一步提高模型分类的准确性。实验结果表明：DA-GANomaly模型的分类精确率为79.5%,召回率为83.2%,精确率-召回率曲线下面积（AUPRC）为85.1%;与AnoGAN等5种经典异常检测模型相比,DA-GANomaly模型的综合性能最佳。     

基于CTPN神经网络对营业执照文字检测模型

对于复杂背景图片的文字识别,首先要做的就是定位目标文字的位置,即文字检测。想要文字识别率高,那对文字检测的准确度的要求就非常高了。传统的RPN(region proposal network)神经网络在文字检测领域的研究已经很成熟,但RPN神经网络在营业执照水平文字检测的准确度上不是很理想。而基于CTPN(connectionist text proposal network)神经网络的文字检测模型明显提高了营业执照水平文字检测的正确率,但用于项目中的话,准确率还是远远不够的。该文是以最新的营业执照作为研究对象,由于检测的图片易受光照和采集设备的影响,加上营业执照的背景比较复杂,所以能够准确地检测到目标文字的位置就非常具有挑战性。文中是通过CTPN神经网络模型来检测出营业执照中水平文字所在的位置,用矩形框来标注,也就是横向水平检测。目前开源的CTPN模型,都是基于某种数据集来训练的,所以对营业执照的文字检测效果就很差,因此该文使用2000张营业执照图像作为实验数据,进行10000迭代训练CTPN模型,最终能够准确地检测到营业执照中目标文字的位置,供项目使用。     

一种基于车灯定位的夜间车牌识别研究

针对夜间的车牌识别,提出了一种基于车灯定位的识别多个车牌的流程方法。该方法首先利用车灯坐标来对图像中多个车牌区域进行定位,进而对局部区域利用边缘检测,形态学技术,使车牌成唯一存在多次跳变的区域,车牌定位之后又利用改进的模板匹配的算法,提高了误判率,从而提供了一套夜间多车牌识别的方法。试验结果表明,两辆车的车牌识别的准确率在95%以上,并能适应于夜间的不同环境。     

车牌超分辨率重建与识别

为了从图片中快速准确地识别车牌,提出一种结合图像超分辨率技术的车牌识别方案。车牌图片具有明显的特定的模式特征,只是具体的字符编码不同。因此车牌图片非常适合做超分辨率重建。本文提出的系统主要由车牌检测定位、车牌超分辨率重建、字符分割、字符识别等模块组成。综合基于边缘、基于颜色和基于最大稳定极值区域三种车牌检测策略并采用并行编程方法来综合检测结果得到候选车牌。采用车牌图片正负样本来训练支持向量机分类器。得到分类器模型后对候选车牌判决得到真正的车牌。随后对真实车牌图片进行超分辨率重建。该部分主要由基于固定邻域回归的方法实现。这种方法综合了稀疏字典学习和领域嵌入的方法,比较好的兼顾了准确率和计算速度。运用OpenCV提供的图像处理库来对重建后的图片做字符分割。得到单独的字符图片后采用人工神经网络进行识别。识别前先使用一定数量的字符图片对网络进行有监督训练获取识别模型。采用一个单隐层的神经网络,运用反向传播算法进行训练得到识别模型。最后提取字符图片的特征并输入网络进行分类完成识别。为了测试系统的表现,在实际场景中采集了一百张车牌图片作为测试集。实验表明,该系统具有较高识别准确率和较快的处理速度。     

基于多层感知机模型的车牌识别技术

车牌识别是对实时图像中的车牌区域进行感知和截取,进行光学字符识别的过程。针对人工检测效率低的弊端,设计了一种应用于Android移动平台的车牌识别检测系统,利用OpenCV视觉开发库进行二次开发,使用支持向量机对图像进行判断,截取有效车牌区,并使用人工神经网络中的多层感知机模型实现字符的识别。测试结果表明,该系统检测速度快,准确性能高,对硬件设备要求低,实现了在移动环境下对车牌信息的有效检测和采集。     

Multi-Object Detection of Chinese License Plate in Complex Scenes

Multi-license plate detection in complex scenes is still a challenging task because of multiple vehicle license plates with different sizes and classes in the images having complex background. The edge features of high-density distribution and the high curvature features of stroke turning of Chinese character are important signs to distinguish Chinese license plate from other objects. To accurately detect multiple vehicle license plates with different sizes and classes in complex scenes, a multi-object detection of Chinese license plate method based on improved YOLOv3 network was proposed in this research. The improvements include replacing the residual block of the YOLOv3 backbone network with the Inception-ResNet-A block, imbedding the SPP block into the detection network, cutting the redundant Inception-ResNet-A block to suit for the multi-license plate detection task, and clustering the ground truth boxes of license plates to obtain a new set of anchor boxes. A Chinese vehicle license plate image dataset was built for training and testing the improved network, and the location and class of the license plates in each image were accurately labeled. The dataset has 62,153 pieces of images and 4 classes of China vehicle license plates, almost images have multiple license plates with different sizes. Experiments demonstrated that the multi-license plate detection method obtained 83.4% mAP, 98.88% precision, 98.17% recall, 98.52 F₁ score, 89.196 BFLOPS and 22 FPS on the test dataset, and whole performance was better than the other five compared networks including YOLOv3, SSD, Faster-RCNN, EfficientDet and RetinaNet.     

基于全卷积神经网络的船舶检测和船牌识别系统

船舶检测与识别对于港口智能监控,实现港口资源的有效管理具有重要意义。由于复杂的船舶轮廓、船牌位置不固定、船牌文本类型复杂多样和船牌文字个数不确定等因素,使得船舶的检测和识别非常具有挑战性。本文提出一种基于全卷积神经网络的船舶检测与识别方法：SDR-FCN。SDR-FCN利用本文提出的船舶检测算法SDNet进行船舶检测定位,然后利用本文提出的船牌文本检测算法PDNet进行船牌文字检测,最后利用具备在线自适应性的分类器OA-Classifier进行船牌分类识别。OA-Classifier综合了AIS（船舶自动识别系统）反馈的信息,提高了分类器的识别精度。实际SDR-FCN部署运行表明,它能够以较高的精度可靠地工作,满足实际应用。