工业场景下基于秩信息对YOLOv4的剪枝

在工业场景无线射频识别（RFID）实时缺陷检测任务中,为了保证检测精度以及速度常采用YOLO这类深度学习目标检测算法,然而这些算法仍然难以满足工业检测中的速度要求,且无法将相应的网络模型部署到资源受限的设备上。针对以上问题,需要对YOLO模型进行剪枝压缩,提出了一种基于秩信息的特征信息丰富性和特征信息多样性加权融合的新型网络剪枝方法。首先,加载未剪枝模型进行推理,并在前向传播中获取滤波器对应特征图的秩信息来衡量特征信息丰富性;然后,根据不同大小的剪枝率对秩信息进行聚类或者相似度计算来衡量特征信息的多样性;最后,加权融合得到对应滤波器的重要性程度并对其进行排序后,剪除重要性排序靠后的滤波器。实验结果表明,对于YOLOv4,在剪枝率为28.87%且特征信息丰富性权重为0.75的情况下,所提方法相较于单一使用特征图秩信息的方法提高了2.6%~8.9%的平均精度均值（mAP）,所提方法剪枝后的模型甚至相较于未剪枝模型提高了0.4%的mAP并减少了35.0%的模型参数,表明该方法有利于模型部署。     

融合改进通道和层剪枝的口罩人脸检测

针对实际场景中目标检测算法部署算力缺乏和资源不足的问题,提出了一种基于改进通道和层剪枝的模型剪枝方法,通过设置自适应局部安全阈值以改进通道剪枝,同时通过综合评价整个残差结构值的方法进行层剪枝,并将模型剪枝方法用于口罩人脸检测.首先采用基于人脸的数据扩增方法构建口罩人脸检测数据集并使用该数据集训练YOLOv4目标检测网络...     

基于模型剪枝和半精度加速改进YOLOv3-tiny算法的实时司机违章行为检测

为解决在嵌入式设备上实时、高精度检测司机安全驾驶监督的问题,本文基于目标检测中经典的深度学习神经网络YOLOv3-tiny,运用通道剪枝技术成功在目标检测任务中实现了模型压缩,在精度不变的情况下减少了改进后神经网络的计算总量和参数总数.并基于NVIDIA的推理框架TensorRT进行了模型层级融合和半精度加速,部署加速后的模型.实验结果表明,加速模型的推理速度约为原模型的2倍,参数体积缩小一半,精度无损失,实现了高精度下实时检测的目的.     

面向轻量化网络的安全帽检测算法

随着深度学习的发展,神经网络模型的体积越来越大,伴随而来的是参数量与计算量的增多,但实际安全帽检测环境下需要把网络模型部署在算力有限的移动端或嵌入式设备中,而这些设备无法支持复杂的计算量。针对这个问题,提出了一种适合部署在移动设备的轻量级目标检测网络HourGlass-YOLO（HG-YOLO）。以YOLOv5为基础模型,基于Inverted Resblock结构重构了新的主干特征提取网络HourGlass;并使用通道剪枝技术,对BatchNormalization（BN）层进行稀疏训练,将权值较小的通道进行删减,在保证精度的情况下,减少模型的参数;融合卷积层和BN层来加快在CPU上的推理速度。实验结果表明HG-YOLO在保证精度的情况下,将YOLOv5模型的体积压缩87%、浮点数减少86%、参数量降低89%,相比SSD在检测速度上快了8.2倍,更适合实际工业场景中的部署。     

基于改进YOLOv5的轻量化航空目标检测方法

为解决硬件平台资源受限条件下的实时航空目标检测需求,在基于改进YOLOv5的基础上,提出了一种针对移动端设备/边缘计算的轻量化航空目标检测方法。首先以MobileNetv3为基础搭建特征提取网络,设计通道注意力增强结构MNtECA (MobileNetv3 with Efficient Channel Attention)提高特征提取能力;其次在深度可分离卷积层增加1×1的卷积,在减少卷积结构参数的同时提高网络的拟合能力;最后对检测网络进行迭代通道剪枝实现模型压缩和加速。实验选取DIOR (Object Detection in Optical Remote Sensing Images)数据集进行训练和测试,并在嵌入式平台(NVIDIA Jetson Xavier NX)对轻量级模型进行推理验证。结果表明,所提出的轻量级模型大幅降低了参数和计算量,同时具有较高精度,实现了移动端设备/边缘计算的实时航空目标检测。     

基于自适应阈值的循环剪枝算法

针对YOLO系列目标检测算法中复杂的网络模型和大量冗余参数问题,提出了一种基于自适应阈值的循环剪枝算法：在经过基础训练和稀疏化训练后,进入到自适应阈值剪枝模块,该模块针对缩放因子分布情况,通过缩放因子对通道和卷积层的重要性进行评估,自主学习到一个剪枝阈值,再对网络模型进行剪枝,此过程可以循环进行,并在通道剪枝和层剪枝中应用。该算法中的阈值不是人为设定,而是针对当前网络结构学习获得,通过剪枝获得一个更优的精简模型。算法实验基于YOLOv3在三个数据集上验证,结果表明,该算法对不同数据集、不同网络结构表现出较强的适应性,与传统固定阈值相比,通过自适应阈值剪枝的模型在检测精度、压缩效果、推理速度等方面都取得了更优的效果。     

面向边缘端的施工人员实时检测方法

施工人员检测在施工管理工作中有重要的应用价值。施工现场图像背景复杂且视角多样,给施工人员检测任务带来难度,同时施工现场大多基础配套设施不完善,并且网络条件较差,不适合在大型GPU工作站上进行模型部署。针对以上问题,以YOLOv3检测网络为基础,加入特征金字塔池化模块,增加多尺度特征融合并改进候选框,提升检测精度,同时采用通道剪枝算法对检测网络进行轻量化处理以适应边缘端设备算力,提出一种面向边缘端的施工人员实时检测方法。该方法在自制的施工人员数据集上平均准确率可达到88.23%,较YOLOv3检测方法提升4.89个百分点,且将模型大小压缩至原来的1/13,检测速度提升一倍,在嵌入式设备Jetson Xavier NX上检测速度可达到69.08帧/s,满足在施工现场进行实时边缘端检测的要求。     

一种适合无人机部署的轻量级YOLO剪枝模型

计算复杂度一直制约着目标检测算法在边缘端设备中的部署,利用模型剪枝方法,对流行的目前检测算法YOLOv3进行了精简,提出了一种适合于无人机部署的目标检测模型,在几乎不降低模型精度的前提下大大降低了模型的参数量和浮点计算量.通过L1正则化、几何中心匹配、通道剪枝、层剪枝、知识蒸馏等方法,对YOLOv3算法进行了剪枝和优化.     

LPD-YOLO:轻量级遮挡行人检测模型

在驾驶场景中，针对行人间的遮挡和尺度多变现象导致的检测精度较低、模型参数量过大和难以部署到移动端等问题，提出了一种基于YOLOv5s模型的轻量级实时行人检测模型LPD-YOLO。首先，在特征提取部分采用MES Net替换原主干网络，并在主干网络中嵌入注意力模块SA,增强网络特征提取能力；其次，在特征融合部分采用DS-ASFF结构改进原PANet,使其充分融合不同尺寸的特征图；然后，采用GS卷积代替特征融合网络中的部分标准卷积，在不影响精度的条件下，进一步减少模型参数量和计算量；最后，在预测部分使用OTA标签分配策略结合α-IOU改进原损失函数，加速模型收敛。实验结果表明，该模型相较于YOLOv5s,参数量减少了81.2%,浮点运算量降低了46.3%,模型大小减小了75.8%,检测精度提高了3.3%。单幅图像检测速度达到了13.2 ms,更好地满足了驾驶场景下密集行人的实时检测要求。     

基于ZYNQ平台的YOLOv3压缩和加速

高精度物体检测网络急剧增加的参数和计算量使得它们很难在车辆和无人机等端侧设备上直接部署使用。针对这一问题,从网络压缩和计算加速两方面入手,提出了一种面向残差网络的新型压缩方案来实现YOLOv3的压缩,并通过ZYNQ平台对这一压缩后的网络进行加速。首先,提出了包括网络裁剪和网络量化两方面的网络压缩算法。网络裁剪方面,给出了针对残差结构的裁剪策略来将网络剪枝分为通道剪枝和残差链剪枝两个粒度,解决了通道剪枝无法应对残差连接的局限性,进一步降低了模型的参数量;网络量化方面,实现了一种基于相对熵的模拟量化方法,以通道为单位对参数进行量化,在线统计模型的参数分布与参数量化造成的信息损失,从而辅助选择最优量化策略来减少量化过程的精度损失。然后,在ZYNQ平台上设计并改进了8比特的卷积加速模块,从而优化了片上缓存结构并结合Winograd算法实现了压缩后YOLOv3的加速。实验结果表明,所提压缩算法较YOLOv3 tiny能够进一步降低模型尺寸,但检测精度提升了7个百分点;同时ZYNQ平台上的硬件加速方法获得了比其他平台更高的能耗比,从而推进了YOLOv3以及其他残差网络在ZYNQ端侧的实际部署。     

改进YOLOv5s的轨道障碍物检测模型轻量化研究

针对传统列车轨道障碍物检测方法实时性差和对小目标检测精度低的不足,提出一种改进YOLOv5s检测网络的轻量化障碍物检测模型。引入更加轻量化的Mixup数据增强方式,替代算法中原有的Mosaic数据增强方式;引入GhostNet网络结构中的深度可分离卷积GhostConv,替代原有YOLOv5s模型中特征提取网络与特征融合网络中的普通卷积层,减小了模型的计算开销;在模型特征提取网络末端加入CA空间注意力机制,让算法在训练过程中减少了重要位置信息的丢失,弥补了改进GhostNet对检测精度的损失;将改进后的模型进行稀疏训练和通道剪枝操作,剪掉对检测精度影响不大的通道,同时保留重要的特征信息,使模型更加轻量化。实验结果表明,改进后的模型在自制的多样化轨道交通数据集上,相较于原始YOLOv5s算法,在模型大小减小9.7 MB,检测速度提高14 FPS的前提下,检测精度提升了1.0个百分点。同时与目前主流的检测算法对比,在检测精度与检测速度上也具有一定的优越性,适用于复杂轨道交通环境下的障碍物目标检测。     

基于MCA-YOLOv5s的轻量化地铁站内行人检测

随着智慧车站和云计算的迅速发展,地铁站内大规模视频监控系统行人检测的部署愈发重要,在客流监测、乘客引导和行为警示等方面发挥着人力不能及的重要作用.在实际工程应用中,受到计算资源有限以及多尺度多角度遮挡的困难样本带来错漏检的不利影响,为此提出一种轻量化行人检测算法MCA-YOLOv5s.首先使用Mobile Netv3代替YOLOv5主干网络,实现网络模型轻量化处理,并用PConv代替Mobile Netv3网络中的DWConv,减少冗余计算和内存访问;其次在特征融合阶段的C3模块中融入坐标注意力机制,使模型更加关注行人的位置信息;同时将损失函数CIoU替换为Alpha IoU以增加High Loss目标的权重和边界框的回归精度;最后通过FPGM剪枝压缩改进后的网络模型,提升模型加载和运行速度.将改进后的模型部署在华为Atlas 300 AI加速卡中,对地铁站内行人进行检测,其平均精度达到94.1%,检测速度为104.1 fps.实际工程实践表明,改进后的算法检测速度提升71.8%,节省了站内硬件部署资源,更满足地铁大客流下的行人监测和管理的工程实际需求.     

面向巡检机器人的电力设备状态检测算法研究

为更高效利用变电站巡检机器人开展电力巡检工作,满足电力行业发展对智能化巡检的需求,研究了面向电力巡检机器人的电力设备状态检测算法。首先,根据深度网络部署硬件芯片应用情况与性能对比,选择海思Hi3559A芯片作为算法移植的嵌入式平台。然后综合考虑各种检测算法的精度与速度,选用YOLOv3算法作为设备状态检测的基本判别模型。为了提升检测算法速度并减少模型体积,开展模型压缩算法及轻量型YOLOv3模型设计研究,分别提出了改进的小型化YOLOv3模型和基于通道剪枝与层剪枝结合的模型压缩方法,提高模型上下层的语义信息及剪枝后模型的精度保持。根据测试结果选择最优的模型在机器人前端部署,提出的轻量化YOLOv3模型很好地保持了设备目标与异物检测的精度,检测速度提升了4倍。     

基于嵌入式Jetson TX2的高原鼠兔目标检测

高原鼠兔目标检测是对其进行种群数量统计及种群动态变化研究的基础,但传统的高原鼠兔智能监测系统的目标检测硬件设备大,在抽样采集数据时移动性较弱。针对此问题,提出一种可部署到便携式设备Jetson TX2上的基于改进YOLOv3模型的目标检测方法。该方法将YOLOv3的主干网络DarkNet53替换成MobileNet,并利用剪枝、微调等方法构建轻量级高原鼠兔目标检测模型,再将轻量化模型部署到Jetson TX2上。自然场景下高原鼠兔目标检测实验的结果表明：所提方法的检测平均精度（AP）、每秒检测帧数（FPS）和模型大小分别为97.36%、36和14.88 MB,优于主干网络替换后未裁剪的YOLOv3模型及原始YOLOv3模型,相较于原YOLOv3模型,AP在仅下降1.05个百分点的情况下,FPS提升了620%,模型大小压缩了93.67%,能够部署在便携设备上进行实时且准确的高原鼠兔目标检测。     

轻量化目标检测算法研究及应用

基于卷积神经网络的目标检测算法在追求较高精度的同时,忽略了检测速度,使得算法难以在有限算力的情况下实现实时检测。在YOLO目标检测算法的基础上,采用一系列轻量化的方法,运用Mobilenetv1网络替换Darknet53基础网络,将YOLO head部分3×3标准卷积替换为深度可分离卷积,根据灵敏度对卷积层滤波器进行排序和修剪,并在嵌入式GPU TX2平台上进行C++推理部署。在VOC数据集上的测试结果表明,改进算法在精度仅下降0.75个百分点的前提下实现了2.4倍加速,模型占用内存仅为原来的21.5%。     

L-YOLO:适用于车载边缘计算的实时交通标识检测模型

在车载边缘计算单元中,由于其硬件设备的资源受限,开发适用于车载边缘计算的轻量级、高效的交通标识检测模型变得越来越迫切。文中提出了一种基于Tiny YOLO改进的轻量级交通标识检测模型,称为L-YOLO。首先,L-YOLO使用部分残差连接来增强轻量级网络的学习能力;其次,为了降低交通标识的误检和漏检,L-YOLO使用高斯损失函数作为边界框的定位损失。在TAD16K交通标识检测数据集上,L-YOLO的参数量为18.8 M,计算量为8.211 BFlops,检测速度为83.3 FPS,同时mAP达到86%。实验结果显示,该算法在保证实时性的同时,还提高了检测精度。     

改进YOLOv5的轻量级带钢表面缺陷检测

针对工业场景下设备资源有限的情况,提出一种改进YOLOv5的轻量化带钢缺陷检测模型.首先,使用Shuffle Netv2代替主干特征提取网络,优化模型参数量和运行速度;其次,采用轻量级上采样算子CARAFE (contentaware reassembly of features),在增大感受野的同时进一步降低参数和计算量;同时引入GSConv层,在保证语义信息的同时平衡模型准确性与检测速度;最后,设计一种跨层级特征融合机制,提高网络的检测精度.实验结果表明,改进后的模型的平均检测精度为78.5%,相较于原始YOLOv5算法提升了1.4%;模型计算量为10.9 GFLOPs,参数量为5.88×10⁶,计算量和参数量分别降低31%和15.4%;检测速度为49 f/s,提升了3.5 f/s.因此,改进后的模型提高了检测精度和检测速度,并且大幅降低了模型的计算量和参数量,能够满足对带钢表面缺陷进行实时检测.