基于自适应阈值的循环剪枝算法

针对YOLO系列目标检测算法中复杂的网络模型和大量冗余参数问题,提出了一种基于自适应阈值的循环剪枝算法：在经过基础训练和稀疏化训练后,进入到自适应阈值剪枝模块,该模块针对缩放因子分布情况,通过缩放因子对通道和卷积层的重要性进行评估,自主学习到一个剪枝阈值,再对网络模型进行剪枝,此过程可以循环进行,并在通道剪枝和层剪枝中应用。该算法中的阈值不是人为设定,而是针对当前网络结构学习获得,通过剪枝获得一个更优的精简模型。算法实验基于YOLOv3在三个数据集上验证,结果表明,该算法对不同数据集、不同网络结构表现出较强的适应性,与传统固定阈值相比,通过自适应阈值剪枝的模型在检测精度、压缩效果、推理速度等方面都取得了更优的效果。     

面向星上实时目标检测的神经网络压缩方法

针对深度神经网络在轨实时目标检测需求与星上有限硬件资源之间的矛盾,基于宇航级处理芯片特性,提出一种结合剪枝、渐进式混合量化的混合压缩方法.对网络卷积层进行滤波器级剪枝,大幅度降低卷积计算操作数量;提出一种渐进式混合量化方法,在网络量化过程中混合使用不同的量化位宽,有效降低目标检测网络在宇航级处理芯片中的内存大小.在RSOD遥感图像数据集上的实验结果表明,该方法在网络检测精度损失<1％ 的前提下,提升了网络对星上有限计算和存储资源的利用率.     

基于敏感度的YOLO网络集成剪枝算法

深层卷积神经网络所需的计算量和存储空间严重制约了其在资源有限平台上的应用与部署。针对基于单一参数重要性评价或者特征重建的剪枝算法泛化能力较差的问题,提出基于敏感度的集成剪枝算法,利用BN层的缩放因子稀疏YOLO网络中卷积核个数较多的冗余层,结合3种参数重要性评价方法对卷积核做重要性排序,并根据敏感度确定每一层的剪枝比率。实验结果表明,该剪枝算法对于YOLOv3和YOLOv3-tiny网络分别缩减80.5%和92.6%的参数量,并且相比基于网络轻量化方法的剪枝算法提升了网络模型压缩后的检测精度和泛化能力。     

融合改进通道和层剪枝的口罩人脸检测

针对实际场景中目标检测算法部署算力缺乏和资源不足的问题,提出了一种基于改进通道和层剪枝的模型剪枝方法,通过设置自适应局部安全阈值以改进通道剪枝,同时通过综合评价整个残差结构值的方法进行层剪枝,并将模型剪枝方法用于口罩人脸检测.首先采用基于人脸的数据扩增方法构建口罩人脸检测数据集并使用该数据集训练YOLOv4目标检测网络...     

改进YOLOv3-SPP的无人机目标检测模型压缩方案

无人机设备算力低下,深度模型计算量过大不适合直接部署,航拍图像目标小并且密集,模型对目标识别分类效果也不佳。为了提高深度模型航拍目标检测的精度和速度,降低计算量。对YOLOv3-SPP模型进行改进,将GIoU代替平方和用作定位损失,提高定位精度。提出了一种数据集优化和数据增强方法。再针对特定类别按照权值进行采样处理均衡化类别数量。随机组合不同场景样本组成批训练,提高模型训练效率和检测鲁棒性。再对模型进行压缩,在BN层添加缩放因子进行稀疏训练和通道剪枝的基础上,通过缩放因子衡量模型残差层重要性,修剪不重要残差,进一步减小前向推理层数和参数。实验表明,模型参数量减小了95.7%,模型大小减小95.82%,同等算力下模型推理速度提高为原来3倍。且精度和速度均高于最新YOLOv5系列轻量模型。     

基于SlimYOLOv3的工业场景目标检测算法

基于人工设计特征的检测算法检测速度普遍较慢,检测精度也有待提高,已无法满足现今工业生产中的需求.而基于深度学习的检测技术,因其需要大量的计算和存储空间无法在资源受限的设备上部署使用.针对这些问题,引用一种通道剪枝方法实现YOLOv3检测网络的轻量化,得到剪枝模型SlimYOLOv3,并进一步提出将SlimYOLOv3用于工业场景下的实时检测任务.方法通过对通道缩放因子施加L1正则化来增强卷积层的通道级稀疏性,并对信息量较小的特征通道进行剪枝,最终获得轻量级的网络模型.与原模型相比,SlimYOLOv3剪枝模型减小了60％,计算量减少了50％,检测速度是原模型的1.7倍,更适于智能工业场景中复杂目标的实时检测.     

基于GoogLeNet模型的剪枝算法

GoogLeNet包含多个并行的卷积层和池化层,极具表现力,但也导致其参数数量冗余和计算量大,解决该问题的根本途径是将网络稀疏化.剪枝算法通过训练网络、修剪低权重连接和再训练网络三步操作,只保留卷积层和完全连接层中的强相关连接,实现简化网络结构和参数数量的效果,获得近似的网络模型,不影响网络后验概率估计的准确性,达到压缩效果.传统计算方式不适合非均匀稀疏数据结构,所提出的阈值剪枝算法设定合适的阈值,将原始GoogLeNet模型中将近1040万参数减少到65万,大约压缩了16倍.原始网络在进行剪枝处理后,准确率会有所降低,但经过少数次迭代,网络的准确率与原始模型不相上下,达到了压缩模型的效果,验证了阈值剪枝算法对改进GoogLeNet模型训练过程的有效性.     

基于自适应分层阈值判断的神经网络模型压缩

面对多样化的应用环境,卷积神经网络（CNN）的架构深度不断增加以提升精度,但同时需要大量的计算参数和网络存储。针对CNN卷积层参数冗余和运算效率低的问题,提出一种基于分层阈值的自适应动态剪枝方法。设计自适应分层阈值判断算法,对批归一化层的尺度因子进行聚类分析,自适应地找到每层的分类断点并据此确定最终阈值,利用该阈值修剪正则化后的输入模型,从而避免根据经验人为定义固定阈值,减小模型尺寸和运行时占用的内存。分别采用该方法和LIU等提出的使用固定阈值且全局修剪的方法对VGGNet、ResNet、DenseNet和LeNet模型进行压缩,并在CIFAR、SVHN和MNIST数据集上测试模型性能。实验结果表明,该方法能够在模型精度与剪枝率之间找到最优平衡,剪枝后模型的测试错误率较对比方法降低0.02~1.52个百分点,同时自适应分层阈值判断算法也能避免对比方法在全局修剪时减去整个层的问题。     

滤波器弹性的深度神经网络通道剪枝压缩方法

深度神经网络（deep neural network,DNN）在各个领域获得了巨大成功,由于其需要高额的计算和储存成本,难以直接将它们部署到资源受限的移动设备端。针对这个问题,对网络中的全局滤波器重要性评估进行了研究,提出滤波器弹性的通道剪枝压缩方法以轻量化神经网络的规模。该方法先设置层间局部动态阈值改进L1正则化（L1 lasso）稀疏训练中剪枝过度的不足;然后将其输出乘以通道缩放因子替换普通的卷积层模块,利用滤波器的弹性大小定义全局滤波器的重要性,其数值由泰勒公式估计得出并排序,同时设计新的滤波器迭代剪枝框架,以平衡剪枝性能和剪枝速度的矛盾;最后利用改进的L1正则化训练和全局滤波器重要性程度进行复合通道剪枝。在CIFAR-10上使用所提方法对VGG-16进行实验,减少了80.2%的浮点运算次数（FLOPs）和97.0%的参数量,而没有明显的准确性损失,表明了方法的有效性,能大规模地压缩神经网络,可部署于资源受限的终端设备。     

基于稀疏正则化的卷积神经网络模型剪枝方法

现有卷积神经网络模型剪枝方法仅依靠自身参数信息难以准确评估参数重要性,容易造成参数误剪且影响网络模型整体性能。提出一种改进的卷积神经网络模型剪枝方法,通过对卷积神经网络模型进行稀疏正则化训练,得到参数较稀疏的深度卷积神经网络模型,并结合卷积层和BN层的稀疏性进行结构化剪枝去除冗余滤波器。在CIFAR-10、CIFAR-100和SVHN数据集上的实验结果表明,该方法能有效压缩网络模型规模并降低计算复杂度,尤其在SVHN数据集上,压缩后的VGG-16网络模型在参数量和浮点运算量分别减少97.3%和91.2%的情况下,图像分类准确率仅损失了0.57个百分点。     

改进YOLOv5s的轨道障碍物检测模型轻量化研究

针对传统列车轨道障碍物检测方法实时性差和对小目标检测精度低的不足,提出一种改进YOLOv5s检测网络的轻量化障碍物检测模型。引入更加轻量化的Mixup数据增强方式,替代算法中原有的Mosaic数据增强方式;引入GhostNet网络结构中的深度可分离卷积GhostConv,替代原有YOLOv5s模型中特征提取网络与特征融合网络中的普通卷积层,减小了模型的计算开销;在模型特征提取网络末端加入CA空间注意力机制,让算法在训练过程中减少了重要位置信息的丢失,弥补了改进GhostNet对检测精度的损失;将改进后的模型进行稀疏训练和通道剪枝操作,剪掉对检测精度影响不大的通道,同时保留重要的特征信息,使模型更加轻量化。实验结果表明,改进后的模型在自制的多样化轨道交通数据集上,相较于原始YOLOv5s算法,在模型大小减小9.7 MB,检测速度提高14 FPS的前提下,检测精度提升了1.0个百分点。同时与目前主流的检测算法对比,在检测精度与检测速度上也具有一定的优越性,适用于复杂轨道交通环境下的障碍物目标检测。     

基于YOLOv3的卷积层结构化剪枝

针对YOLOv3等卷积神经网络使用更多的卷积层结构且卷积核尺寸大小统一的特点,提出一种卷积层结构化剪枝计算的参数压缩方法。基于卷积层权值参数,设计度量卷积层重要性公式,评估卷积层相对整个网络重要性,计算卷积层重要度并对得分进行排序,制定稀疏值分配策略,再训练模型操作保证模型性能不降低,并得到各个卷积层分配的稀疏值以及卷积过滤器,完成模型的结构化剪枝计算。在Darknet上实现YOLOv3卷积层结构化剪枝的参数压缩方法,不仅将YOLOv3参数压缩1.5倍,且计算量减少了1.6倍。     

基于梯度的自适应阈值结构化剪枝算法

在边缘设备上运行深度神经网络模型并进行实时性分析,需要对网络模型进行压缩以减少模型参数量和计算量,但现有剪枝算法存在耗时长和模型压缩率低的问题。提出一种基于梯度设置不同阈值的结构化剪枝算法。对神经元进行细粒度评价,采用神经网络的梯度信息衡量权重的重要性,通过网格搜索和计算曲率的方式获取不同网络层的剪枝权重阈值,根据搜索后的剩余参数量确定不同网络层的卷积核中需要剔除的冗余参数。在此基础上,保留网络层中有效参数较多的卷积核,实现对卷积核个数的调整,进而重新训练以保证模型精度。分别对VGG16、ResNet50分类模型和SSD、Yolov4、MaskRCNN目标检测模型进行剪枝实验,结果表明,经该算法剪枝后,分类模型参数量减少92%以上,计算量减少70%以上,目标检测模型参数量减少75%以上,计算量减少57%以上,剪枝效果优于Rethinking、PF等算法。     

基于改进YOLOv5的轻量化航空目标检测方法

为解决硬件平台资源受限条件下的实时航空目标检测需求,在基于改进YOLOv5的基础上,提出了一种针对移动端设备/边缘计算的轻量化航空目标检测方法。首先以MobileNetv3为基础搭建特征提取网络,设计通道注意力增强结构MNtECA (MobileNetv3 with Efficient Channel Attention)提高特征提取能力;其次在深度可分离卷积层增加1×1的卷积,在减少卷积结构参数的同时提高网络的拟合能力;最后对检测网络进行迭代通道剪枝实现模型压缩和加速。实验选取DIOR (Object Detection in Optical Remote Sensing Images)数据集进行训练和测试,并在嵌入式平台(NVIDIA Jetson Xavier NX)对轻量级模型进行推理验证。结果表明,所提出的轻量级模型大幅降低了参数和计算量,同时具有较高精度,实现了移动端设备/边缘计算的实时航空目标检测。     

结合半波高斯量化与交替更新的神经网络压缩方法

为使神经网络模型能在实时性要求较高且内存容量受限的边缘设备上部署使用,提出一种基于半波高斯量化与交替更新的混合压缩方法。对神经网络模型输入部分进行2 bit均匀半波高斯量化,将量化值输入带有缩放因子的二值网络通过训练得到初始二值模型,利用交替更新方法对已训练的二值模型进行逐层微调以提高模型测试精度。在CIFAR-10和ImageNet数据集上的实验结果表明,该方法能有效降低参数和结构冗余所导致的内存和时间开销,在神经网络模型压缩比接近30的前提下,测试精度相比HWGQ-Net方法提高0.8和2.0个百分点且实现了10倍的训练加速。     

基于ZYNQ平台的YOLOv3压缩和加速

高精度物体检测网络急剧增加的参数和计算量使得它们很难在车辆和无人机等端侧设备上直接部署使用。针对这一问题,从网络压缩和计算加速两方面入手,提出了一种面向残差网络的新型压缩方案来实现YOLOv3的压缩,并通过ZYNQ平台对这一压缩后的网络进行加速。首先,提出了包括网络裁剪和网络量化两方面的网络压缩算法。网络裁剪方面,给出了针对残差结构的裁剪策略来将网络剪枝分为通道剪枝和残差链剪枝两个粒度,解决了通道剪枝无法应对残差连接的局限性,进一步降低了模型的参数量;网络量化方面,实现了一种基于相对熵的模拟量化方法,以通道为单位对参数进行量化,在线统计模型的参数分布与参数量化造成的信息损失,从而辅助选择最优量化策略来减少量化过程的精度损失。然后,在ZYNQ平台上设计并改进了8比特的卷积加速模块,从而优化了片上缓存结构并结合Winograd算法实现了压缩后YOLOv3的加速。实验结果表明,所提压缩算法较YOLOv3 tiny能够进一步降低模型尺寸,但检测精度提升了7个百分点;同时ZYNQ平台上的硬件加速方法获得了比其他平台更高的能耗比,从而推进了YOLOv3以及其他残差网络在ZYNQ端侧的实际部署。     

面向“边缘”应用的卷积神经网络量化与压缩方法

针对卷积神经网络（CNN）推理计算所需内存空间和资源过大,限制了其在嵌入式等"边缘"设备上部署的问题,提出结合网络权重裁剪及面向嵌入式硬件平台数据类型的数据量化的神经网络压缩方法。首先,根据卷积神经网络各层权重的分布,采用阈值法对网络精确率影响较小的权重进行裁剪,保留网络中重要连接的同时除去冗余信息;其次,针对嵌入式平台的计算特性分析网络中权重及激活函数所需的数据位宽,采用动态定点量化方法减小权重数据的位宽;最后,对网络进行微调,在保障网络模型识别精度的前提下进一步压缩模型大小并降低计算消耗。实验结果表明,该方法降低了VGG-19网络95.4%的存储空间而精确率仅降低0.3个百分点,几乎实现无损压缩;同时,通过多个网络模型的验证,该方法在平均1.46个百分点精确率变化范围内,最大降低网络模型96.12%的存储空间,能够有效地压缩卷积神经网络。