模型剪枝与低精度量化融合的DNN模型压缩算法

拥有庞大参数量的网络模型很难部署在智能手机、可穿戴智能设备等资源受限的移动设备上。从深度神经网络模型的基本原理出发，在现有压缩算法的基础上，采用优化剪枝策略与参数量化的方法相融合，提出了一种结果导向的数据驱动剪枝算法，利用低精度的量化算法来进一步压缩模型。使用VGGNet作为原始模型，在Kaggle猫狗图像和Oxford102植物样本集上进行微调。实验数据表明，使用本实验改进的方法，模型压缩的存储容量下降到113.1 MB，识别率提高到86.74%。     

基于模型剪枝的神经网络压缩技术研究

尽管神经网络在各个领域都取得了长足的进步,但是在移动设备上的应用却受限于巨大模型所需要的计算能力以及存储空间。神经网络剪枝技术可以使训练后的网络参数减少,减少存储需求,提高计算效率。最近一些研究基于权重的绝对值(L1范数)进行剪枝,可以在不损失过多精度的情况下有效地压缩模型。本文在此基础上结合了权重的变化程度进行迭代剪枝,能够对网络模型进一步压缩。文章提出的重要性评估方法分别在结构化与非结构化剪枝策略中在全连接网络以及卷积网络进行了实验,结果表明均优于仅依靠权重绝对值的剪枝方法。     

基于改进样本驱动的高光谱矿物识别模型压缩方法

针对机载成像高光谱遥感仪器获得的大批量高光谱数据很难实现高效快速的矿物信息提取和识别的问题,提出了一种基于改进样本驱动的高光谱矿物识别模型压缩方法,对神经网络中的冗余神经元进行剪枝,从而获取高效的矿物识别模型。首先,以验证数据集中的正确识别样本为数据驱动,计算各神经元经激活函数后的输出零值频率,并将其作为该神经元重要性判据,探讨各神经元对神经网络正确识别样本的贡献;其次,通过设置重要性阈值对冗余神经元进行剪枝,并对剪枝网络进行再训练,在保留原网络正确识别特性的基础上,提升压缩模型识别精度;最终通过多次迭代剪枝获得高效的压缩矿物识别模型。利用基于改进样本驱动的模型压缩方法对基于多层感知机的矿物识别模型进行压缩改进,并以美国内华达州Cuprite矿区的机载可见光/红外成像光谱仪的高光谱数据作为测试数据,获得了压缩比3.33、矿物识别精度94.35%的高效矿物识别模型。     

基于多源信息的全局滤波器剪枝

针对现有神经网络剪枝方法未全面评估滤波器的重要性以及跨层滤波器的重要性间存在一定差异的问题,提出了一种基于多源信息的全局滤波器剪枝算法,建立了特征和权重信息间的连接.首先,根据特征信息较为丰富和权重信息受数据噪音影响低的特点,分别以特征间相关性和权重熵来评估滤波器的相对和绝对重要性.然后,将每层中不同压缩比例的滤波器看作一个整体,评估其对模型的全局重要性,按照压缩需求跨层剪掉模型中最不重要的部分.最后,采用知识蒸馏的方式来恢复剪枝后模型的精度,不依赖其他数据集就能完成模型的压缩与微调.为了验证所提方法的适用性,针对DeepLabV3、DABNet和U-Net网络在三个语义分割数据集上进行了大量的实验.也针对多种深度的ResNet网络在图像分类数据集上进行了验证.实验结果表明,通过多源信息可以更精确的评估单层中滤波器的重要性,通过全局重要性来指导跨层剪枝可以使模型的关键信息损失降到最低.     

基于YOLOv3-SPP的遥感图像目标检测压缩模型

近年来，卷积神经网络模型已被广泛应用于遥感图像目标检测任务中，但自然场景图像与遥感图像的目标特性存在差异，针对自然场景设计的模型往往难以在遥感图像任务中取得良好的效果。同时，很多遥感图像处理任务需要在星载、机载等资源有限的平台中进行，难以部署参数量、计算量大的复杂模型。针对以上问题，本文对在自然场景中性能优异的YOLOv3-SPP模型进行适应性改进及参数压缩。首先，对原始的L1范数剪枝算法进行改进，提出基于L1范数和均值差的加权剪枝算法，能够更好地保留重要的通道。其次，对剪枝后的子网集合进行快速评估，选取评估结果最好的子网进行微调。在预训练和微调阶段，本文将SPP模块中的最大池化层替换为softmax加权池化层，着重突出深层网络中权重较大的特征，提高了模型的检测精度。本文在多个公开遥感数据集上进行实验，结果表明改进的YOLOv3-SPP模型在遥感目标检测任务上具有更好的性能，同时本文的剪枝算法可以在相同的参数压缩比例条件下，降低模型的性能损失。     

基于Conformer的端到端语音识别模型的压缩优化策略

随着深度学习的兴起,端到端语音识别模型受到越来越多的关注。最近,基于Conformer框架的提出,使得端到端语音识别模型的性能得到进一步的提升,同时在语音识别领域也得到了广泛的应用。然而,这些端到端模型由于内存和计算需求较大,所以在资源有限的设备上部署和推理是受限的。该文为了保证模型精度损失较小的情况下,尽可能地减少模型的大小和计算量,分别采用了模型量化,基于权重通道的结构化剪枝以及奇异值分解等三种压缩优化策略,同时对模型量化进行了改进。探究了不同程度的压缩对模型精度损失所造成的影响。通过结合这些策略在不同设备进行了测试,相比于基线在其字错误率误差小于3%的情况下,模型推理识别的速度约提升3~4倍。      

基于Tiny-YOLOv3的网络结构化压缩与加速

针对特定应用场景下，Tiny-YOLOv3(You Only Look Once v3)网络在嵌入式平台部署时存在资源开销大、运行速度慢的问题，文中提出了一种结合剪枝与量化的结构化压缩方案，并搭建了针对压缩后网络的卷积层加速系统。结构化压缩方案使用稀疏化训练与通道剪枝来减少网络中的计算量，使用激活值定点数量化和权重二的整数次幂量化来减少网络卷积层中的参数存储量。在卷积层加速系统中，可编程逻辑部分按照并行加流水线方法设计了一个卷积层加速器核，处理系统部分负责卷积层加速系统调度。实验结果表明，Tiny-YOLOv3经过结构化压缩后的网络平均准确度为0.46,参数压缩率达到了5%。卷积层加速系统在Xilinx的ZYNQ芯片进行部署时，硬件可以稳定运行在250 MHz时钟频率下，卷积运算单元的算力为36 GOPS。此外，加速平台整体功耗为2.6 W,且硬件设计节约了硬件资源。     

基于孪生网络的肺部图像识别

针对临床上肺部图像识别准确率低、效果差等问题,提出一种基于孪生VGGNet的图像分类技术,以提高临床肺部图像检测的准确率。首先,使用VGGNet模型（包括VGGNet11、VGGNet13和VGGNet16）对比图像处理的准确率,结果表明,VGGNet模型处理图像准确率低,分类效果差。在此基础上,给VGG模型加入孪生网络,将两个输入图像经过共享的卷积神经网络模型进行特征提取,通过比较两个特征向量的距离或相似度来进行分类或识别,将模型的准确率提高到95%以上。根据实验结果,加入孪生网络后,提高了图像识别的准确性和鲁棒性,为医学领域提供了便利。     

基于结构保持MRF模型的SAR图像去斑

该文提出一种用于SAR图像贝叶斯去斑的,具有结构保持特性的马尔可夫随机场模型。该模型通过引入一组权重参数建模待处理像素与其邻域点的空间相关性,可有效描述图像中的各种局部特性。准确的参数估计是模型有效运用的关键,借鉴随机松弛算法的思想,通过引入温度变量,实现了迭代过程中权重参数的自适应估计。仿真和实际SAR图像数据的实验结果,验证了所提模型及参数估计方法的有效性。     

基于矢量量化压缩密集连接层的图像压缩研究

针对卷积神经网络(CNN)在图像压缩耗费较大存储空间问题,文中通过研究压缩CNN参数的矢量量化方法解决了CNN模型的存储问题。通过压缩密集连接层的存储方式使得矢量量化方法比现有的矩阵分解方法更具优势。将k-均值聚类(KM)应用于权重和乘积量化可以在模型大小和识别精度之间取得较好的权衡。实验结果表明,结构化量化方法的效果明显优于其他方法,通过对图像压缩检索验证了压缩模型的泛化能力。     

基于FGF与VGGNet19的红外可见光图像融合

针对红外与可见光图像融合中出现红外目标不够突出以及边缘模糊等问题,本文提出了一种基于FGF(快速引导滤波)和VGGNet19的红外与可见光图像融合方法。首先,通过FGF将源图像进行双尺度分解；然后,利用VGGNet19网络得到初步融合权重图；其次,利用OTSU(最大类间方差法)来提取初步融合权重图的前景与背景,进行二值化；然后,对得到的二值图像使用FGF得到最终融合权重图；最后,相加再经过FGF和图像增强实现图像融合。实验结果表明,本文方法能够有效保留显著热目标,边缘细节清晰,在主观评价以及客观评价指标中均取得了更好的效果。     

基于卷积神经网络和胶囊神经网络的宫颈病变图像分类方法研究

为了更好地治疗宫颈癌,准确确定患者的宫颈类型是至关重要的。因此,用于检测和划分宫颈类型的自动化方法在该领域中具有重要的医学应用。虽然深度卷积神经网络和传统的机器学习方法在宫颈病变图像分类方面已经取得了良好的效果,但它们无法充分利用图像和图像标签的某些关键特征之间的长期依赖关系。为了解决这个问题,文章引入了胶囊网络(CapsNet),将CNN和CapsNet结合起来,以提出CNN-CapsNet框架,该框架可以加深对图像内容的理解,学习图像的结构化特征,并开展医学图像分析中大数据的端到端训练。特别是,文章应用迁移学习方法将在ImageNet数据集上预先训练的权重参数传输到CNN部分,并采用自定义损失函数,以便网络能够更快地训练和收敛,并具有更准确的权重参数。实验结果表明,与ResNet和InceptionV3等其他CNN模型相比,文章提出的网络模型在宫颈病变图像分类方面更加准确、有效。     

卷积神经网络的损失最小训练后参数量化方法

针对数据敏感性场景下模型量化存在数据集不可用的问题,提出了一种不需要使用数据集的模型量化方法.首先,依据批归一化层参数及图像数据分布特性,通过误差最小化方法获得模拟输入数据;然后,通过研究数据舍入特性,提出基于损失最小化的因子动态舍入方法.通过对GhostNet等分类模型及M2Det等目标检测模型进行量化实验,验证了所...     

自学习稀疏密集连接卷积神经网络图像分类方法

通道剪枝是深度模型压缩的主要方法之一。针对密集连接卷积神经网络中,每一层都接收其前部所有卷积层的输出特征图作为输入,但并非每个后部层都需要所有先前层的特征,网络中存在很大冗余的缺点。本文提出一种自学习剪枝密集连接网络中冗余通道的方法,得到稀疏密集连接卷积神经网络。首先,提出了一种衡量每个卷积层中每个输入特征图对输出特征图贡献度大小的方法,贡献度小的输入特征图即为冗余特征图;其次,介绍了通过自学习,网络分阶段剪枝冗余通道的训练过程,得到了稀疏密集连接卷积神经网络,该网络剪枝了密集连接网络中的冗余通道,减少了网络参数,降低了存储和计算量;最后,为了验证本文方法的有效性,在图像分类数据集CIFAR-10/100上进行了实验,在不牺牲准确率的前提下减小了模型冗余。      

基于可解释机器学习的神经网络软剪枝策略

软剪枝是重要的神经网络剪枝策略，但该策略通常只考虑滤波器参数大小或参数矩阵在空间的分布，忽略了参数编码的语义信息，忽略了滤波器参数与数据的紧密联系。为此，提出一种基于可解释机器学习的神经网络软剪枝策略，该策略通过结合可解释机器学习方法，分析滤波器对数据内容理解的重要程度，以该重要程度为指标进行滤波器的排序和剪枝。实验结果表明，该策略在VGG、ResNet模型、CIFAR10通用数据集上均取得了较好的剪枝效果，并具有可解释性，可充分挖掘滤波器参数与图像信息之间的相关性分布。     

基于增量式深度神经网络的图像分类系统

为解决图像分类任务中模型结构固化、产生巨大内存消耗、时间消耗的问题,提出一种增量式深度神经网络（IDNN）。输入样本通过聚类算法激活不同簇并被分别处理：如果新样本激活已有簇,则更新该簇参数;否则为新簇开辟分支,并训练独立特征集。在Caltech-101、ORL Face、ETH-80数据库的验证结果表明,该系统能自动调整网络结构,适用于轮廓、纹理、视角等不同环境的增量式学习,例如在Caltech-101库分类任务中准确率超出VGGNet 5.08%、AlexNet 3.44%。     

基于VGGNet卷积神经网络的蓝印花布纹样分类

为了数字化传承与创新传统的蓝印花布纹样,需 要将蓝印花布纹样进行分类。为此,提出一种改进的VGGNet卷 积神经网络模型的纹样分类方法。首先,采集原始的蓝印花布图案,通过图像增强技术扩充 样本,形成训练数据集。其次, 改进经典的VGGNet 16卷积神经网络结构,增加卷积组及调整网络参 数,增加丢弃层。同时,分析、验证训练优化策略对 蓝印花布纹样分类的影响。最后,利用训练集及验证集中的图像样本,通过自动学习获取网 络模型参数,得到纹样分类的最 佳网络模型并获得较为理想的分类结果。实验结果显示,改进的卷积神经网络模型针对5类 蓝印花布纹样进行分类训练,其 平均分类准确率达89.73%,为蓝印花布纹样的继承和创新研究提供了 新思路。     

融合CNN与Transformer结构的遥感图像分类方法

为解决高分辨率遥感图像所具有的类内差异大而类间差异小的特性导致的图像难分类问题，提出一种基于深度学习中卷积神经网络与Transformer优点的混合结构。对卷积层提取的特征信息使用两个带有空间位置信息的注意力机制，分别沿水平方向和垂直方向对每个通道进行特征聚集，以减少遥感场景特征的冗余映射，使网络能够提取更多与任务目标相关的信息。然后利用Transformer编码器结构对捕获的特征图进行编码操作，赋予特征图中感兴趣区域较大的权重。实验结果表明，与现有的基于深度学习的遥感图像分类方法相比，所提方法既降低了模型参数量，又提升了分类准确率，在遥感图像分类数据集AID、NWPU-RESISC45及VGoogle上均达到了最高的平均分类准确率，分别为98.95%、96.00%和95.01%。     

基于分类矢量量化的图像压缩和检索算法

在小波变换域内,基于分类矢量量化对图像数据进行压缩。利用所形成缩数据的特点,构建不同的统计特征量用于支持图像检索,通过实验验证了算法的可行性和有效性。     

一种基于数据标准差的卷积神经网络量化方法

当前卷积神经网络模型存在规模过大且运算复杂的问题，难以应用部署在资源受限的计算平台.针对此问题，本文基于数据标准差提出了一种适合部署在现场可编程门阵列（Field Programmable Gate Array, FPGA）上的对数量化方法 .首先，依据FPGA的特性提出对数量化方法，将32 bit浮点乘法运算转换为整数乘法及移位运算，提高了运算效率.然后通过研究数据分布特点，提出基于数据标准差的输入量化及权值混合bit量化方法，能够有效减少量化损失.通过对RepVGG、EfficientNet等网络进行效率与精度对比实验，8 bit量化使得大型神经网络精度仅下降1%左右；输入量化为8 bit，权重量化为10 bit场景下，模型精度损失小于0.2%，达到浮点模型几乎相同的准确率.实验表明，所提量化方法能够使得模型大小减少75%左右，在基本保持原有模型准确率的同时有效地降低功耗损失、提高运算效率.