基于稀疏正则化的卷积神经网络模型剪枝方法

现有卷积神经网络模型剪枝方法仅依靠自身参数信息难以准确评估参数重要性,容易造成参数误剪且影响网络模型整体性能。提出一种改进的卷积神经网络模型剪枝方法,通过对卷积神经网络模型进行稀疏正则化训练,得到参数较稀疏的深度卷积神经网络模型,并结合卷积层和BN层的稀疏性进行结构化剪枝去除冗余滤波器。在CIFAR-10、CIFAR-100和SVHN数据集上的实验结果表明,该方法能有效压缩网络模型规模并降低计算复杂度,尤其在SVHN数据集上,压缩后的VGG-16网络模型在参数量和浮点运算量分别减少97.3%和91.2%的情况下,图像分类准确率仅损失了0.57个百分点。     

利用KL散度度量通道冗余度的深度神经网络剪枝方法

提出一种基于KL散度的结构化剪枝方法,用KL散度来衡量通道之间的差异性,并定义通道的重要因子,通过删减重要因子较小的通道来进行结构化剪枝.在CIFAR-10和CIFAR-100数据集上,对ResNet进行结构化剪枝,并对比几种较为先进的硬剪枝方法,发现KL散度能发掘出卷积层中的冗余通道,剪枝后精度可能不会下降太多,在减少10％～30％网络参数与浮点运算的情况下,甚至比原始网络准确率要高0.4到0.6百分点.     

融合弱层惩罚的卷积神经网络模型剪枝方法

深度卷积神经网络的存储和计算需求巨大,难以在一些资源受限的嵌入式设备上进行部署。为尽可能减少深度卷积神经网络模型在推理过程中的资源消耗,引入基于几何中值的卷积核重要性判断标准,提出一种融合弱层惩罚的结构化非均匀卷积神经网络模型剪枝方法。使用欧式距离计算各层卷积核间的信息距离,利用各卷积层信息距离的数据分布特征识别弱层,通过基于贡献度的归一化函数进行弱层惩罚,消除各层间的差异性。在全局层面评估卷积核重要性,利用全局掩码技术对所有卷积核实现动态剪枝。在CIFAR-10、CIFAR-100和SVHN数据集上的实验结果表明,与SFP、PFEC、FPGM和MIL剪枝方法相比,该方法剪枝得到的VGG16单分支、Resnet多分支、Mobilenet-v1轻量化网络模型在保证精度损失较小的情况下,有效地减少了模型参数量和浮点操作数。     

紧凑型深度卷积神经网络在图像识别中的应用

针对深度卷积神经网络的结构越来越复杂,参数规模过于庞大的问题,设计出一种新的紧凑型卷积神经网络结构Width-MixedNet和其多分支的基本模块Conv-mixed,该架构扩展了卷积神经网络的宽度。Convmixed利用分支结构使多个不同的卷积层处理同一个特征图,提取不同的特征。在深度卷积神经网络的识别任务中,使用多个小型卷积层叠加,逐层缩小特征图的方法代替全连接层进行最后的特征提取。整个Width-MixedNet架构的参数数量只有3.4×10~5,仅有传统深度卷积神经网络的1/30。分别在CIFAR-10、CIFAR-100和MNIST数据集上进行实验,准确率分别达到了93.02%、66.19%和99.59%。实验表明,Width-MixedNet有更强的学习能力和表现能力,在提高识别精度的同时,大大降低了网络的参数规模。     

基于轻量级特征融合卷积网络的图像分类算法

传统卷积神经网络存在卷积核单一、网络结构复杂和参数冗余的问题。提出一种轻量级特征融合卷积神经网络MS-FNet。在融合模块中采用多路结构以增加卷积神经网络的宽度,通过不同尺寸的卷积核对输入特征图进行处理,提高网络在同一层中提取不同特征的能力,并在每次卷积后采用批归一化、ReLU等方法去除冗余特征。此外,使用卷积层代替传统的全连接层,从而加快模型的训练速度,缓解因参数过多造成的过拟合现象。实验结果表明,MS-FNet可在降低错误率的同时,有效减少网络参数量。     

滤波器弹性的深度神经网络通道剪枝压缩方法

深度神经网络（deep neural network,DNN）在各个领域获得了巨大成功,由于其需要高额的计算和储存成本,难以直接将它们部署到资源受限的移动设备端。针对这个问题,对网络中的全局滤波器重要性评估进行了研究,提出滤波器弹性的通道剪枝压缩方法以轻量化神经网络的规模。该方法先设置层间局部动态阈值改进L1正则化（L1 lasso）稀疏训练中剪枝过度的不足;然后将其输出乘以通道缩放因子替换普通的卷积层模块,利用滤波器的弹性大小定义全局滤波器的重要性,其数值由泰勒公式估计得出并排序,同时设计新的滤波器迭代剪枝框架,以平衡剪枝性能和剪枝速度的矛盾;最后利用改进的L1正则化训练和全局滤波器重要性程度进行复合通道剪枝。在CIFAR-10上使用所提方法对VGG-16进行实验,减少了80.2%的浮点运算次数（FLOPs）和97.0%的参数量,而没有明显的准确性损失,表明了方法的有效性,能大规模地压缩神经网络,可部署于资源受限的终端设备。     

基于敏感度的YOLO网络集成剪枝算法

深层卷积神经网络所需的计算量和存储空间严重制约了其在资源有限平台上的应用与部署。针对基于单一参数重要性评价或者特征重建的剪枝算法泛化能力较差的问题,提出基于敏感度的集成剪枝算法,利用BN层的缩放因子稀疏YOLO网络中卷积核个数较多的冗余层,结合3种参数重要性评价方法对卷积核做重要性排序,并根据敏感度确定每一层的剪枝比率。实验结果表明,该剪枝算法对于YOLOv3和YOLOv3-tiny网络分别缩减80.5%和92.6%的参数量,并且相比基于网络轻量化方法的剪枝算法提升了网络模型压缩后的检测精度和泛化能力。     

交叉连接的少层残差卷积神经网络

最近的研究表明,卷积神经网络的性能可以通过采用跨层连接来提高,典型的残差网络(Res Net)便通过恒等映射方法取得了非常好的图像识别效果.但是通过理论分析,在残差模块中,跨层连接线的布局并没有达到最优设置,造成信息的冗余和层数的浪费,为了进一步提高卷积神经网络的性能,文章设计了两种新型的网络结构,分别命名为C-FnetO和C-FnetT,它们在残差模块的基础上进行优化并且具有更少的卷积层层数,同时通过在MNIST,CIFAR-10,CIFAR-100和SVHN公开数据集上的一系列对比实验表明,与最先进的卷积神经网络对比,C-FnetO和C-FnetT网络获得了相对更好的图像识别效果,其中C-FnetT网络的性能最佳,在四种数据集上均取得了最高的准确率.     

基于双角度并行剪枝的VGG 16优化方法

近年来,对卷积神经网络的轻量化工作更多的是根据滤波器的范数值来进行裁剪,范数值越小,裁剪之后对网络的影响就越小.这种思路充分利用了滤波器的数值特性,但也忽略了滤波器的结构特性.基于上述观点,文中尝试将凝聚层次聚类算法AHCF(Agglomerative Hierarchical Clustering Method for Filter)应用到VGG16上,并利用此算法的结果对滤波器进行冗余性分析和数值分析;然后,提出了双角度并行剪枝方法,从滤波器的数值角度和结构角度对滤波器同时进行裁剪.所提方法裁剪了VGG16网络的冗余滤波器,降低了网络的参数数量,在提高网络分类精度的同时,基本保留了原有网络的学习速率.在CIFAR10数据集上,所提方法的分类精度相比原始网络提高了0.71％;在MNIST上,所提方法基本和原始网络保持相近的分类精度.     

融合多维空洞卷积算子和多层次特征的深度网络检测算法

在基于深度网络的目标检测模型中,仅利用串行的卷积操作,模型会缺少描述网络不同层次的细节信息和特征图全局信息的能力,减弱小目标的检测能力,影响检测精度.基于残差网络结构,文中提出融合多维空洞卷积(MDC)算子和多层次特征的深度网络检测算法.首先设计MDC算子,卷积核具有5种不同的感受野,可获取8种不同语义的特征图,并引入串行网络的特征提取环节,构造特征层.再通过转置卷积操作实现检测层升维,用于级联不同层次的特征层,得到检测层并保证能在最大程度上保留目标的原始特征.最后使用非极大抑制完成检测算法的构建.实验表明,文中算法有效提高目标平均检测精度和小目标的检测能力.     

大数据下基于特征图的深度卷积神经网络

针对大数据环境下DCNN（deep convolutional neural network）算法中存在网络冗余参数过多、参数寻优能力不佳和并行效率低的问题,提出了大数据环境下基于特征图和并行计算熵的深度卷积神经网络算法MR-FPDCNN（deep convolutional neural network algorithm based on feature graph and parallel computing entropy using MapReduce）。该算法设计了基于泰勒损失的特征图剪枝策略FMPTL（feature map pruning based on Taylor loss）,预训练网络,获得压缩后的DCNN,有效减少了冗余参数,降低了DCNN训练的计算代价。提出了基于信息共享搜索策略ISS（information sharing strategy）的萤火虫优化算法IFAS（improved firefly algorithm based on ISS）,根据“IFAS”算法初始化DCNN参数,实现DCNN的并行化训练,提高网络的寻优能力。在Reduce阶段提出了基于并行计算熵的动态负载均衡策略DLBPCE（dynamic load balancing strategy based on parallel computing entropy）,获取全局训练结果,实现了数据的快速均匀分组,从而提高了集群的并行效率。实验结果表明,该算法不仅降低了DCNN在大数据环境下训练的计算代价,而且提高了并行系统的并行化性能。     

全卷积多并联残差神经网络

随着人工智能的火热发展,深度学习已经在很多领域占有了一席之地.作为深度学习中一个典型网络--残差神经网络模型自提出之日起就成为了众多研究者的关注点.然而,残差神经网络还有很大的改进空间.为了更好地解决反向传播中梯度减小的问题,本文提出了一种改进的残差神经网络,称为全卷积多并联残差神经网络.在该网络中,每一层的特征信息不仅传输到下一层还输出到最后的平均池化层.为了测试该网络的性能,分别在三个数据集(MNIST,CIFAR-10和CIFAR-100)上对比图像分类的结果.实验结果表明,改进后的全卷积多并联残差神经网络与残差网络相比具有更高的分类准确率和更好的泛化能力.     

基于灵敏度分析的FPGM剪枝算法研究

针对等比例剪枝导致的重要卷积层剪枝过度、残留大量冗余参数以及精度损失较大的问题,在FPGM剪枝策略基础上融入灵敏度分析进行网络剪枝。算法采用精度反馈来分析每一层卷积层的重要性,控制单层剪枝比例分析每一层不同剪枝比例对精度损失的影响,获取各个卷积层的灵敏度;结合FPGM策略分析卷积层内卷积核的重要程度按灵敏度的剪枝比例剪掉不重要的卷积核,达到对神经网络进行有效剪枝的目的。实验结果表明,所提方法在MobileNet-v1和ResNet50上剪枝率为50%的情况下,精确度仅下降1.56%和0.11%;所提方法在精度损失一致下,ResNet50上具有更高剪枝率和更低计算量。     

基于高低维度特征融合的双通道卷积神经网络

为了充分利用图像中所隐藏的特征信息,提出将低级维度特征融合在全连接层,构建出融合了高低级维度特征的双通道卷积神经网络。首先构建一个传统的双通道卷积神经网络,在两通道上设置不同大小的卷积核,将双通道的池化层分别连接到全连接层,同时将两通道卷积神经网络的第一池化层提取的特征也直接送到全连接层,使提取得到的初级和高级特征图在全连接层上进行融合,融合后的数据输入到Softmax分类器进行分类。不同算法在fashion-mnist和CIFAR-10数据库上的对比仿真结果表明,本文模型获得了较高的分类准确率。     

稀疏差分网络和多监督哈希用于高效图像检索

针对基于深度哈希的图像检索中卷积神经网络（CNN）特征提取效率较低和特征相关性利用不充分的问题,提出一种融合稀疏差分网络和多监督哈希的新方法SDNMSH（sparse difference networks and multi-supervised hashing）,并将其用于高效图像检索。SDNMSH以成对的图像作为训练输入,通过精心设计的稀疏差分卷积神经网络和一个监督哈希函数来指导哈希码学习。稀疏差分卷积神经网络由稀疏差分卷积层和普通卷积层组成。稀疏差分卷积层能够快速提取丰富的特征信息,从而实现整个网络的高效特征提取。同时,为了更加充分地利用语义信息和特征的成对相关性,以促进网络提取的特征信息能够更加有效地转换为具有区分性的哈希码、进而实现SDNMSH的高效图像检索,采用一种多监督哈希（MSH）函数,并为此设计了一个目标函数。在MNIST、CIFAR-10和NUS-WIDE三个广泛使用的数据集上进行了大量的对比实验,实验结果表明,与其他先进的深度哈希方法相比,SDNMSH取得了较好的检索性能。     

Bi-branch deconvolution-based convolutional neural network for image classification

With the rise of deep neural network, convolutional neural networks show superior performances on many different computer vision recognition tasks. The convolution is used as one of the most efficient ways for extracting the details features of an image, while the deconvolution is mostly used for semantic segmentation and significance detection to obtain the contour information of the image and rarely used for image classification. In this paper, we propose a novel network named bi-branch deconvolution-based convolutional neural network (BB-deconvNet), which is constructed by mainly stacking a proposed simple module named Zoom. The Zoom module has two branches to extract multi-scale features from the same feature map. Especially, the deconvolution is borrowed to one of the branches, which can provide distinct features differently from regular convolution through the zoom of learned feature maps. To verify the effectiveness of the proposed network, we conduct several experiments on three object classification benchmarks (CIFAR-10, CIFAR-100, SVHN). The BB-deconvNet shows encouraging performances compared with other state-of-the-art deep CNNs.     

端到端双通道特征重标定DenseNet图像分类

目的 针对密集连接卷积神经网络（DenseNet）没有充分考虑通道特征相关性以及层间特征相关性的缺点,本文结合软注意力机制提出了端到端双通道特征重标定密集连接卷积神经网络。方法 提出的网络同时实现了DenseNet网络的通道特征重标定与层间特征重标定。给出了DenseNet网络通道特征重标定与层间特征重标定方法;构建了端到端双通道特征重标定密集连接卷积神经网络,该网络每个卷积层的输出特征图经过两个通道分别完成通道特征重标定以及层间特征重标定,再进行两种重标定后特征图的融合。结果 为了验证本文方法在不同图像分类数据集上的有效性和适应性,在图像分类数据集CIFAR-10/100以及人脸年龄数据集MORPH、Adience上进行了实验,提高了图像分类准确率,并分析了模型的参数量、训练及测试时长,验证了本文方法的实用性。与DenseNet网络相比,40层及64层双通道特征重标定密集连接卷积神经网络DFR-DenseNet（dual feature reweight DenseNet）,在CIFAR-10数据集上,参数量仅分别增加1.87%、1.23%,错误率分别降低了12%、9.11%,在CIFAR-100数据集上,错误率分别降低了5.56%、5.41%;与121层DFR-DenseNet网络相比,在MORPH数据集上,平均绝对误差（MAE）值降低了7.33%,在Adience数据集上,年龄组估计准确率提高了2%;与多级特征重标定密集连接卷积神经网络MFR-DenseNet（multiple feature reweight DenseNet）相比,DFR-DenseNet网络参数量减少了一半,测试耗时约缩短为MFR-DenseNet的61%。结论 实验结果表明本文端到端双通道特征重标定密集连接卷积神经网络能够增强网络的学习能力,提高图像分类的准确率,并对不同图像分类数据集具有一定的适应性、实用性。     

基于YOLOv3的卷积层结构化剪枝

针对YOLOv3等卷积神经网络使用更多的卷积层结构且卷积核尺寸大小统一的特点,提出一种卷积层结构化剪枝计算的参数压缩方法。基于卷积层权值参数,设计度量卷积层重要性公式,评估卷积层相对整个网络重要性,计算卷积层重要度并对得分进行排序,制定稀疏值分配策略,再训练模型操作保证模型性能不降低,并得到各个卷积层分配的稀疏值以及卷积过滤器,完成模型的结构化剪枝计算。在Darknet上实现YOLOv3卷积层结构化剪枝的参数压缩方法,不仅将YOLOv3参数压缩1.5倍,且计算量减少了1.6倍。