基于中间图特征提取的卷积网络双标准剪枝

卷积神经网络（CNN）在计算和存储上存在大量开销，为了使CNN能够在算力和存储能力较弱的嵌入式等端设备上进行部署和运行，提出一种基于中间图特征提取的卷积核双标准剪枝方法。在卷积层后插入中间图互信息特征提取框架，分析卷积核的特征提取能力，结合批量归一化层的缩放因子对卷积核的综合重要性进行评估，获取更为稀疏的CNN模型。针对全连接层存在大量冗余节点的问题，提出一种基于节点相似度与K-means++聚类的全连接层剪枝方法，聚类相似度较高的节点，并对剪枝后的连接层权重进行融合，在一定程度上弥补因剪枝所造成的精度损失。在CIFAR10和CIFAR100数据集上的实验结果表明，使用该剪枝方法对ResNet56网络进行剪枝，在损失0.19%分类精度的情况下能够剪掉48.2%的参数量以及46.7%的浮点运算量，对于VGG16网络，能够剪掉94.5%的参数量以及64.4%的浮点运算量，分类精度仅下降0.01%。与VCNNP、PF等剪枝方法相比，所提剪枝方法能够在保持模型准确率几乎不变的情况下，对CNN的参数量和计算量进行更大比例的裁剪。