深度神经网络的仿生矩阵约简与量化方法

基于生物学原理的深度神经网络（DNN）的发展给人工智能领域带来了革命性的突破，然而当前神经网络的发展却越来越脱离生物学原理，DNN越来越臃肿的模型对存储空间和计算力的需求越来越高，并且对于DNN在嵌入式/移动端设备上的部署带来了阻碍。针对这一问题，对生物学进化选择原理进行研究，并提出一种基于“进化”+“随机”+“选择”的全新神经网络算法。该方法在保持现有神经网络模型的基本框架的前提下，能极大简化现有模型的大小。首先对权值参数进行聚类，然后在参数的聚类质心值的基础上添加随机微扰进行参数重构，最后通过对重构模型进行图像分类和目标检测来实现准确度测试以及模型稳定性分析。在ImageNet数据集和COCO数据集上的实验结果表明，提出的模型重构方法在对图像分类和目标检测的测试准确度提升1%~3%的情况下，仍可将Darknet19、ResNet18、ResNet50以及YOLOv3等四种重构模型的体量压缩到原来的1/4~1/3，并还有进一步简化的可能。     

基于进化ResNet的交通标志识别

卷积神经网络具有较优的图像特征提取性能,被广泛应用于交通标志识别领域。然而,现有交通标志识别算法通常基于专家经验设计改进的图像特征提取网络,需经历图像预处理和模型调参过程,导致模型的复杂度增大。提出一种基于进化ResNet的交通标志识别算法。将ResNet的构建参数嵌入到进化算法中,在架构搜索空间中以构建块作为基本单位,并将网络深度、卷积层通道数、池化层类型和模块构建顺序作为搜索空间的可变参数,利用交叉、变异等遗传算子执行自适应优化搜索,以确保进化搜索的有效性,同时设计适用于交通标志识别的轻量化网络。在德国交通标志数据集上的实验结果表明,该算法的识别精度达到99.41%,而参数量仅为2.37×10⁶,相比Multi-column DNN、MFC、MFC+ELM等算法,在保证识别精度的同时减少网络参数量。     

基于SqueezeNet和FractalNet混合模型的图像分类研究

针对传统卷积神经网络(如Lenet5)在图像的多分类任务中识别率不高、较新的卷积神经网络(如VGG16)在图像的多分类任务中待优化的参数达到千万级别的问题。采用将SqueezeNet神经网络与FractalNet神经网络相结合的方法。本文使用SqueezeNet神经网络中的FireModule来减少模型的参数、FractalNet神经网络的基本架构来保证神经网络模型的准确度。结果显示:在其它超参数基本相同的前提下,迭代40代时,DenseNet模型的测试集准确度为79.92%,而混合模型的测试集准确度为84.56%,其待优化的参数降至二百万个左右,故混合模型对数据的拟合能力更强,模型参数保持较低水平。     

基于未知类语义约束自编码的零样本图像分类

为缓解传统零样本图像分类模型中存在的领域偏移问题,提出一种基于未知类语义约束自编码的零样本图像分类模型.首先,利用预训练的ResNet101网络提取所有已知类和未知类图像的视觉特征;其次,通过编码器将提取的图像深度视觉特征从视觉空间映射到语义空间;然后,通过解码器将映射后得到的语义向量重构为视觉特征向量,在语义自编码器的训练过程中,利用未知类图像的聚类视觉中心和未知类语义类原型的分布对齐施加约束,以缓解领域偏移问题;最后,基于经编码器预测得到的测试图像语义向量和各测试类语义类原型之间的相似性,采用最近邻算法实现零样本图像分类.在AwA2和CUB数据集上的实验结果表明,所提出模型具有较高的分类准确度.     

基于区域分解的快速卷积神经网络学习策略研究

为加快卷积神经网络的训练,该研究提出一种受区域分解方法启发的新型学习策略。将该方 法应用于残差网络(ResNet)进行图像分类时,使用 ResNet32 可获得最佳结果。进一步地,将 ResNet32 分成 4 个子网络,其中每个子网具有 0.47 M 参数,此为原始 ResNet32 的 1/16,从而简化了学习过程。 此外,由于可以并行训练子网络,因此在使用 CIFAR-10 数据集进行分类任务时,计算时间可以从 8.53 h (通过常规学习策略)减少到 5.65 h,分类准确性从 92.82％ 提高到 94.09％。CIFAR-100 和 Food-101 数 据集也实现了类似的改进。实验结果显示,所提出的学习策略可以大大减少计算时间,并提高分类的 准确性。这表明所提出的策略可以潜在地应用于训练带有大量参数的卷积神经网络。     

基于轻量级分组注意力模块的图像分类算法

针对图像分类任务中现有神经网络模型对分类对象特征表征能力不足,导致识别精度不高的问题,提出一种基于轻量级分组注意力模块（LGAM）的图像分类算法。该模块从输入特征图的通道和空间两个方向出发重构特征图：首先,将输入特征图沿通道方向进行分组并生成每个分组对应的通道注意力权重,同时采用阶梯型结构解决分组间信息不流通的问题;然后,基于各分组串联成的新特征图生成全局空间注意力权重,通过两种注意力权重加权得到重构特征图;最后,将重构特征图与输入特征图融合得到增强的特征图。以分类Top-1错误率作为评估指标,基于Cifar10和Cifar100数据集以及部分ImageNet2012数据集,对经LGAM增强之后的ResNet、Wide-ResNet、ResNeXt进行对比实验。实验结果表明,经LGAM增强之后的神经网络模型其Top-1错误率均低于增强之前1至2个百分点。因此LGAM能够提升现有神经网络模型的特征表征能力,从而提高图像分类的识别精度。     

CTM与SVM相结合的文本分类方法

研究一种相关主题模型(CTM)与支持向量机(SVM)相结合的文本分类方法。该方法用CTM对数据集建模以降低数据的维度,用SVM对简化后的文本数据进行分类。为使CTM模型能够较好地对数据集进行建模,在该方法中用DBSCAN聚类方法对数据进行聚类,根据聚类所得到的聚类中心点数目确定CTM模型的主题参数。实验结果表明,该方法可以加快分类速度并提高分类精度。     

基于深度神经网络二阶信息的结构化剪枝算法

现有结构化剪枝算法通常运用深度神经网络（DNN）的一阶或者零阶信息对通道进行剪枝,为利用二阶信息加快DNN网络模型收敛速度,借鉴HAWQ算法思想提出一种新的结构化剪枝算法。采用幂迭代法得到经过预训练的网络参数对应Hessian矩阵的主特征向量,据此向量衡量网络通道的重要性并进行通道剪枝,同时对剪枝后的网络参数进行微调提高DNN分类性能。实验结果表明,该算法在网络参数量和每秒浮点运算次数分别减少29.9%和34.6%的情况下,在ResNet110网络上的分类准确率提升了0.74%,剪枝效果优于PF、LCCL等经典剪枝算法。     

一种融合小波变换与卷积神经网络的高相似度图像识别与分类算法

针对特定领域高相似度图像识别与分类问题,提出融合小波变换与卷积神经网络的高相似度图像识别与分类算法。首先,利用小波变换提取图像纹理特征,对不同类别、不同分辨率图像集进行训练并确定最佳纹理差异度参数值;其次,根据纹理差异度运用小波分解方法对图像进行子图分解,提取各子图能量特征并进行归一化处理;接着,通过卷积神经网络5层卷积和3层池化交替,将输入图像特征向量转化为一维向量;最后,通过训练次数的增加以及数据量的增大,不断优化网络参数,提高在训练集中的分类准确度,在测试集中验证权值实际准确度,得到具有最高分类准确率的卷积神经网络模型。实验选取鸡蛋、苹果两类图像数据集作为实验数据,进行鸡蛋散养或圈养识别、苹果产地判定,实验结果表明：该算法平均鉴别准确率均达90%以上。     

非受限条件下的深度人脸年龄分类

针对非受限条件下人脸图像年龄分类准确度较低的问题,提出了一种基于深度残差网络（ResNets）和大数据集微调的非受限条件下人脸年龄分类方法。首先,选用深度残差网络作为基础卷积神经网络模型处理人脸年龄分类问题;其次,在ImageNet数据集上对深度残差网络预训练,学习基本图像特征的表达;然后,对大规模人脸年龄图像数据集IMDB-WIKI清洗,并建立了IMDB-WIKI-8数据集用于微调深度残差网络,实现一般物体图像到人脸年龄图像的迁移学习,使模型适应于年龄段的分布并提高网络学习能力;最后,在非受限人脸数据集Adience上对微调后的网络模型进行训练和测试,并采用交叉验证方法获取年龄分类准确度。通过34/50/101/152层残差网络对比可知,随着网络层数越深年龄分类准确度越高,并利用152层残差网络获得了Adience数据集上人脸图像年龄分类的最高准确度65.01%。实验结果表明,结合更深层残差网络和大数据集微调,能有效提高人脸图像年龄分类准确度。     

图像分类的深度卷积神经网络模型综述

图像分类是计算机视觉中的一项重要任务,传统的图像分类方法具有一定的局限性。随着人工智能技术的发展,深度学习技术越来越成熟,利用深度卷积神经网络对图像进行分类成为研究热点,图像分类的深度卷积神经网络结构越来越多样,其性能远远好于传统的图像分类方法。本文立足于图像分类的深度卷积神经网络模型结构,根据模型发展和模型优化的历程,将深度卷积神经网络分为经典深度卷积神经网络模型、注意力机制深度卷积神经网络模型、轻量级深度卷积神经网络模型和神经网络架构搜索模型等4类,并对各类深度卷积神经网络模型结构的构造方法和特点进行了全面综述,对各类分类模型的性能进行了对比与分析。虽然深度卷积神经网络模型的结构设计越来越精妙,模型优化的方法越来越强大,图像分类准确率在不断刷新的同时,模型的参数量也在逐渐降低,训练和推理速度不断加快。然而深度卷积神经网络模型仍有一定的局限性,本文给出了存在的问题和未来可能的研究方向,即深度卷积神经网络模型主要以有监督学习方式进行图像分类,受到数据集质量和规模的限制,无监督式学习和半监督学习方式的深度卷积神经网络模型将是未来的重点研究方向之一;深度卷积神经网络模型的速度和资源消耗仍不尽人意,应用于移动式设备具有一定的挑战性;模型的优化方法以及衡量模型优劣的度量方法有待深入研究;人工设计深度卷积神经网络结构耗时耗力,神经架构搜索方法将是未来深度卷积神经网络模型设计的发展方向。     

基于梯度的自适应阈值结构化剪枝算法

在边缘设备上运行深度神经网络模型并进行实时性分析,需要对网络模型进行压缩以减少模型参数量和计算量,但现有剪枝算法存在耗时长和模型压缩率低的问题。提出一种基于梯度设置不同阈值的结构化剪枝算法。对神经元进行细粒度评价,采用神经网络的梯度信息衡量权重的重要性,通过网格搜索和计算曲率的方式获取不同网络层的剪枝权重阈值,根据搜索后的剩余参数量确定不同网络层的卷积核中需要剔除的冗余参数。在此基础上,保留网络层中有效参数较多的卷积核,实现对卷积核个数的调整,进而重新训练以保证模型精度。分别对VGG16、ResNet50分类模型和SSD、Yolov4、MaskRCNN目标检测模型进行剪枝实验,结果表明,经该算法剪枝后,分类模型参数量减少92%以上,计算量减少70%以上,目标检测模型参数量减少75%以上,计算量减少57%以上,剪枝效果优于Rethinking、PF等算法。     

基于多尺度感受野融合的小目标检测算法

针对通用目标检测算法在检测小目标时检测精度低的问题,提出一种基于多尺度感受野融合的小目标检测算法S-RetinaNet。该算法采用残差神经网络（residual neural network,ResNet）提取出图像的特征,利用递归特征金字塔网络（recursive feature pyramid network,RFPN）对特征进行融合,通过多尺度感受野融合模块（multiscale receptive field fusion,MRFF）分别处理RFPN的三个输出,提升对小目标的检测能力。实验表明,相比改进前的RetinaNet算法,S-RetinaNet算法在PASCAL VOC数据集上的均值平均精度（mean average precision,mAP）和MS COCO数据集上的平均精度（average precision,AP）分别提高了2.3和1.6个百分点,其中小目标检测精度（average precision small,APS）更为显著,提升了2.7个百分点。     

小样本红外图像的样本扩增与目标检测算法

深度卷积神经网络模型在很多公开的可见光目标检测数据集上表现优异, 但是在红外目标检测领域, 目标 样本稀缺一直是制约检测识别精度的难题. 针对该问题, 本文提出了一种小样本红外图像的样本扩增与目标检测算 法. 采用基于注意力机制的生成对抗网络进行红外样本扩增, 生成一系列保留原始可见光图像关键区域的红外连 续图像, 并且使用空间注意力机制等方法进一步提升YOLOv3目标检测算法的识别精度. 在Grayscale-Thermal与 OSU Color-Thermal红外–可见光数据集上的实验结果表明, 本文算法使用的红外样本扩增技术有效提升了深度网 络模型对红外目标检测的精度, 与原始YOLOv3算法相比, 本文算法最高可提升近20%的平均精确率(mean average precision, mAP).     

融合整体与局部信息的武夷岩茶叶片分类方法

针对武夷岩茶鲜茶叶叶片图像分类问题,提出一种融合整体与局部信息的分类方法。该方法使用两分支并行结构构建了一个整体与局部信息融合的卷积神经网络模型。实验表明,在9个品种共计7330张武夷岩茶鲜茶叶叶片图像数据集上,基于ResNet18构造的两分支并行卷积神经网络模型的分类准确率为96.68%,超过了其他CNN模型的分类准确率。这表明通过融合全局信息、边缘形状信息和纹理局部信息能有效提高分类准确率。     

对抗彩色贴片：一种针对DNNs的对抗攻击手段

深度神经网络（deep neural networks,DNNs）在图像分类、分割、物体检测等计算机视觉应用方面表现出了先进的性能。然而,最近的研究进展表明,DNNs很容易受到输入数据的人工数字扰动（即对抗性攻击）的干扰。深度神经网络的分类准确率受到其训练数据集的数据分布的显著影响,而输入图像的颜色空间受到扭曲或扰动会产生分布不均匀的数据,这使深度神经网络更容易对它们进行错误分类。提出了一种简单且高效的攻击手段——对抗彩色贴片（AdvCS）,利用粒子群优化算法优化彩色贴片的物理参数,实现物理环境下的有效攻击。首先,提出了一个图片背景颜色变化的数据集,通过在ImageNet的一个子集上用27个不同的组合改变他们的RGB通道颜色,研究颜色变化对DNNs性能的影响。在提出的数据集上对几种最先进的DNNs架构进行了实验,结果显示颜色变化和分类准确率损失之间存在显著相关性。此外,基于ResNet 50架构,在提出的数据集上演示了最近提出的鲁棒训练技术和策略（如Augmix、Revisiting、Normalizer Free）的一些性能实验。实验结果表明,这些鲁棒训练技术可以提高深度神经网络对颜色变化的鲁棒性。然后,使用彩色半透明贴片作为物理扰动,利用粒子群优化算法优化其物理参数,将其置于摄像头上执行物理攻击,实验结果验证了提出的方法的有效性。     

引入概率分布的深度神经网络贪婪剪枝

目的 深度学习在自动驾驶环境感知中的应用,将极大提升感知系统的精度和可靠性,但是现有的深度学习神经网络模型因其计算量和存储资源的需求难以部署在计算资源有限的自动驾驶嵌入式平台上。因此为解决应用深度神经网络所需的庞大计算量与嵌入式平台有限的计算能力之间的矛盾,提出了一种基于权重的概率分布的贪婪网络剪枝方法,旨在减少网络模型中的冗余连接,提高模型的计算效率。方法 引入权重的概率分布,在训练过程中记录权重参数中较小值出现的概率。在剪枝阶段,依据训练过程中统计的权重概率分布进行增量剪枝和网络修复,改善了目前仅以权重大小为依据的剪枝策略。结果 经实验验证,在Cifar10数据集上,在各个剪枝率下本文方法相比动态网络剪枝策略的准确率更高。在ImageNet数据集上,此方法在较小精度损失的情况下,有效地将AlexNet、VGG（visual geometry group）16的参数数量分别压缩了5.9倍和11.4倍,且所需的训练迭代次数相对于动态网络剪枝策略更少。另外对于残差类型网络ResNet34和ResNet50也可以进行有效的压缩,其中对于ResNet50网络,在精度损失增加较小的情况下,相比目前最优的方法HRank实现了更大的压缩率（2.1倍）。结论 基于概率分布的贪婪剪枝策略解决了深度神经网络剪枝的不确定性问题,进一步提高了模型压缩后网络的稳定性,在实现压缩网络模型参数数量的同时保证了模型的准确率。