Winograd快速卷积相关研究综述

卷积神经网络(CNN)已经被广泛应用到各个领域并发挥了重要作用.卷积算子是卷积神经网络的基础组件,同时也是最耗时的部分.近年来,研究者提出了包括基于FFT和Winograd的若干种快速卷积算法.其中Winograd卷积因大幅减少了卷积中乘法操作且占用内存更小而迅速成为小卷积核的卷积算子上快速卷积实现的首选.但目前相关工...     

卷积形态滤波与图像去噪

本文提出的卷积形态变换是一种新的形态变换形式,具有线性卷积的结构和形态变换的性质。这种新的形态变换以乘性结构元素为特征,它不同于具有加性结构元素的普通形态变换,对于它们的性质和结构的研究也是本文的主要工作之一。另一方面的工作是针对卷积形态核提出了一种结构化的自动生成算法。研究表明,卷积形态滤波与卷积积分变换一样,对于图像具有去噪和平滑作用,且在实验效果上具有较通常的形态滤波和线性卷积变换更优的去噪和平滑功能。     

基于多尺度残差网络的压缩感知重构算法

目前压缩感知系统利用少量测量值使用迭代优化算法重构图像.在重构过程中,迭代重构算法需要进行复杂的迭代运算和较长的重构时间.本文提出了多尺度残差网络结构,利用测量值通过网络重构出图像.网络中引入多尺度扩张卷积层用来提取图像中不同尺度的特征,利用这些特征信息重构高质量图像.最后,将网络的输出与测量值进行优化,使得重构图像在测量矩阵上的投影与测量值更加接近.实验结果表明,本文算法在重构质量和重构时间上均有明显优势.     

卷积神经网络在图像处理中的应用研究

近几年来,卷积神经网络被广泛应用于图像处理和目标检测等领域,并且取得了很多突破性的研究成果。本文介绍了卷积神经网络的基本原理和计算机中图像的存储,并介绍了卷积神经网络在黑白图像上进行模糊、锐化、边缘检测、浮雕效果、渐变效果等处理的应用。采用不同的卷积核对图像处理会有不同的影响,这对研究图像处理和识别有很重要的意义。     

深度非对称跳跃连接的图像降噪方法

图像降噪可有效地改善图像质量,提升感官效果,也是图像特征提取与理解的前提.针对目前比较流行的卷积神经网络降噪方法中顺序连接的卷积层-反卷积层会使图像在梯度反传过程中逐渐弱化图像噪声的学习问题,提出一种深度非对称跳跃连接的方法用于图像降噪.该方法设计多组非对称跳跃连接卷积-反卷积算子,以有效学习图像细节及噪声信息,并对不同深度的卷积操作进行权重量化,以加强图像降噪及恢复;通过非对称跳跃连接可使图像噪声信息能够直接反传到对应的多个卷积层中,对梯度扩散有良好的抑制作用.采用伯克利分割数据集BSD300进行实验的结果表明,文中算法比基准方法在结构相似性(SSIM)和峰值信噪比(PSNR)2种指标上都有提升.     

基于时序卷积网络的词级语言模型研究与应用

提出一种卷积神经网络——时序卷积神经网络.将该网络应用于语言模型,时序卷积神经网络的基本结构由输入层、扩大卷积层、因果卷积层、Relu层、Dropout层、输出层组成,将扩大卷积应用在语言模型中.实验结果表明,将语言模型的复杂度降到83.21,误差降到3.87,该网络同RNN比较复杂度下降14％、误差下降0.69,该网络同LSTM比较复杂度下降13％、误差下降0.4,综合复杂度、误差两个指标,时序卷积网络优于其它基准模型.     

基于线性卷积的圆周卷积快速算法

圆周卷积是数字信号处理中一个很重要的内容。本文针对线性卷积与圆周卷积运算进行讨论,分析了线性卷积与圆周卷积的相互关系。通过分析,发现利用线性卷积来计算有限长短序列的圆周卷积,可使运算极大的简化。     

基于双向时间深度卷积网络的中文文本情感分类

普通时间卷积网络对文本进行单向特征提取不能充分捕捉文本特征,对文本的分析能力较弱。提出一种基于双向时间卷积网络(Bi-TCN)的情感分析模型。模型使用单向多层空洞因果卷积结构分别对文本进行前向和后向特征提取,将两个方向的序列特征融合后进行情感分类。研究并分析模型中卷积层数、卷积核大小和空洞因子三个参数对情感分类结果的影响。实验证明,与单向时间卷积网络情感分析模型相比,双向时间卷积网络模型在四个中文情感分析数据集上的准确率分别提高了2.5%、0.25%、2.33%和2.5%。     

基于可变形卷积神经网络的手势识别方法

卷积神经网络本身具有丰富的特征表达能力和学习能力,但本质上,其模块中几何变换能力是固定的。因此,引入可变形卷积核来改进VGG16的网络结构,搭建名为DCVGG的卷积神经网络结构来进行手势识别的研究。在不同数据集下,基于可变形卷积神经网络的手势识别方法能够直接把RGB图像数据输入网络。最终输出的结果,对手势的平均识别率达到97%以上,有效提高网络的性能,提升卷积神经网络对样本对象的容忍度和多样性,丰富卷积神经网络的特征表达能力,与传统LeNet5、VGG16结构和传统人工特征提取算法相比效果更佳,比传统结构更深,鲁棒性更好,识别率更强,可以为复杂背景下有效识别手势提供参考,具有一定的延拓能力。     

降低参数规模的卷积神经网络模型压缩方法

针对卷积神经网络模型参数规模越来越大导致难以在计算与存储资源有限的嵌入式设备上大规模部署的问题,提出一种降低参数规模的卷积神经网络模型压缩方法。通过分析发现,卷积层参数量与输入输出特征图数量以及卷积核大小有关,而全连接层参数数量众多且难以大幅减少。通过分组卷积减少输入输出特征图数量,通过卷积拆分减小卷积核大小,同时采用全局平均池化层代替全连接层的方法来解决全连接层参数数量众多的问题。将上述方法应用于LeNet5和AlexNet进行实验,实验结果表明通过使用组合压缩方法对LeNet5模型进行最大压缩后,参数规模可减少97%,识别准确率降低了不到2个百分点,而压缩后的AlexNet模型参数规模可减少95%,识别准确率提高了6.72个百分点,在保证卷积神经网络精度的前提下,可大幅减少模型的参数量。     

卷积神经网络在心拍类识别中的应用

心电图（ECG）心拍分类对心脏疾病的临床诊断具有重要意义,但是ECG四类心拍间数据不平衡问题严重制约着心拍分类性能的提升。针对这一问题,以卷积神经网络（CNN）为基础,首先在组合四类心拍等量数据基础上构建用于表达噪声及四类心拍间共性信息的通用CNN模型,接着以通用CNN模型为基础分别在四类心拍数据上构建四个更为有效表达对应心拍类别倾向性信息的类别CNN模型,最后综合四个类别CNN模型的输出判别心拍类型。在MIT-BIH心电图数据库上的实验结果显示,该方法的平均灵敏度为99.68%、平均阳性检测率是98.58%、综合指标是99.12%,显著优于二级联合聚类法在MIT-BIH心电图数据库上的分类性能。     

MCC-SIMD数据并行卷积计算方法的研究

主要研究卷积计算的数据并行方法在MCC-SIMD计算机的设计和实现问题。在参考国内外现有资料的基础上，从图论的角度用卷积路径的方法对卷积计算的有关概念进行了严格的形式化定义；分析了4-连接卷积路径下数据并行卷积计算时处理元阵列的移动规律；在此基础上给出了数据并行卷积计算算法；最后对算法的计算复杂性和通信复杂性进行了简要分析。文中还对有关结论进行了证明。     

一种基于空洞卷积的遮挡目标检测方法

本文提出了一种基于两阶段目标检测的方法,该方法基于FasterR-CNN模型,以ResNet50为主干网络,利用特征金字塔网络融合多个特征层的上下文信息,并在后续特征图的处理过程中加入空洞卷积,以扩大特征图的感受野,增强对遮挡目标的检测。     

基于三维点云的卷积运算综述

随着深度相机、激光雷达等3D扫描设备的普及，用点云表示3D数据的方法越来越流行，对点云数据的分析与处理也引起了视觉研究领域的极大兴趣.一般来说，由于分布在3D几何空间中的点云是无序的，可以形成特定的结构，因此学习到的特征表示应该具备排列不变性、旋转和平移不变性、形状区分性.近年来，越来越多的研究人员基于点云的这些特性采用深度学习这一人工智能领域中的主流技术来处理分析点云数据.其中，卷积神经网络使用的卷积运算具备权重共享、局部聚合和变换不变等优点，减少了训练参数的个数，并具有较强的鲁棒性，可以有效地降低网络复杂度并提升网络性能，因此在各种2D视觉问题（如图像、视频）上的研究及应用已经相对成熟，这也引起了研究人员的高度关注并尝试将其引入到点云处理任务中.但传统的标准卷积运算往往无法直接作用于点云这种不规则数据上，一些研究人员进而对卷积运算及其卷积算子展开了深入的探索，并提出了多种卷积策略和网络以提高计算效率和算法性能.为了促进之后的研究，首先对现有点云研究中所使用的卷积方法进行了概述，包括基于投影的方法、基于体素的方法、基于晶格的方法、基于图的方法和基于点的方法.之后着重针对直接处理3D点...     

在反卷积网络中引入数值解可视化卷积神经网络

经典的反卷积可视化模型通过反池化、反激活、反卷积将特征图像还原至原图像空间,可视化网络节点从输入图像学习到的特征,有助于探究卷积神经网络运行良好的机制,但是由于采用近似处理,还原特征不明显。本研究引入数值求解方法来代替原模型中直接用卷积核的反转近似反卷积核的方法。先构造数据集:随机生成大小、形状、位置不一的结构简单、角点特征明显的三角形和矩形,用于组成层次结构逐渐复杂的数据集,并利用该数据集测试模型的可视化效果。实验表明,改进后的可视化模型提取的特征更明显,引入的噪音更少,可以更为精确地将激活网络节点从原图像学习的特征可视化。在更大的数据库上进行实验来验证结果,并利用这种结果进一步探究准确率与网络结构之间存在何种关系。     

基于无效卷积核权值回退的神经网络优化方法

在神经网络模型训练过程中,存在部分卷积核退化为无效卷积核,在神经网络推理过程失去作用的问题。针对该问题,提出了一种仅使用单个模型就能在训练过程中激活无效卷积核,提高模型性能的方法。首先将初始模型训练至收敛时刻;然后通过L1正则和卷积核相关性两种方式衡量卷积核的有效性;最后将无效卷积核的权值回退到模型训练的初期阶段并对模型进行重训练。在CIFAR-10、CIFAR-100等图像分类的数据集上的实验结果表明,无论是在残差网络还是在轻量级网络上,提出的方法都能有效地恢复无效卷积核,提高神经网络模型精度。相比之前的方法,该方法在低代价下达到了最佳效果,在图像分类任务上平均提高了0.93%的准确率。