基于知识蒸馏的心律失常分类模型

近些年ECG心律失常自动分类技术发展迅速,使用深度神经网络对心律失常进行自动分类取得了较好的分类效果,但同时深度神经网络也有着计算量大、占用内存多等缺点,难以部署在资源受限的小型设备上.为了降低运用在ECG心律失常分类上的神经网络模型的参数量和计算量,并使模型保持较高的分类精度,提出一种基于知识蒸馏和注意力机制的轻量级...     

Anchor-free轻量级红外目标检测方法（特邀）

针对红外目标的特点,提出了一种anchor-free轻量级红外目标检测方法,提高了嵌入式平台对红外目标的检测能力。针对计算资源有限的平台,提出了一种新的轻量级卷积结构,引入非对称卷积增强标准卷积的特征表达能力,同时有效减少参数和计算量。设计并行多路特征通道,经过通道拼接生成丰富的特征,结合注意力模块和Channel Shuffle构建轻量级特征提取单元。增加SkipBranch促进浅层信息向高层传递,进一步丰富高层特征。在FLIR数据集进行实验验证,设计的轻量级网络结构精度为81.7% ,超过了 YOLOv4-tiny,但模型参数量减少了75.0%、计算量下降了71.1%,并且推理时间压缩了91.3%,能够满足嵌入式平台红外目标的实时检测需求。     

基于异构卷积的轻量级图像分类网络

目前大多数大型神经网络都存在参数量大、计算难度高等问题,想要在移动端设备使用,则会受到计算资源的限制.虽然现有轻量级网络出现解决了一定的计算量的问题,但同时其网络中大量使用1×1点卷积,使得其成为了现在轻量级网络的计算瓶颈.针对点卷积造成的计算瓶颈的问题,首先提出使用GhostModel来代替其中一部分点卷积,然后结合异构卷积对残差结构进行改进并提出ResHetModel_A、B两个改进的模块,使用改进模块构成轻量级网络HSNet.最后对注意力特征图进行分析,在网络加入注意力机制来提高网络表达.在CAFIR10和CAFIR100数据集上的分类实验证明网络的有效性.最后在ImageNet大型数据集上实验表明HSNet具有一定的泛化性.     

基于通道注意力机制的视频人体行为识别

本文针对人体行为识别模型中鉴别能力有限的问题,同时避免双流中计算光流的较大时间成本,提出基于通道注意力机制和三维卷积时空注意力模型的行为识别方法。首先,该卷积网络模型使用ResNeXt残差模块,利用三维卷积核有效地提取视频帧时空特征。然后,在此基础上给每个残差模块增加通道注意力机制学习不同特征图的权重,进而形成基于通道域的注意力权重,增强网络结构对人体行为的表征能力。最后,在UCF-101和HMDB-51数据集上,通过交叉熵损失函数训练不同网络深度的行为分类模型。实验结果表明,该模型可以有效提取视频中的时空特征,并在人体行为识别任务中有着较高效率和优秀的准确度。     

基于卷积网络通道注意力的人脸表情识别

针对目前人脸表情识别(Facial Expression Recognition,FER)方法准确率低、 模型大和识别时间长的问题,提出了一种基于卷积神经网络的通道注意力FER算法,在普通的卷积层中加入Xception网络中的可分离卷积网络,减少参数量和运算成本.在可分离卷积层的输出加入通道注意力Senet,实现对输出...     

基于L(2+1)D的养殖鱼类摄食状态下活跃程度识别方法

鱼类行为的活跃程度是鱼类行为研究中的关键指标,可为水产养殖过程提供有用的基础数据。然而现有的计算机视觉方法在活跃程度识别的应用中依赖于大量存储和计算资源,在实际场景中实用性较差。为了解决这些问题,提出一种鱼类摄食活动识别模型——L(2+1)D,将3D卷积分解为2D大空间卷积和1D时间卷积,使用少量的大型卷积核来增加感受野,实现更强大的特征提取效果。将空间卷积和时间卷积串联成用于时空特征学习的时空模块,并减少时空模块数量,达到减少参数数量的同时提高准确性的效果。实验结果表明,所提方法可以在实际水产养殖中准确识别鱼群的活跃程度,准确率可达到65.02%,并更适合部署在资源受限的设备或现场。     

基于时空图卷积网络的学生在线课堂行为识别

为了有效地识别学生在线课堂行为,提出了一种融合全局注意力机制和时空图卷积 网络的人体骨架行为识别模型。首先在时空图卷积网络的空间图卷积网络和时间卷积网络之 间加入全局注意力模块,空间图卷积网络输出的空间特征图作为注意力模块的输入。其次引 入按时间维度的平均池化和最大池化操作,以增加模型学习全局特征信息的能力。最后用三 个加入注意力机制的时空图卷积神经网络和类激活图(class activation map,CAM),构造对遮挡数据识别能力更强 的丰富激活图卷积网络(RA-GCNv2-A)模型,并通过迁移学习实现学生在线课堂行为识别功 能。 在NTU-RGB+D和NTU-RGB+D120数据集上进行实验验证,与RA-GCNv2模型相比,在NTU-RGB +D 和NTU-RGB+D120数据集上的识别准确率分别提高了(cross-subject,CS)1.3%、(cross-view,CV)1.2%和(cross-subject,CSub)1.6%、 (cross-setup,CSet)1.4%。实验结果表明,提出的方法是一种有效的学生在线课堂 行为识别方法。     

融合双流三维卷积和注意力机制的动态手势识别

得益于计算机硬件以及计算能力的进步,自然、简单的动态手势识别在人机交互方面备受关注。针对人机交互中对动态手势识别准确率的要求,该文提出一种融合双流3维卷积神经网络(I3D)和注意力机制(CBAM)的动态手势识别方法CBAM-I3D。并且改进了I3D网络模型的相关参数和结构,为了提高模型的收敛速度和稳定性,使用了批量归一化(BN)技术优化网络,使优化后网络的训练时间缩短。同时与多种双流3D卷积方法在开源中国手语数据集(CSL)上进行了实验对比,实验结果表明,该文所提方法能很好地识别动态手势,识别率达到了90.76%,高于其他动态手势识别方法,验证了所提方法的有效性和可行性。     

融合双流三维卷积和注意力机制的动态手势识别

得益于计算机硬件以及计算能力的进步,自然、简单的动态手势识别在人机交互方面备受关注。针对人机交互中对动态手势识别准确率的要求,该文提出一种融合双流3维卷积神经网络(I3D)和注意力机制(CBAM)的动态手势识别方法CBAM-I3D。并且改进了I3D网络模型的相关参数和结构,为了提高模型的收敛速度和稳定性,使用了批量归一化(BN)技术优化网络,使优化后网络的训练时间缩短。同时与多种双流3D卷积方法在开源中国手语数据集(CSL)上进行了实验对比,实验结果表明,该文所提方法能很好地识别动态手势,识别率达到了90.76%,高于其他动态手势识别方法,验证了所提方法的有效性和可行性。     

3D多支路聚合轻量网络视频行为识别算法研究

为构建拥有2D神经网络速度同时保持3D神经网络性能的视频行为识别模型,提出3D多支路聚合轻量网络行为识别算法.首先,利用分组卷积将神经网络分割成多个支路;其次,为促进支路间信息流动,加入具有信息聚合功能的多路复用模块;最后,引入自适应注意力机制,对通道与时空信息进行重定向.实验表明,本算法在UCF101数据集上的计算成本为11.5GFlops,准确率为96.2%;在HMDB51数据集上的计算成本为11.5GFlops,准确率为74.7%.与其他行为识别算法相比,提高了视频识别网络的效率,体现出一定识别速度和准确率优势.     

基于DenseNet和卷积注意力模块的高精度手势识别

非接触的手势识别是一种新型人机交互方式,在增强现实(AR)/虚拟现实(VR)、智能家居、智能医疗等方面有着广阔的应用前景,近年来成为一个研究热点。由于需要利用毫米波雷达进行更精确的微动手势识别,该文提出一种新型的基于MIMO毫米波雷达的微动手势识别方法。采用4片AWR1243雷达板级联而成的毫米波级联(MMWCAS)雷达采集手势回波,对手势回波进行时频分析,基于距离-多普勒(RD)图和3D点云检测出人手目标。通过数据预处理,提取手势目标的距离-时间谱图(RTM)、多普勒-时间谱图(DTM)、方位角-时间谱图(ATM)和俯仰角-时间谱图(ETM),更加全面地表征手势的运动特征,并形成混合特征谱图(FTM),对12种微动手势进行识别。设计了基于DenseNet和卷积注意力模块的手势识别网络,将混合特征谱图作为网络的输入,创新性地融合了卷积注意力模块(CBAM),实验表明,识别准确率达到99.03%,且该网络将注意力放在手势动作的前半段,实现了高精度的手势识别。     

结合时空注意力机制和自适应图卷积网络的骨架行为识别

针对骨架行为识别对时空特征提取不充分以及难以捕捉全局上下文信息的问题,研究了一种将时空注意力机制和自适应图卷积网络相结合的人体骨架行为识别方案。首先,构建基于非局部操作的时空注意力模块,辅助模型关注骨架序列中最具判别性的帧和区域;其次,利用高斯嵌入函数和轻量级卷积神经网络的特征学习能力,并考虑人体先验知识在不同时期的影响,构建自适应图卷积网络;最后,将自适应图卷积网络作为基本框架,并嵌入时空注意力模块,与关节信息、骨骼信息以及各自的运动信息构建双流融合模型。该算法在NTU RGB+D数据集的两种评价标准下分别达到了90.2%和96.2%的准确率,在大规模的数据集Kinetics上体现出模型的通用性,验证了该算法在提取时空特征和捕捉全局上下文信息上的优越性。      

基于3D U-Net的轻量级脑肿瘤分割网络北大核心CSCD

针对现有脑肿瘤核磁共振成像(magnetic resonance imaging, MRI)分割神经网络的参数量和计算量较大且对肿瘤区域小目标分割精度不高的问题,提出一种改进的轻量级脑肿瘤分割网络MF-RES2Net(multiple fiber residual-like networks)。该网络以3D U-Net为基础架构,将多纤模块(multi-fiber, MF)和类残差模块(RES2)相结合代替传统卷积模块。MF将特征图像的通道进行混合,增加了通道间信息的交流融合;RES2将通道均分,单通道的卷积结果相加到相邻通道,在扩大图像感受野的同时保留了细节特征,同时降低网络参数量。此外,为改善数据不平衡问题,提出一种改进的加权损失函数,提高了网络对小目标的分割精度。将MF-RES2Net在BRATS 2019数据集进行验证,完整肿瘤、核心肿瘤和增强肿瘤分割的平均Dice系数分别为89.98%、84.02%、77.62%,参数量和浮点数分别为3.16 M和16.24 G,结果表明:该网络在降低参数量和计算量的同时进一步提升了分割性能,有效地降低了网络运行时的设备要求。     

基于多尺度卷积神经网络模型的手势图像识别

为了解决目前利用CNN算法进行手势识别的精度不高的问题,提出一种新的算法。首先对识别的手势图片进行二值化处理,滤除手势的背景,凸显手势在图像中的权重,背景对手势识别影响降低。其次,在经典卷积神经网络模型AlexNet的基础上,提出一种多尺度卷积核的改进卷积神经网络模型。改进卷积神经网络模型采取两种卷积核进行手势特征提取,利用多尺度卷积核和双通道进行特征融合,然后利用在不同角度,不同旋转下拍摄的手势图像数据集对改进模型进行实验验证。研究结果表明,提出的算法模型在不同的角度和不同的旋转情况下对手势图像具有较高的识别率,算法的鲁棒性、识别率方面有了明显的提高。     

用于行为识别的通道可分离卷积神经网络

三维卷积神经网络比二维卷积神经网络具有更优越的时空特征提取能力,但运算量却显著增加。针对如何有效减少模型参数量、解决准确率随着计算复杂度降低而降低的问题,提出基于端到端的通道可分离卷积神经网络。通过分离通道交互作用和时空交互作用来分解三维卷积,其中分别利用3×3×3 Depthwise卷积和1×1×1常规卷积进行分离通道交互作用和时空交互作用。与传统三维卷积神经网络相比,通道可分离卷积神经网络加入模型正则化,通过降低训练精度同时提高测试精度,降低了模型的过度拟合。在UCF-101和HMDB-51数据集上的实验分别达到92.7%和64.5%的准确率。结果表明,通道可分离卷积神经网络可以提高准确率并降低计算复杂度。      

基于双流-非局部时空残差卷积神经网络的人体行为识别

3维卷积神经网络(3D CNN)与双流卷积神经网络(two-stream CNN)是视频中人体行为识别研究的常用架构,且各有优势。该文旨在研究结合两种架构且复杂度低、识别精度高的人体行为识别模型。具体地,该文提出基于通道剪枝的双流-非局部时空残差卷积神经网络(TPNLST-ResCNN),该网络采用双流架构,分别在时间流子网络和空间流子网络采用时空残差卷积神经网络(ST-ResCNN),并采用均值融合算法融合两个子网络的识别结果。进一步地,为了降低网络的复杂度,该文提出了针对时空残差卷积神经网络的通道剪枝方案,在实现模型压缩的同时,可基本保持模型的识别精度;为了使得压缩后网络能更好地学习到输入视频中人体行为变化的长距离时空依赖关系,提高网络的识别精度,该文提出在剪枝后网络的首个残差型时空卷积块前引入一个非局部模块。实验结果表明,该文提出的人体行为识别模型在公共数据集UCF101和HMDB51上的识别准确率分别为98.33%和74.63%。与现有方法相比,该文模型具有参数量小、识别精度高的优点。     

基于深度学习的驾驶员分心行为识别模型

针对VGG16网络识别驾驶员分心时参数量多、分类准确率低的问题,提出了一种基于多尺度通道的分类模块MCAM.分类模块MCAM包括MCM模块和MSE模块.MCM模块将卷积特征图分离为4个子特征图,使用不同的卷积核对4个子特征图进行空间信息提取,以期提高分类准确率;MSE模块为改进的通道注意力,其使用一维卷积来改进原始通道...     

基于卷积神经网络的手势识别

手势识别是人机交互,智能语义识别和远程人机 交流领域的热门研究课题。目前基于 视觉的手势识别问题仍是研究的难点,在多变背景下的手势姿态识别仍然存在较大问题。近 年来,随着深度神经网络技术的快速发展,利用网络自主学习的方法来提取手势姿态有关特 征得到了广泛关注。由于卷积神经网络具有较强的学习能力和个体特征的表达能力,本文针 对传统手势识别算法精度低,鲁棒性差的问题,提出了基于卷积神经网络的TensorFlow框架 下加入扁平卷积模块的FD-CNN网络手势识别算法。在预处理数据集后,基于FD-CNN网络的 手 势识别方法可以直接将预处理后的图像输入网络进行训练,最终输出测试结果的识别精度为 99.0％。与传统方法和经典卷积神经网络方法相比,本文方法提高了 网 络系统对样本数据的多样性和复杂性的有效识别,具有较高的识别率和较好的鲁棒性效果。     

面向细粒度图像识别的通道注意力多分支网络

细粒度图像识别研究的内容是大类下的子类别识别问题,其关键是找到图像中的关键区域并从中提取有效特征.针对现有方法在定位关键区域时无法兼顾准确性和计算量的问题,提出了一种引入高效通道注意力模块的多分支网络.首先,在递归注意力卷积神经网络的基础上引入通道注意力定位图像中目标的位置.然后,用深度超参数化卷积替换传统卷积操作,增加了网络可学习的参数.最后,用改进的注意力部件模块切割出多个图像关键区域部件,以捕捉丰富的局部信息.实验结果表明,本方法在弱监督情况下的识别效果较好,在两个常用细粒度数据集Stanford Cars、Food-101上的识别准确率分别为95.4％和90.6％.     

基于轻量级图卷积网络的校园暴力行为识别

针对卷积神经网络和图卷积网络的两类算法在校园暴力行为识别中识别速度和识别率不高的问题,本文提出一种结合多信息流数据融合和时空注意力机制的轻量级图卷积网络.以人体骨架为研究对象,首先融合关节点和骨架相关的多信息流数据,通过减少网络参数量来提高运算速度;其次构建基于非局部运算的时空注意力模块关注最具动作判别性的关节点,通过...