共查询到17条相似文献,搜索用时 78 毫秒
1.
2.
非接触的手势识别是一种新型人机交互方式,在增强现实(AR)/虚拟现实(VR)、智能家居、智能医疗等方面有着广阔的应用前景,近年来成为一个研究热点。由于需要利用毫米波雷达进行更精确的微动手势识别,该文提出一种新型的基于MIMO毫米波雷达的微动手势识别方法。采用4片AWR1243雷达板级联而成的毫米波级联(MMWCAS)雷达采集手势回波,对手势回波进行时频分析,基于距离-多普勒(RD)图和3D点云检测出人手目标。通过数据预处理,提取手势目标的距离-时间谱图(RTM)、多普勒-时间谱图(DTM)、方位角-时间谱图(ATM)和俯仰角-时间谱图(ETM),更加全面地表征手势的运动特征,并形成混合特征谱图(FTM),对12种微动手势进行识别。设计了基于DenseNet和卷积注意力模块的手势识别网络,将混合特征谱图作为网络的输入,创新性地融合了卷积注意力模块(CBAM),实验表明,识别准确率达到99.03%,且该网络将注意力放在手势动作的前半段,实现了高精度的手势识别。 相似文献
3.
4.
由于动态手势数据具有时间复杂性以及空间复杂性,传统的机器学习算法难以提取准确的手势特征;现有的动态手势识别算法网络设计复杂、参数量大、手势特征提取不充分。为解决以上问题,该文提出一种基于卷积视觉自注意力模型(CvT)的多尺度时空特征融合网络。首先,将图片分类领域的CvT网络引入动态手势分类领域,用于提取单张手势图片的空间特征,将不同空间尺度的浅层特征与深层特征融合。其次,设计一种多时间尺度聚合模块,提取动态手势的时空特征,将CvT网络与多时间尺度聚合模块结合,抑制无效特征。最后为了弥补CvT网络中dropout层的不足,将R-Drop模型应用于多尺度时空特征融合网络。在Jester数据集上进行实验验证,与多种基于深度学习的动态手势识别方法进行对比,实验结果表明,该文方法在识别率上优于现有动态手势识别方法,在动态手势数据集Jester上识别率达到92.26%。 相似文献
5.
赵康黎向锋李高扬左敦稳 《微电子学与计算机》2022,(9):46-54
目前,基于卷积神经网络的动态手势识别方法取得了巨大的进展,但神经网络模型具有很大的参数量,计算成本和内存占用较大,很难应用在设备资源有限的场合.以减少计算量和参数量为出发点,提出了一种轻量级(2+1)D卷积结构.该结构在(2+1)D卷积结构的基础上,将其中的3D卷积替换为3D深度可分离卷积,在输出向量维度不变的前提下,进一步减少了(2+1)D卷积结构的计算量和参数量.为了弥补时空特征在表征动态手势上的不足,融合注意力机制模块,专注于对运动特征的提取,结合轻量级(2+1)D卷积结构提取的时空特征,可以更好地表征手势动作.实验结果表明,注意力机制模块的插入,在不增加太多额外计算和空间成本的前提下,进一步提高了模型的识别精度.基于以上结构构建的模型,在20BN-jester、EgoGesture和IsoGD数据集上分别取得了96.62%、91.83%和60.1%的识别精度,模型参数量和浮点计算量分别为5.05M和12.81GFLOPs,相比于其他手势识别模型,计算成本和内存占用大大减少,实时手势识别速度达到每秒70帧. 相似文献
6.
现有的视频行为识别方法在特征提取过程中,存在忽略各个特征之间相互作用关系的问题,对近似动作的区分效果不理想。因此,提出引入高阶注意力机制的人体行为识别方法。在深度卷积神经网络中引入高阶注意力模块,通过注意力机制建模和利用复杂和高阶的统计信息,对训练过程中特征图各个部分的权重进行重新分配,从而关注局部细粒度信息,产生有区别性的关注建议,捕获行为之间的细微差异。在UCF101和HMDB51这两个人体行为数据集上的实验结果表明,与现有方法相比,识别率得到了一定的提升,验证了所提出方法的有效性和鲁棒性,提高了对近似行为的辨别能力。 相似文献
7.
针对传统的分类方法由于提取的特征比较单一或者分类器结构过于简单,导致手语识别率较低的问题,本文将深度卷积神经网络架构作为分类器与多特征融合算法进行结合,通过使用纹理特征结合形状特征做到有效识别。首先纹理特征通过LBP、卷积神经网络和灰度共生矩阵方法得到,其中形状特征向量由Hu氏不变量和傅里叶级数组成。为了避免过拟合现象,使用"dropout"方法训练深度卷积神经网络。这种基于深度卷积神经网络的多特征融合的手语识别方法,在"hand"数据库中,对32种势的识别率为97.73%。相比一般的手语识别方法,此方法鲁棒性更强,并且识别率更高。 相似文献
8.
基于实现小样本数据集下手势识别的目的,采用了深度卷积神经网络GoogLeNet模型以及PNN神经网络进行分类,同时结合了迁移学习的方法将深度学习模型进行迁移而构建所用模型.用公共数据集Keck Gesture进行实验,通过对数据集图像进行简单的图像预处理,使得图像特征更为明显,将预处理后的图像作为网络输入进行手势识别实... 相似文献
9.
手势识别是人机交互,智能语义识别和远程人机 交流领域的热门研究课题。目前基于 视觉的手势识别问题仍是研究的难点,在多变背景下的手势姿态识别仍然存在较大问题。近 年来,随着深度神经网络技术的快速发展,利用网络自主学习的方法来提取手势姿态有关特 征得到了广泛关注。由于卷积神经网络具有较强的学习能力和个体特征的表达能力,本文针 对传统手势识别算法精度低,鲁棒性差的问题,提出了基于卷积神经网络的TensorFlow框架 下加入扁平卷积模块的FD-CNN网络手势识别算法。在预处理数据集后,基于FD-CNN网络的 手 势识别方法可以直接将预处理后的图像输入网络进行训练,最终输出测试结果的识别精度为 99.0%。与传统方法和经典卷积神经网络方法相比,本文方法提高了 网 络系统对样本数据的多样性和复杂性的有效识别,具有较高的识别率和较好的鲁棒性效果。 相似文献
10.
针对表面肌电信号(surface electromyography, sEMG)手势识别使用卷积神经网络(convolutional neural network, CNN)提取特征不够充分,且忽略时序信息而导致识别精度不高的问题,本文创新性地提出了一种融合双层注意力与多流卷积神经网络(multi-stream convolutional neural network, MS-CNN)的sEMG手势识别记忆网络模型。首先,利用滑动窗口生成的表面肌电图像作为该模型的输入;然后在MS-CNN中嵌入通道注意力层(channel attention module, CAM),弱化无关信息,使网络能够更加专注sEMG的有效特征;其次,通过长短期记忆网络(long short term memory network, LSTM)对输入的特征进行时序上的激励,关注更多sEMG的时序信息,让网络在时间维度上拥有更强的学习能力;最后,采用时序注意力(time-sequence attention, TSA)层对LSTM的状态进行关注,从而更好地学习重要肌肉信息,提高手势识别精度。在NinaPro数据集上... 相似文献
11.
3维卷积神经网络(3D CNN)与双流卷积神经网络(two-stream CNN)是视频中人体行为识别研究的常用架构,且各有优势。该文旨在研究结合两种架构且复杂度低、识别精度高的人体行为识别模型。具体地,该文提出基于通道剪枝的双流-非局部时空残差卷积神经网络(TPNLST-ResCNN),该网络采用双流架构,分别在时间流子网络和空间流子网络采用时空残差卷积神经网络(ST-ResCNN),并采用均值融合算法融合两个子网络的识别结果。进一步地,为了降低网络的复杂度,该文提出了针对时空残差卷积神经网络的通道剪枝方案,在实现模型压缩的同时,可基本保持模型的识别精度;为了使得压缩后网络能更好地学习到输入视频中人体行为变化的长距离时空依赖关系,提高网络的识别精度,该文提出在剪枝后网络的首个残差型时空卷积块前引入一个非局部模块。实验结果表明,该文提出的人体行为识别模型在公共数据集UCF101和HMDB51上的识别准确率分别为98.33%和74.63%。与现有方法相比,该文模型具有参数量小、识别精度高的优点。 相似文献
12.
关节点行为识别由于其不易受外观影响、能更好地避免噪声影响等优点备受国内外学者的关注,但是目前该领域的系统归纳综述较少。该文综述了基于深度学习的关节点行为识别方法,按照网络主体的不同将其划分为卷积神经网络(CNN)、循环神经网络(RNN)、图卷积网络和混合网络。卷积神经网络、循环神经网络、图卷积网络分别擅长处理的关节点数据表示方式是伪图像、向量序列、拓扑图。归纳总结了目前国内外常用的关节点行为识别数据集,探讨了关节点行为识别所面临的挑战以及未来研究方向,高精度前提下快速行为识别和实用化仍然需要继续推进。 相似文献
13.
14.
3维卷积神经网络(3D CNN)是近几年来深度学习研究中的热点,在计算机视觉领域取得了诸多成就。虽然研究多年且成果丰富,但目前仍缺少关于此内容全面、细致的综述。基于此,该文从以下几个方面对其进行综述:首先阐述3维卷积神经网络的基本原理和模型结构,接着从网络结构、网络内部和优化方法总结3维卷积神经网络的相关改进工作,然后对3维卷积神经网络在视频理解领域中的应用进行总结,最后总结全文内容并对未来发展方向进行展望。该文针对3维卷积神经网络的最新研究进展以及在视频理解领域中的应用进行了系统的综述,对3维卷积神经网络的研究发展具有一定的积极意义。 相似文献
15.
该文提出一种基于调频连续波(FMCW)雷达多维参数的卷积神经网络手势识别方法。通过对雷达信号进行时频分析,估计手势目标的距离、多普勒和角度参数,构建出手势动作的多维参数数据集。同时,为了进行手势特征提取和精确分类,提出多分支网络结构和高维特征融合的方案,设计出具有端到端结构的RDA-T多维参数卷积神经网络。实验结果表明,结合手势动作的距离、多普勒和角度信息进行多维参数学习,所提方法有效解决了单维参数手势识别方法中手势描述信息量低的问题,且手势识别准确率相较于单参数方法提高了5%~8%。
相似文献16.
17.
该文提出一种基于多通道调频连续波(FMCW)毫米波雷达的微动手势识别方法,并给出一种微动手势特征提取的最优雷达参数设计准则。通过对手部反射的雷达回波进行时频分析处理,估计目标的距离多普勒谱、距离谱、多普勒谱和水平方向角度谱。设计固定帧时间长度拼接的距离-多普勒-时间图特征,与距离-时间特征、多普勒-时间特征、水平方向角度-时间图特征和三者联合特征等,分别对7类微动手势进行表征。根据手势运动过程振幅和速度差异,进行手势特征捕获和对齐。利用仅有5层的轻量化卷积神经网络对微动手势特征进行分类。实验结果表明,相较其他特征,设计的距离-多普勒-时间图特征能够更为准确地表征微动手势,且对未经训练的测试对象具有更好的泛化能力。
相似文献