基于时空特征融合的交通警察手势识别

近年来,随着人体姿态估计技术的发展,基于骨架关键点的手势识别技术应运而生。提出了一个GCPMAGRU模型进行交通警察手势识别。为了更准确地定位人体关键点,对卷积姿态机（CPM）进行改进。在特征提取模块中加入残差思想、通道拆分和通道重组,设计后的特征提取模块更好提取图片特征;在CPM第一阶段加入并行多分支Inception4d结构,使CPM网络具有多尺度特征融合思想,有效改进对人体关键点定位的问题;提出基于注意力机制的GRU,通过为每帧分配不同权重来达到对每帧不同程度的关注,从而更好获取时间信息;结合时空特征信息进行交通警察手势识别。交通警察手势识别的准确度达到了93.7%,相比网络改进之前提高了2.95个百分点。     

基于多特征融合卷积的步态识别算法研究

针对GaitSet算法中主干网络学习能力和分类能力较弱,提出基于多特征融合卷积网络的步态识别算法(MFFC-GaitSet)。算法通过多特征融合卷积重建GaitSet网络增强网络学习能力,同时对三元组损失函数进行平滑优化;利用形态学处理对步态轮廓图进行修补。算法在Casia-B数据集上进行验证,步态识别精度达到85.811%,提高2.6%;模型权重仅增加6%。算法可以有效减少复杂环境对步态识别的负面影响,实现复杂环境下高精度的步态识别。实验结果表明,方法能够实现较为精确的步态识别,并具有较佳的鲁棒性和泛化能力。     

结合注意力卷积网络与分块特征的步态识别

目前深度学习算法已经广泛应用于步态识别领域,但是大多数现有方法通过卷积神经网络提取步态全局特征时,忽略了许多包含关键步态信息的局部特征,在一定程度上削弱了步态识别的精度和提升潜力.针对上述问题,提出了一种结合注意力卷积神经网络与分块特征的跨视角步态识别方法,该方法以步态轮廓图序列为输入,每帧图片分别经过相同结构的注意力...     

遮挡条件下的步态图像时空修复网络及其应用

目的 当前,基于视觉的步态识别方法多基于完整的步态序列图像。然而,现实场景拍摄下的行人难免被遮挡,以至于获取的步态图像不完整,对识别结果有很大影响。如何处理大面积遮挡是步态识别中一个具有挑战性且重要的问题。针对此,提出了一种步态时空序列重建网络（gait spatio-temporal reconstruction network,GSTRNet）,用于修复被遮挡的步态序列图像。方法 使用基于3D卷积神经网络和Transformer的GSTRNet来修复步态序列,在修复每一帧步态图像的空间信息的同时保持帧与帧之间的时空连贯性。GSTRNet通过引入YOLOv5(you only look once)网络来检测步态图像的局部遮挡区域,并将其作为先验知识为遮挡修复区域分配更高的修复权值,实现遮挡区域的局部修复,将局部修复步态图与原始遮挡图像进行融合,生成完整的修复步态图。同时,在GSTRNet中引入三元组特征损失和重建损失组成的联合损失函数来优化修复网络,提升修复效果。最终,以修复完整的步态序列图像为特征进行身份识别。结果 本文在大规模步态数据集OU＿MVLP(the OU-ISIR ga...     

一种基于循环时空深度神经网络的手势识别方法

针对表面肌电信号解码模型因缺乏时空信息等重要性表征,面临解码精度低、鲁棒性差等问题,提出了一种基于循环时空深度神经网络的手势识别模型,来提高挖掘表面肌电信号的表征能力。首先,设计多通道卷积神经网络,并融入双向循环神经网络来提取强判别力的时空特征信息。其次,采用通道注意力机制来捕捉时空特征中通道重要性信息,设计基于时空特征的注意力模块以进一步增强时空特征信息。同时,基于特征金字塔网络思想来设计多尺度特征融合模块,从多尺度、多角度获取多级特征信息,提高模型对肌电信号的解码能力。最后,将所提出的手势识别模型在大型手势识别数据库Ninapro上进行测试,结果表明所提方法能有效提高对表面肌电信号的表征挖掘能力,为人体手势动作识别的深度学习建模工作提供借鉴意义。     

融合宽残差和长短时记忆网络的动态手势识别研究

针对现有的动态手势识别方法对长时间序列的时空特征难以精确匹配的问题,提出了一种基于宽残差和双向长短时记忆网络的时空特征一致手势识别方法。首先使用已经训练好的3D卷积神经网络从视频的空间和时间维度同步提取出短时特征,再经双向空间长短时记忆网络同步解析后形成长时空特征连接单元,并作为残差网络的输入。为了验证算法的有效性,使用Kinect传感器构建了一个全新的多模式手势数据集,在三个手势识别公开数据集SLVM、Montalbano和SKIG上的实验表明,提出的方法有很好的性能表现,识别精度超越了目前已公开的最佳识别率。     

时空卷积注意力网络用于动作识别

在视频动作识别任务中,无论是在视频的空间维度还是时序维度,如何充分学习和利用特征之间相关性,对最终识别性能的影响非常大。卷积操作通过计算邻域内特征点之间的相关性获得局部特征,而自注意力机制通过所有特征点之间的信息交互学习到全局信息。单个卷积层不具备在全局视角上学习特征相关性的能力,即使是重复堆叠多层也只是获得了若干个更大的感受野。自注意力层虽然具有全局视角,但其关注的核心仅是不同特征点所表达的内容联系,忽略了局部的位置特性。为了解决以上问题,提出了一种时空卷积注意力网络用于动作识别。时空卷积注意力网络由空间卷积注意力网络和时序卷积注意力网络共同组成。空间卷积注意力网络使用自注意力方法捕捉空间维度的表观特征联系,用一维卷积提取动态信息。时序卷积注意力网络通过自注意力方法来获取时序维度上帧级特征间的关联信息,用2D卷积学习空间特征。时空卷积注意力网络集成两种网络的共同测试结果来提升模型识别性能。在HMDB51数据集上进行实验,以ResNet50为基线,引入时空卷积注意力模块后,神经网络的识别准确率在空间流和时序流上分别提升了6.25和5.13个百分点。与当前先进方法进行比较,时空卷积注意力...     

结合双流网络和金字塔映射的步态识别

目前,基于深度学习的步态识别方法虽然取得了一定的进展,但数据采集和步态外观的变化仍然是实现精确步态识别所面临的挑战。为了提高网络对时空步态信息的捕捉能力,提出了一种基于步态轮廓流和步态特征差分流的双流网络结构。步态轮廓流以步态轮廓图作为输入,用来提取步态序列中包含的空间步态信息;步态特征差分流则是以步态特征差分图作为输入,用来捕获相邻步态图之间的动态信息。同时,为了充分利用步态序列中的全局和局部信息,提出了多尺度金字塔映射（multi-scale pyramid mapping,MPM）模块,并插入到各单流网络中以增强网络对全局和局部步态信息的提取能力。所提方法在步态数据集CASIA-B和OU-MVLP上的平均识别精度分别达到了87.0%和85.5%,这表明双流网络架构和MPM模块可以有效地捕获步态序列中的时空步态信息。     

基于3D卷积神经网络的动态手势识别

传统的2D卷积神经网络在进行视频识别时容易丢失目标在时间维度上的相关特征信息,导致识别准确率降低。针对该问题,本文采用3D卷积网络作为基本的网络框架,使用3D卷积核进行卷积操作提取视频中的时空特征,同时集成多个3D卷积神经网络模型对动态手势进行识别。为了提高模型的收敛速度和训练的稳定性,运用批量归一化（BN）技术优化网络,使优化后的网络训练时间缩短。实验结果表明,本文方法对于动态手势的识别具有较好的识别结果,在Sheffield Kinect Gesture (SKIG)数据集上识别准确率达到98.06%。与单独使用RGB信息、深度信息以及传统2D CNN相比,手势识别率均有所提高,验证了本文方法的可行性和有效性。     

基于足底压力分布时空HOG特征的步态识别方法

提出一种基于足底压力分布时空HOG的步态识别算法,在特征层对足底压力的时间域和空间域信息进行融合。首先寻找足底总压力时间曲线上的极大值和极小值等几个特征点,利用这几个特征点所对应时刻的足底压力分布来构建时空HOG特征向量,最后采用SVM进行步态识别。采集不同行走速度下30人的单步足底压力分布数据进行实验,在不区分样本速度的情况下,该方法的识别率为93。5%。实验结果表明足底压力分布时空HOG特征能较好地刻画步态动力学特征,且具有良好的速度适应性。     

基于手势特征融合的操作动作识别

针对动态复杂场景下的操作动作识别,提出一种基于手势特征融合的动作识别框架,该框架主要包含RGB视频特征提取模块、手势特征提取模块与动作分类模块。其中RGB视频特征提取模块主要使用I3D网络提取RGB视频的时间和空间特征;手势特征提取模块利用Mask R-CNN网络提取操作者手势特征;动作分类模块融合上述特征,并输入到分类器中进行分类。在EPIC-Kitchens数据集上,提出的方法识别抓取手势的准确性高达89.63%,识别综合动作的准确度达到了74.67%。     

基于骨架的快速手势识别模型

对于手势识别来说, 骨架数据是一种紧凑且对环境条件稳健的数据模态. 最近基于骨架的手势识别研究多使用深度神经网络去提取空间和时间的信息, 然而这些方法可能存在复杂的计算和大量的模型参数的问题. 为了解决这个问题, 我们提出一种轻量高效的手势识别模型. 该模型使用从骨架序列上计算出的两种空间几何特征, 以及自动学习的运动轨迹特征, 然后只使用卷积网络作为骨干网络实现手势分类. 最终我们的模型参数量最少情况下仅为0.16 M, 计算复杂度最大情况为0.03 GFLOPs. 我们在公开的两个数据集上评估了我们的方法, 与其他输入为骨架模态的方法相比, 我们的方法取得了相应数据集上最好的结果.     

一种复合型手势识别方法研究

针对已有卷积神经网络在手势识别过程中精度不高的问题,提出了一种双通道卷积神经网络的特征融合与动态衰减学习率相结合的复合型手势识别方法。通过两个相互独立的通道进行手势图像的特征提取,首先使用SENet（Squeeze-and-Excitation Networks）构成的第一通道提取全局特征,然后使用RBNet（Residual Block Networks）构成的第二通道提取局部特征,并将全局特征和局部特征进行通道维度上的融合。同时,利用动态衰减的学习率训练双通道网络模型。与其他卷积神经网络模型的对比实验结果表明,提出的复合型手势识别方法的手势识别率高,参数数量少,适用于不同手势图像数据集的识别。     

基于多特征加权融合的静态手势识别

针对人工提取特征的单一性及卷积神经网络提取特征的遗漏性问题,提出了一种基于多特征加权融合的静态手势识别方法.首先,提取分割后的手势图像的傅里叶和Hu矩等形状特征,将两者融合作为手势图像的局部特征;设计双通道卷积神经网络提取手势图像的深层次特征,采用主成分分析方法对提取的特征进行降维;然后,将提取的局部特征和深层次特征进行加权融合作为手势识别的有效特征描述;最后,使用Softmax分类器进行手势图像分类.实验结果验证了提出方法的有效性,在手势图像数据集上的识别准确率达到了99%以上.     

基于注意力机制的3D DenseNet人体动作识别方法

传统人体动作识别算法无法充分利用视频中人体动作的时空信息,且识别准确率较低。提出一种新的三维密集卷积网络人体动作识别方法。将双流网络作为基本框架,在空间网络中运用添加注意力机制的三维密集网络提取视频中动作的表观信息特征,结合时间网络对连续视频序列运动光流的运动信息进行特征提取,经过时空特征和分类层的融合后得到最终的动作识别结果。同时为更准确地提取特征并对时空网络之间的相互作用进行建模,在双流网络之间加入跨流连接对时空网络进行卷积层的特征融合。在UCF101和HMDB51数据集上的实验结果表明,该模型识别准确率分别为94.52%和69.64%,能够充分利用视频中的时空信息,并提取运动的关键信息。     

基于残差双注意力与跨级特征融合模块的静态手势识别

为解决卷积神经网络提取特征遗漏、手势多特征提取不充分问题, 本文提出基于残差双注意力与跨级特征融合模块的静态手势识别方法. 设计了一种残差双注意力模块, 该模块对ResNet50网络提取的低层特征进行增强, 能够有效学习关键信息并更新权重, 提高对高层特征的注意力, 然后由跨级特征融合模块对不同阶段的高低层特征进行融合, 丰富高级特征图中不同层级之间的语义和位置信息, 最后使用全连接层的Softmax分类器对手势图像进行分类识别. 本文在ASL美国手语数据集上进行实验, 平均准确率为99.68%, 相比基础ResNet50网络准确率提升2.52%. 结果验证本文方法能充分提取与复用手势特征, 有效提高手势图像的识别精度.     

多特征融合的行为识别模型

目的 视频行为识别和理解是智能监控、人机交互和虚拟现实等诸多应用中的一项基础技术,由于视频时空结构的复杂性,以及视频内容的多样性,当前行为识别仍面临如何高效提取视频的时域表示、如何高效提取视频特征并在时间轴上建模的难点问题。针对这些难点,提出了一种多特征融合的行为识别模型。方法 首先,提取视频中高频信息和低频信息,采用本文提出的两帧融合算法和三帧融合算法压缩原始数据,保留原始视频绝大多数信息,增强原始数据集,更好地表达原始行为信息。其次,设计双路特征提取网络,一路将融合数据正向输入网络提取细节特征,另一路将融合数据逆向输入网络提取整体特征,接着将两路特征加权融合,每一路特征提取网络均使用通用视频描述符——3D ConvNets （3D convolutional neural networks）结构。然后,采用BiConvLSTM （bidirectional convolutional long short-term memory network）网络对融合特征进一步提取局部信息并在时间轴上建模,解决视频序列中某些行为间隔相对较长的问题。最后,利用Softmax最大化似然函数分类行为动作。结果 为了验证本文算法的有效性,在公开的行为识别数据集UCF101和HMDB51上,采用5折交叉验证的方式进行整体测试与分析,然后针对每类行为动作进行比较统计。结果表明,本文算法在两个验证集上的平均准确率分别为96.47%和80.03%。结论 通过与目前主流行为识别模型比较,本文提出的多特征模型获得了最高的识别精度,具有通用、紧凑、简单和高效的特点。     

基于Leap Motion的动态手势识别

动态手势识别作为人机交互的一个重要方向，在各个领域具有广泛的需求。相较于静态手势，动态手势的变化更为复杂，对其特征的充分提取与描述是准确识别动态手势的关键。为了解决对动态手势特征描述不充分的问题，利用高精度的Leap Motion传感器对手部三维坐标信息进行采集，提出了一种包含手指姿势和手掌位移的特征在内的、能够充分描述复杂动态手势的特征序列，并结合长短期记忆网络模型进行动态手势识别。实验结果表明，提出的方法在包含16种动态手势的数据集上的识别准确率为98.50%；与其他特征序列的对比实验表明，提出的特征序列，能更充分准确地描述动态手势特征。