基于紧耦合时空双流卷积神经网络的人体动作识别模型

针对视频人体动作识别中动作信息利用率不高、时间信息关注度不足等问题,提出了一种基于紧耦合时空双流卷积神经网络的人体动作识别模型。首先,采用两个2D卷积神经网络分别提取视频中的空间特征和时间特征;然后,利用长短期记忆（LSTM）网络中的遗忘门模块在各采样片段之间建立特征层次的紧耦合连接以实现信息流的传递;接着,利用双向长短期记忆（Bi-LSTM）网络评估各采样片段的重要性并为其分配自适应权重;最后,结合时空双流特征以完成人体动作识别。在数据集UCF101和HMDB51上进行实验验证,该模型在这两个数据集上的准确率分别为94.2%和70.1%。实验结果表明,所提出的紧耦合时空双流卷积网络模型能够有效提高时间信息利用率和动作整体表达能力,由此明显提升人体动作识别的准确度。     

基于视频深度学习的时空双流人物动作识别模型

深度学习在人物动作识别方面已取得较好的成效,但当前仍然需要充分利用视频中人物的外形信息和运动信息。为利用视频中的空间信息和时间信息来识别人物行为动作,提出一种时空双流视频人物动作识别模型。该模型首先利用两个卷积神经网络分别抽取视频动作片段空间和时间特征,接着融合这两个卷积神经网络并提取中层时空特征,最后将提取的中层特征输入到3D卷积神经网络来完成视频中人物动作的识别。在数据集UCF101和HMDB51上,进行视频人物动作识别实验。实验结果表明,所提出的基于时空双流的3D卷积神经网络模型能够有效地识别视频人物动作。     

基于注意力机制的3D DenseNet人体动作识别方法

传统人体动作识别算法无法充分利用视频中人体动作的时空信息,且识别准确率较低。提出一种新的三维密集卷积网络人体动作识别方法。将双流网络作为基本框架,在空间网络中运用添加注意力机制的三维密集网络提取视频中动作的表观信息特征,结合时间网络对连续视频序列运动光流的运动信息进行特征提取,经过时空特征和分类层的融合后得到最终的动作识别结果。同时为更准确地提取特征并对时空网络之间的相互作用进行建模,在双流网络之间加入跨流连接对时空网络进行卷积层的特征融合。在UCF101和HMDB51数据集上的实验结果表明,该模型识别准确率分别为94.52%和69.64%,能够充分利用视频中的时空信息,并提取运动的关键信息。     

基于双流网络融合与时空卷积的人体行为识别

针对视频中存在噪音,无法更好地获取特征信息,造成动作识别不精准的问题.提出了一种基于时空卷积神经网络的人体行为识别网络.将长时段视频进行分段处理,分别把RGB图片和计算出的光流图输入到两个卷积神经网络(CNN)中,使用权重相加的融合算法将提取的时域特征和空域特征融合成时空特征.形成的中层语义信息输入到R(2+1)D的卷积中,利用ResNet提高网络性能,最后在softmax层进行行行为识别.在UCF-101和HMDB-51数据集上进行实验,获得了92.1％和66.1％的准确率.实验表明,提出的双流融合与时空卷积网络模型有助于视频行为识别的准确率提高.     

面向时空特征融合的GSTIN动作识别网络

视频动作识别是计算机视觉领域一个十分具有挑战性的课题,主要任务是利用深度学习等视频智能分析技术识别的深层信息推导出视频人体行为动作.通过结合双流卷积神经网络和三维卷积神经网络的结构特点,提出了一种面向时空特征融合的GSTIN(GoogLeNet based on spatio-temporal intergration network).GSTIN中设计了时空特征融合模块InBST(inception blend spatio-temporal feature),提升网络对空间特征与时间特征的利用能力;在时空特征融合模块InBST基础上,构建了适合动作识别的多流网络结构.GSTIN在动作识别数据集UCF101、HMDB51上识别精度分别达到了93.8％和70.6％,这表明GSTIN与其他动作识别网络相比具有较好的识别性能.     

基于深度学习的人体动作识别方法

对基于机器视觉的人体动作识别的成果进行研究,为提高视频数据集中人体动作的识别率,提出一种改进的深度网络模型。采用稠密光流方法处理数据,结合二维卷积神经网络(2DCNN)、三维卷积神经网络(3DCNN)和长短期记忆神经网络(LSTM)对动作特征进行提取,利用Softmax分类器识别分类。通过KTH数据集进行实验对比验证,分析结果表明,改进模型相比其它已有模型具有更高的识别率,动作识别效果更优。     

基于时空信息融合的人体行为识别研究

在视频理解任务中,人体行为识别是一个重要的研究内容,但视频序列中存在时空信息融合困难、准确率低等问题。针对这些问题,提出一种基于时空信息融合的双流时空残差卷积网络模型。将视频分段采样提取RGB图像和光流图像,并将其输入到双流时空残差网络,通过设计的时空残差模块提取视频的深度时空特征,将每个视频片段的类别结果加权融合得到行为类别。提出的双流时空残差模块引入了少量的三维卷积和混合注意力机制,能够同时获取不同尺度的时空信息并且抑制无效信息,可以有效平衡时空信息的捕捉和计算量问题,并且提升了精度。实验基于TSN网络模型,在UCF101数据集上进行验证,实验结果表明提出的模型比原TSN网络模型的精准度提高了0.9个百分点,有效地提高了网络的时空信息捕获效率。     

基于融合模型的人体行为识别方法

可穿戴设备的人体行为识别研究通常是提取传感器数据的特征值,然后结合分类算法识别人体行为动作。针对特征提取与分类器问题,提出一种融合模型的人体行为识别方法(HBRM)。首先将加速度传感器采集的数据转换为二维张量格式,然后结合卷积神经网络(CNN)提取张量的特征,同时考虑到人体行为动作在时间序列上前后具有较强的关联性,提出利用长短期记忆(LSTM)网络进行人体行为动作的识别。由于卷积神经网络在特征提取方面具有较好的性能,且长短期记忆模型擅长处理时间序列问题,因此将这两种模型进行融合理论上具有较好的效果。在WISDM数据集上进行实验,结果表明:该方法对六种人体行为动作的平均识别率达到了96.95%。     

3D CNNs与LSTMs在行为识别中的组合及其应用

基于机器视觉的人体运动识别在视频监控、虚拟现实、医疗护理等诸多领域发挥着重要的作用.结合深度学习中的三维卷积神经网络和长短期记忆神经网络,提出一种融合模型,并与另外两种行为识别模型——长效递归卷积网络和时空域卷积网络,进行了对比,利用公开的KTH数据集,进行了实验测试.实验表明,提出的融合模型与长效递归卷积网络和时空域卷积网络相比,对于人体行为图像或视频数据集的学习效果明显,论证了模型的泛化性能和鲁棒性.     

基于双流骨架信息的人体动作识别方法

针对当前基于二维图像的人体动作识别算法鲁棒性差、识别率不高等问题,提出了一种融合卷积神经网络和图卷积神经网络的双流人体动作识别算法,从人体骨架信息提取动作的时间与空间特征进行人体动作识别。首先,构建人体骨架信息时空图,利用引入注意机制的图卷积网络提取骨架信息的时间和空间特征;其次,构建骨架信息运动图,将卷积神经网络网络提取到骨架运动信息的特征作为时空图卷积网络所提取特征的时间和空间特征的补充;最后,将双流网络进行融合,形成基于双流的、注意力机制的人体动作识别算法。算法增强了骨架信息的表征能力,有效提高了人体动作的识别精度,在NTU-RGB+D60数据集上取得了比较好的结果,Cross-Subject和Cross-View的识别率分别为86.5%和93.5%,相比其他同类算法有一定的提高。     

基于时空异构双流卷积网络的行为识别

目前大多数基于双流卷积网络的行为识别方法采用同样的时空网络结构,双流合并时会产生大量的冗余信息,从而降低识别的精确度.对此提出一种基于双流网络的时空异构网络结构.该网络采用两种不同的时空网络结构对行为进行分类.此外,对视频序列的长时间结构采用分段形式进行建模,使整个行为视频的学习变得高效.在UCF101和HMDB51数...     

深度学习的双人交互行为识别与预测算法研究

基于卷积神经网络的双人交互行为识别算法存在提取的深度特征无法有效表征交互行为序列特性的问题,本文将长短期记忆网络与卷积神经网络模型相结合,提出了一种基于深度学习的双人交互行为识别与预测一体化方法。该方法在训练过程中,完成对卷积神经网络和长短期记忆网络模型的参数训练。在识别与预测过程中,将不同时间比例长度的未知动作类别的视频图像分别送入已经训练好的卷积神经网络模型提取深度特征,再将卷积神经网络提取的深度特征送入长短期记忆网络模型完成对双人交互行为的识别与预测。在国际公开的UT-interaction双人交互行为数据库进行测试的结果表明,该方法在保证计算量适当的同时对交互行为的正确识别率达到了92.31%,并且也可完成对未知动作的初步预测。     

基于多阶信息融合的行为识别方法研究

双流卷积神经网络能够获取视频局部空间和时间特征的一阶统计信息, 测试阶段将多个视频局部特征的分类器分数平均作为最终的预测. 但是, 一阶统计信息不能充分建模空间和时间特征分布, 测试阶段也未考虑使用多个视频局部特征之间的更高阶统计信息. 针对这两个问题, 本文提出一种基于二阶聚合的视频多阶信息融合方法. 首先, 通过建立二阶双流模型得到视频局部特征的二阶统计信息, 与一阶统计信息形成多阶信息. 其次, 将基于多阶信息的视频局部特征分别进行二阶聚合, 形成高阶视频全局表达. 最后, 采用两种策略融合该表达. 实验表明, 本文方法能够有效提高行为识别精度, 在HMDB51和UCF101数据集上的识别准确率比双流卷积神经网络分别提升了8 % 和2.1 %, 融合改进的密集点轨迹(Improved dense trajectory, IDT) 特征之后, 其性能进一步提升.     

基于改进的双向长短期记忆网络的视频摘要生成模型

针对传统视频摘要方法往往没有考虑时序信息以及提取的视频特征过于复杂、易出现过拟合现象的问题,提出一种基于改进的双向长短期记忆（BiLSTM）网络的视频摘要生成模型。首先,通过卷积神经网络（CNN）提取视频帧的深度特征,而且为了使生成的视频摘要更具多样性,采用BiLSTM网络将深度特征识别任务转换为视频帧的时序特征标注任务,让模型获得更多上下文信息;其次,考虑到生成的视频摘要应当具有代表性,因此通过融合最大池化在降低特征维度的同时突出关键信息以淡化冗余信息,使模型能够学习具有代表性的特征,而特征维度的降低也减少了全连接层需要的参数,避免了过拟合问题;最后,预测视频帧的重要性分数并转换为镜头分数,以此选取关键镜头生成视频摘要。实验结果表明,在标准数据集TvSum和SumMe上,改进后的视频摘要生成模型能提升生成视频摘要的准确性;而且它的F1-score值也比基于长短期记忆（LSTM）网络的视频摘要模型DPPLSTM在两个数据集上分别提高1.4和0.3个百分点。     

基于注意力机制的Bi-LSTM结合CRF的新闻命名实体识别及其情感分类

针对搜狐coreEntityEmotion_train语料核心实体识别和核心实体情感分析的任务,提出了基于注意力机制的长短期记忆神经网络结合条件随机场模型（AttBi-LSTM-CRF）。首先,对文本进行预训练,将每个字映射为维度相同的低维向量;然后,把这些向量输入到基于注意力机制的长短期记忆神经网络（AttBi-LSTM）中,以获取长远的上下文信息并集中注意力到与输出标签高度相关的信息上;最后,通过条件随机场（CRF）层获取整个序列的最优标签。将AttBi-LSTM-CRF模型与双向长短记忆神经网络（Bi-LSTM）、AttBi-LSTM和双向长短期记忆神经网络结合条件随机场（Bi-LSTM-CRF）模型进行对比实验。实验结果表明,AttBi-LSTM-CRF模型的准确率达到0.786,召回率达到0.756,F1值达到0.771,优于对比模型,验证了AttBi-LSTM-CRF性能的优越性。     

基于双流网络与支持向量机融合的人体行为识别

传统的双流卷积神经网络存在难以理解长动作信息的问题,并且当长时间流信息损失时,模型泛化能力降低.针对此问题,文中提出基于双流网络与支持向量机融合的人体行为识别方法.首先,提取视频中每帧RGB图像及其对应垂直方向的稠密光流序列图,得到视频中动作的空间信息和时间信息,分别输入空间域和时间域网络进行预训练,预训练完成后进行特征提取.然后,针对双流网络提取的维度相同的特征向量执行并联融合策略,提高特征向量的表征能力.最后,将融合后的特征向量输入线性支持向量机中进行训练及分类处理.在KTH、UCF sports数据集上的实验表明文中方法具有较好的分类效果.     

基于长短期记忆的车辆行为动态识别网络

高级辅助驾驶装置采用机器视觉技术实时处理摄录的行车前方车辆视频，动态识别并预估其姿态和行为。针对该类识别算法精度低、延迟大的问题，提出一种基于长短期记忆（LSTM）的车辆行为动态识别深度学习算法。首先，提取车辆行为视频中的关键帧；其次，引入双卷积网络并行对关键帧的特征信息进行分析，再利用LSTM网络对提取出的特性信息进行序列建模；最后，通过输出的预测得分判断出车辆行为类别。实验结果表明，所提算法识别准确率可达95.6%，对于单个视频的识别时间只要1.72 s；基于自建数据集，改进的双卷积算法相比普通卷积网络在准确率上提高8.02%，与传统车辆行为识别算法相比准确率提高6.36%。