基于3D双流卷积神经网络的异常行为检测

随着科技的不断发展,越来越多的人工智能技术应用于社会生活.依据这一现实,本文运用当前较为热门的图像处理技术进行能识别视频中异常行为并给出预测值的系统开发.首先,我们利用双流膨胀3D卷积网络(Two-Stream-I3D)特征提取技术对视频进行特征提取.其次,运用Python对特征进行处理,转化为深度学习网络所能识别的特...     

基于双流卷积神经网络的改进人体行为识别算法

近年来人体行为识别成为计算机视觉领域的一个研究热点,而卷积神经网络(Convolutional Neural Network,CNN)在图像分类和识别领域取得了重要突破,但是人体行为识别是基于视频分析的,视频包含空间域和时间域两部分的信息。针对基于视频的人体行为识别问题,提出一种改进的双流卷积神经网络(Two-Stream CNN)模型,对于空间域,将视频的单帧RGB图像作为输入,送入VGGNet_16模型;对于时间域,将多帧叠加后的光流图像作为输入,送入Flow_Net模型;最终将两个模型的Softmax输出加权融合作为输出结果,得到一个多模型融合的人体行为识别器。基于JHMDB公开数据库的实验,结果证明了改进的双流CNN在人体行为识别任务上的有效性。     

基于双流卷积神经网络的人体行为识别方法

时序行为检测是指在一段未分割的长视频中,检测出其中包含的若干行为片段的起止时间和类别.针对该项任务,提出基于双流卷积神经网络的行为检测模型.首先使用双流卷积神经网络提取视频的特征序列,然后使用TAG （Temporal Actionness Grouping）生成行为提议,为了构建高质量的行为提议,将行为提议送入边界回归网络中修正边界,使之更为贴近真实数据,再将行为提议扩展为含有上下文信息的三段式特征设计,最后使用多层感知机对行为进行识别.实验结果表明,本算法在THUMOS 2014数据集和ActivityNet v1.3数据集获得较好的识别率.     

结合Attention-ConvLSTM的双流卷积行为识别

针对传统方法在通过视频数据进行人体行为识别的过程中,无法准确分析长时间范围的运动信息,不能很好地利用运动信息中的局部特征和其空间关系.提出将基于注意力机制的卷积长短时记忆神经网络(Attention-ConvLSTM)与传统的双流卷积进行结合,实现了对视频数据中运动信息的非线性特征更好的学习,对局部显著特征及其空间关系...     

基于3D卷积神经网络的人体动作识别算法

由于人体动作的多样性、场景嘈杂、摄像机运动视角多变等特性,导致人体动作识别的难度增加。为此,基于3D卷积神经网络,提出一种新的人体动作识别算法。以连续的16帧视频为一组输入,采用视频图像的灰度、x方向梯度、y方向梯度、x方向光流、y方向光流做多通道处理,训练网络参数,经过5层3D卷积、5层3D池化增加提取特征中时间维度的动作信息,最终通过2层全连接与softmax分类器得到识别分类结果。在UCF101数据库上进行实验,结果表明,相比iDT、P-CNN、LRCN算法,该算法具有较高的识别准确率,且运行速度更快。     

多维度自适应3D卷积神经网络原子行为识别

针对现有的3D卷积神经网络（3D Convolutional Neural Networks,3DCNN）行为识别算法将输入视频分块划分为固定长度,其包含的行为信息可能冗余或不全的问题,提出了解决方案。利用人体运动质点轨迹的特性定义了人体原子行为;以原子行为的长度作为视频分块的长度进行视频划分,得到包含完整信息的人体行为。3DCNN要求输入数据必须是相同维度,而原子行为视频块长度不同。为此改进了空间金字塔池化（3D Spatial Pyramid Pooling,3D SPP）技术,以适用于不同长度视频处理。把SPP层放置在全连接层前,处理3DCNN卷积层输出的不同长度特征图,以输出相同长度特征向量。与相关算法相比,实验数据说明该算法对输入数据要求更低,由于视频分块信息的完整性,识别率有显著提高。     

混合神经网络模型在人体活动识别中的研究

针对人体活动识别问题与其在实际情况中的应用,综合考量卷积神经网络与作为循环神经网络变体的门控循环单元,设计能自动提取传感器数据特征和记忆时序性活动数据的CNN-GRU混合神经网络模型,并予以改良.使用该模型在公开的数据集上进行实验,较其他的模型效果更加理想.在人体活动识别的处理中,CNN-GRU模型能达到预期的高准确率.在数据集时序性依赖较强的情况下,CNN-GRU模型能拥有更好的准确度和稳定性.     

混合神经网络模型在人体活动识别中的研究

针对人体活动识别问题与其在实际情况中的应用,综合考量卷积神经网络与作为循环神经网络变体的门控循环单元,设计能自动提取传感器数据特征和记忆时序性活动数据的CNN-GRU混合神经网络模型,并予以改良.使用该模型在公开的数据集上进行实验,较其他的模型效果更加理想.在人体活动识别的处理中,CNN-GRU模型能达到预期的高准确率.在数据集时序性依赖较强的情况下,CNN-GRU模型能拥有更好的准确度和稳定性.     

面向视频中人体行为识别的复合型深度神经网络

在视频人体行为识别研究中三维卷积神经网络和双流卷积神经网络均存在不足.针对此种情况,文中提出结合双流网络架构和三维网络架构的复合型深度神经网络.在双流架构的时间流子网络和空间流子网络部分均采用改进的R(2+1)D卷积神经网络,分别从视频的RGB图像序列和光流图像序列中学习行为表示和分类方法,并融合时间流子网络、空间流子网络的分类结果.进一步地,在网络训练过程中,提出基于梯度中心化算法改进的带动量的随机梯度下降算法,在不改变网络结构的情况下提高网络的泛化性能.实验表明,文中网络在UCF101、HMDB51数据集上均获得较高的识别精度.     

卷积神经网络和布谷鸟搜索算法对人体行为识别的研究

该文对相关概念进行分析,并分别阐述卷积神经网络与布谷鸟搜素算法在人体行为识别中的应用.以未剪切长视频为例,提出三维卷积与循环神经网络相结合的方式,根据识别结果可知,与前人研究相比,识别准确率有显著提升,说明该方案科学可行,人体行为检测变得更加实用高效.     

基于双流网络融合与时空卷积的人体行为识别

针对视频中存在噪音,无法更好地获取特征信息,造成动作识别不精准的问题.提出了一种基于时空卷积神经网络的人体行为识别网络.将长时段视频进行分段处理,分别把RGB图片和计算出的光流图输入到两个卷积神经网络(CNN)中,使用权重相加的融合算法将提取的时域特征和空域特征融合成时空特征.形成的中层语义信息输入到R(2+1)D的卷积中,利用ResNet提高网络性能,最后在softmax层进行行行为识别.在UCF-101和HMDB-51数据集上进行实验,获得了92.1％和66.1％的准确率.实验表明,提出的双流融合与时空卷积网络模型有助于视频行为识别的准确率提高.     

基于3D卷积神经网络的动态手势识别模型

在不带有标志帧的手势视频上进行动态手势识别,容易导致识别准确率下降。提出一种具有分级网络结构的动态手势识别模型。以手势检测模型为第1级网络,手势分类模型为第2级网络,分步完成识别任务。同时,将三维卷积核拆分为时间域和空间域卷积分阶段完成任务,解决三维卷积神经网络中因参数过多造成模型训练或运行时间过长的问题。实验结果表明,在保证实时性的前提下,该模型在EgoGesture数据集上的识别准确率高达93.35%,优于C3D、ResNeXt101、MTUT等模型。     

基于3D卷积神经网络的动态手势识别

传统的2D卷积神经网络在进行视频识别时容易丢失目标在时间维度上的相关特征信息,导致识别准确率降低。针对该问题,本文采用3D卷积网络作为基本的网络框架,使用3D卷积核进行卷积操作提取视频中的时空特征,同时集成多个3D卷积神经网络模型对动态手势进行识别。为了提高模型的收敛速度和训练的稳定性,运用批量归一化（BN）技术优化网络,使优化后的网络训练时间缩短。实验结果表明,本文方法对于动态手势的识别具有较好的识别结果,在Sheffield Kinect Gesture (SKIG)数据集上识别准确率达到98.06%。与单独使用RGB信息、深度信息以及传统2D CNN相比,手势识别率均有所提高,验证了本文方法的可行性和有效性。     

基于时空异构双流卷积网络的行为识别

目前大多数基于双流卷积网络的行为识别方法采用同样的时空网络结构,双流合并时会产生大量的冗余信息,从而降低识别的精确度.对此提出一种基于双流网络的时空异构网络结构.该网络采用两种不同的时空网络结构对行为进行分类.此外,对视频序列的长时间结构采用分段形式进行建模,使整个行为视频的学习变得高效.在UCF101和HMDB51数...     

基于残差时空图卷积网络的3D人体行为识别

人体行为识别是智能监控、人机交互等诸多应用领域的一项基本技术。人体骨骼的动态变化为人体行为识别提供了重要的信息。传统方法通常只是采取人工信息标注或遍历规则,从而导致模型的表征能力有限、泛化性能差。采用一种引入了残差项的动态骨架模型——基于残差连接的时空图卷积网络,不仅克服了以往方法的限制,而且能够学习骨骼数据中的时空模型。在大型骨骼NTU-RGB+D数据集上,该网络模型不仅提高了人体行为特征的表征能力,而且增强了泛化能力,取得了比现有的模型更好的识别效果。     

动态多视角复杂3D人体行为数据库及行为识别

提供了一个较大规模的基于RGB-D摄像机的人体复杂行为数据库DMV (Dynamic and multi-view) action3D,从2个固定视角和一台移动机器人动态视角录制人体行为。数据库现有31个不同的行为类,包括日常行为、交互行为和异常行为类等三大类动作,收集了超过620个行为视频约60万帧彩色图像和深度图像,为机器人寻找最佳视角提供了可供验证的数据库。为验证数据集的可靠性和实用性,本文采取4种方法进行人体行为识别,分别是基于关节点信息特征、基于卷积神经网络（Convolutional neural networks,CNN)和条件随机场(Conditional random field,CRF)结合的CRFasRNN方法提取的彩色图像HOG3D特征,然后采用支持向量机(Support vector machine,SVM)方法进行了人体行为识别;基于3维卷积网络（C3D）和3D密集连接残差网络提取时空特征,通过softmax层以预测动作标签。实验结果表明：DMV action3D人体行为数据库由于场景多变、动作复杂等特点,识别的难度也大幅增大。DMV action3D数据集对于研究真实环境下的人体行为具有较大的优势,为服务机器人识别真实环境下的人体行为提供了一个较佳的资源。     

基于紧耦合时空双流卷积神经网络的人体动作识别模型

针对视频人体动作识别中动作信息利用率不高、时间信息关注度不足等问题，提出了一种基于紧耦合时空双流卷积神经网络的人体动作识别模型。首先，采用两个2D卷积神经网络分别提取视频中的空间特征和时间特征；然后，利用长短期记忆（LSTM）网络中的遗忘门模块在各采样片段之间建立特征层次的紧耦合连接以实现信息流的传递；接着，利用双向长短期记忆（Bi-LSTM）网络评估各采样片段的重要性并为其分配自适应权重；最后，结合时空双流特征以完成人体动作识别。在数据集UCF101和HMDB51上进行实验验证，该模型在这两个数据集上的准确率分别为94.2%和70.1%。实验结果表明，所提出的紧耦合时空双流卷积网络模型能够有效提高时间信息利用率和动作整体表达能力，由此明显提升人体动作识别的准确度。     

基于卷积神经网络的2D人体姿态估计综述

随着深度学习的快速发展,2D人体姿态估计作为其他计算机视觉任务的研究基础,其检测速度和精度对后续应用落地具有实际意义。对近年来基于卷积神经网络的2D人体姿态估计的方法进行梳理介绍,将现有方法分为人体检测关节点回归融合算法和人体关节点检测聚类算法,同时对当前的主流数据集及其评价准则进行总结,最后对2D人体姿态估计当前所面临的困难以及未来的发展趋势做以阐述,为姿态估计相关研究提供一些参考。