基于双流独立循环神经网络的人体行为识别

提出了一种基于双流独立循环神经网络的人体行为识别方法.该方法结合人体行为的骨架时间结构和空间结构构建双通道神经网络.对于时间通道,根据人体运动学原理设计结合分层网络和堆叠网络的神经网络结构.对于空间通道,将原始骨架经过视角不变三维坐标变换,并把骨架坐标转换为坐标向量,有效克服人体体型和视角等差异带来的影响,以增强骨架空...     

基于双流特征融合的FMCW雷达人体连续动作识别

本文提出了一种基于双流特征融合的FMCW雷达人体连续动作识别方法。首先对人体动作雷达回波信号进行预处理得到距离时间域图与微多普勒时频谱图,之后分别对两个不同维度的图像进行主成分分析提取对应特征并选取相同时间段的主成分分析结果进行融合得到双流融合特征,最后将双流融合特征输入到Bi-LSTM网络中训练与测试,网络对每个时间段的输入特征产生与之对应的动作类别输出从而实现连续人体动作识别。实验结果表明,当采用双流融合特征作为Bi-LSTM网络的输入时平均识别准确率要高于只采用距离时间特征或微多普勒特征作为网络输入时的平均识别准确率。     

基于残差独立循环神经网络的空间增强人体骨架行为识别

为解决循环神经网络缺乏空间信息且在训练中易出现的梯度消失和爆炸的问题,提出了一种增强空间尺度特征的残差独立循环神经网络人体骨架行为识别算法。研究了人体骨架的空间表达能力增强方法,将原始骨架关节三维坐标转移到人体坐标系后进行尺度变换,进而输入到改进的残差独立循环神经网络对人体骨架序列行为进行识别。改进后的人体骨架能有效缓解人体骨架大小、形状,摄像机的位置等差异带来的影响,提高模型的鲁棒性。残差独立循环神经网络具有独立的神经元,通过约束递归权值解决了梯度问题,具有较好的性能。在NTU RGB+D数据集上取得跨受试者80.1%的识别率,结果证实该算法的有效性。     

基于循环神经网络的人体异常行为识别模型

传统识别模型在进行人体异常行为识别时,无法准确地定位到识别目标的IP地址与目标源.针对此问题,设计了一种基于循环神经网络的人体异常行为识别模型.根据人体异常行为在循环神经网络中的传播方式,计算人体规律性异常行为、重复性异常行为在网络中占用的流量,并通过Lex.net技术提取网络规则,对比人体行为执行规则与循环神经网络规则,描述人体异常行为网络执行规则;同时,引进CNN标记方式,对异常信息进行标记,引入卷积神经网络标记异常信息,将标记结果按照高语义特征与低语义特征,以此实现对行为的有效识别.实验证明,本文设计的识别模型,可以在有限时间内输出所有人体异常行为,并能在完成对异常行为的识别后,追踪到行为对应的目标个体.     

基于语义特征立方体切片的人体动作识别

基于深度学习的人体动作识别近几年取得了良好的识别效果,尤其是二维卷积神经网络可以较充分的学习人体动作的空间特征,但在捕获长时间的运动信息上仍存在问题。针对此问题,提出了基于语义特征立方体切片的人体动作识别模型来联合地学习动作的表观和运动特征。该模型在时序分割网络(Temporal Segment Networks,TSN)的基础上,选取InceptionV4作为骨干网络提取人体动作的表观特征,将得到的三维特征图立方体分为二维的空间上和时间上的特征图切片。另外设计一个时空特征融合模块协同的学习多维度切片的权重分配,从而得到人体动作的时空特征,由此实现了网络的端到端训练。与TSN模型相比,该模型在UCF101和 HMDB51数据集上的准确率均有所提升。实验结果表明,该模型在不显著增加网络参数量的前提下,能够捕获更丰富的运动信息,使人体动作的识别结果提高。      

基于特征融合卷积神经网络的FMCW雷达人体动作识别

针对微多普勒特征识别人体动作的局限性,基于调频连续波( Frequency Modulated Continuous Wave,FMCW)雷达采用深度学习方法对人体动作识别,提出了一种特征融合卷积神经网络结构.利用FMCW雷达采样的人体动作回波数据分别构建出时间-距离特征和微多普勒特征图,将这两种特征图作为输入数据分别...     

基于双流-非局部时空残差卷积神经网络的人体行为识别

3维卷积神经网络(3D CNN)与双流卷积神经网络(two-stream CNN)是视频中人体行为识别研究的常用架构,且各有优势。该文旨在研究结合两种架构且复杂度低、识别精度高的人体行为识别模型。具体地,该文提出基于通道剪枝的双流-非局部时空残差卷积神经网络(TPNLST-ResCNN),该网络采用双流架构,分别在时间流子网络和空间流子网络采用时空残差卷积神经网络(ST-ResCNN),并采用均值融合算法融合两个子网络的识别结果。进一步地,为了降低网络的复杂度,该文提出了针对时空残差卷积神经网络的通道剪枝方案,在实现模型压缩的同时,可基本保持模型的识别精度;为了使得压缩后网络能更好地学习到输入视频中人体行为变化的长距离时空依赖关系,提高网络的识别精度,该文提出在剪枝后网络的首个残差型时空卷积块前引入一个非局部模块。实验结果表明,该文提出的人体行为识别模型在公共数据集UCF101和HMDB51上的识别准确率分别为98.33%和74.63%。与现有方法相比,该文模型具有参数量小、识别精度高的优点。     

结合LSTM的双流卷积人体行为识别

为了更好地获取视频中连续帧之间的时间信息,提出一种新颖的双流卷积网络结构用于视频的人体行为识别。该网络在不改变双流卷积中空间流结构的情况下,在时间流的卷积模型中加入长短时记忆(LSTM)网络,并且时间流的训练相较于以往的双流卷积架构采用端对端的训练方式。同时在新的网络结构上尝试使用组合误差函数来获得更好的光流信息。在KTH和UCF101两个通用人体行为视频数据集上进行实验,实验结果证明,提出的使用组合误差函数结合LSTM的双流卷积与普通的双流卷积、使用以往误差函数结合LSTM的双流卷积相比,识别率有明显的提高。     

Human action recognition based on convolutional neural network and spatial pyramid representation

Detecting and recognizing human action in natural scenarios, such as indoor and outdoor, is a significant technique in computer vision and intelligent systems, which is widely applied in video surveillance, pedestrian tracking and human-computer interaction. Conventional approaches have been proposed based on various features and achieved impressive performance. However, these methods failed to cope with partial occlusion and changes of posture. In order to address these limitations, we propose a novel human action recognition method. More specifically, in order to capture image spatial composition, we leverage a three-level spatial pyramid feature extraction scheme, where each pyramid is encoded by local features. Thereafter, regions generated by a proposal algorithm are fed into a dual-aggregation net for deep representation extraction. Afterwards, both local features and deep features are fused to describe each image. To describe human action category, we design a metric CXQDA based on Cosine measure and Cross-view Quadratic Discriminant Analysis (XQDA) to calculate the similarity among different action categories. Experimental results demonstrate that our proposed method can effectively cope with object scale variations, partial occlusion and achieve competitive performance.     

基于深度神经网络的人体动作识别研究

本文介绍了一种三维建模人体模型的方法,通过分层次地识别人体各部位的行为,从底层行为组合成为高层的动作和活动,应用隐马尔科夫模型完成人体行为的学习工作.同时,应用该模型,同样可以完成人体行为及活动的检索功能,通过输入一些自然语言,完成相关视频信息的获取.     

基于循环神经网络的语音识别研究

语音识别作为人工智能研究中不可或缺的一部分已经逐渐渗透到人们的日常生活中。针对传统语音识别方法不能很好地实现并识别复杂多变、非特定人语音的问题,文中提出利用在时间序列上关联性较强的循环神经网络(RNN)建立语音识别模型。考虑到语音信号丰富的时频信息表达,在特征提取环节进行改进,利用具有较好时频分辨率的小波变换(WT)取代快速傅里叶变换(FFT)作为该模型的输入;然后,采用随时间展开的反向传播算法(BPTT)进行特征学习与训练。在实验测试中,首先,对比分析了基于小波变换的特征提取对识别效果的影响;其次,通过与传统的HMM模型及BP神经网络的识别率做对比,验证RNN神经网络可提高语音识别准确率和稳定性。     

TensorFlow平台上基于LSTM神经网络的人体动作分类

随着人体运动数据采集技术的发展,基于数据的人体运动的研究越来越受到人们的关注.人体运动的研究在医疗康复、运动训练、虚拟现实、以及影视和游戏等领域有着很大的应用空间.人体动作分类就是基于大量已标注动作名称的人体动作,对未标注的人体动作进行分类标注.在本文中,研究提出了一种基于长短时记忆网络(LSTM)的人体动作分类模型.首先,将人体动作表示为时间序列的形式.然后,将人体动作序列逐帧输入到去掉输出层的正向和反向LSTM中,并将隐藏层输出依次送入Mean pooling层和逻辑回归层得到最终的分类结果.最后,研究利用目前流行的深度学习平台TensorFlow实现本次研发的分类模型并进行训练.基于此,又进一步利用人体动捕数据库HDM05的数据进行实验来验证提出的分类模型,经过训练,该模型在测试集上的分类准确率达到了94.84%.     

基于RBF神经网络的人类活动识别

为了实现对智能家居中人类日常生活活动（ADLS）的识别,将使用径向基函数RBF神经网络来进行人类活动的识别.并使用志愿者在智能家居试验台执行活动搜集到的数据对算法的准确率进行评估.实验结果表明,选择合适的特征量和参数,相比于隐含马尔科夫模型径向基函数神经网络人类活动的识别方面显示了较高的准确率.     

采用多任务学习和循环神经网络的语音情感识别算法

随着机器学习的快速发展,许多研究者使用神经网络来解决语音识别领域中的各类问题。然而由于训练数据有限等原因,常规的神经网络分类器普遍存在泛化误差等问题。为了解决此问题,迁移学习中的多任务学习被引入到研究中。本文提出了一种采用多任务学习和循环神经网络的语音情感识别算法(MTL-RNN),将说话人情感识别作为主任务,性别识别和身份识别作为辅助任务,三个任务在神经网络中并行训练。算法模型通过RNN共享层共享网络参数、学习共享特征,通过属性依赖层学习独有特征,以提升模型的分类性能。实验结果表明,本文所提出的MTL-RNN算法在汉语和阿拉伯语、较少说话人和较多说话人的场景下均有较好的识别性能。      

基于加速度传感器和神经网络的人体活动行为识别

人体活动行为识别在医疗、安全、娱乐等方面有着广泛的应用,为了高效、准确地获取人体活动的行为信息,提出一种基于加速度传感器和神经网络的个人活动行为识别方法。该方法通过在个人手上佩戴加速度传感器,实时采集个人活动的行为数据;再通过BP神经网络分析相关行为数据并建立个人活动行为模型,分类识别个人的行走、坐着、躺卧、站立和突然跌倒等活动行为特征。实验结果表明,该方法能够有效检测到个人活动的行为特征参数,并可准确识别出人体活动的五种典型行为。     

VirtualActionNet: A strong two-stream point cloud sequence network for human action recognition

In this paper, we propose a strong two-stream point cloud sequence network VirtualActionNet for 3D human action recognition. In the data preprocessing stage, we transform the depth sequence into a point cloud sequence as the input of our VirtualActionNet. In order to encode intra-frame appearance structures, static point cloud technologies are first employed as a virtual action generation sequence module to abstract the point cloud sequence into a virtual action sequence. Then, a two-stream network framework is presented to model the virtual action sequence. Specifically, we design an appearance stream module for aggregating all the appearance information preserved in each virtual action frame. Moreover, a motion stream module is introduced to capture dynamic changes along the time dimension. Finally, a joint loss strategy is adopted during data training to improve the action prediction accuracy of the two-stream network. Extensive experiments on three publicly available datasets demonstrate the effectiveness of the proposed VirtualActionNet.     

基于奇异值分解和小波神经网络的人脸识别

针对人脸识别在有遮挡、表情变化和光照变化引起的鲁棒性变差问题,以及传统人工神经网络用于人脸识别时存在的维数灾难问题,提出一种分块奇异值分解和小波神经网络结合的人脸识别算法。首先,将人脸图像进行分块,获得图片局部的奇异值,并将其按一定顺序排列得到人脸的特征向量;然后,运用加入动量项的改进小波神经网络进行人脸图像分类识别;最后,在Matlab环境下利用ORL和YALE人脸图像数据库进行仿真实验,并且在GUI图形用户界面上进行验证。实验结果表明,该算法实现简单,识别率高,对光照、遮挡、表情等变化有很好的鲁棒性,具有很大的使用价值。