基于特征传播的时域分割网络行为识别

为了高效、准确地获得视频中的行为类别和运动信息,减少计算的复杂度,文中提出一种融合特征传播和时域分割网络的视频行为识别算法.首先将视频分为3个小片段,分别从相应片段中提取关键帧,从而实现对长时间视频的建模;然后设计一个包含特征传播表观信息流和FlowNet运动信息流的改进时域分割网络(P-TSN),分别以RGB关键帧、RGB非关键帧、光流图为输入提取视频的表观信息流和运动信息流;最后将改进时域分割网络的BN-Inception描述子进行平均加权融合后送入Softmax层进行行为识别.在UCF101和HMDB51这2个数据集上分别取得了94.6%和69.4%的识别准确率,表明该算法能够有效地获得视频中空域表观信息和时域运动信息,提高了视频行为识别的准确率.     

融合多特征的行为识别方法研究

基于时空特征的方法是行为识别的主流方法,已经有许多研究学者提出了多种局部时空特征。然而,不同的局部特征所反映的行为信息的侧重点并不一样。通过引入集成学习的方法,对多种特征在分类器层次上进行融合,使得多种特征能够优势互补,从而增强了特征的描述能力,为构建出高效、稳定的行为识别分类器提供了保证。经仿真实验验证,所提出的方法是鲁棒和有效的。     

基于姿态校正与姿态融合的2D/3D骨架动作识别方法

针对现有的人体骨架动作识别方法对肢体信息挖掘不足以及时间特征提取不足的问题,提出了一种基于姿态校正模块与姿态融合模块的模型PTF-SGN,实现了对骨架图关键时空信息的充分利用。首先,对骨架图数据进行预处理,挖掘肢体和关节点的位移信息并提取特征;然后,姿态校正模块通过无监督学习的方式获取姿态调整因子,并对人体姿态进行自适应调整,增强了模型在不同环境下的鲁棒性;其次,提出一种基于时间注意力机制的姿态融合模块,学习骨架图中的短时刻特征与长时刻特征并融合长短时刻特征,加强了对时间特征的表征能力;最后,将骨架图的全局时空特征输入到分类网络中得到动作识别结果。在NTU60 RGB+D、NTU120 RGB+D两个3D骨架数据集和Penn-Action、HARPET两个2D骨架数据集上的实验结果表明,该模型能够有效地识别骨架时序数据的动作。     

基于图卷积网络的行为识别方法综述

行为识别技术具有巨大的应用前景和潜在的经济价值,广泛应用于视频监控、视频检索、人机交互、公共安全等领域.图卷积网络表现出基于图数据的依赖关系进行建模的强大功能,成为行为识别领域的研究热点.基于此,主要概述基于图卷积网络的行为识别方法.图卷积网络主要有两大方法:基于频谱的方法和基于空间的方法.首先,从不同侧面分析两种方法...     

一种基于特征增强和决策融合的人体行为识别方法

利用三轴加速度传感器进行人体行为识别一直是传感器数据处理、模式识别领域的研究热点。加速度数据往往存在着多种动作数据难以区分的情况,特别是走、上楼、下楼这3个动作数据非常相似,这给正确识别这3种人体动作带来了较大的难度。提出一种基于特征增强与决策融合的行为识别方法,通过对部分特征值进行增强处理和对多个分类结果进行决策融合来识别走、上楼、下楼这些难以区分的相似动作。实验验证,所提方法可克服由于加速度数据的相似性而导致的动作识别正确率低、识别误差大的情况,有效提高人体行为识别率,且可在实际应用中实时识别人体行为动作。     

基于多级特征融合与注意力模块的场景识别方法

场景图像通常由背景信息和前景目标对象构成,用于场景识别任务的卷积神经网络(CNN)通常需要根据场景中关键目标的特征,甚至结合目标之间的位置关系来识别出场景所属类别.针对场景图像中较小尺寸的关键目标特征随着网络层次的加深而逐渐消失,从而导致场景识别错误的问题,提出了一种基于多级特征融合与注意力模块的场景识别方法.首先,将...     

多模态特征融合的长视频行为识别方法

行为识别技术在视频检索具有重要的应用价值;针对基于卷积神经网络的行为识别方法存在的长时序行为识别能力不足、尺度特征提取困难、光照变化及复杂背景干扰等问题,提出一种多模态特征融合的长视频行为识别方法;首先,考虑到长时序行为帧间差距较小,易造成视频帧的冗余,基于此,通过均匀稀疏采样策略完成全视频段的时域建模,在降低视频帧冗余度的前提下实现长时序信息的充分保留;其次,通过多列卷积获取多尺度时空特征,弱化视角变化对视频图像带来的干扰;后引入光流数据信息,通过空间注意力机制引导的特征提取网络获取光流数据的深层次特征,进而利用不同数据模式之间的优势互补,提高网络在不同场景下的准确性和鲁棒性;最后,将获取的多尺度时空特征和光流信息在网络的全连接层进行融合,实现了端到端的长视频行为识别;实验结果表明,所提方法在UCF101和HMDB51数据集上平均精度分别为97.2％和72.8％,优于其他对比方法,实验结果证明了该方法的有效性.     

人体行为识别方法研究综述

随着计算机视觉不断发展,人体行为识别在视频监控、视频检索和人机交互等诸多领域中展现出其广泛的应用前景和研究价值。人体行为识别涉及到对图像内容的理解,由于人体姿势复杂多样和背景遮挡的因素导致实际应用的进展缓慢。全面回顾了人体行为识别的发展历程,深入探究了该领域的研究方法,包括传统手工提取特征的方法和基于深度学习的方法,以及最近十分热门的基于图卷积网络(GCN)的方法,并按照所使用的数据类型对这些方法进行了系统的梳理;此外,针对不同的数据类型,分别介绍了一些热门的行为识别数据集,对比分析了各类方法在这些数据集上的性能。最后进行了概括总结,并对未来人体行为识别的研究方向进行了展望。     

基于图卷积网络的比特币非法交易识别方法

比特币作为匿名的加密数字资产逐渐成为部分非法地下交易的选择.为了净化金融市场、打击非法交易,需要对比特币网络中的非法交易活动进行识别.在相关工作的基础上,文章提出一种基于多层感知器与图卷积网络结合的检测比特币网络中非法交易的方法(Multi-layer Perceptrons+Graph Convolutional N...     

基于特征交互与自适应融合的骨骼动作识别

当前骨骼动作识别任务中仍存在数据预处理不合理、模型参数量大、识别精度低的缺点。为解决以上问题,提出了一种基于特征交互与自适应融合的骨骼动作识别方法 AFFGCN。首先,提出一种自适应分池数据预处理算法,以解决数据帧分布不均匀和数据帧代表性差的问题;其次,引入一种多信息特征交互的方法来挖掘更深的特征,以提高模型的性能;最后,提出一种自适应特征融合（AFF）模块用于图卷积特征融合,以进一步提高模型性能。实验结果表明,该方法在NTU-RGB+D 60数据集上较基线方法轻量级多信息图卷积神经网络（LMI-GCN）在交叉主题（CS）与交叉视角（CV）两种评估设置上均提升了1.2个百分点,在NTU-RGB+D 120数据集上较基线方法 LMI-GCN在CS和交叉设置号（SS）评估设置上分别提升了1.5和1.4个百分点。而在单流和多流网络上的实验结果表明,相较于语义引导神经网络（SGN）等当前主流骨骼动作识别方法,所提方法的模型参数量更低、准确度更高,模型性能优势明显,更加适用于移动设备的部署。     

基于特征融合时序分割网络的行为识别研究

行为识别是当今计算机视觉领域的一个研究热点,是一项具有挑战性的任务.行为识别分析与其网络输入数据类型、网络结构、特征融合环节具有密切联系.目前,主流的行为识别网络输入数据为RGB图像和光流图像,网络结构主要以双流和3D卷积为主;而特征选择直接影响到识别的效率,多层次的特征融合工作还有很多问题有待解决.针对主流的双流卷积网络输入数据为RGB图像和光流图像的局限,利用低秩空间中稀疏特征能够有效捕捉视频中运动物体信息的特点,对网络输入数据进行补充.同时,针对网络中缺乏信息交互的特点,将深度网络中高层语义信息和低层细节信息结合起来共同识别行为动作,使时序分割网络性能更具优势.在行为识别数据集UCF101和HMDB51上取得了97.1%和76.7%的识别效果,较目前主流算法有了较大的提升.实验结果表明,该方法能够有效地提高行为识别的识别率.     

基于融合模型的人体行为识别方法

可穿戴设备的人体行为识别研究通常是提取传感器数据的特征值,然后结合分类算法识别人体行为动作.针对特征提取与分类器问题,提出一种融合模型的人体行为识别方法(HBRM).首先将加速度传感器采集的数据转换为二维张量格式,然后结合卷积神经网络(CNN)提取张量的特征,同时考虑到人体行为动作在时间序列上前后具有较强的关联性,提出...     

基于时域图卷积神经网络的交通流预测模型

针对当前大多数模型对交通流数据空间信息挖掘不充分、无法捕获长序列单元间的信息等问题,提出一种基于时域图卷积神经网络的交通流预测模型。通过阈值权重法重构邻接矩阵,将多层近邻机制嵌入图卷积网络进一步挖掘空间信息;引入时域卷积网络,借助膨胀因果卷积扩大感知野并结合残差网络提取时间信息;运用Dense网络输出结果。利用加州性能评估系统中两个数据集进行评估,其结果表明,该模型性能优于常用的基准模型以及最近提出的多时空图卷积网络模型。     

多模态轻量级图卷积人体骨架行为识别方法

与传统的基于RGB视频的行为识别任务相比,基于人体骨架的行为识别方法由于其具有受光照、视角和背景复杂度等诸多因素影响非常小的特点,使其成为近几年来计算机视觉领域的主要研究方向之一.但是目前主流的基于人体骨架的行为识别方法都或多或少地存在参数量过大,运算时间过长,计算复杂度过高等问题,从而导致这些方法难以同时满足时效性和...     

基于时域扩张残差网络和双分支结构的人体行为识别

图卷积网络由于能够直接处理关节点拓扑图在行为识别方面表现出较好的性能而备受关注,但是这类方法中经常存在长时信息依赖建模能力较弱以及未关注空间语义与时间事件变化不均衡问题,对此,提出基于时域扩张残差网络和双分支结构的人体行为识别方法.在时空行为特征提取方法中,不仅用图卷积提取空间域特征,而且用扩张因果卷积和残差连接结构来构建时域扩张残差网络以提取时域特征,该网络能够在未大量增加参数的基础上有效扩大在时域上的感受野,从而更好地获得在时域上的人体关节信息的长时依赖关系.同时构建双分支结构,其中低帧率分支以较少的时间帧数和较多的通道数侧重于提取丰富的空间语义信息,高帧率分支以较多的时间帧数和较少的通道数在保证网络轻量级的前提下有效捕捉人体行为的快速变化.实验结果表明,所提出方法在NTU RGB+D数据集上的准确率高于目前先进的行为识别方法.     

基于多模态特征学习的人体行为识别方法

由于从单一行为模态中获取的特征难以准确地表达复杂的人体动作,本文提出基于多模态特征学习的人体行为识别算法.首先采用两条通道分别提取行为视频的RGB特征和3D骨骼特征,第1条通道C3DP-LA网络由两部分组成:(1)包含时空金字塔池化(Spatial Temporal Pyramid Pooling,STPP)的改进3D...     

融合多语义特征的命名实体识别方法

针对语言普遍存在的字符间非线性关系,为捕获更丰富的语义特征,提出了一种基于图卷积神经网络（GCN）和自注意力机制的命名实体识别（NER）方法。首先,借助深度学习方法有效提取字符特征的能力,采用GCN学习字符间的全局语义特征,并且采用双向长短时记忆网络（BiLSTM）提取字符的上下文依赖特征;其次,融合以上特征并引入自注意力机制计算其内部重要度;最后,使用条件随机场（CRF）从融合特征中解码出最优的编码序列,并以此作为实体识别的结果。实验结果表明,与单一采用BiLSTM和CRF的方法相比,所提方法在微软亚洲研究院（MSRA）数据集和BioNLP/NLPBA 2004数据集上的精确率分别至少提高了2.39%和15.2%。可见该方法在中文和英文数据集上都具备良好的序列标注能力,且泛化能力较强。     

融合多语义特征的命名实体识别方法

针对语言普遍存在的字符间非线性关系,为捕获更丰富的语义特征,提出了一种基于图卷积神经网络（GCN）和自注意力机制的命名实体识别（NER）方法。首先,借助深度学习方法有效提取字符特征的能力,采用GCN学习字符间的全局语义特征,并且采用双向长短时记忆网络（BiLSTM）提取字符的上下文依赖特征;其次,融合以上特征并引入自注意力机制计算其内部重要度;最后,使用条件随机场（CRF）从融合特征中解码出最优的编码序列,并以此作为实体识别的结果。实验结果表明,与单一采用BiLSTM和CRF的方法相比,所提方法在微软亚洲研究院（MSRA）数据集和BioNLP/NLPBA 2004数据集上的精确率分别至少提高了2.39%和15.2%。可见该方法在中文和英文数据集上都具备良好的序列标注能力,且泛化能力较强。     

基于特征融合的多节点调制识别方法

针对传感器网络节点的分布式结构,给出了基于特征融合的多节点联合调制识别方法。首先利用似然比推导了特征融合的联合识别准则;然后依据准则给出了多节点调制识别的仿真性能;最后和基于决策融合的多节点调制识别方法进行了比较。仿真结果表明,在没有过多增加网络通信负载的情况下,特征融合相比决策融合提高了识别性能。