共查询到20条相似文献,搜索用时 0 毫秒
1.
针对传统动作识别算法不易区分相似动作的问题,提出一种基于深度关节与手工表观特征融合的动作识别方法.首先将关节空域位置及约束输入具有时空注意力机制的长短期记忆(LSTM)模型中,获取时空加权且高可分的深度关节特征;然后引入热图定位关键帧及关节,手工提取关键关节周围表观特征以作为深度关节特征有效补充;最后基于双流网络逐帧融... 相似文献
2.
近年来,基于骨架的人体动作识别任务因骨架数据的鲁棒性和泛化能力而受到了广泛关注。其中,将人体骨骼建模为时空图的图卷积网络取得了显著的性能。然而图卷积主要通过一系列3D卷积来学习长期交互联系,这种联系偏向于局部并且受到卷积核大小的限制,无法有效地捕获远程依赖关系。该文提出一种协作卷积Transformer网络(Co-ConvT),通过引入Transformer中的自注意力机制建立远程依赖关系,并将其与图卷积神经网络(GCNs)相结合进行动作识别,使模型既能通过图卷积神经网络提取局部信息,也能通过Transformer捕获丰富的远程依赖项。另外,Transformer的自注意力机制在像素级进行计算,因此产生了极大的计算代价,该模型通过将整个网络分为两个阶段,第1阶段使用纯卷积来提取浅层空间特征,第2阶段使用所提出的ConvT块捕获高层语义信息,降低了计算复杂度。此外,原始Transformer中的线性嵌入被替换为卷积嵌入,获得局部空间信息增强,并由此去除了原始模型中的位置编码,使模型更轻量。在两个大规模权威数据集NTU-RGB+D和Kinetics-Skeleton上进行实验验证,该模型分别达到了88.1%和36.6%的Top-1精度。实验结果表明,该模型的性能有了很大的提高。 相似文献
3.
在动作识别任务中,如何充分学习和利用视频的空间特征和时序特征的相关性,对最终识别结果尤为重要。针对传统动作识别方法忽略时空特征相关性及细小特征,导致识别精度下降的问题,本文提出了一种基于卷积门控循环单元(convolutional GRU, ConvGRU)和注意力特征融合(attentional feature fusion,AFF) 的人体动作识别方法。首先,使用Xception网络获取视频帧的空间特征提取网络,并引入时空激励(spatial-temporal excitation,STE) 模块和通道激励(channel excitation,CE) 模块,获取空间特征的同时加强时序动作的建模能力。此外,将传统的长短时记忆网络(long short term memory, LSTM)网络替换为ConvGRU网络,在提取时序特征的同时,利用卷积进一步挖掘视频帧的空间特征。最后,对输出分类器进行改进,引入基于改进的多尺度通道注意力的特征融合(MCAM-AFF)模块,加强对细小特征的识别能力,提升模型的准确率。实验结果表明:在UCF101数据集和HMDB51数据集上分别达到了95.66%和69.82%的识别准确率。该算法获取了更加完整的时空特征,与当前主流模型相比更具优越性。 相似文献
4.
5.
6.
7.
8.
随着基于位置的社交网络(LBSN)技术的快速发展,为移动用户提供个性化服务的兴趣点(POI)推荐成为关注重点。由于POI推荐面临着数据稀疏、影响因素多和用户偏好复杂的挑战,因此传统的POI推荐往往只考虑签到频率以及签到时间和地点对用户的影响,而忽略了签到序列中用户前后行为的关联影响。为了解决上述问题,该文通过序列的表示考虑签到数据的时间影响和空间影响,建立了时空上下文信息的POI推荐模型(STCPR),为POI推荐提供了更精准的个性化偏好。该模型基于序列到序列的框架下,将用户信息、POI信息、类别信息和时空上下文信息进行向量化后嵌入GRU网络中,同时利用了时间注意力机制、全局和局部的空间注意力机制来综合考虑用户偏好与变化趋势,从而向用户推荐感兴趣的Top-N的POI。该文通过在两个真实的数据集上实验来验证模型的性能。实验的结果表明,该文所提出的方法在召回率(Recall)和归一化折损累计增益(NDCG)方面优于几种现有的方法。 相似文献
9.
陈天宇 《信息技术与信息化》2023,(8):172-175
用循环神经网络构建的人体动作识别模型存在以下两方面的问题:一方面存在计算上的顺序依赖,另一方面难以对数据中存在的全局信息进行建模。针对以上问题,提出了一种结合门控注意力单元和卷积神经网络的人体动作识别模型。通过对骨架序列中存在的时空信息进行建模分析来预测骨架所对应人体的动作状态,既降低了数据中噪声对结果的干扰,同时对数据中存在的时空域全局信息进行建模分析。通过在UTKinect-Action3D和MSR 3D动作数据集上的实验证实了所提方法具备一定的可行性,且相较于循环神经网络的方法有一定的优势。 相似文献
10.
为了提高干涉雷达对人体切向动作的识别性能,本文提出一种基于三通道CNN?GSAM?LSTFEM网络的人体切向动作识别方法。首先利用一发二收的调频连续波(FMCW)雷达搭建干涉雷达平台采集人体切向动作回波数据,之后对每个接收通道的回波数据进行预处理,得到每个接收通道的多普勒时频图(DTFM)和双通道的干涉时频图(ITFM),然后将这3种时频图分别送入到3个并行的CNN?GSAM?LSTFEM网络进行训练,利用全局空间注意力模块(GSAM)和长短时特征提取模块(LSTFEM)增强卷积神经网络(CNN)的特征提取能力,最后将三通道提取的特征进行融合实现人体切向动作识别。实验结果表明,所提方法可有效提高人体切向动作的识别准确率,平均准确率高达98.77%。 相似文献
11.
在许多地球科学应用中要用到大量的高时空分辨力的地球观测数据。时空图像融合方法为产生高时空分辨力的数据提供了一种可行且经济的解决方案。然而,现有的一些基于学习的方法对于图像深层特征提取能力较弱,对于高分辨力图像细节特征利用度不够。针对这些问题,提出一种基于多级特征补偿的遥感图像时空融合方法。该方法使用2个分支进行多层级的特征补偿,并提出了融合通道注意力机制的残差模块作为网络的基本组成单元,可以将高分辨力输入图像的深层特征更为详尽地提取利用。提出一种基于拉普拉斯算子的边缘损失,在节省预训练计算开销的同时取得了很好的融合效果。使用从山东和广东2个地区采集的Landsat和中分辨力成像光谱仪(MODIS)卫星图像对所提出的方法进行实验评估。实验结果表明,提出的方法在视觉外观和客观指标方面都具有更高质量。 相似文献
12.
《电子技术与软件工程》2019,(5)
为解决动作识别问题,本文提出一种基于特征融合的方法。提取视频特征时,同时获得运动特征和表观特征,然后融合这两种特征训练SVM分类器。实验时,在J-HMDB数据集上获得了优异的表现,动作识别的精度可以达到94.8%。 相似文献
13.
14.
动作识别被广泛应用于诸多领域,如智能监控、人机交互、智能医疗、机器人技术等。近年来,随着智慧城市建设的不断发展,人类动作识别的相关研究越来越受到学术界的关注。然而目前的基于神经网络的动作识别算法普遍存在着准确率低,鲁棒性差等问题。虽然这种传统的方法取得了良好的效果,但这种方法的效果与实际应用之间依然存在差距。为了进一步解决这些问题,设计了一个更有效的动作识别模型,即基于软邻接的时空图卷积神经网络的动作识别算法(spatial temporal soft adjacency graph convolution network, STS-GCN)。首先,将图卷积网络扩展到时间域,并在骨架节点之间引入潜在的相邻关系,从而可以自动学习空间时间维度上的隐藏动作信息;其次,模型引入了一种简易的空间注意机制,使其具有鉴别具有判别力的空间区域的能力,从而获得更好的识别效果;最后对该模型在NTU-RGB+D数据集上进行了实验。实验结果表明,与其他几个现有模型的结果相比,模型测试的识别准确率有所提高。这说明了引入软邻接矩阵的时空图卷积神经网络有利于模型提高动作识别算法的效果。 相似文献
15.
针对骨架行为识别不能充分挖掘时空特征的问题,该文提出一种基于时空特征增强的图卷积行为识别模型(STFE-GCN)。首先,介绍表征人体拓扑结构邻接矩阵的定义及双流自适应图卷积网络模型的结构,其次,采用空域上的图注意力机制,根据邻居节点的重要性程度分配不同的权重系数,生成可充分挖掘空域结构特征的注意力系数矩阵,并结合非局部网络生成的全局邻接矩阵,提出一种新的空域自适应邻接矩阵,以期增强对人体空域结构特征的提取;然后,时域上采用混合池化模型以提取时域关键动作特征和全局上下文特征,并结合时域卷积提取的特征,以期增强对行为信息中时域特征的提取。再者,在模型中引入改进通道注意力网络(ECA-Net)进行通道注意力增强,更有利于模型提取样本的时空特征,同时结合空域特征增强、时域特征增强和通道注意力,构建时空特征增强图卷积网络模型在多流网络下实现端到端的训练,以期实现时空特征的充分挖掘。最后,在NTU-RGB+D和NTU-RGB+D120两个大型数据集上开展骨架行为识别研究,实验结果表明该模型具有优秀的识别准确率和泛化能力,也进一步验证了该模型充分挖掘时空特征的有效性。 相似文献
16.
基于深度学习的人体动作识别近几年取得了良好的识别效果,尤其是二维卷积神经网络可以较充分的学习人体动作的空间特征,但在捕获长时间的运动信息上仍存在问题。针对此问题,提出了基于语义特征立方体切片的人体动作识别模型来联合地学习动作的表观和运动特征。该模型在时序分割网络(Temporal Segment Networks,TSN)的基础上,选取InceptionV4作为骨干网络提取人体动作的表观特征,将得到的三维特征图立方体分为二维的空间上和时间上的特征图切片。另外设计一个时空特征融合模块协同的学习多维度切片的权重分配,从而得到人体动作的时空特征,由此实现了网络的端到端训练。与TSN模型相比,该模型在UCF101和 HMDB51数据集上的准确率均有所提升。实验结果表明,该模型在不显著增加网络参数量的前提下,能够捕获更丰富的运动信息,使人体动作的识别结果提高。 相似文献
17.
18.
针对传统雷达人体动作识别方法中特征提取能力不足和上下文建模困难的问题,提出了一种结合卷积神经网络(Convolutional Neural Network,CNN)和Swin Transformer的网络模型,用于有效识别分布式脉冲超宽带雷达数据中的人体动作。通过多分支的CNN对多个雷达的多个谱图、雷达数据的幅度和相位等特征进行提取和融合,利用Swin Transformer模块的多层自注意力机制对生成的特征映射进行上下文建模,提取具有高级语义信息的特征。采用代尔夫特理工大学(Technische Universiteit Delft)公开的数据集进行5折交叉验证,结果表明所提方法能够有效识别9类连续人体动作,识别准确率达到98.2%。 相似文献
19.
20.
基于3D视频的人体动作识别近年来受到越来越广泛的关注。基于动态时间规整的算法考虑了动作的时序信息,并能较好地解决人体运动在时间上的不确定性,但是随着训练样本增加,效率会变得较低。本文提出了一种基于动作标准序列的动作识别方法。通过特征提取将3D动作视频样本构建为动作序列,在动态时间规整度量下将动作标准序列学习建模成一个序列平均的优化问题,并使用动态时间规整重心平均算法(DBA)求解。对于动作类别类中存在显著差异的场景,研究了多重动作标准序列学习,并针对无监督学习的情况,提出了DBA-K-means聚类算法。实验结果表明,该方法可进一步提高动作识别的效率和准确率。 相似文献