基于混合关节特征的人体行为识别

针对现有行为识别方法中识别效率低,受环境干扰强等缺点,提出了一种基于混合关节特征的人体行为识别方法.混合关节特征由不同的骨骼关节表达构成,综合了各种行为信息,包括动能、势能、关节方向和关节角度,使得特征表达更加有效.利用具有良好处理时间序列能力的长短期记忆(LSTM)神经网络作为分类器进行人体行为识别.在MSR Action 3D数据集上的实验表明:基于混合关节特征较现有的其他许多骨骼特征表现更好.     

基于Kinect传感器骨骼信息的人体动作识别

为研究人体骨骼结构、骨骼关节点位置信息以及人体动作所具有的骨骼角度特征,提出了一种基于深度传感器提取人体骨骼信息的动作识别方法.方法利用Kinect深度传感器,实时准确地捕获人体骨骼三维数据,并根据坐标系变换构建人体骨骼拓扑结构.然后提取人体动作所感兴趣的骨骼关节点,定义骨骼向量,并获取每段骨骼向量的方向余弦特征;最后通过多类支持向量机训练以及动作识别分类.实验结果表明,相比于传统基于轮廓特征的方法,改进方法对人体识别具有更高的识别准确率,鲁棒性强.     

基于OPENGL的人体姿态数据仿真

依据人体的关节连接体层次结构,将各肢体抽象为简单的刚性几何实体,构建了人体骨骼模型,通过定义人体坐标和肢体局部坐标及其相互间的变换,描述了人体骨骼模型中各关节之间的相对位置和姿态的变化.详细论述了应用D-H方法分析人体上肢运动模型的方法,最后利用VC++构建了基于OpenGL技术的虚拟人体运动程序.该应用程序可以在虚拟环境中载入、驱动并显示一个三维虚拟人.它能够灵活的利用采集得到人体运动数据驱动虚拟人,可以应用于医学仿真、智能人机交互等领域.     

基于关节空时特征融合的人体行为识别

针对现有人体行为识别技术存在的准确率不高和易受环境干扰等缺点,提出一种基于空时特征融合的人体行为识别方法。通过OpenPose提取人体骨骼关节的位置信息用于构造空时融合特征,该特征综合各类行为的空域和时域信息,使得特征表示更具区分度。利用核化主成分分析算法进行特征维度缩减,利用XGBoost算法进行特征分类,获得识别结果。该方法在Multiview Action 3D数据集上进行测试,得到了94.52%的识别率,较现有的其它许多人体行为识别方法表现更好。     

基于Kinect的学步期幼儿自然步态提取

针对学步期幼儿的行走步态信息采集困难这一问题展开研究,提出一种基于Kinect的自然步态提取方法.通过Kinect直接获取人体的骨骼信息来采集不同月龄幼儿行走的关节数据,并利用关节位置平滑和骨骼长度曲线拟合实现对骨骼数据的滤波和截取;通过拟合幼儿行走的足端轨迹来提取不同月龄的步态时空参数,基于下肢的逆运动学解算来获得各关节角变化,并由此总结出学步期幼儿独立行走时的步态特征变化规律.     

基于骨骼轨迹聚合模型的课堂交互群体发现

传统的课堂行为识别方法侧重于交互行为本身的辨识,而非群体发现.课堂环境下实现交互群体的准确定位与发现,是进行个体行为识别的基础,但存在由遮挡造成的行为数据缺失问题.使用骨骼数据表示人体行为及运动轨迹,具有不受光线和背景干扰、数据表达简单等优点.针对骨骼数据的多人交互群体发现进行研究,提出了一种基于骨骼轨迹聚合模型的交互群体发现算法(Interactive Group Discovery Algorithm Based on Skeleton Trajectory Aggregation,IGSTA).首先,将骨骼数据标准化到以人为中心的坐标系,减小尺寸变化和初始位置不同对识别精度的影响;其次,提出了一种多核表示的骨骼轨迹聚合模型,准确描述了学生交互行为群体的变化;最后,对聚合后的骨骼轨迹进行聚类,实现交互群体发现.采用Kinect获取模拟的课堂学生交互行为视频,通过实验验证了该方法的有效性,即在骨骼节点缺失的情况下,仍可准确发现课堂环境下的学生交互群体.     

基于多特征融合的运动人体行为识别

提出了一种基于特征级融合的运动人体行为识别方法。应用背景差分法和阴影消除技术获得运动人体区域和人体轮廓;采用R变换提取人体区域特征,采用小波描述子提取人体轮廓特征;然后将这两种具有一定互补性的特征采用K-L变换进行融合,得到一个分类能力更强的特征;最后,在传统支持向量机的基础上,结合模糊聚类技术和决策树构建多级二叉树分类器,从而实现行为多类分类。该方法在Weizmann行为数据库上进行了实验,实验结果表明所提出的识别方法具有较高的识别性能。     

基于线特征的机场跑道定位算法

提出了一种基于线特征的机场跑道识别定位算法。首先,将方向小波变换用于目标的边缘检测,得到了定位准确、边缘连续、背景较为干净的机场边缘图;然后,利用标定了梯度方向的边缘点作为Hough变换的基本元素,将Hough变换的全局"投票"过程变为目标方向上的局部投票,并且将直线段的检测和定位过程融为一体,从而得到跑道的描述信息。实验结果验证了该算法的有效性和稳健性。     

行差列差投影变换及其在直线特征识别中的应用

本文首先介绍了行差列差投影变换及其反变换，然后与Hough变换和Radon变换作对比，分析了它们各自的优缺点，并得出了在直线特征识别中行差列差投影变换优于Hough变换和Radon变换的结论，最后给出了用行差投影变换算法识别直线特征的一般流程。     

基于骨骼的人体行为识别方法研究综述

人体行为识别在视频理解中发挥了重要作用.近年来,基于骨骼的行为识别方法因其对复杂环境的干扰更具鲁棒性而受到广泛关注.文中共整理了102种基于骨骼的人体行为识别方法,并在9个公开数据集上对其进行了对比分析.按照特征学习方式的不同,分别介绍了基于手工特征的方法和基于深度学习的方法.其中,基于手工特征的方法按特征描述符的不同分为几何描述符、动力学描述符、统计描述符3个子类;基于深度学习的方法按网络主体的不同分为循环神经网络、卷积神经网络、图卷积网络、Transformer和混合网络5个子类.通过以上分析,不仅阐述了基于骨骼的行为识别方法的发展历程,还剖析了现有方法存在的泛化能力不强、计算成本高等局限.最后,从网络结构设计、相似动作区分、领域数据集拓展、多人交互等方面对未来研究方向进行了展望.     

时空双仿射微分不变量及骨架动作识别

目的 人体骨架的动态变化对于动作识别具有重要意义。从关节轨迹的角度出发,部分对动作类别判定具有价值的关节轨迹传达了最重要的信息。在同一动作的每次尝试中,相应关节的轨迹一般具有相似的基本形状,但其具体形式会受到一定的畸变影响。基于对畸变因素的分析,将人体运动中关节轨迹的常见变换建模为时空双仿射变换。方法 首先用一个统一的表达式以内外变换的形式将时空双仿射变换进行描述。基于变换前后轨迹曲线的微分关系推导设计了双仿射微分不变量,用于描述关节轨迹的局部属性。基于微分不变量和关节坐标在数据结构上的同构特点,提出了一种通道增强方法,使用微分不变量将输入数据沿通道维度扩展后,输入神经网络进行训练与评估,用于提高神经网络的泛化能力。结果 实验在两个大型动作识别数据集NTU（Nanyang Technological University）RGB+D（NTU 60）和NTU RGB+D 120（NTU 120）上与若干最新方法及两种基线方法进行比较,在两种实验设置（跨参与者识别与跨视角识别）中均取得了明显的改进结果。相比于使用原始数据的时空图神经卷积网络（spatio-temporal graph convolutional networks,ST-GCN）,在NTU 60数据集中,跨参与者与跨视角的识别准确率分别提高了1.9%和3.0%;在NTU 120数据集中,跨参与者与跨环境的识别准确率分别提高了5.6%和4.5%。同时对比于数据增强,基于不变特征的通道增强方法在两种实验设置下都能有明显改善,更为有效地提升了网络的泛化能力。结论 本文提出的不变特征与通道增强,直观有效地综合了传统特征和深度学习的优点,有效提高了骨架动作识别的准确性,改善了神经网络的泛化能力。     

基于时空权重姿态运动特征的人体骨架行为识别研究

人体行为识别在视觉领域的广泛应用使得它在过去的几十年里一直都是备受关注的研究热点.近些年来,深度传感器的普及以及基于深度图像实时骨架估测算法的提出,使得基于骨架序列的人体行为识别研究越来越吸引人们的注意.已有的研究工作大部分提取帧内骨架不同关节点的空间域信息和帧间骨架关节点的时间域信息来表征行为序列,但没有考虑到不同关节点和姿态对判定行为类别所起作用是不同的.因此本文提出了一种基于时空权重姿态运动特征的行为识别方法,采用双线性分类器迭代计算得到关节点和静止姿态相对于该类别动作的权重,确定那些信息量大的关节点和姿态;同时,为了对行为特征进行更好的时序分析,本文引入了动态时间规整和傅里叶时间金字塔算法进行时序建模,最后采用支持向量机完成行为分类.在多个数据集上的实验结果表明,该方法与其它一些方法相比,表现出了相当大的竞争力,甚至更好的识别效果.     

融合显著性图像语义特征的人体相似动作识别

目的 基于骨骼的动作识别技术由于在光照变化、动态视角和复杂背景等情况下具有更强的鲁棒性而成为研究热点。利用骨骼/关节数据识别人体相似动作时,因动作间关节特征差异小,且缺少其他图像语义信息,易导致识别混乱。针对该问题,提出一种基于显著性图像特征强化的中心连接图卷积网络（saliency image feature enhancement based center-connected graph convolutional network,SIFE-CGCN）模型。方法 首先,设计一种骨架中心连接拓扑结构,建立所有关节点到骨架中心的连接,以捕获相似动作中关节运动的细微差异;其次,利用高斯混合背景建模算法将每一帧图像与实时更新的背景模型对比,分割出动态图像区域并消除背景干扰作为显著性图像,通过预训练的VGG-Net(Visual Geometry Group network)提取特征图,并进行动作语义特征匹配分类;最后,设计一种融合算法利用分类结果对中心连接图卷积网络的识别结果强化修正,提高对相似动作的识别能力。此外,提出了一种基于骨架的动作相似度的计算方法,并建立一个相似动作数据集。结果 ...     

面向人体动作识别的局部特征融合时间卷积网络

针对3D人体骨架序列动作识别这一问题,提出了一种结合了局部特征融合的时间卷积网络方法.首先,对一个动作中整个骨架序列的所有关节点的空间位置变化进行建模,提取其骨架序列的全局空间特征;然后,根据人体关节点及连接关系的拓扑结构将全局空间特征划分为人体局部空间特征,并将得到的局部空间特征分别作为对应TCN的输入,进而学习各关节内部的特征关系;最后,对输出的各部分特征向量进行融合,学习各部分关节之间的协作关系,从而完成对动作的识别.运用该方法在当前最具挑战性的数据集NTU-RGB+D进行了分类识别实验,结果表明,与已有的基于CNN,LSTM以及TCN的方法相比,其在对象交叉(cross-subject)和视图交叉(cross-view)的分类准确率上分别提高到了79.5%和84.6%.     

基于LSTM神经网络的人体动作识别

人体动作识别为人机合作提供了基础支撑,机器人通过对操作者动作进行识别和理解,可以提高制造系统的柔性和生产效率.针对人体动作识别问题,在三维骨架数据的基础上,对原始三维骨架数据进行平滑去噪处理以符合人体关节点运动的平滑规律;构建了由静态特征和动态特征组成的融合特征用来表征人体动作;引入了关键帧提取模型来提取人体动作序列中...     

基于姿态校正与姿态融合的2D/3D骨架动作识别方法

针对现有的人体骨架动作识别方法对肢体信息挖掘不足以及时间特征提取不足的问题,提出了一种基于姿态校正模块与姿态融合模块的模型PTF-SGN,实现了对骨架图关键时空信息的充分利用。首先,对骨架图数据进行预处理,挖掘肢体和关节点的位移信息并提取特征;然后,姿态校正模块通过无监督学习的方式获取姿态调整因子,并对人体姿态进行自适应调整,增强了模型在不同环境下的鲁棒性;其次,提出一种基于时间注意力机制的姿态融合模块,学习骨架图中的短时刻特征与长时刻特征并融合长短时刻特征,加强了对时间特征的表征能力;最后,将骨架图的全局时空特征输入到分类网络中得到动作识别结果。在NTU60 RGB+D、NTU120 RGB+D两个3D骨架数据集和Penn-Action、HARPET两个2D骨架数据集上的实验结果表明,该模型能够有效地识别骨架时序数据的动作。     

Effective and efficient similarity searching in motion capture data

Multimedia Tools and Applications - Motion capture data describe human movements in the form of spatio-temporal trajectories of skeleton joints. Intelligent management of such complex data is a...     

骨骼信息的人体行为识别综述

基于骨骼信息的人体行为识别旨在从输入的包含一个或多个行为的骨骼序列中,正确地分析出行为的种类,是计算机视觉领域的研究热点之一。与基于图像的人体行为识别方法相比,基于骨骼信息的人体行为识别方法不受背景、人体外观等干扰因素的影响,具有更高的准确性、鲁棒性和计算效率。针对基于骨骼信息的人体行为识别方法的重要性和前沿性,对其进行全面和系统的总结分析具有十分重要的意义。本文首先回顾了9个广泛应用的骨骼行为识别数据集,按照数据收集视角的差异将它们分为单视角数据集和多视角数据集,并着重探讨了不同数据集的特点和用法。其次,根据算法所使用的基础网络,将基于骨骼信息的行为识别方法分为基于手工制作特征的方法、基于循环神经网络的方法、基于卷积神经网络的方法、基于图卷积网络的方法以及基于Transformer的方法,重点阐述分析了这些方法的原理及优缺点。其中,图卷积方法因其强大的空间关系捕捉能力而成为目前应用最为广泛的方法。采用了全新的归纳方法,对图卷积方法进行了全面综述,旨在为研究人员提供更多的思路和方法。最后,从8个方面总结现有方法存在的问题,并针对性地提出工作展望。     

An unsupervised generalized Hough transform for natural shapes

The Hough transform was originally designed to recognize artifical objects in images. A Hough transform for natural shapes (HTNS) was subsequently proposed, but necessitates the supervised learning of the class of shapes. Here, we extend HTNS to unsupervised pattern recognition, the variability of the object class being coded with tools originating from mathematical morphology (erosion, dilation and distance functions).