基于姿态时空特征的人体行为识别方法

为了高效、准确地获取视频中的人体行为和运动信息,提出一种基于人体姿态的时空特征的行为识别方法.首先在获取视频中各帧图像的人体关节位置的基础上,提取关节信息描述姿态变化,具体包括在空间维度上提取每帧图像的关节位置关系、时间维度上计算关节空间关系的变化,二者共同构成姿态时空特征描述子;然后利用Fisher向量模型对不同类型的特征描述子分别进行编码,得到固定维度的Fisher向量;最后对不同类型的Fisher向量加权融合后进行分类.实验结果表明,该方法能够有效地识别视频中的人体复杂动作行为,提高行为识别率.     

基于少量关键序列帧的人体姿态识别方法

针对传统人体姿态识别数据采集易受环境干扰、难以解决人体运动姿态的相似性和 人体运动执行者的特征差异性等问题,提出一种基于少量关键序列帧的人体姿态识别方法。首先 对原有运动序列进行预选,通过运动轨迹取极值的方法构造初选关键帧序列,再利用帧消减算法 获取最终关键帧序列;然后对不同人体姿态分别建立隐马尔科夫模型,利用 Baum-Welch 算法计 算得到初始概率矩阵、混淆矩阵、状态转移矩阵,获得训练后模型;最后输入待测数据,应用前 向算法,得到对于每个模型的概率,比较并选取最大概率对应的姿态作为识别结果。实验结果表 明,该方法能够有效的选取原始运动序列的关键帧,提高人体姿态识别的准确性。     

基于人体姿态估计与聚类的特定运动帧获取方法

运动视频中特定运动帧的获取是运动智能化教学实现的重要环节,为了得到视频中的特定运动 帧以便进一步地对视频进行分析,并利用姿态估计和聚类的相关知识,提出了一种对运动视频提取特定运动帧 的方法。首先选用 HRNet 姿态估计模型作为基础,该模型精度高但模型规模过大,为了实际运用的需求,对 该模型进行轻量化处理并与 DARK 数据编码相结合,提出了 Small-HRNet 网络模型,在基本保持精度不变的情 况下参数量减少了 82.0%。然后利用 Small-HRNet 模型从视频中提取人体关节点,将每一视频帧中的人体骨架特 征作为聚类的样本点,最终以标准运动帧的骨架特征为聚类中心,对整个视频进行聚类得到视频的特定运动帧, 在武术运动数据集上进行实验。该方法对武术动作帧的提取准确率为 87.5%,能够有效地提取武术动作帧。     

人体姿态识别算法在视觉人机交互中的应用

针对当下视觉人机交互应用中所面临的识别过程复杂,交互效率低等一系列问题,提出了一种基于人体构造的姿态识别算法。利用该算法和软硬协同的设计思想,在FPGA平台上实现了一套运用视觉感知进行交互的机器人控制系统。图像采集模块获取双摄像头的画面,图像预处理模块完成降噪和冗余帧的去除,关节识别模块实现对人体皮肤和关节处颜色标记的检测;得到的关节位置信息送入软核,运用空间向量模型识别出肢体动作。最终将识别结果编码后通过蓝牙传输给远端机器人。实际测试表明,该算法能快速准确地识别出绝大部分基本的肢体动作,机器人能实时跟随人体简单运动。     

结合模型匹配与特征跟踪的人体上半身三维运动姿态恢复方法

人体姿态空间的高维性及单目视频深度信息丢失,导致从单目视频恢复人体三维运动姿态非常困难,为此,利用特征跟踪的快速性及模型匹配的鲁棒性,提出一种无标记人体上半身三维运动跟踪方法.该方法利用匹配SIFT特征,并根据长度不变性约束建立优化目标函数,再采用迭代优化算法得到全局运动位姿;其他关节的姿态先根据逆运动学计算初始估计值,并通过模型匹配验证其可信度,当初始姿态估计错误时,则使用局部搜索获得关节姿态.实验结果表明,文中方法可以准确地恢复单目视频中人体上半身三维运动姿态.     

基于PoseC3D的网球动作识别及评价方法

为了准确地识别及评价网球动作,将计算机视觉与网球运动相关知识相结合,提出了一种基于PoseC3D的网球动作识别及评价方法。首先,使用基于ResNet-50姿态估计模型对网球运动视频进行人体目标检测并提取骨骼关键点;然后,使用在专业网球场采集的视频数据集进行PoseC3D模型训练,使模型能够对网球的子动作进行分类;之后,使用动态时间规整算法对分类的动作进行评价;最后,基于采集的视频数据集进行了大量实验。结果表明,提出的基于PoseC3D的网球动作识别方法对6类网球子动作的分类Top1准确率可以达到90.8%。相较于基于图卷积网络的方法,比如AGCN和ST-GCN,具有更强的泛化能力;提出的基于动态时间规整的评分算法能够在动作分类后实时、准确地给出相应动作的评价分数,从而减少了网球教师的工作强度,有效地提升了网球教学质量。     

基于视频帧连贯信息的3维人体姿势优化估计方法

针对基于视频的3维人体姿态估计问题,传统方法是先估计出每帧图像中的3维人体姿态,再将估计结果按帧序排列,获得视频中的3维人体姿态.这种方法没有考虑连续帧间人体动作的连贯性,以及人体关节连接的空间一致性,估计结果中常会出现人体的高频抖动及动作的较大偏差.针对该问题,提出一种基于视频帧连贯信息的3维姿态优化估计方法.首先利用2维姿势估计结果优化人体3维关节点坐标,以减少抖动;其次引入前后帧关节点运动的逆向与正向预测,以保持动作连贯性;最后,加入骨骼连接约束,建立可保持人体动作轨迹光滑且优化前后关节连接结构一致的模型,实现对3维人体姿态的精确估计.在公共数据集MPI-INF-3DHP上的测试结果显示,与基准3维姿态估计方法相比,本文方法估计的关节点平均误差降低3.2％.在公共数据集3DPW上的测试结果显示,与未优化情形相比,加速误差降低44％.     

基于深度图像的人体运动姿态跟踪和识别算法

由于人体运动的复杂性,现有基于低质量深度图像的三维立体姿态跟踪和识别 方法的准确性较低、鲁棒性较差。针对低质量深度图像的人体运动姿态和识别问题,本文设 计了一种基于三步搜索算法的人体运动姿态的跟踪和识别方法。该方法首先对获取的深度信 息进行分析,从而判定人体轮廓;然后通过基于深度图像的骨骼跟踪方法跟踪特定骨骼点, 并采用三步搜索算法进行运动估计,跟踪获取人体运动轨迹;最后利用获取的骨骼点坐标实 现人体运动姿态的识别。实验结果表明,该算法克服光照影响的鲁棒性较强,且能有效地提 高人体运动姿态跟踪与识别的准确性。     

基于深度迁移学习的人体舞蹈姿态检测方法

常规的人体舞蹈姿态检测方法存在多姿态动作检测精度和识别率较低，因此提出基于深度迁移学习的人体舞蹈姿态检测方法。首先，利用Kinect传感器采集人体舞蹈姿态动作三维数据。其次，基于滑动窗口间接分割原理识别动作类别。再次，利用深度迁移学习建立动作识别模型，识别人体舞蹈的特定动作和非特定动作。最后，结合人体关节位置特征，检测人体舞蹈姿态动作中左手、右手、上身及全身4类局部特征信息。实验分析可知，新的方法应用后，舞蹈姿态检测的交并比值较高，显著提升了检测准确性。     

基于视频的人体行走参数测量方法及应用

针对现有的人体行走参数测量方法复杂度高、效率低等问题,提出了一种基于视频的人体行走 参数测量方法。利用监督学习的方法对视频中的运动目标进行姿态估计,逐帧识别骨骼关节点。然后根据头部 和脚部特征点,结合场景标定获取的像素距离与实际距离的转换关系,实现行走身高测量;根据关节特征点, 利用余弦公式计算关节活动度;根据脚部特征点,提出了一种结合前后极点帧差和像素差判断行走步长和步速 的方法。最后提出了一种基于 Unity3D 的虚拟人随动控制方法,能够在虚拟场景中进行运动仿真,便于实时监 控和分析视频中的人体异常行为并做出预警。实验表明该方法具有操作简单、准确度高和实时性强等优点。     

基于帧间距的运动关键帧提取

运动捕获数据中有大量的冗余数据,不利于运动数据的压缩、存储、检索以及进一步重用。为此,提出一种基于帧间距的运动关键帧提取方法,提取代表运动捕获数据内容的关键姿势。利用四元数之间的距离表示人体姿态差异,将人体各个关节上的总变化作为帧间距,以运动数据首帧作为第一个关键帧。通过不断计算当前帧同最后一个关键帧之间的差异,消除差异小于阈值的帧,差异超过阈值的帧被当作为新关键帧。对提取关键帧集合采用四元数球面插值方法重构。为表现人体运动特征,在重构误差中引入关节速度分量,用人体姿势误差位置与人体关节运动速率之和表示原始运动与重建运动序列之间的重构误差。实验结果表明,该方法对原始运动既有较高的压缩率,又有较强的视觉概括效果。     

基于循环神经网络的人体运动模型的隐状态初始化方法

针对基于循环神经网络（RNN）的人体运动合成方法存在首帧跳变,进而影响生成运动的质量的问题,提出一种带有隐状态初始化的人体运动合成方法,将初始隐状态作为自变量,利用神经网络的目标函数作为优化目标,并使用梯度下降的方法进行优化求解,以得到一个合适的初始隐状态。相较于编码器-循环-解码器（ERD）、残差门控循环单元（RGRU）模型,所提方法在首帧的预测误差分别减小63.51%和6.90%,10帧的总误差分别减小50.00%和4.89%。实验结果表明,该方法无论是运动合成质量还是运动预测精度都优于不进行初始隐状态估计的方法;它通过准确估计基于RNN的人体运动模型的首帧隐状态可提升运动合成的质量,并且为实时安全监测中的动作识别模型提供可靠的数据支持。     

航天员虚拟交互操作训练多体感融合驱动方法研究

针对航天员虚拟训练中的人机自然交互问题,基于体态/手势识别和人体运动特性, 提出一种多通道数据融合的虚拟驱动与交互方法。结合Kinect 设备能够完整识别人体姿态特点 及LeapMotion 设备能精确识别手势姿态的优势,提出了基于判断的数据传递方法,在人体关节 识别的基础上对手部关节进行识别与数据处理计算,采用多通道体感识别融合方法将二者结合, 并进行了实验。结果表明,通过采用LeapMotion 和Kinect 对手部识别的判别,当手势在 LeapMotion 识别范围内,能够在实现人体体感识别的基础上增加较为精确的手势识别。此方法 成功实现了人体姿态识别和手势精确识别的结合,可应用于航天员虚拟训练中的人机自然交互 中去。     

利用深度学习的施工人员安全隐患行为诊断控制方法

为了对建筑施工现场存在安全隐患的行为进行诊断控制,提出通过深度学习的方式对建筑施工现场工人的不安全行为进行识别;第一,要对人体骨骼运动模型进行提取,将提取得到的信息作为人体姿态以及运动发生变化的新模态信息,并针对以人体姿态为依据实现骨架信息提取这一过程进行简单介绍,再进一步提出CNN-LSTM模型,该模型能够对空间特征提取性能进行优化;过利用BN-Inception作为CNN-LSTM行为识别模型所需要的空间特征提取器,对所有视频帧中包含的空间结构信息进行提取过程的训练;再通过借助长短时记忆网络(LSTM)针对完整视频中的所有帧进行时序信息的建模,最终通过模型所得出的结果即为LSTM在最终时刻的预测输出;通过相关研究能够证明,利用CNN-LSTM模型获取的信息准确率能够达到88.67%,能够对单模态行为识别模型在识别过程中的准确率进行优化。     

基于姿态估计与GRU网络的人体康复动作识别

康复锻炼是脑卒中患者的重要治疗方式,为提高康复动作识别的准确率与实时性,更好地辅助患者在居家环境中进行长期康复训练,结合姿态估计与门控循环单元(GRU)网络提出一种人体康复动作识别算法Pose-AMGRU。采用OpenPose姿态估计方法从视频帧中提取骨架关节点,经过姿态数据预处理后得到表达肢体运动的关键动作特征,并利用注意力机制构建融合三层时序特征的GRU网络实现人体康复动作分类。实验结果表明,该算法在KTH和康复动作数据集中的识别准确率分别为98.14%和100%,且在GTX1060显卡上的运行速度达到14.23frame/s,具有较高的识别准确率与实时性。     

基于多级动态模型的2维人体姿态估计

提出一种利用多级动态模型来估计单目视频中的人体姿态的方法.首先,构建了一种多级动态人体姿态模型,该模型将人体姿态视为各部位姿态的铰接组合,用部位姿态的最优估计来逼近整体姿态的最优估计,从而解决了整体姿态估计带来的歧义性问题.其次,提出了一种通过构建虚拟姿态来计算视频相邻帧之间姿态一致性的算法,该算法能够有效利用视频中表观特征及运动特征的连续性,从而提高姿态估计精度.此外,使用粒子群优化算法用较小的姿态样本优化出最优部位姿态,并将最优部位姿态重组为最优的人体姿态.通过实验验证了所提方法的有效性,并与几种前沿方法进行了比较.实验结果表明,本文方法有效提高了人体姿态估计的准确度.     

人体姿态特征选择方法的研究与实现

针对人体姿态特征问题采用宽度作为人体姿态的基本特征,用均分法和改进的遗传算法对宽度特征进行选择,采用BP神经网络分类器对不同的特征定义方法进行典型人体姿态识别的对比实验。实验结果表明,采用该特征定义和选择方法,以每秒12帧的处理速度可达到90%以上的识别正确率。     

基于人体关节点多特征融合的暴力行为识别

针对目前视频中暴力行为识别算法识别准确率不高的问题,提出一种基于人体关节点多特征融合的暴力行为识别方法。使用YOLO-Pose算法实现人体检测与姿态估计,获取人体关节点位置信息,基于人体结构提取关节点的距离特征和形状特征,基于运动特性提取关节点的动态特征和姿态特征,将所有特征信息进行融合,构建Bi-LSTM行为识别模型实现暴力行为识别分类,并设计行为识别结果稳定器,解决识别过程中因随机干扰导致的行为误判问题。在公开暴力行为数据集Violent-Flows与自制暴力行为数据集Vio-B上验证提出方法的有效性,实验表明,在Violent-Flows数据集与Vio-B数据集上本方法准确率分别达到97.9%与98.5%,高于现有方法。     

基于多传感器数据融合的人体运动模式识别研究

针对单一传感器在人体运动姿态监测中误差较大的问题,提出了一种基于加速度传感器和陀螺仪数据融合的人体运动模式识别方法;该方法使用陀螺仪输出的人体运动信息对加速度传感器采集到的姿态角信息进行修正,采用卡尔曼滤波算法实现多传感器信息的融合,有效提高了姿态角度测量的准确度;根据人体日常的活动状态构建了基于人体姿态角度特征的隐马尔可夫模型实现人体运动模式的识别;实验表明,该方法比采用单一传感器方法识别的准确率高,可以有效区分不同的日常活动行为。     

一种基于时空运动信息交互建模的三维人体姿态估计方法

三维人体姿态估计在虚拟现实和人机交互等领域具有重要作用。近年来,Transformer已被引入三维人体姿态估计领域,用于捕捉人体关节点的时空运动信息。然而,现有研究通常只关注于人体关节点群的整体运动,或只对单独的人体关节点运动进行建模,均没有深入地探讨每个关节点的独特运动模式及不同关节点运动间的相互影响。因此,提出了一种创新的方法,旨在细致地学习每帧中的二维人体关节点的空间信息,并对每个关节点的特定运动模式进行深入分析。通过设计一个基于Transformer编码器的运动信息交互模块,精确地捕捉不同关节点之间的动态运动关系。相较于已有直接对人体关节点的整体运动进行学习的模型,此方法能够使得预测精度提高约3%。与注重单节点运动的最先进MixSTE模型相比,该模型在捕捉关节点的时空特征方面更为高效,推理速度实现了20%以上提升,使其更适合于实时推理的场景。