深度学习二维人体姿态估计方法综述

人体姿态估计是计算机视觉中的一项重要任务。传统的姿态估计方法存在难以实现复杂场景下分离目标和背景、易受人为设定先验信息影响、效率过低等问题。随着人工智能技术的发展,深度学习技术日趋成熟,基于深度学习的人体姿态估计方法的精确率和速度等性能均优于传统的人体姿态估计方法。近年来,作为三维人体姿态估计的基础,二维人体姿态估计模型在解决拥挤和遮挡方面取得了长足进步,但大多数网络模型采用的是层数过多的卷积神经网络（convolutional neural network,CNN）模型,对网络速度产生了很大影响。基于部署在边缘侧的实际应用需求,二维人体姿态估计网络的轻量化成为研究热点,且具有潜在的创新应用价值。根据基于深度学习的二维人体姿态估计模型的发展历程和优化趋势,可将其分为单人姿态估计、多人姿态估计以及轻量级人体姿态估计3类。本文对各类人体姿态估计采用的不同卷积神经网络模型进行总结,对各类神经网络模型的特点进行分析,对各类估计方法的性能进行比较。虽然深度卷积神经网络（deep convolutional neural network, DCNN）模型的结构设计越来越多元化,但是各类深度学习网络模型在处理人体姿态估计任务时,仍具有一定的局限性。本文对二维人体姿态估计模型采用的技术方法及其存在的问题进行深入讨论,并给出了未来可能的研究方向。     

基于时空特征融合的交通警察手势识别

近年来,随着人体姿态估计技术的发展,基于骨架关键点的手势识别技术应运而生。提出了一个GCPMAGRU模型进行交通警察手势识别。为了更准确地定位人体关键点,对卷积姿态机（CPM）进行改进。在特征提取模块中加入残差思想、通道拆分和通道重组,设计后的特征提取模块更好提取图片特征;在CPM第一阶段加入并行多分支Inception4d结构,使CPM网络具有多尺度特征融合思想,有效改进对人体关键点定位的问题;提出基于注意力机制的GRU,通过为每帧分配不同权重来达到对每帧不同程度的关注,从而更好获取时间信息;结合时空特征信息进行交通警察手势识别。交通警察手势识别的准确度达到了93.7%,相比网络改进之前提高了2.95个百分点。     

基于计算机视觉的无人直升机位姿估计方法研究

无人直升机与着陆点的相对位置和姿态估计是其实现自主着陆的前提条件，采用计算机视觉技术完成该任务是当前的发展趋势。介绍了基于计算机视觉技术的位姿估计方法的特点，对目前直升机自主着陆研究中采用的各种位姿估计方法做了分类并进行了评述，为类似的视觉系统的设计和相关问题的研究提供了参考。     

儿童运动协调障碍AI诊断系统研究综述

运动协调障碍是儿童生长发育过程中的一种高发问题,严重影响儿童身心健康并对成年后的远期健康造成多种不良影响。随着人工智能的发展,可利用计算机视觉领域的人体姿态估计和动作识别技术辅助诊断这类疾病,有利于提升医疗普惠程度和医疗效率,对缓解医疗资源不足有着重要意义。报告了儿童运动协调障碍AI诊断系统的研究现状,介绍了儿童运动协调障碍的临床诊断方式,并基于此提出了计算机辅助诊断该类疾病的诊断技术路线,总结了人体姿态估计和动作识别任务的深度学习方法,分析了目前主流使用的人体姿态估计与动作识别任务评估指标与其对应数据集,讨论了其应用于计算机辅助诊断的问题及挑战。     

遥操作视觉手势交互映射方法研究

视觉手势技术的发展，极大地促进了遥操作技术的发展。作为虚拟现实技术的交互手段，视觉手势技术一直追求沉浸感，与用户真实操作的体验保持一致。从交互效率的角度出发，探求不同映射方法对手势操作目标点击任务的影响，提出了基于速度和操作方向的自适应映射方法，并设计实验探究证明了这种映射方法相较传统的视觉手势固定映射方法，在任务完成速度方面实现了28.6%的提升；在不同方向点击任务操作稳定性方面实现了34.8%的提升。自适应映射方法明显提高了交互效率和操作的稳定性，可以应用于遥操作控制端的交互。     

基于深度学习的二维人体姿态估计综述

人体姿态估计是计算机视觉领域的一个基础且具有挑战的任务,人体姿态估计对于描述人体姿态、描述人体行为等至关重要,是行为识别、行为检测等计算机视觉任务的基础.近年来,随着深度学习的发展,基于深度学习的人体姿态估计算法展现出了极其优异的效果.从单人人体姿态估计、自顶向下的多人人体姿态估计和自底向上的多人人体姿态估计这3种主流的人体姿态估计方式,介绍近年来基于深度学习的二维人体姿态估计算法的发展,并讨论目前二维人体姿态估计所面临的困难和挑战.最后,对人体姿态估计未来的发展做出展望.     

融合多尺度特征的复杂手势姿态估计网络

目的 基于单幅RGB图像的手势姿态估计受手势复杂性、手指特征局部自相似性及遮挡问题的影响,导致手势姿态估计准确率低。为此,提出一种面向单目视觉手势姿态估计的多尺度特征融合网络。方法 1）采用ResNet50(50-layer residual network)模块从RGB图像提取不同分辨率特征图,通过通道变换模块显式地学习特征通道间的依赖关系,增强重要的特征通道信息,弱化次要的特征通道信息。2）在全局回归模块中,通过设计节点间的连接方式融合不同分辨率特征图,以便充分利用图像的细节与整体信息。采用局部优化模块继续提取更深层的特征信息,获得手部关节点的高斯热图,以此修正遮挡等原因造成部分关节点回归不准确的问题。3）计算经通道变换模块处理后的最小特征图,通过全局池化和多层感知机处理该特征图以获得手势类别和右手相对于左手的深度。4）综合以上结果获得最终的手势姿态。结果 采用InterHand2.6M和RHD(rendered handpose dataset)数据集训练多尺度特征融合网络,评估指标中根节点的平均误差和关节点的平均误差,均低于同类方法,且在一些复杂和遮挡的场景下鲁棒性更高。在In...     

基于多尺度残差网络的单应估计方法

单应估计是许多计算机视觉任务中的一个基础且重要的步骤。传统单应估计方法基于特征点匹配,难以在弱纹理图像中工作。深度学习已经应用于单应估计以提高其鲁棒性,但现有方法均未考虑到由于物体尺度差异导致的多尺度问题,所以精度受限。针对上述问题,提出了一种用于单应估计的多尺度残差网络。该网络能够提取图像的多尺度特征信息,并使用多尺度特征融合模块对特征进行有效融合,此外还通过估计四角点归一化偏移进一步降低了网络优化难度。实验表明,在MS-COCO数据集上,该方法平均角点误差仅为0.788个像素,达到了亚像素级的精度,并且在99%情况下能够保持较高的精度。由于综合利用了多尺度特征信息且更容易优化,该方法精度显著提高,并具有更强的鲁棒性。     

基于伪三维卷积神经网络的手势姿态估计

大多数现有的基于深度学习的手势姿态估计方法都使用标准三维卷积神经网络提取三维特征,估计手部关节坐标。该方法提取的特征缺乏手部的多尺度信息,限制了手势姿态估计的精度。另外,由于三维卷积神经网络巨大的计算成本和内存需求,这些方法常难以满足实时性要求。为了克服这些缺点,提出以空间滤波器和深度滤波器级联的方式模拟三维卷积,减少网络参数量。同时,在各个尺度上提取手势姿态特征并加以整合,充分利用手势的三维信息。实验表明,该方法能有效提高手势姿态估计精度,减小模型尺寸,且在具有单块GPU的计算机上能以超过119 fps的速度运行。     

Leap Motion关键点模型手姿态估计方法

在虚拟操作的人机交互中,为解决视觉方式人手姿态估计的问题,提出一种基于Leap Motion采集设备的关键点模型手姿态参数估计方法.该方法通过建立关键点模型,利用Leap Motion采集的少量手势信息计算模型中人手关键点的空间位置,并将其作为手姿态的估计参数.实验结果表明,文中方法能够实时地估算出手各个关键点的位置以驱动虚拟手运动,为基于手势的虚拟操作人机交互应用奠定了基础.     

基于非局部高分辨率网络的人体姿态估计方法

人体姿态估计是计算机视觉中的基础任务,其可应用于动作识别、游戏、动画制作等。受非局部均值方法的启发,设计了非局部高分辨率网络（non-local high-resolution,NLHR）,在原始图像1/32分辨率的网络阶段融合非局部网络模块的,使网络有了获取全局特征的能力,从而提高人体姿态估计的准确率。NLHR网络在MPII数据集上训练,在MPII验证集上测试,PCKh@0.5评价标准下的平均准确率为90.5%,超过HRNet基线0.2个百分点;在COCO人体关键点检测数据集上训练,在COCO验证集上测试,平均准确率为76.7%,超过HRNet基线2.3个百分点。通过3组消融实验,验证NLHR网络针对人体姿态估计在精度上能够超过现有的人体姿态估计网络。     

基于非局部高分辨率网络的轻量化人体姿态估计方法

人体姿态估计是计算机视觉中的基本任务之一,可应用于动作识别、游戏、动画制作等领域。当前深度网络模型的设计大多通过加深网络以获得更好的性能,结果导致计算资源的需求超出嵌入式设备和移动设备的计算能力,达不到实际应用要求。针对上述问题,提出了一种融合Ghost模块结构的轻量级网络模型,即使用Ghost模块替换原高分辨率网络中的基础模块,从而减少网络模型的参数量。此外,设计了非局部高分辨率网络,即在网络1/32分辨率阶段融合非局部网络模块,使网络具有获取全局特征的能力,从而提高人体姿态估计的准确率,并在保证模型准确率的前提下降低网络参数量。在MPII人体姿态估计数据集和COCO人体姿态估计数据集上的实验结果表明,所提网络模型与原高分辨率网络相比,在网络模型参数量降低40%的情况下,人体姿态估计准确率提升了1.8个百分点。     

基于非局部高分辨率网络的轻量化人体姿态估计方法

人体姿态估计是计算机视觉中的基本任务之一,可应用于动作识别、游戏、动画制作等领域。当前深度网络模型的设计大多通过加深网络以获得更好的性能,结果导致计算资源的需求超出嵌入式设备和移动设备的计算能力,达不到实际应用要求。针对上述问题,提出了一种融合Ghost模块结构的轻量级网络模型,即使用Ghost模块替换原高分辨率网络中的基础模块,从而减少网络模型的参数量。此外,设计了非局部高分辨率网络,即在网络1/32分辨率阶段融合非局部网络模块,使网络具有获取全局特征的能力,从而提高人体姿态估计的准确率,并在保证模型准确率的前提下降低网络参数量。在MPII人体姿态估计数据集和COCO人体姿态估计数据集上的实验结果表明,所提网络模型与原高分辨率网络相比,在网络模型参数量降低40%的情况下,人体姿态估计准确率提升了1.8个百分点。     

基于长短时记忆和深度神经网络的视觉手势识别技术

针对基于视觉的动态手势识别易受光照、背景和手势形状变化影响等问题,在分 析人体手势空间上下文特征的基础上,首先建立一种基于人体骨架和部件轮廓特征的动态手势 模型,并采用卷积姿势机和单发多框检测器技术构造深度神经网络进行人体手势骨架和部件轮 廓特征提取。其次,引入长短时记忆网络提取动态人体手势中骨架、左右手和头部轮廓的时序 特征,进而分类识别手势。在此基础上,设计了一种空间上下文与时序特征融合的动态手势识 别机(GRSCTFF),并通过交警指挥手势视频样本库对其进行网络训练和实验分析。实验证明, 该系统 可以快速准确识别动态交警指挥手势,准确率达到94.12%,并对光线、背景和手势形 状变化具有较强的抗干扰能力。     

基于深度学习的二维人体姿态估计:现状及展望

二维人体姿态估计旨在从摄像机拍摄的图像中识别并定位每个行人的人体关键点.作为行人分析和理解领域的基础任务之一,人体姿态估计能够为多个下游任务和应用提供支持.近年来,随着深度学习技术的进步,人体姿态估计的研究迎来快速发展.基于图像包含的行人数量,人体姿态估计可以分为单人姿态估计和多人姿态估计两大类.本文首先介绍人体姿态估计的研究背景、问题定义、任务难点以及当前方法中的关键点表示方法.在此基础上,本文进一步总结和介绍了具有代表性的单人姿态估计和多人姿态估计方法.单人姿态估计方法包括回归法和检测法,主要关注于网络结构设计、热力图编解码、多任务学习等.对于多人姿态估计,本文分别介绍了基于热力图预测的方法和基于向量场回归的方法.随后,本文总结了当前常用的代表性数据集和性能度量方法,总结了代表性方法在几个常用数据集上的性能,对它们的预测错误的场景进行了详细分析和对比.最终,本文分析了现有二维人体姿态估计算法仍未有效解决的难题,对未来研究进行了展望.     

面向人机协同的物体姿态估计帧间稳定性优化方法

现有的物体姿态估计方法无法提供具有帧间稳定性的估计姿态,导致将其结果直接用于增强现实等可视化场景时会引起画面抖动,不适用于人机协同等应用场景.文中提出了一种包含多种方式的物体姿态估计优化方法,通过对原始姿态估计方法的损失函数的改进,并使用因果滤波的方法优化姿态估计结果,以获得具有稳定性的估计姿态.此外,为完善对姿态估计方法稳定程度的评价体系,文中提出了直接偏差距离DBD、方向反转率DRR与平均位移角ADA 3种评价指标,可以从多个角度对物体姿态估计方法的帧间稳定性进行评价.最后,使用YCB-STB数据集作为测试样本,并将所提方法与未经优化的原始方法进行对比测试.结果表明,所提方法可在不引入额外资源开销的情况下提高现有物体姿态估计方法的帧间稳定性,且对原始方法的准确率影响较小,满足了人机协同场景对物体姿态估计结果的需求.     

基于YOLOv3-HM的手部姿态估计方法研究

二维手部姿态估计是人机交互领域的一项关键技术。为增强复杂环境下系统鲁棒性,提高手势姿态估计精度,提出一种基于目标检测和热图回归的YOLOv3-HM算法。首先,利用YOLOv3算法从RGB图像中识别框选手部区域,采用CIoU作为边界框损失函数;然后,结合热图回归算法对手部的21个关键点进行标注;最终,通过回归手部热图实现二维手部姿态估计。分别在FreiHAND数据集与真实场景下进行测试,结果表明,该算法相较于传统手势检测算法在姿态估计精度和检测速度上均有所提高,对手部关键点的识别准确率达到99.28%,实时检测速度达到59 f/s,在复杂场景下均能精准实现手部姿态估计。     

深度学习的二维人体姿态估计综述

近年来人体姿态估计作为计算机视觉领域的热点,在视频监控、人机交互、智慧校园等领域具有广泛的应用前景。随着神经网络的快速发展,采用深度学习方法进行二维人体姿态估计,相较于传统需要人工设定特征的方法,更能充分地提取图像信息,获取更具有鲁棒性的特征,因此基于深度学习的方法已成为二维人体姿态估计算法研究的主流方向。然而,深度学习尚在发展中,仍存在训练规模大等问题,研究者们主要从设计网络以及训练方式入手对人体姿态估计算法进行改进。首先,将二维人体姿态估计分为单人与多人两大类进行论述;根据真值类型不同将单人姿态估计分为基于坐标回归与基于热图检测两类,根据算法步骤不同将多人姿态估计分为二步法与一步法两类,对近年来先进的算法进行总结分类介绍,并分析它们的优缺点以及适用范围;然后,介绍了相关的国际标准数据集以及相应的评价指标,并对几种经典算法进行实验数据对比;最后,对当前研究所存在的问题以及未来发展趋势进行了总结概述。     

基于姿态机和卷积神经网络的手的关键点估计

姿态机(PoseMachine)是一种成熟的2D人体姿态估计方法,其具有强大的对人体关键点间复杂的上下文关联的表示力(representation power)。卷积神经网络广泛应用于计算机视觉领域中,其具有出色的图像特征提取能力。基于姿态机和卷积神经网络,提出了一种的手的关键点估计方法。该方法将姿态机应用于手的关键点估计问题,且用卷积神经网络来实现姿态机的各个组件。测试表明,该方法具有与目前先进的手的关键点估计方法相当的预测性能。     

基于多尺度通道注意力机制的人体姿态估计

人体姿态估计是当前的研究热点,可应用在动作识别、人机交互、医疗监护、运动分析、虚拟现实等方面。人体姿态估计主要从输入数据中获取人体的关键节点,比如肩膀、手肘、膝盖。鉴于现有深度学习算法在遮挡情况下存在识别不准确的情况,通过多尺度通道注意力机制对人体姿态估计的任务进行算法优化,核心思想是获取特征图的通道权重,聚合本地和全局特征的上下文信息。通过多个尺度自适应地融合通道维度的权重,实现对通道信息的加强,也就是选择性地增强重要特征和抑制无意义的特征。实验以SimpleBaseline为基准网络,插入多尺度通道注意力模块后,在MPII人体姿态数据集上进行训练和测试,达到88.402%的精度。实验在COCO数据集上进行训练和测试达到72.8的AP结果。