基于轻量级姿态估计的跳绳检测计数算法

针对人体姿态估计算法可实施性低以及基于姿态估计的跳绳计数精度不高的问题, 提出了一种基于轻量级人体姿态估计网络的跳绳计数算法. 该算法首先输入跳绳视频, 接着利用帧间差分法提取关键帧图像并送入人体姿态估计网络进行关节点检测; 同时为了解决轻量级网络检测精度不高的问题, 提出优化的LitePose检测模型, 采用自适应感知解码方法对模型的解码部分进行优化从而减少量化误差; 然后采用卡尔曼滤波对坐标数据进行平滑降噪, 以减小坐标抖动误差; 最终通过关键点坐标变化判断跳绳计数. 实验结果表明, 在相同图像分辨率和环境配置下, 本文提出的算法使用优化的LitePose-S网络模型, 不仅未增加模型参数量和运算复杂度, 同时网络检测精度提高了0.7%, 且优于其他对比网络, 而且本算法在跳绳计数时的平均误差率最低可达1.00%, 可以利用人体姿态估计的结果有效地判断人体起跳和落地情况, 最终得出计数结果.     

着装场景下双分支网络的人体姿态估计

目的 人体姿态估计旨在识别和定位不同场景图像中的人体关节点并优化关节点定位精度。针对由于服装款式多样、背景干扰和着装姿态多变导致人体姿态估计精度较低的问题,本文以着装场景下时尚街拍图像为例,提出一种着装场景下双分支网络的人体姿态估计方法。方法 对输入图像进行人体检测,得到着装人体区域并分别输入姿态表示分支和着装部位分割分支。姿态表示分支通过在堆叠沙漏网络基础上增加多尺度损失和特征融合输出关节点得分图,解决服装款式多样以及复杂背景对关节点特征提取干扰问题,并基于姿态聚类定义姿态类别损失函数,解决着装姿态视角多变问题;着装部位分割分支通过连接残差网络的浅层特征与深层特征进行特征融合得到着装部位得分图。然后使用着装部位分割结果约束人体关节点定位,解决服装对关节点遮挡问题。最后通过姿态优化得到最终的人体姿态估计结果。结果 在构建的着装图像数据集上验证了本文方法。实验结果表明,姿态表示分支有效提高了人体关节点定位准确率,着装部位分割分支能有效避免着装场景中人体关节点误定位。在结合着装部位分割优化后,人体姿态估计精度提高至92.5%。结论 本文提出的人体姿态估计方法能够有效提高着装场景下的人体姿态估计精度,较好地满足虚拟试穿等实际应用需求。     

基于改进Simple Baselines的人体姿态估计算法

人体姿态估计在很多领域有着十分广泛的应用.为了提高人体姿态估计准确率,提出一种基于Simple Baselines的人体姿态估计算法.首先,将Simple Baselines的特征提取网络ResNet152替换为FastHand算法中的特征提取网络,提高模型检测准确率.其次,引进姿态修正机以提高模型对人体关节点定位准确...     

基于堆叠沙漏网络的人体姿态估计

人体姿态估计在许多计算机视觉任务中起着重要的作用,然而,由于姿态的多变、光照、遮挡和分辨率低等因素,它仍然是一个具有挑战性的问题.利用深层卷积神经网络的高级语义信息是提高人体姿态估计精度的有效途径,本文提出了一种改进的堆叠沙漏网络,设计了一个大感受野残差模块和预处理模块来更好地获得人体结构特征,以此获得丰富的上下文信息,对部分遮挡、大姿态变化、复杂背景等有较好的效果,此外,还对不同阶段的结果进行了融合,以进一步提高定位精度,在MPII数据集和LSP数据集上对本文提出的模型进行实验和验证,结果证明了本文模型的有效性.     

基于中粒度模型的视频人体姿态估计

人体姿态估计是计算机视觉领域的一个研究热点,在行为识别、人机交互等领域均有广泛的应用.本文综合粗、细粒度模型的优点,以人体部件轨迹片段为实体构建中粒度时空模型,通过迭代的时域和空域交替解析,完成模型的近似推理,为每一人体部件选择最优的轨迹片段,拼接融合形成最终的人体姿态序列估计.为准备高质量的轨迹片段候选,本文引入全局运动信息将单帧图像中的最优姿态检测结果传播到整个视频形成轨迹,然后将轨迹切割成互相交叠的固定长度的轨迹片段.为解决对称部件易混淆的问题,从概念上将模型中的对称部件合并,在保留对称部件间约束的前提下,消除空域模型中的环路.在三个数据集上的对比实验表明本文方法较其他视频人体姿态估计方法达到了更高的估计精度.     

深度学习二维人体姿态估计方法综述

人体姿态估计是计算机视觉中的一项重要任务。传统的姿态估计方法存在难以实现复杂场景下分离目标和背景、易受人为设定先验信息影响、效率过低等问题。随着人工智能技术的发展,深度学习技术日趋成熟,基于深度学习的人体姿态估计方法的精确率和速度等性能均优于传统的人体姿态估计方法。近年来,作为三维人体姿态估计的基础,二维人体姿态估计模型在解决拥挤和遮挡方面取得了长足进步,但大多数网络模型采用的是层数过多的卷积神经网络（convolutional neural network,CNN）模型,对网络速度产生了很大影响。基于部署在边缘侧的实际应用需求,二维人体姿态估计网络的轻量化成为研究热点,且具有潜在的创新应用价值。根据基于深度学习的二维人体姿态估计模型的发展历程和优化趋势,可将其分为单人姿态估计、多人姿态估计以及轻量级人体姿态估计3类。本文对各类人体姿态估计采用的不同卷积神经网络模型进行总结,对各类神经网络模型的特点进行分析,对各类估计方法的性能进行比较。虽然深度卷积神经网络（deep convolutional neural network, DCNN）模型的结构设计越来越多元化,但是各类深度学习网络模型在处理人体姿态估计任务时,仍具有一定的局限性。本文对二维人体姿态估计模型采用的技术方法及其存在的问题进行深入讨论,并给出了未来可能的研究方向。     

单帧图像人体姿态估计综述

人体姿态估计是指从图像中检测人体各部分的位置并计算其方向和尺度信息,姿态估计的结果分二维和三维两种情况,而估计的方法分基于模型和无模型两种途径。本文首先介绍了人体姿态估计的研究背景和应用方向,然后对姿态估计的相关概念作了阐述,分析了姿态估计的输出表示,接着从人体目标检测和姿态估计两大类进行了详细分析和讨论,从实际应用的角度对各种方法做了理论上的比较和分析。最后,对相关研究还存在的问题和进一步研究的趋势作了归纳和总结。     

结合边缘轮廓和姿态特征的人体精确解析模型

针对着装场景中由于人体姿态、边缘轮廓、服装配饰的复杂性以及着装部位关节点被遮挡等因素导致人体解析精度较低的问题,提出一种结合边缘轮廓和姿态特征的人体精确解析模型.首先采用残差网络ResNet-101作为主干网络表征输入人体图像进行初步人体解析,得到粗解析特征;然后构建边缘轮廓模块,结合上采样后的全局和局部特征得到人体边缘轮廓;再基于着装姿态定义着装姿态损失函数,通过姿态估计模块提取人体姿态特征;最后联合粗解析特征、边缘轮廓和姿态特征,并定义结构损失和人体解析损失的组合函数输出精确的解析结果.在多个数据集上的实验结果表明,该模型的mIoU评测指标提高了1.96％,在人体的着装姿态和部位遮挡等方面获得了更准确的语义分割结果,能有效地提高着装人体解析的精度.     

轻量型多路特征融合人体姿态估计

基于深度学习的人体姿态估计广泛应用于姿态识别、人机交互等领域. 为了提升人体关键点的检测精度, 很多网络采用运算量、参数量和复杂度不断增加的模型架构, 导致无法直接部署到低算力设备. 为了解决上述问题, 本文提出了一种多路特征注意力融合的轻量型方法. 模型基于HigherHRNet网络进行轻量化设计和训练, 包括: 采用通道拆分和通道混洗, 解决分组卷积后特征层之间存在的信息隔离; 采用线性运算的特征生成方法, 解决不同特征层之间存在的冗余性; 采用融合注意力信息的方法, 缓解因轻量化导致的准确率下降. 在MS COCO数据集上完成了模型的训练、测试、可视化以及消融实验. 实验结果表明本文的轻量化方法在保证直观的检测精度前提下, 能够显著降低人体姿态估计的计算量.     

基于SMPL模型的人体姿态估计

针对目前人体形变模型中姿态估计算法容易出现误差、信息缺失等问题,提出一种利用深度相机获取的人体三维信息来优化模型的方法.通过深度相机Kinect获取的三维骨架信息,与SMPL模型进行配准,修正原始的模型姿态,得到一个接近人体真实姿态的模型.实验结果表明,融合人体三维信息后,模型的准确性得到一定程度上的提高.     

基于多尺度注意力机制的高分辨率网络人体姿态估计

针对人体姿态估计中面对特征图尺度变化的挑战时难以预测人体的正确姿势,提出了一种基于多尺度注意力机制的高分辨率网络MSANet（multiscale-attention net）以提高人体姿态估计的检测精度。引入轻量级的金字塔卷积和注意力特征融合以更高效地完成多尺度信息的提取;在并行子网的融合中引用自转换器模块进行特征增强,获取全局特征;在输出阶段中将各层的特征使用自适应空间特征融合策略进行融合后作为最后的输出,更充分地获取高层特征的语义信息和底层特征的细粒度特征,以推断不可见点和被遮挡的关键点。在公开数据集 COCO2017上进行测试,实验结果表明,该方法比基础网络HRNet的估计精度提升了4.2%。     

基于堆叠沙漏网络改进的多人姿态估计

为解决多人姿态估计中小尺度关键点(手腕、脚踝等)定位准确率低的问题,采用自顶向上的方式,结合先进的人体目标检测模型YOLOv3,提出一种基于堆叠沙漏网络改进的多人姿态估计方法。在沙漏网络中融入通道混洗模块,加强不同尺度下多层特征之间的跨通道信息交流,提高被遮挡关键点的识别效果;使用注意力机制对沙漏网络原有的残差模块进行特征增强,抑制无用特征并提升有用特征,提高小尺度关键点的识别率。实验结果表明,在MPII数据集上的总体PCK@0.5达到了88.6%,在MSCOCO数据集上的AP@0.75相比原始网络提升了4.6%,验证了所提方法的有效性。     

LDNet: Lightweight dynamic convolution network for human pose estimation

Lightweight implementation of existing human pose estimation networks limits the model representation capability, and it cannot effectively deal with problems such as changeable poses, complex backgrounds, and occlusion in practical applications. To address this problem, a lightweight human pose estimation network with dynamic convolution, called LDNet, is proposed in this study. First, we start from a lightweight feature extraction head to reduce the number of image preprocessing parameters. Then, we employ a high-resolution parallel subnetwork to predict precise keypoint heatmaps. To reduce the complexity due to high-resolution representations while maintaining good network performance, we propose a lightweight dynamic convolution. It can cope with changing human poses by adaptively learning different convolution parameters. Finally, to further exploit the relationship between the high-level semantic and spatial structure features for accurately locating different keypoints, we propose a keypoint refinement module based on our lightweight dynamic convolution to improve the keypoint detection and location results. Overall, accurate keypoint prediction results are obtained and compared with those of many existing networks, such as HRNet, the number of parameters is reduced by 82.1% and the calculation complexity is reduced by 47.9%. The model achieves an average precision of 73.5% and 88.7% on the COCO 2017 and MPII datasets, respectively. LDNet also shows good prediction accuracy and robustness on the CrowdPose dataset. The proposed network is superior to existing outstanding lightweight networks and is comparable to existing large-scale human pose estimation networks.     

优化LeNet-5网络的多角度头部姿态估计方法

针对在受到部分遮挡或角度过大无法定位面部关键特征点的情况下,传统的头部姿态估计方法的准确率低或无法进行头部姿态估计的问题,提出了优化LeNet-5网络的多角度头部姿态估计方法。首先,通过对卷积神经网络（CNN）的深度、卷积核大小等进行优化来更好地捕捉图像的全局特征;然后,改进池化层,用卷积操作代替池化操作来增强网络的非线性能力;最后,引入AdaBound优化器,并利用Softmax回归模型做姿态分类训练。训练中在自建数据集中增加遮挡头发、做出夸张表情和佩戴眼镜等动作来增强网络的泛化能力。实验结果表明,所提方法不需要定位面部关键特征点,在光照阴影、头发等遮挡情况下也可以实现抬头、低头、偏头等多角度转动下的头部姿态估计,在Pointing04公共数据集和CAS-PEAL-R1公共数据集上准确率达到了98.7%,运行速度平均在每秒22~29帧。     

并联化高分辨网络的人体姿态估计方法

为降低高分辨网络模型因级联过多造成的参数冗余,设计一种用于人体姿态估计的并联化高分辨网络模型。通过适当的网络裁剪和并联化结构优化处理策略,对原始高分辨网络模型的消融实验结果进行分析,保留网络的前3个阶段,按第四阶段网络的分辨率构建等尺度的U型网络结构,在多尺度分支的第二阶段与第三阶段中分别并联该结构,保持原网络在同分辨率下的特征融合。针对人体姿态估计数据集MPII与MSCOCO进行检测,并联化高分辨网络的参数量仅为原网络的37%,浮点运算量降低30%。     

基于非局部高分辨率网络的人体姿态估计方法

人体姿态估计是计算机视觉中的基础任务,其可应用于动作识别、游戏、动画制作等。受非局部均值方法的启发,设计了非局部高分辨率网络（non-local high-resolution,NLHR）,在原始图像1/32分辨率的网络阶段融合非局部网络模块的,使网络有了获取全局特征的能力,从而提高人体姿态估计的准确率。NLHR网络在MPII数据集上训练,在MPII验证集上测试,PCKh@0.5评价标准下的平均准确率为90.5%,超过HRNet基线0.2个百分点;在COCO人体关键点检测数据集上训练,在COCO验证集上测试,平均准确率为76.7%,超过HRNet基线2.3个百分点。通过3组消融实验,验证NLHR网络针对人体姿态估计在精度上能够超过现有的人体姿态估计网络。     

基于注意力机制的轻量型人体姿态估计

针对高分辨率人体姿态估计网络存在参数量大、运算复杂度高等问题,提出一种基于高分辨率网络（HRNet）的轻量型沙漏坐标注意力网络（SCANet）用于人体姿态估计。首先引入沙漏（Sandglass）模块和坐标注意力（CoordAttention）模块;然后在此基础上构建了沙漏坐标注意力瓶颈（SCAneck）模块和沙漏坐标注意力基础 （SCAblock）模块两种轻量型模块,在降低模型参数量和运算复杂度的同时,获取特征图空间方向的长程依赖和精确位置信息。实验结果显示,在相同图像分辨率和环境配置的情况下,在COCO（Common Objects in COntext）校验集上,SCANet模型与HRNet模型相比参数量降低了52.6%,运算复杂度降低了60.6%;在MPII（Max Planck Institute for Informatics）校验集上,SCANet模型与HRNet模型相比参数量和运算复杂度分别降低了52.6%和61.1%;与常见的人体姿态估计网络如堆叠沙漏网络（Hourglass）、级联金字塔网络（CPN）和SimpleBaseline相比,SCANet模型在拥有更少的参数量与运算复杂度的情况下,仍能实现对人体关键点的高准确度预测。     

基于高分辨率网络的人体姿态估计方法

人体姿态估计在人机交互和行为识别应用中起着至关重要的作用,但人体姿态估计方法在特征 图尺度变化中难以预测正确的人体姿态。为了提高姿态估计的准确性,将并行网络多尺度融合方法和生成高质 量特征图的方法结合进行人体姿态估计(RefinedHRNet)。在人体检测基础之上,采用并行网络多尺度融合方法 在阶段内采用空洞卷积模块来扩大感受野,以保持上下文信息;在阶段之间采用反卷积模块和上采样模块生成 高质量的特征图;然后并行子网络最高分辨率的特征图(输入图像尺寸的 1/4)用于姿态估计;最后采用目标关键 点相似度 OKS 来评价关键点识别的准确性。在 COCO2017 测试集上进行实验,该方法比 HRNet 网络模型姿态 估计的准确度提高了 0.4%。