结合密集连接的轻量级高分辨率人体姿态估计

目的 为了更好地实现轻量化的人体姿态估计,在轻量级模型极为有限的资源下实现更高的检测性能。基于高分辨率网络（high resolution network,HRNet）提出了结合密集连接网络的轻量级高分辨率人体姿态估计网络（lightweight high-resolution human estimation combined with densely connected network,LDHNet）。方法 通过重新设计HRNet中的阶段分支结构以及提出新的轻量级特征提取模块,构建了轻量高效的特征提取单元,同时对多分支之间特征融合部分进行了轻量化改进,进一步降低模型的复杂度,最终大幅降低了模型的参数量与计算量,实现了轻量化的设计目标,并且保证了模型的性能。结果 实验表明,在MPII（Max Planck Institute for Informatics）测试集上相比于自顶向下的轻量级人体姿态估计模型LiteHRNet,LDHNet仅通过增加少量参数量与计算量,平均预测准确度即提升了1.5%,与LiteHRNet的改进型DiteHRNet相比也提升了0.9%,在COCO（common objects in context）验证集上的结果表明,与LiteHRNet相比,LDHNet的平均检测准确度提升了3.4%,与DiteHRNet相比也提升了2.3%,与融合Transformer的HRFormer相比,LDHNet在参数量和计算量都更低的条件下有近似的检测性能,在面对实际场景时LDHNet也有着稳定的表现,在同样的环境下LDHNet的推理速度要高于基线HRNet以及LiteHRNet等。结论 该模型有效实现了轻量化并保证了预测性能。     

融入注意力和密集连接的轻量型人体姿态估计

目前多数人体姿态估计方法聚焦于提升预测结果的准确性,从而造成了网络参数量大和运算复杂度高等问题。为缓解该矛盾,在高分辨率网络的基础上提出一种融入注意力和密集连接方式的轻量型人体姿态估计网络。重新设计高分辨率网络中的瓶颈模块,从而降低部分网络运算复杂度;改进引入的注意力机制并结合密集连接方式构建了轻量型模块,将其替换高分辨率网络的基础模块,使网络保持一定准确性的同时大幅缩减模型参数量和运算复杂度;利用多分辨率特征和反卷积重新设计网络输出的特征融合方式,最大程度提升模型预测精度。在公开数据集MPII和COCO上的实验结果表明,相比较于高分辨率网络,所提网络模型参数量减少了71.5%,在MPII验证集上,运算复杂度缩小了35.8%,在COCO验证集上,运算复杂度缩小了35.2%,平均准确率提升了0.6个百分点,即网络能在保证检测精度的基础上有效降低网络复杂度。     

基于全局姿态感知的轻量级人体姿态估计

人体姿态估计是近年来人机交互领域的热点话题.当前,常见的人体姿态估计方法集中在通过增加网络的复杂性来提高精度,却忽视了模型的效益问题,导致模型在实际应用中精度高但计算资源消耗巨大.针对这一问题设计了一个基于全局姿态感知的轻量级人体姿态估计模型,其在MSCOCO数据集上精度达68.2％AP,速度保持在255 fps,参数...     

联合人体解析与姿态估计的轻量级网络

人体解析与姿态估计是人类行为理解领域中两个重要的研究方向。其中,人体解析旨在区分人体图像的各个区域,而姿态估计的目标则是在图像中找出人的关节点。由于这两个任务存在天然的相关性,采用一个统一的模型同时实现两个任务,可以使两者相互受益并节省资源消耗。针对该问题,旨在设计一个高效的轻量级网络,以较少的计算资源实现两个任务一致性的高性能。在公开数据集LIP上的实验表明,提出的算法能加快推理速度并具备优良的性能。     

基于多尺度通道注意力机制的人体姿态估计

人体姿态估计是当前的研究热点,可应用在动作识别、人机交互、医疗监护、运动分析、虚拟现实等方面。人体姿态估计主要从输入数据中获取人体的关键节点,比如肩膀、手肘、膝盖。鉴于现有深度学习算法在遮挡情况下存在识别不准确的情况,通过多尺度通道注意力机制对人体姿态估计的任务进行算法优化,核心思想是获取特征图的通道权重,聚合本地和全局特征的上下文信息。通过多个尺度自适应地融合通道维度的权重,实现对通道信息的加强,也就是选择性地增强重要特征和抑制无意义的特征。实验以SimpleBaseline为基准网络,插入多尺度通道注意力模块后,在MPII人体姿态数据集上进行训练和测试,达到88.402%的精度。实验在COCO数据集上进行训练和测试达到72.8的AP结果。     

基于多尺度注意力机制的高分辨率网络人体姿态估计

针对人体姿态估计中面对特征图尺度变化的挑战时难以预测人体的正确姿势,提出了一种基于多尺度注意力机制的高分辨率网络MSANet（multiscale-attention net）以提高人体姿态估计的检测精度。引入轻量级的金字塔卷积和注意力特征融合以更高效地完成多尺度信息的提取;在并行子网的融合中引用自转换器模块进行特征增强,获取全局特征;在输出阶段中将各层的特征使用自适应空间特征融合策略进行融合后作为最后的输出,更充分地获取高层特征的语义信息和底层特征的细粒度特征,以推断不可见点和被遮挡的关键点。在公开数据集 COCO2017上进行测试,实验结果表明,该方法比基础网络HRNet的估计精度提升了4.2%。     

基于空间交叉卷积的轻量级人体姿态估计算法

针对改进轻量级OpenPose网络在预测阶段仍有较大参数量会降低模型推理速度, 不利于在边缘设备部署的问题,本文提出一种基于改进卷积方法的人体姿态估计网络,使用空间交叉卷积来代替部分标准卷积,减少网络预测阶段的参数量。网络的输入为单目摄像头捕获的RGB图像,以MobileNetV3-Large为主干网络,并在其中加入了CBAM注意力模块,提取不同重要程度的空间和通道特征。获取图像特征后,送入两个分支中分别预测关键点位置和关键点组合关系。本文以空间交叉卷积代替两个分支中的部分标准卷积核,相对标准卷积能够减少80%的参数量。实验结果表明,相较于原方法,本文方法在精度下降较小的情况下,总参数量降低了22%,部署在CPU端的测试结果显示,速度能够达到6FPS,提升了4倍。     

融入双注意力的高分辨率网络人体姿态估计

在人体姿态估计任务中,针对高分辨率网络提取和融合特征图的特征信息时不能有效获取多通道信息和空间特征信息,导致人体姿态估计结果不够精确。在高分辨率网络（HRNet）的基础上,提出一种融入双注意力的高分辨率人体姿态估计网络ENNet。通过引入通道注意力,构造E-ecaneck模块和E-ecablock模块作为基础模块,最大程度地对多通道提取足够多的有用信息,在每一阶段子网的多分辨率融合阶段融入空间注意力机制,提取并融合不同分辨率特征信息,通过上采样的方式输出所有融合低分辨率的高分辨率表征。在公开数据集MS COCO2017上进行验证和测试,结果表明,相比于高分辨率网络,该方法mAP提高3.4%,有效改善网络多分辨率表征的信息融合能力,明显提升基础高分辨率网络HRNet的估计精确度。     

结合不确定性估计的轻量级人体关键点检测算法

人体关键点检测在智能视频监控、人机交互等领域有重要应用。针对基于热图的人体关键点检测算法依赖高分辨率热图、计算资源消耗大的问题,提出一种结合不确定性估计的轻量级算法。使用低分辨率热图,结合不确定性估计预测误差分布的尺度参数,提高了预测结果的可信度;利用尺度参数监督和约束热图,缓解梯度消失,增强了网络的鲁棒性。COCO数据集上实验结果表明,与积分姿态回归算法相比,改进后算法的平均精度提高了3.3%,降低了资源占用。     

预加权调制密集图卷积网络三维人体姿态估计

图卷积网络（GCN）日益成为三维人体姿态估计（3D HPE）的主要研究热点之一,使用GCN对人体关节点之间的关系建模的方法使三维人体姿态估计获得了良好的性能。然而,基于GCN的三维人体姿态估计方法存在过平滑和未区分关节点与相邻关节点重要性的问题。为解决这些问题,设计了调制密集连接模块（MDC）和预加权图卷积模块,并基于这两个模块提出了预加权调制密集图卷积网络的三维人体姿态估计方法（WMDGCN）。针对过平滑问题,调制密集连接通过超参数α和β更好地实现特征重用（超参数α表示第l层和之前各层总特征的权重比例,超参数β表示之前各层特征到第l层的传播策略）,从而有效地提高特征的表达能力。针对未区分关节点与相邻关节点重要性的问题,使用预加权图卷积为当前关节点赋予更高的权重,并对当前关节点及其相邻关节点使用不同的权重矩阵,更有效地捕获人体关节点特征。Human3.6M数据集上的对比实验结果表明,该方法在参数量和性能上均取得了最佳性能,WMDGCN的参数量、MPJPE和P-MPJPE值分别为0.27 MB、37.46 mm和28.85 mm。     

轻量型多路特征融合人体姿态估计

基于深度学习的人体姿态估计广泛应用于姿态识别、人机交互等领域. 为了提升人体关键点的检测精度, 很多网络采用运算量、参数量和复杂度不断增加的模型架构, 导致无法直接部署到低算力设备. 为了解决上述问题, 本文提出了一种多路特征注意力融合的轻量型方法. 模型基于HigherHRNet网络进行轻量化设计和训练, 包括: 采用通道拆分和通道混洗, 解决分组卷积后特征层之间存在的信息隔离; 采用线性运算的特征生成方法, 解决不同特征层之间存在的冗余性; 采用融合注意力信息的方法, 缓解因轻量化导致的准确率下降. 在MS COCO数据集上完成了模型的训练、测试、可视化以及消融实验. 实验结果表明本文的轻量化方法在保证直观的检测精度前提下, 能够显著降低人体姿态估计的计算量.     

基于堆叠沙漏网络的人体姿态估计

人体姿态估计在许多计算机视觉任务中起着重要的作用,然而,由于姿态的多变、光照、遮挡和分辨率低等因素,它仍然是一个具有挑战性的问题.利用深层卷积神经网络的高级语义信息是提高人体姿态估计精度的有效途径,本文提出了一种改进的堆叠沙漏网络,设计了一个大感受野残差模块和预处理模块来更好地获得人体结构特征,以此获得丰富的上下文信息,对部分遮挡、大姿态变化、复杂背景等有较好的效果,此外,还对不同阶段的结果进行了融合,以进一步提高定位精度,在MPII数据集和LSP数据集上对本文提出的模型进行实验和验证,结果证明了本文模型的有效性.     

基于改进特征金字塔网络的人体姿态估计

为在人体姿态估计过程中有效获取多尺度特征和关键点坐标,建立一种基于改进特征金字塔网络(IPFN)的人体姿态跟踪模型.在原特征金字塔上采用新的检测器扩大感受野得到新特征金字塔,通过引入多尺度卷积生成高斯热点图,同时搜索和定位关键点,使坐标转换层将高斯热点图转为坐标,实现端到端训练过程.实验结果表明,相比FPN,IPFN模...     

基于多尺度特征融合的抓取位姿估计

抓取目标多样性、位姿随机性严重制约了机器人抓取的任务适应性,为提高机器人抓取成功率,提出一种融合多尺度特征的机器人抓取位姿估计方法.该方法以RGD信息为输入,采用ResNet-50主干网络,融合FPN(feature pyramid networks)获得多尺度特征作为抓取生成网络的输入,以生成抓取候选框;并将抓取方向...     

适用于非合作目标捕获的轻量级位姿估计网络

空间非合作目标的增多导致太空安全受到严重威胁,对非合作目标进行捕获回收具有维护空间安全、节约资源等现实意义。非合作目标捕获回收需要进行位姿估计,而目前在硬件资源有限的航天器平台上,现有的大多数非合作目标位姿估计算法无法同时满足及时性和准确性的要求。设计一种超轻量级目标检测网络YOLO-GhostECA,利用GhostBottleneck网络减少特征图冗余,并使用高效注意力机制提取核心特征图,以降低模型参数,在提升运算速度的同时保证精度水平几乎不下降。根据YOLO-GhostECA网络的检测结果粗略估计姿态,以协助机械臂更加合理地执行智能捕获任务,解决2D识别算法无法检测出物体姿态的问题。在7自由度冗余机械臂上开展的空间非合作目标捕获地面模拟的实验结果表明,与YOLOv5s网络相比,该网络模型大小减小了80.4%,运算复杂度降低了78.9%,而精度基本保持不变,可准确快速地对非合作目标进行位姿估计,能够引导机器人成功捕获非合作物体。     

基于多层空间特征融合的三维人体姿态估计

在三维人体姿态估计任务当中, 人体关节之间的连接关系形成了一种复杂的拓扑结构, 利用图卷积网络对该结构进行建模, 可以有效捕捉局部关节间的联系; 尽管不相邻关节之间没有直接的物理连接, 但由于人体的运动和姿态受到生物力学约束以及人体关节之间的协同作用, 利用Transformer编码器建立关节之间的上下文关系, 可以更好地推断出人体姿态; 在大模型的背景下, 如何在保证模型性能的同时, 降低参数量, 也显得尤为重要. 针对上述问题, 设计了一个基于图卷积和Transformer的多层空间特征融合网络模型(MLSFFN), 在使用相对少量的参数基础上, 有效地融合了局部和全局空间特征. 实验结果表明, 本文提出的方法在仅需2.1M参数量的情况下, 在Human3.6M数据集上达到了49.9 mm的平均每关节误差(MPJPE). 此外, 模型在MPI-INF-3DHP数据集上也展示出了较强的泛化能力.     

引入注意力机制的多分辨率人体姿态估计研究

针对人体姿态估计任务中多分辨率特征表征直接融合时存在无法有效利用特征图空间特征信息的问题,基于High-Resolution Net（HRNet）进行结构设计,构建出结合了通道域注意力和空间域注意力机制的多分辨率人体姿态估计网络GCT-Nonlocal Net（GNNet）,提出了一种基于注意力机制的多分辨率表征融合方法,在不同分辨率表征融合前由空间注意力提取出各分辨率表征更有用的空间特征信息来改进融合单元,使得各分辨率表征间的信息融合效果更佳,最终输出的高分辨率表征含有更丰富的特征信息,同时构造了Gateneck模块和Gateblock模块,其通过引入通道注意力更明确地对通道关系建模从而高效地提取通道信息。在MS COCOVAL 2017进行验证,结果显示提出的GNNet相较于SOTA级表现的HRNet在相当参数量与运算量的情况下获得了更高的准确度,mAP提高了1.4个百分点。实验结果表明,所提方法有效地提高了多分辨率特征表征融合效果。     

基于通道切分的人体姿态估计算法

为了提高人体姿态估计的准确率和识别速度,提出一种基于通道切分的人体姿态估计算法Channel-Split Residual Steps Network(Channel-Split RSN)。首先,提出通道切分模块,对切分后的特征通道通过卷积提取特征再融合起来,以获得丰富的特征表示。接着,引入特征增强模块,对特征通道进一步分组,并对不同的分组采取不同的处理策略,以减少特征通道内的相似特征。最后,结合改进的空间注意力机制,提出一种基于特征空间相关性的姿态修正机Context-PRM,得到更加准确的人体姿态估计。在COCO test-dev数据集上的实验结果表明,本文方法达到75.9%的AP和55.36的FPS,并且模型的大小Params(M)仅为18.3。相较于传统的RSN18和传统的RSN50,模型的AP分别提高了5和3.4个百分点,FPS比传统的RSN50快12.08。在更具挑战性的CrowdPose数据集上,本文方法达到66.9%的AP和19.16的FPS,相较于RSN18,AP提高了4.6个百分点。有效提高了人体姿态估计的准确率,且模型具有较快的识别速度。本文源代码公开在https://github.com/qdd1234/Channel-Split-RSN。