着装场景下双分支网络的人体姿态估计

目的 人体姿态估计旨在识别和定位不同场景图像中的人体关节点并优化关节点定位精度。针对由于服装款式多样、背景干扰和着装姿态多变导致人体姿态估计精度较低的问题,本文以着装场景下时尚街拍图像为例,提出一种着装场景下双分支网络的人体姿态估计方法。方法 对输入图像进行人体检测,得到着装人体区域并分别输入姿态表示分支和着装部位分割分支。姿态表示分支通过在堆叠沙漏网络基础上增加多尺度损失和特征融合输出关节点得分图,解决服装款式多样以及复杂背景对关节点特征提取干扰问题,并基于姿态聚类定义姿态类别损失函数,解决着装姿态视角多变问题;着装部位分割分支通过连接残差网络的浅层特征与深层特征进行特征融合得到着装部位得分图。然后使用着装部位分割结果约束人体关节点定位,解决服装对关节点遮挡问题。最后通过姿态优化得到最终的人体姿态估计结果。结果 在构建的着装图像数据集上验证了本文方法。实验结果表明,姿态表示分支有效提高了人体关节点定位准确率,着装部位分割分支能有效避免着装场景中人体关节点误定位。在结合着装部位分割优化后,人体姿态估计精度提高至92.5%。结论 本文提出的人体姿态估计方法能够有效提高着装场景下的人体姿态估计精度,较好地满足虚拟试穿等实际应用需求。     

结合遮挡级别的人体姿态估计方法

针对单目静态图像中姿态估计方法易受遮挡干扰的问题,提出基于部位遮挡级别的可形变姿态估计方法.首先定义遮挡级别为人体部位的被遮挡程度,其通过计算部位遮挡比例和部位方向获得;然后根据遮挡级别为每个部位建立对应级别的部位检测器,并给出基于遮挡级别的部位间形变模型;最后依据以上2个模型的总体匹配得分,获得最合理的人体姿态.在标准数据集IP和LSP上的实验结果表明,该方法提高了姿态估计的整体准确率,特别是减少了有遮挡情况下的部位误匹配问题.     

联合姿态先验的人体精确解析双分支网络模型

人体解析旨在将人体图像分割成多个具有细粒度语义的部件区域,进行形成对人体图像的语义理解.然而由于人体姿态的复杂性,现有的人体解析算法容易对人体四肢部件形成误判,且对于小目标区域的分割不够精确.针对上述问题,本文联合人体姿态估计信息,提出了一种人体精确解析的双分支网络模型.该模型首先使用基干网络表征人体图像,将人体姿态估计模型预测到的姿态先验作为基干网络的注意力信息,进而形成人体结构先验驱动的多尺度特征表达,并将提取的特征分别输入至全卷积网络解析分支与检测解析分支.全卷积网络解析分支获得全局分割结果,检测解析分支更关注小尺度目标的检测与分割,融合两个分支的预测信息可获得更为精确的分割结果.实验结果验证了本文算法的有效性,在当前主流的人体解析数据集LIP和ATR上,本文方法的mIoU评测指标分别为52.19%和68.29%,有效提升了解析精度,在人体四肢部件以及小目标部件区域获得了更为准确的分割结果.     

视频中多特征融合人体姿态跟踪

目的 目前已有的人体姿态跟踪算法的跟踪精度仍有待提高,特别是对灵活运动的手臂部位的跟踪。为提高人体姿态的跟踪精度,本文首次提出一种将视觉时空信息与深度学习网络相结合的人体姿态跟踪方法。方法 在人体姿态跟踪过程中,利用视频时间信息计算出人体目标区域的运动信息,使用运动信息对人体部位姿态模型在帧间传递;考虑到基于图像空间特征的方法对形态较为固定的人体部位如躯干和头部能够较好地检测,而对手臂的检测效果较差,构造并训练一种轻量级的深度学习网络,用于生成人体手臂部位的附加候选样本;利用深度学习网络生成手臂特征一致性概率图,与视频空间信息结合计算得到最优部位姿态,并将各部位重组为完整人体姿态跟踪结果。结果 使用两个具有挑战性的人体姿态跟踪数据集VideoPose2.0和YouTubePose对本文算法进行验证,得到的手臂关节点平均跟踪精度分别为81.4%和84.5%,与现有方法相比有明显提高;此外,通过在VideoPose2.0数据集上的实验,验证了本文提出的对下臂附加采样的算法和手臂特征一致性计算的算法能够有效提高人体姿态关节点的跟踪精度。结论 提出的结合时空信息与深度学习网络的人体姿态跟踪方法能够有效提高人体姿态跟踪的精度,特别是对灵活运动的人体姿态下臂关节点的跟踪精度有显著提高。     

三维人体重建中的服装视觉信息表示

针对三维人体重建中服装视觉信息表示模糊的问题,提出一种多阶段优化的三维人体重建方法.首先对输入的人体图像进行预处理,分别提取其语义特征、明暗特征和高频特征;然后基于局部深度特征构建有向距离场,隐式表征三维人体的几何形状;再构建着装层次表示模块,通过定义着装层次损失函数感知服装语义上下文信息,并优化有向距离场,生成粗糙的...     

面向三维模型视图特征提取的残差卷积网络优化

在已有残差卷积神经网络基础上,采用加权损失函数提高视图特征的可分性,提出面向三维模型视图特征提取的残差卷积网络优化算法.首先对三维模型进行多视图渲染得到二维视图;然后通过残差网络扩展模块加深网络深度;最后采用中心损失函数和交叉熵损失函数定义加权损失函数,解决交叉熵损失函数因为类内距离小于类间距离而导致的特征不可分问题.在ModelNet数据集上的实验结果表明,该算法提取到的特征在三维模型分类问题上性能表现优异.     

单视角三维服装重建的民族风格表征学习

针对民族服装风格多样、款式和配饰复杂,导致单视角三维服装重建结构不完整、风格不准确和局部特征模糊等问题,为了学习和映射民族服装的潜在风格特征,提出一种单视角三维服装重建的民族风格表征学习方法.首先结合定义的民族服装形状风格和几何拓扑构建形状表征,学习形状潜在特征;然后基于区域定位和关键点,并融合定义的款式风格、着装部位进行款式表征,得到局部感知区域图,以学习款式潜在特征;再联合形状、款式特征以及定义的对称损失函数,隐式重建出民族服装的初步模型;最后在卷积网络中引入图像的超像素特征、Branch分支和配饰的语义解析建立配饰表征,并编码UV位置图到特征空间,生成民族服装的最终模型.在自定义的少数民族服装数据集上的实验结果表明,所提方法的倒角距离和法线余弦距离分别为1.732和0.13,较已有方法降低11%和18%,能够提高单视角三维民族服装重建的精度,生成具有民族风格的三维服装模型.     

姿态驱动的局部特征对齐的行人重识别

针对行人重识别研究中的遮挡问题,本文提出了一种姿态驱动的局部特征对齐的行人重识别方法.网络主要包括姿态编码器和行人部件对齐模块.其中,姿态编码器通过重构姿态估计热力图抑制遮挡区域骨骼关键点置信度,引导网络提取行人可见部位的特征.行人部件对齐模块依据姿态编码器输出的关键点置信图,提取行人局部特征进行特征对齐,降低非行人特征的干扰.在遮挡、半身数据集上的仿真实验表明,该方法获得了优于其他对比网络的结果.     

基于频率筛分的无监督人体姿态特征提取与识别研究

基于视频序列的人体行为分析需要检测和判别人体姿态,已有人体姿态检测与判别方法往往达不到实用性要求.从两个方面探讨应用BEMD(bidimensional empirical mode decomposition)算法提升特征分离度与判别性,以进行人体姿态检测和判别:BEMD分解源图像得到的多层固有模态图BIMF具有判别特征,可形成具有强边缘的对比度高的区域,其中包括人体轮廓区域;从低分辨率尺度BIMF图像到高分辨率尺度BIMF图像递归计算,建立基于BEMD的多尺度树(BEMD muhiscale-trees tructured)模型,快速提取目标区域并获取人体形状轮廓特征.实验证明,利用该方法进行人体姿态轮廓特征提取,并建立人体姿态的简化模型,可快速检测并判别人体姿态,以达到实时识别.     

结合轮廓与姿态的时空融合步态识别方法

现有的大多数步态识别方法是基于轮廓的步态识别方法，然而轮廓容易受到遮挡的影响，从而导致识别准确率下降。在现实的监控场景下，遮挡几乎是不可避免的，提高遮挡情况下的步态识别精度是算法能够“落地”于实际应用的前提。针对此问题，提出了结合轮廓与姿态的时空融合步态识别方法。利用姿态具有抵抗遮挡的能力，设计多模态空间特征融合模块，利用特征重用策略和模态融合策略以提高空间特征的信息容量；设计多尺度时间特征提取模块，利用独立分支提取不同时间尺度下的时间信息，提出一种基于注意力的特征融合策略以自适应地整合时间信息；设计空间特征集合分支，以深监督方式提高时空特征的表达能力。在公开数据集上的实验结果表明了所提方法的有效性，模型在遮挡情况下具有较好的鲁棒性。