基于双相机捕获面部表情及人体姿态生成三维虚拟人动画

为了生成表情丰富、动作流畅的三维虚拟人动画,提出了一种基于双相机同步捕获面部表情及人体姿态生成三维虚拟人动画的方法.首先,采用传输控制协议(TCP)网络时间戳方法实现双相机时间同步,采用张正友标定法实现双相机空间同步.然后,利用双相机分别采集面部表情和人体姿态.采集面部表情时,提取图像的2D特征点,利用这些2D特征点回...     

基于Kinect深度相机的实时三维人体动画

研究了一种基于H Anim标准的实时人体三维动画方法,首先对H Anim中人体肢体层次结构进行研究和分析,给出了进行人体动画的坐标变换方法;其次,基于OpenNI对Kinect获取的数据进行重新处理,采用逆运动学计算非根关节旋转矩阵;最后给出了系统流程及具体实验方法,采用OpenGL由实时获取的关节旋转矩阵驱动虚拟人实现了人体动画。实验结果表明,该算法可以较精确地提取人体三维姿态,实时重构人体运动。     

结合个性化建模和深度数据的三维人体姿态估计

利用深度传感器估计三维人体姿态是计算机视觉领域的一个重要问题,在人机交互、虚拟现实和动画设计等领域有重要的应用价值.针对该问题的主流方法是自底向上的方法,这类方法一般采用分类、回归或检索技术,可以直接从深度数据中估计三维肢体姿态,在人机交互中得到了很广泛的应用.但是这类方法依赖于大规模的姿态数据库,而且结果不够精确.本文提出一种结合个性化人体建模和深度数据的三维姿态估计方法,首先对运动对象建立三维虚拟人模型,然后利用该个性化的虚拟人模型与深度数据之间的点匹配关系构造姿态优化的目标函数,通过迭代优化目标函数,估计出与深度数据相吻合的三维姿态.与传统方法相比,本文方法不需要任何姿态数据库.实验表明,本文方法得到的结果更加精确.     

部位级遮挡感知的人体姿态估计

随着深度学习的快速发展,人体姿态估计技术近年来取得显著进步,但是现有方法仍难以较好地处理普遍存在的遮挡问题.针对此问题,提出一种部位级遮挡感知的人体姿态估计方法.首先,采用基准人体姿态估计网络从含遮挡噪声的图像中获得各人体部位的带噪声特征表达.然后,通过遮挡部位预测模块估计人体被遮挡部位,从而获得可见性向量.遮挡部位预测模块由遮挡部位分类网络和可见性编码器组成,前者预测关节点的遮挡状态,后者利用注意力机制将遮挡状态转换为一组权重.最后,通过通道重加权方式融合可见性向量和带噪声特征,获得部位级遮挡感知的人体部位相关特征,用于计算关节点热图.在MPII和LSP(leeds sports pose)数据集上的实验结果表明,相比基准姿态估计网络,该方法能够在较小的额外计算代价下更好地应对遮挡问题,并且取得了比目前先进方法更佳的结果.     

基于堆叠沙漏网络的人体姿态估计

人体姿态估计在许多计算机视觉任务中起着重要的作用,然而,由于姿态的多变、光照、遮挡和分辨率低等因素,它仍然是一个具有挑战性的问题.利用深层卷积神经网络的高级语义信息是提高人体姿态估计精度的有效途径,本文提出了一种改进的堆叠沙漏网络,设计了一个大感受野残差模块和预处理模块来更好地获得人体结构特征,以此获得丰富的上下文信息,对部分遮挡、大姿态变化、复杂背景等有较好的效果,此外,还对不同阶段的结果进行了融合,以进一步提高定位精度,在MPII数据集和LSP数据集上对本文提出的模型进行实验和验证,结果证明了本文模型的有效性.     

基于全局姿态感知的轻量级人体姿态估计

人体姿态估计是近年来人机交互领域的热点话题.当前,常见的人体姿态估计方法集中在通过增加网络的复杂性来提高精度,却忽视了模型的效益问题,导致模型在实际应用中精度高但计算资源消耗巨大.针对这一问题设计了一个基于全局姿态感知的轻量级人体姿态估计模型,其在MSCOCO数据集上精度达68.2％AP,速度保持在255 fps,参数...     

基于卷积神经网络的2D人体姿态估计综述

随着深度学习的快速发展,2D人体姿态估计作为其他计算机视觉任务的研究基础,其检测速度和精度对后续应用落地具有实际意义。对近年来基于卷积神经网络的2D人体姿态估计的方法进行梳理介绍,将现有方法分为人体检测关节点回归融合算法和人体关节点检测聚类算法,同时对当前的主流数据集及其评价准则进行总结,最后对2D人体姿态估计当前所面临的困难以及未来的发展趋势做以阐述,为姿态估计相关研究提供一些参考。     

基于可变形卷积的多人人体姿态估计

目前针对人体姿态估计的深度神经网络都是在特征图的固定位置上进行采样,无法对人体姿态的几何变换进行建模,当人体实例在尺寸、姿势、拍摄角度等方面发生变化后,网络泛化能力较差.因此,文中提出基于可变形卷积的多人人体姿态估计方法.利用可变形卷积对目标几何变换建模能力较强的特性,设计特征提取模块,可在人体关键点几何变化的条件下保证检测的准确性.为了进一步提高网络性能,利用预训练残差网络.模型的预测值与二维高斯模型生成的真值用于计算损失,并迭代训练模型,能在拍摄视角、附着物及人物尺度变化等复杂条件下有效检测人体关键点.实验表明,文中模型可有效提升人体关键点检测的准确性.     

基于多样卷积单元高效人体姿态估计

设计兼具准确率和轻量化的人体姿态估计网络模型成为了人机交互领域的迫切需求。为了满足这一需求,结合HRNet模型的高分辨率设计模式,提出了一种多样化高效卷积单元的高分辨率网络模型DU-HRNet。为了探索并增强来自不同感受野大小层的多尺度信息,鼓励卷积层间信息更加多样化,模型允许并行分支中的每一分支拥有不同类型的高效卷积单元。为了改善模型的非线性,在高效卷积单元中使用通道注意力ECANet。在MS COCO关键点检测数据集和MPII数据集中验证了模型的有效性。模型在参数量等于7.6 M、GFLOPs为2.66,没有经过任何后期处理的条件下,在COCO val2017数据集上达到了71.1 mAP(mean Average Precision,平均精度均值)分数,在COCO test-dev2017数据集上达到71.8 mAP分数。通过消融实验验证了模型整体和组成部分的有效性。     

基于光流的快速人体姿态估计

针对目前深度学习领域人体姿态估计算法计算复杂度高的问题,提出了一种基于光流的快速人体姿态估计算法.在原算法的基础上,首先利用视频帧之间的时间相关性,将原始视频序列分为关键帧和非关键帧分别处理（相邻两关键帧之间的图像和前向关键帧组成一个视频帧组,同一视频帧组内的视频帧相似）,仅在关键帧上运用人体姿态估计算法,并通过轻量级光流场将关键帧识别结果传播到其他非关键帧.其次针对视频中运动场的动态特性,提出一种基于局部光流场的自适应关键帧检测算法,以根据视频的局部时域特性确定视频关键帧的位置.在OutdoorPose和HumanEvaI数据集上的实验结果表明,对于存在背景复杂、部件遮挡等问题的视频序列中,所提算法较原算法检测性能略有提升,检测速度平均可提升89.6%.     

着装场景下双分支网络的人体姿态估计

目的 人体姿态估计旨在识别和定位不同场景图像中的人体关节点并优化关节点定位精度。针对由于服装款式多样、背景干扰和着装姿态多变导致人体姿态估计精度较低的问题,本文以着装场景下时尚街拍图像为例,提出一种着装场景下双分支网络的人体姿态估计方法。方法 对输入图像进行人体检测,得到着装人体区域并分别输入姿态表示分支和着装部位分割分支。姿态表示分支通过在堆叠沙漏网络基础上增加多尺度损失和特征融合输出关节点得分图,解决服装款式多样以及复杂背景对关节点特征提取干扰问题,并基于姿态聚类定义姿态类别损失函数,解决着装姿态视角多变问题;着装部位分割分支通过连接残差网络的浅层特征与深层特征进行特征融合得到着装部位得分图。然后使用着装部位分割结果约束人体关节点定位,解决服装对关节点遮挡问题。最后通过姿态优化得到最终的人体姿态估计结果。结果 在构建的着装图像数据集上验证了本文方法。实验结果表明,姿态表示分支有效提高了人体关节点定位准确率,着装部位分割分支能有效避免着装场景中人体关节点误定位。在结合着装部位分割优化后,人体姿态估计精度提高至92.5%。结论 本文提出的人体姿态估计方法能够有效提高着装场景下的人体姿态...     

对人体姿态估计热图误差的再思考

近年来,基于热图的算法一直占据人体姿态估计算法的主导地位。热图解码（即将热图转换为人体关节点坐标）算法是这类算法的基本环节。而当前的热图解码算法并没有考虑系统误差的影响,因此,提出一种基于误差补偿的人体姿态估计热图解码算法。首先在训练过程中评估模型的误差补偿因子,然后在推理阶段用误差补偿因子补偿人体关节点的预测误差,这些误差同时包括系统误差和随机误差。在不同的网络架构、输入分辨率、评估指标和数据集上进行的大量实验的结果表明与目前最佳的热图解码算法相比,所提算法获得了显著的精度增益。具体来说,所提算法使HRNet-W48-256×192模型在COCO（Common Objects in Context）数据集上的平均精度（AP）提升了2.86个百分点,使ResNet-152-256×256模型的相对于头部的正确点百分比指标在MPII（Max Planck Institute for Informatics）数据集上提升了7.8个百分点。此外,由于所提算法不像现存算法需要采用高斯平滑预处理和求导操作,因此速度约为当前最佳算法的2倍。可见,所提算法对于开展高精度、高速度的人体姿态估计具有实际的应用价值。     

基于条件先验人体模型的人体姿态估计

人体姿态估计算法中的人体模型是对人体部位或关节间外观和空间关联情况的数学描述。虽然当前已经有部分人体模型在建立时考虑到了部位或关节的空间定位会满足一定的先验分布,但却都将基于同样先验分布建立的人体模型用于不同待处理图片进行人体姿态估计,并没有考虑到不同图片中的实际定位对先验分布服从程度的不同。为此,提出了一种基于条件先验的人体模型,在人体模型中添加自适应调节参数,参数值根据待处理图片中关节可能定位与外观模型相似度的大小来确定,从而达到根据待处理图片自适应调节先验分布在计算关节定位概率时所起作用大小的目的。将基于条件先验的人体模型用于人体姿态估计,仿真实验表明,与现有基于先验的人体模型相比,所提人体模型用于人体姿态估计时获得了更高的估计准确度。     

Shared latent dynamical structure for three-dimensional human pose estimation

In this paper,a shared latent dynamical model (SLDM) and its application in tracking 3D human motion from monocular videos are proposed by combining the ideas of Gaussian processes dynamical model with shared latent structure.When tracking in high-dimensional space,SLDM can map state space and observation space to a shared latent space of low dimensionality with associated dynamics.During off-line training,three mappings,including dynamical mapping in latent space and mappings from the latent space to both ...     

匹配与姿态估计的粒子群优化算法

点模式匹配问题是机器视觉与模式识别领域中一个基础问题,在目标识别、医学图像配准、遥感图像匹配、姿态估计等方面都得到广泛应用。提出一种在仿射变换下利用粒子群优化算法进行图像点模式下的匹配与姿态估计的方法。算法首先把点集匹配问题转化为解空间为仿射参数空间下的目标函数优化问题,然后运用粒子群算法对相应的变换参数进行搜索,获得问题最优解。本文贡献如下：1)给出一种仿射参数的初始估计方法,提高了后续算法搜索效率;2)引入阈值和次近点规则,改进了最近点匹配搜索方法,能较好地拒绝出格点（outliers）,并提高算法有效性;3)从两方面对PSO方法进行了改进,加强了原PSO的全局和局部搜索能力。实验结果表明,算法具有有效性和鲁棒性。     

人体姿势估计中随机森林训练算法的并行化

针对用深度图进行人体姿势估计算法中随机森林训练模块的资源消耗大、训练时间长等问题,提出在小规模的集群服务器上用消息传递接口技术对随机森林算法进行并行化加速,并结合算法进行优化以降低存储消耗和占用带宽等,进一步提高训练速度。实验结果表明,在小型集群服务器上不到一天时间完成一次训练,速度相比原来提升约30倍,分类器的像素识别率超过80%,骨架节点的实际误差也足够小,经加速后可以及时进行多次训练,从而完成对训练参数的调整和测试。     

结合稀疏表示和深度学习的视频中3D人体姿态估计

目的 2D姿态估计的误差是导致3D人体姿态估计产生误差的主要原因,如何在2D误差或噪声干扰下从2D姿态映射到最优、最合理的3D姿态,是提高3D人体姿态估计的关键。本文提出了一种稀疏表示与深度模型联合的3D姿态估计方法,以将3D姿态空间几何先验与时间信息相结合,达到提高3D姿态估计精度的目的。方法 利用融合稀疏表示的3D可变形状模型得到单帧图像可靠的3D初始值。构建多通道长短时记忆MLSTM（multi-channel long short term memory）降噪编/解码器,将获得的单帧3D初始值以时间序列形式输入到其中,利用MLSTM降噪编/解码器学习相邻帧之间人物姿态的时间依赖关系,并施加时间平滑约束,得到最终优化的3D姿态。结果 在Human3.6M数据集上进行了对比实验。对于两种输入数据：数据集给出的2D坐标和通过卷积神经网络获得的2D估计坐标,相比于单帧估计,通过MLSTM降噪编/解码器优化后的视频序列平均重构误差分别下降了12.6%,13%;相比于现有的基于视频的稀疏模型方法,本文方法对视频的平均重构误差下降了6.4%,9.1%。对于2D估计坐标数据,相比于现有的深度模型方法,本文方法对视频的平均重构误差下降了12.8%。结论 本文提出的基于时间信息的MLSTM降噪编/解码器与稀疏模型相结合,有效利用了3D姿态先验知识,视频帧间人物姿态连续变化的时间和空间依赖性,一定程度上提高了单目视频3D姿态估计的精度。