基于姿态模型的人群目标分割方法

多相机间运动目标的跟踪与识别需要获得尽可能准确的目标区域。针对人群目标的粘连问题,提出一种基于姿态模型的人群目标分割方法。依据人体在运动过程中姿态的变化规律,构造7种出现频率较高的姿态模型。依次对单个目标和联合目标进行模型匹配,获得各个目标的位置、大小以及运动姿态信息。实验结果表明,该方法能有效解决相互遮挡情况下的目标分割问题。     

适用于单目视频的无标记三维人体运动跟踪

在无标记人体运动跟踪过程中,由于被跟踪目标缺乏明显的特征以及背景复杂而使得跟踪到的人体运动姿态与真实值偏差较大,不能进行长序列视频跟踪.针对这一现象,提出一种基于形变外观模板匹配进行单目视频的三维人体运动跟踪算法,其中所用的人体外观模型由三维人体骨骼模型及二维纸板模型组成.首先根据人体骨骼比例约束采用逆运动学计算出关节旋转欧拉角;然后利用正向运动学求得纸板模型中像素在三维空间中的坐标,将这些像素根据摄像机成像模型投影到二维图像中得到形变外观模板;最后采用直方图匹配得到人体运动跟踪结果.实验结果表明,该算法对于一些复杂的长序列人体运动能够得到较为理想的跟踪结果,可应用于人机交互和动画制作等领域.     

基于sift特征匹配的人体上半身三维运动跟踪

研究人体姿态与视频优化跟踪问题,单目视频缺少深度信息,使得单目视频的人体运动跟踪难以实现三维姿态恢复问题。为解决上述问题,提出了一种利用sift特征尺度不变性的优点进行人体上半身三维运动跟踪的算法。在跟踪过程中先计算初始匹配sift特征点对,然后反复迭代出除误匹配点,消除误差,最后求解由两个匹配sift特征组成的方程组得到胸部关节的位姿,根据人体骨骼模型采用深度遍历依次恢复其它关节的姿态。实验结果表明,系统能够对人体上半身运动进行比较准确的三维运动跟踪。     

基于自适应变结构信息滤波的目标跟踪算法

目前目标跟踪算法采用的交互多模型,大多是通过固定模型之间的切换来完成目标跟踪,这容易出现模型集与目标真实运动不匹配问题,降低目标跟踪的精度。同时,现在大部分观测平台都能提供多传感器量测,这要求跟踪算法能对不同量测信息进行高效数据融合。针对上述问题,提出一种基于自适应变结构多模型和信息滤波的跟踪算法,它由少量模型构成模型集,通过在线更新模型集参数以自适应目标真实运动,采用无迹卡尔曼信息滤波融合多传感器量测信息,实现对目标的跟踪。仿真结果表明,该算法可以有效融合多传感器量测信息,自适应匹配目标真实运动,实现对目标稳定的高精度跟踪。     

基于无标记点运动跟踪的步态参数提取*

〖提出一种无标记点的步态参数提取方法,采用基于模型的人体运动跟踪方法,无须标记点即可从视频图像序列中获取运动步态参数。利用粒子滤波算法跟踪人体目标运动过程,通过基于外观模型的相似度计算及边界匹配误差判断定位腿部关节点。依据曲线拟合方法在跟踪与定位结果上提取运动步态参数。实验结果表明,该方法能精确定位腿部关节点且有效地提取步态参数。     

基于无标记点运动跟踪的步态参数提取

提出一种无标记点的步态参数提取方法,采用基于模型的人体运动跟踪方法,无须标记点即可从视频图像序列中获取运动步态参数。利用粒子滤波算法跟踪人体目标运动过程,通过基于外观模型的相似度计算及边界匹配误差判断定位腿部关节点。依据曲线拟合方法在跟踪与定位结果上提取运动步态参数。实验结果表明,该方法能精确定位腿部关节点且有效地提取步态参数。     

基于自适应特征融合的无纹理3D目标跟踪

基于轮廓匹配的无纹理3D目标跟踪算法需要根据3D模型和2D投影轮廓的3D—2D匹配点连续估计目标的位置和姿态,但在背景复杂和运动模糊的情况下容易错配导致跟踪失败.针对此问题,提出一种基于自适应特征融合的3D目标跟踪算法.首先在3D模型投影轮廓附近进行轮廓匹配和颜色统计建模,以提取轮廓特征和颜色特征;然后定义基于轮廓特征和颜色特征自适应加权的能量函数,并计算其相对于位置和姿态参数的偏导数;最后通过LM优化算法求解位置和姿态参数的最优值.为处理目标和相机的快速运动,采用由粗到细的策略在多尺度视频帧中迭代跟踪.定性和定量实验结果表明,在复杂背景和运动模糊的情况下,该算法仍能实现快速稳定的跟踪,具有较高的精确性和鲁棒性.     

室内人体运动目标的自动跟踪方法

针对人体运动目标的自动实时跟踪,设计一种新的基于P89v51内核的运动摄像头云台控制系统.对人体运动的图像检测与跟踪,提出一种快速的模板匹配方法.用改进Surendra算法自适应地获取背景图像以提取匹配模板,通过摄像头运动前后帧相同的运动区域来缩小匹配区域,进行快速目标匹配,达到实时性要求.该系统已应用在视频教学及会议中,实现自动人体运动目标跟踪与摄像.     

基于单目视频运动跟踪的三维人体动画

针对传统人体动画制作成本高、人体运动受捕获设备限制等缺陷,提出了一种基于单目视频运动跟踪的三维人体动画方法。首先给出了系统实现框架,然后采用比例正交投影模型及人体骨架模型来恢复关节的三维坐标,关节的旋转欧拉角由逆运动学计算得到,最后采用H-anim标准对人体建模,由关节欧拉角驱动虚拟人产生三维人体动画。实验结果表明,该系统能够对人体运动进行准确的跟踪和三维重建,可应用于人体动画制作领域。     

采用弱预测机制的人体运动跟踪算法

快速运动和自遮挡是人体运动跟踪的难点所在 .为此提出了一种采用弱预测机制的人体运动跟踪算法 .该算法首先通过全局搜索 ,确定候选人体特征集 ;然后建立特征的色彩、运动等属性的时变模型 ,构造贝叶斯分类器 ,实现特征对应 ;最后根据人体特征层次模型 ,检验特征匹配 ,并实现被遮挡特征的定位 .为提高跟踪效率 ,采用了基于图象多分辨率表示的特征搜索算法 ,由低分辨率图象通过全局搜索来获取初始候选特征集 ,然后在高分辨率下 ,不断改善候选特征精度 .实验结果表明 ,该算法能实现对快速人体运动的跟踪并有效解决自遮挡问题 .     

基于二维关节型人体模型和EM算法的人体跟踪

提出一种跟踪单眼图像序列中的行人,并恢复其运动参数的新方法.在跟踪中采用了基于SPM(Sealed Prismat Model)扩展的二维纸板人模型取代三维人体模型,以获取更快的计算速度.作者使用EM算法在概率框架下进行运动估计,同时,算法也考虑了混合的运动模型和运动约束,以减小解的搜索空间.试验结果证明了该方法的有效性.     

3-D human pose recovery using nonrigid point set registration and body part tracking of depth data

In this paper, we present a novel approach for recovering a 3-D pose from a single human body depth silhouette using nonrigid point set registration and body part tracking. In our method, a human body depth silhouette is presented as a set of 3-D points and matched to another set of 3-D points using point correspondences. To recognize and maintain body part labels, we initialize the first set of points to corresponding human body parts, resulting in a body part-labeled map. Then, we transform the points to a sequential set of points based on point correspondences determined by nonrigid point set registration. After point registration, we utilize the information from tracked body part labels and registered points to create a human skeleton model. A 3-D human pose gets recovered by mapping joint information from the skeleton model to a 3-D synthetic human model. Quantitative and qualitative evaluation results on synthetic and real data show that complex human poses can be recovered more reliably with lower errors compared to other conventional techniques for 3-D pose recovery.     

视频中多特征融合人体姿态跟踪

目的 目前已有的人体姿态跟踪算法的跟踪精度仍有待提高,特别是对灵活运动的手臂部位的跟踪。为提高人体姿态的跟踪精度,本文首次提出一种将视觉时空信息与深度学习网络相结合的人体姿态跟踪方法。方法 在人体姿态跟踪过程中,利用视频时间信息计算出人体目标区域的运动信息,使用运动信息对人体部位姿态模型在帧间传递;考虑到基于图像空间特征的方法对形态较为固定的人体部位如躯干和头部能够较好地检测,而对手臂的检测效果较差,构造并训练一种轻量级的深度学习网络,用于生成人体手臂部位的附加候选样本;利用深度学习网络生成手臂特征一致性概率图,与视频空间信息结合计算得到最优部位姿态,并将各部位重组为完整人体姿态跟踪结果。结果 使用两个具有挑战性的人体姿态跟踪数据集VideoPose2.0和YouTubePose对本文算法进行验证,得到的手臂关节点平均跟踪精度分别为81.4%和84.5%,与现有方法相比有明显提高;此外,通过在VideoPose2.0数据集上的实验,验证了本文提出的对下臂附加采样的算法和手臂特征一致性计算的算法能够有效提高人体姿态关节点的跟踪精度。结论 提出的结合时空信息与深度学习网络的人体姿态跟踪方法能够有效提高人体姿态跟踪的精度,特别是对灵活运动的人体姿态下臂关节点的跟踪精度有显著提高。     

使用多视图L1跟踪器的三维人体运动恢复

近年来从视频中恢复三维人体运动的研究发展很快,其中大部分方法是基于前景轮廓的。提出了一种基于纹理信息的三维人体运动恢复方法,并给出了一个鲁棒、自适应的跟踪器模型。该模型基于L1跟踪器,并将其扩展到多个视图中,使用分层搜索来跟踪人体的各个部位。它可以寻找在模板子空间里重构误差最小的跟踪目标,将每个视图的重构误差作为衡量人体三维姿态与图像拟合的可能性函数。整个算法在退火粒子滤波的框架下进行。为了提高跟踪准度,在纹理模板更新过程中使用了两种方法:用人体的三维模型来检测自遮挡;根据模板系数检测计算错误的跟踪结果。综合这两种检测器,可以防止遮挡后和计算错误的跟踪结果加入到纹理模板中。在HumanEva-Ⅱ测试集上的实验表明,该算法能够得到较好的结果。     

Genetic programming extension to APF-based monocular human body pose estimation

New method of the human body pose estimation based on a single camera 2D observation is presented, aimed at smart surveillance related video analysis and action recognition. It employs 3D model of the human body, and genetic algorithm combined with annealed particle filter for searching the global optimum of model state, best matching the object’s 2D observation. Additionally, new motion cost metric is employed, considering current pose and history of the body movement, favouring the estimates with the lowest changes of motion speed comparing to previous poses. The “genetic memory” concept is introduced for the genetic processing of both current and past states of 3D model. State-of-the-art in the field of human body tracking is presented and discussed. Details of implemented method are described. Results of experimental evaluation of developed algorithm are included and discussed.     

Automatic reconstruction of 3D human motion pose from uncalibrated monocular video sequences based on markerless human motion tracking

We present a method to reconstruct human motion pose from uncalibrated monocular video sequences based on the morphing appearance model matching. The human pose estimation is made by integrated human joint tracking with pose reconstruction in depth-first order. Firstly, the Euler angles of joint are estimated by inverse kinematics based on human skeleton constrain. Then, the coordinates of pixels in the body segments in the scene are determined by forward kinematics, by projecting these pixels in the scene onto the image plane under the assumption of perspective projection to obtain the region of morphing appearance model in the image. Finally, the human motion pose can be reconstructed by histogram matching. The experimental results show that this method can obtain favorable reconstruction results on a number of complex human motion sequences.     

Estimation of 3-D human body posture via co-registration of 3-D human model and sequential stereo information

In this paper, we present a technique for estimating three-dimensional (3-D) human body posture from a set of sequential stereo images. We estimated the pixel displacements of stereo image pairs to reconstruct 3-D information. We modeled the human body with a set of ellipsoids connected by kinematic chains and parameterized with rotational angles at each body joint. To estimate human posture from the 3-D data, we developed a new algorithm based on expectation maximization (EM) with two-step iterations, assigning the 3-D data to different body parts and refining the kinematic parameters to fit the 3-D model to the data. The algorithm is iterated until it converges on the correct posture. Experimental results with synthetic and real data demonstrate that our method is capable of reconstructing 3-D human posture from stereo images. Our method is robust and generic; any useful information for locating the body parts can be integrated into our framework to improve the outcomes.     

Detection and Recognition of Periodic,Nonrigid Motion

The recognition of nonrigid motion, particularly that arising from human movement (and by extension from the locomotory activity of animals) has typically made use of high-level parametric models representing the various body parts (legs, arms, trunk, head etc.) and their connections to each other. Such model-based recognition has been successful in some cases; however, the methods are often difficult to apply to real-world scenes, and are severely limited in their generalizability. The first problem arises from the difficulty of acquiring and tracking the requisite model parts, usually specific joints such as knees, elbows or ankles. This generally requires some prior high-level understanding and segmentation of the scene, or initialization by a human operator. The second problem, with generalization, is due to the fact that the human model is not much good for dogs or birds, and for each new type of motion, a new model must be hand-crafted. In this paper, we show that the recognition of human or animal locomotion, and, in fact, any repetitive activity can be done using low-level, non-parametric representations. Such an approach has the advantage that the same underlying representation is used for all examples, and no individual tailoring of models or prior scene understanding is required. We show in particular, that repetitive motion is such a strong cue, that the moving actor can be segmented, normalized spatially and temporally, and recognized by matching against a spatio-temporal template of motion features. We have implemented a real-time system that can recognize and classify repetitive motion activities in normal gray-scale image sequences. Results on a number of real-world sequences are described.     

人体运动分析的实例学习方法

目的 面向实时、准确、鲁棒的人体运动分析应用需求,从运动分析的特征提取和运动建模问题出发,本文人体运动分析的实例学习方法。方法 在构建人体姿态实例库基础上,首先,采用运动检测方法得到视频每帧的人体轮廓;其次,基于形状上下文轮廓匹配方法,从实例库中检索得到每帧视频的候选姿态集;最后,通过统计建模和转移概率建模实现人体运动分析。结果 对步行、跑步、跳跃等测试视频进行实验,基于轮廓的形状上下文特征表示和匹配方法具有良好的表达能力;本文方法运动分析结果,关节夹角平均误差在5°左右,与其他算法相比,有效提高了运动分析的精度。结论 本文人体运动分析的实例学习方法,能有效分析单目视频中的人体运动,并克服了映射的深度歧义,对运动的视角变化鲁棒,具有良好的计算效率和精度。     

自适应粒子滤波在人体跟踪过程中的应用

人体运动跟踪技术近年来在图像处理与计算机视觉领域引起很多关注,在当前一些重要研究和应用领域有着广泛的需求。在以往跟踪方法的基础上提出了基于决策规则的自适应粒子滤波的无标记运动目标跟踪方法。利用一个带外观模板的人体关节模型,通过学习得到运动模型及基于关节模型的相似性计算,巧妙地利用自适应粒子滤波对运动目标进行实时跟踪,使得在粒子滤波过程中,可以根据实际滤波情况在线调节粒子数。实验表明,提出的算法鲁棒性好,跟踪速度比基于传统粒子滤波的快。