Multi-Level Fusion Net for hand pose estimation in hand-object interaction

This work is about solving a challenging problem of estimating the full 3D hand pose when a hand interacts with an unknown object. Compared to isolated single hand pose estimation, occlusion and interference induced by the manipulated object and the clutter background bring more difficulties for this task. Our proposed Multi-Level Fusion Net focuses on extracting more effective features to overcome these disadvantages by multi-level fusion design with a new end-to-end Convolutional Neural Network (CNN) framework. It takes cropped RGBD data from a single RGBD camera at free viewpoint as input without requiring additional hand–object pre-segmentation and object or hand pre-modeling. Through extensive evaluations on public hand–object interaction dataset, we demonstrate the state-of-the-art performance of our method.     

基于Unity 3D的第三人称摄像机被遮挡的处理

针对涉及第三人称视角游戏中,因摄像机和游戏主角之间存在一定的距离,容易出现障碍物遮挡,会影响用户体验的情况.可采用射线方法来探测障碍物,并在出现遮挡时将遮挡障碍物做透明化处理.     

基于结构化遮挡编码和极限学习机的局部遮挡人脸识别

提出使用结构化遮挡编码（SOC）结合极限学习机（ELM）的算法来处理人脸识别中的遮挡问题。首先，使用SOC去除图像上的遮挡物，将遮挡物体与人脸分离开；同时，通过局部性约束字典（LCD）来估计遮挡物的位置，建立遮挡字典和人脸字典。然后，将建立好的人脸字典矩阵进行归一化处理，并利用ELM对归一化的数据进行分类识别。最后，在AR人脸库上进行的仿真实验结果表明，所提方法对不同遮挡物和不同区域遮挡的图像具有较好的识别率和鲁棒性。     

立体视频图像编码的研究进展

从编码方案、关键技术和评价准则3个方面综述了立体视频图像编码研究的发展.阐明了各种编码方案的特点及适用范围.详细分析了立体视频图像编码中视差估计、运动估计、遮挡检测、残差图像编码和码率控制5大关键技术,总结了各项技术的发展现状.最后指出了立体视频图像编码研究中存在的问题,并对未来的研究方向进行了展望.     

联合Kalman和自适应Meanshift的稳健相关视频跟踪方法

相关视频跟踪器存在计算量大、模板漂移、对机动目标,杂波影响大以及遮挡情况无法跟踪的问题,而Kalman滤波能通过利用相关跟踪器的输出结果来预测目标在下一帧里在图像中的坐标,可以在高概率的小范围内对目标进行搜索,以大幅减小计算量和杂波的影响.然后,当跟踪器由于受到杂波或遮挡的影响而提供了错误的测量信息时,跟踪的性能将大幅下降.大量研究表明,Mean-Shift跟踪器具有运算速度快和跟踪性能好的特点,而当目标柱状图和待选图像区域相近时,其跟踪性能也将大幅下降,甚至无法进行跟踪.为了解决该问题,结合上述3种思想提出了一种改进的、稳健的视频目标跟踪方法,并通过理论分析和仿真结果表明了算法的有效性和优越性.     

Segmenting and tracking multiple objects under occlusion using multi-label graph cut

This paper proposes a new method to segment and track multiple objects through occlusion by integrating spatial-color Gaussian mixture model (SCGMM) into an energy minimization framework. When occlusion does not occur, a SCGMM is learned for each object. When the objects are subject to occlusion, energy minimization is used to segment the objects from occlusion. To make the learned SCGMMs suitable for the segmentation of the current occlusion, a displacing procedure is utilized to adapt the SCGMMs to the spatial variations. A multi-label energy function is formulated building on the displaced SCGMMs and then minimized using the multi-label graph cut algorithm, thus leading to both the segmentation and tracking results of the objects with occlusion. Experimental validation of the proposed method is performed and presented on several video sequences.     

基于遮挡检测和时空上下文信息的目标跟踪算法*

基于时空上下文信息的目标跟踪算法利用目标与背景之间的时空关系,在一定程度上解决静态遮挡问题,但当目标出现较大遮挡或快速运动目标被背景中物体遮挡(动态遮挡)时,仍然会出现跟踪不准确或跟丢的情况.基于此种情况,文中提出基于遮挡检测和时空上下文信息的目标跟踪算法.首先利用首帧图像中压缩后的光照不变颜色特征构造并初始化时空上下文模型.然后利用双向轨迹误差对输入的视频帧进行遮挡情况判断.如果相邻帧间目标区域特征点的双向匹配误差小于给定阈值,说明目标未出现严重遮挡或动态遮挡,可以利用时空上下文模型进行准确跟踪.否则利用文中提出的组合分类器对后续帧进行目标检测,直至重新检测到目标,同时对上下文模型和分类器进行在线更新.在多个视频帧序列上的测试表明,文中算法可以较好地解决复杂场景下较严重的静态遮挡和动态遮挡问题.     

基于人类记忆模型的粒子滤波鲁棒目标跟踪算法

当目标被场景中的物体或其它运动目标遮挡,或者目标姿态发生很大改变时,粒子滤波器就会失效。为解决这类问题,受人类记忆机制的启发,文中将人类记忆模型引入到粒子滤波器模板更新过程,提出一种基于记忆的粒子滤波器。每个模板都要经过瞬时记忆、短时记忆和长时记忆3个空间的传输和处理。该粒子滤波器能记住曾经出现的目标模板,从而能更快地适应目标姿态的变化。实验结果验证了该算法的有效性。     

基于改进空间正则化相关滤波器的运动目标跟踪研究

为降低光照、遮挡、尺寸变化等因素对目标跟踪过程的影响,提出在经典空间正则化核相关滤波基础上,增加遮挡检测及处理机制,并分别采用相似度计算与空间距离计算作为遮挡评判标准。在模型更新之前先判断遮挡是否存在,如有遮挡,则不更新模型;否则更新模型。提出搜索半径择优处理,分别以6种搜索半径进行目标跟踪,寻找最优搜索半径;进而提出特征择优处理,分别提取HOG特征、PHOG特征、Haar-like特征、LBP特征以及FHOG特征与改进算法结合,选取最佳特征。采用两组实验进行验证:分别采用经典KCF算法、Mean Shift算法、Fragment算法、DSST算法、经典SRDCF算法和改进SRDCF算法对Bolt2和Basketball两个视频中运动目标进行跟踪对比。实验结果表明:FHOG特征与改进空间正则化核相关滤波相结合,且在搜索半径为8个像素点时的跟踪性能最佳,优于其他经典跟踪算法,处理速度可达3. 7 fps。