基于OpenCV的摄像头动态手势轨迹识别及其应用

利用OpenCV计算机视觉库在vs2008平台上设计了一个基于实时摄像头的集动态手势检测、动态手势跟踪、动态手势轨迹识别的应用.首先,该应用基于静止的背景更新,利用背景差分检测运动手势,再结合颜色直方图的粒子滤波进行动态手势跟踪,最后利用隐马尔可夫模型(HMM)进行运动轨迹识别.在运动检测部分结合了背景差分图与通过颜色直方图获得的反投影图,达到比较满意的实时运动检测效果;在运动手势跟踪部分,改进的颜色直方图的粒子跟踪能够在经过类肤色人脸的干扰后迅速地找回运动手势,基本达到了跟踪的要求,但是同时对于HMM识别轨迹时需要的运动轨迹序列采集造成了影响;在识别轨迹部分,HMM的训练达到了识别的要求,但是识别的效果主要取决于实时运动轨迹序列的采集工作与采集方法的优化.     

基于一种改进禁忌搜索算法优化离散隐马尔可夫模型

隐马尔可夫模型(HMM,HiddenMarkovModel)是语音识别和手势识别中广泛使用的统计模式识别方法。文章提出了一种改进的禁忌搜索(ITS,ImprovedTabuSearch)优化HMM的参数。传统的TabuSearch(TS)与局部搜索算法(极大似然法)交替进行,从而加快了算法的收敛速度,并得到优化解。分别用TS及ITS训练隐马尔可夫模型进行动态手势识别。结果表明ITS可获得更高的识别率,且能达到全局优化。     

基于HMM方法的动态手势识别技术的改进

为了提高基于HMM方法的动态手势识别的效率和准确性,针对HMM方法在训练手势中计算的高复杂性,提出了一种HMM算法和动态规划的算法相结合的方法,对HMM算法中的训练阶段进行了改进,增强了人机交互的准确性与实时性。     

基于动态时间规整的手势加速度信号识别

为了提高基于加速度传感器的动态手势识别算法的性能,本文采用了动态时间规整(DTW)识别算法。通过该算法计算测试模板和参考模板的相似度,从而得出识别结果。为了验证该方法,建立了一套手势加速度无线采集系统,并采集了41个志愿者的手势信息。实验结果表明,该方法手势平均识别率在97%以上。与HMM识别算法相比,DTW识别算法在识别的准确率上比HMM识别算法更具优势。     

基于表观的动态孤立手势识别

给出一种基于表观的动态孤立手势识别技术.借助于图像运动的变阶参数模型和鲁棒回归分析,提出一种基于运动分割的图像运动估计方法.基于图像运动参数,构造了两种表观变化模型分别作为手势的表观特征,利用最大最小优化算法来创建手势参考模板,并利用基于模板的分类技术进行识别.对120个手势样本所做的大量实验表明,这种动态孤立手势识别技术具有识别率高、计算量小、算法稳定性好等优点.     

基于范例集实现复杂场景下的动态手势跟踪

范例集作为近年来视觉跟踪器的一种表示方法,已应用于手势跟踪与识别。但是基于范例集的手势跟踪往往不能实现复杂场景下手部轮廓特征的精确提取,并且不能在手部位置与方向任意变化情况下实现手部轮廓的提取与跟踪,极易造成手部动作的不准确预测,从而影响手势跟踪效果与手势识别率。本文提出一种新的基于范例集的跟踪器：CEE(CAMSHIFT Embedded Exemplar)跟踪器,实现复杂场景下的动态手势跟踪。在学习阶段,利用ICAMSHIFT（Improved CAMSHIFT）算法提取手部轮廓特征并生成范例集,同时建立手势的动态HMM模型;在跟踪阶段,首先利用由ICAMSHIFT算法获取的手部特征和HMM概率模型预测手势动作,然后根据学习所得范例集获取当前手部轮廓。实验结果表明,算法能实现复杂场景下的准确手势跟踪,并能在手部位置与方向任意变化情况下实现手部轮廓的提取与跟踪。此外,在严重遮挡情况下也能取得不错的跟踪效果。     

局部特征与全局特征结合的HMM静态手势识别

针对静态手势识别问题,提出了一种综合考虑局部形状与全局轮廓的隐马尔科夫模型(HMM)静态手势识别算法。该算法提取局部形状熵特征与上层轮廓特征分别作为训练数据训练每类手势的HMM参数。测试时,先凭借局部形状熵特征得出初步识别结果,然后根据初步识别结果的模糊性,附加与局部特征互补的上层轮廓特征进行再识别,得出最终识别结果。实验结果表明,该算法对于形状差异占主导地位的手势库有很好的效果,并且将静态手势的空间序列模拟成时间序列使得静态手势识别具有空间尺度不变性;同时该算法合理控制特征维数,一定程度上弱化了HMM训练时间长的弊端,加快了识别的速度。     

基于Kinect的手势识别算法研究及应用

手势识别技术是人机交互技术的重要研究内容。为了提高基于Kinect的手势识别性能,提出基于深度人手定位和hog特征的静态手势识别算法及基于改进HMMs的动态手势识别算法。静态手势识别算法首先通过Kinect的深度信息完成人手定位,而后在定位区域内提取基于梯度方向直方图的形状特征并利用级联Adaboost训练的手势模型,实现对静态手势的准确识别,在公开手势数据库中测试的实验结果表明提出的静态手势识别算法具有较高的识别率。动态手势识别算法首先通过Kinect获取手心轨迹并提取轨迹切线角度作为特征,利用改进的隐马尔科夫模型实现动态手势的判别,实验结果表明提出的动态手势识别算法相比于传统HMMs算法有效地排除了无效手势。此外利用提出的动静态手势识别算法有效地控制了模拟的数字电视。     

基于HMM-FNN模型的复杂动态手势识别

复杂动态手势识别是利用视频手势进行人机交互的关键问题.提出一种HMM-FNN模型结构.它整合了隐马尔可夫模型对时序数据的建模能力与模糊神经网络的模糊规则构建与推理能力,并将其应用到复杂动态手势的识别中.复杂动态手势具备两大特点:运动特征的可分解性与定义描述的模糊性.针对这两种特性,复杂手势被分解为手形变化、2D平面运动与Z轴方向运动3个子部分,分别利用HMM进行建模,HMM模型对观察子序列的似然概率被作为FNN的模糊隶属度,通过模糊规则推理,最终得到手势的分类类别.HMM-FNN方法将高维手势特征分解为低维子特征序列,降低了模型的复杂度.此外,它还可以充分利用人的经验辅助模型结构的创建与优化.实验表明,该方法是一种有效的复杂动态手势识别方法,并且优于传统的HMM模型方法.     

基于TLD和DTW的动态手势跟踪识别

针对动态手势跟踪稳定性的不足和识别效率的问题, 提出一种基于TLD和DTW的动态手势跟踪识别框架. 首先利用基于Haar特征的静态手势分类器获得手势区域, 然后使用TLD跟踪算法对获得的手势区域进行跟踪以获取手势轨迹, 最后提取轨迹特征, 使用改进的DTW算法进行识别. 实验表明, 该框架能够长时间稳定地跟踪手势区域, 并能够在保证识别率的基础上显著提高识别效率.     

A probabilistic model for state sequence analysis in hidden Markov model for hand gesture recognition

The role of gesture recognition is significant in areas like human‐computer interaction, sign language, virtual reality, machine vision, etc. Among various gestures of the human body, hand gestures play a major role to communicate nonverbally with the computer. As the hand gesture is a continuous pattern with respect to time, the hidden Markov model (HMM) is found to be the most suitable pattern recognition tool, which can be modeled using the hand gesture parameters. The HMM considers the speeded up robust feature features of hand gesture and uses them to train and test the system. Conventionally, the Viterbi algorithm has been used for training process in HMM by discovering the shortest decoded path in the state diagram. The recursiveness of the Viterbi algorithm leads to computational complexity during the execution process. In order to reduce the complexity, the state sequence analysis approach is proposed for training the hand gesture model, which provides a better recognition rate and accuracy than that of the Viterbi algorithm. The performance of the proposed approach is explored in the context of pattern recognition with the Cambridge hand gesture data set.     

基于Kinect的动态手势识别

针对现有的动态手势识别率低,识别手势少等不足,利用Kinect设备提出了动态手势识别算法.首先利用Kinect捕获人的手部区域,采用基于像素分类的指尖检测算法找到指尖的个数,并以左右手的手指个数作为动态手势的开始和结束;对人手的运动轨迹进行分析,针对运动轨迹的运动方向的变化,提取了该动态手势的运动方向变化角度作为特征;采用隐马尔科夫模型训练和识别各个手势.实验结果表明:方法能够识别16个大写手写英文字母,且效果较好.     

Real-time 3D pointing gesture recognition for mobile robots with cascade HMM and particle filter

In this paper, we present a real-time 3D pointing gesture recognition algorithm for mobile robots, based on a cascade hidden Markov model (HMM) and a particle filter. Among the various human gestures, the pointing gesture is very useful to human-robot interaction (HRI). In fact, it is highly intuitive, does not involve a-priori assumptions, and has no substitute in other modes of interaction. A major issue in pointing gesture recognition is the difficultly of accurate estimation of the pointing direction, caused by the difficulty of hand tracking and the unreliability of the direction estimation.The proposed method involves the use of a stereo camera and 3D particle filters for reliable hand tracking, and a cascade of two HMMs for a robust estimate of the pointing direction. When a subject enters the field of view of the camera, his or her face and two hands are located and tracked using particle filters. The first stage HMM takes the hand position estimate and maps it to a more accurate position by modeling the kinematic characteristics of finger pointing. The resulting 3D coordinates are used as input into the second stage HMM that discriminates pointing gestures from other types. Finally, the pointing direction is estimated for the pointing state.The proposed method can deal with both large and small pointing gestures. The experimental results show gesture recognition and target selection rates of better than 89% and 99% respectively, during human-robot interaction.     

一种基于FSMM的手势识别方法

结合汉语手语中手势的特点，采用人手的三维空间位置信息作为观测向量，将模糊理论与HMM理论相结合，提出了一种基于FSMM的中国手语手势识别方法。利用观测向量对于各状态的隶属度对Baum-Welch算法进行了改进，实现了FSMM学习递推算法和识别算法。通过实验，证实了该方法的有效性。