采用高斯混合背景的视频序列手势图像分割

本文介绍了一种利用视频序列进行手势图像分割的实时高斯混合背景减法算法。基于皮肤颜色阈值相匹配的像素可作为前景考虑,手的位置及其他属性按帧跟踪,从动态手势识别中提取信息。     

基于傅立叶描述子和HMM的手势识别

针对家庭服务机器人平台中人机交互的问题,提出基于视觉的手势识别作为人与机器人交互的方式,研究利用傅立叶描述子对手势形状进行描述,并结合支持向量机和隐马尔可夫模型分别对静态手势和动态手势进行分类,实现了静态手势和动态手势的识别。该系统基于新型传感器Kinect,在图像分割阶段结合图像深度信息,可以有效的将手势区域提取出来,在一定范围内具有较强的鲁棒性,特征提取阶段基于傅立叶描述子,使手势识别具有旋转、缩放、平移不变性。针对七种常见静态手势和四种动态手势进行测试,平均识别率分别达到98.8%和96.7%,实验结果表明该系统具有较高的准确度。     

基于TLD和DTW的动态手势跟踪识别

针对动态手势跟踪稳定性的不足和识别效率的问题, 提出一种基于TLD和DTW的动态手势跟踪识别框架. 首先利用基于Haar特征的静态手势分类器获得手势区域, 然后使用TLD跟踪算法对获得的手势区域进行跟踪以获取手势轨迹, 最后提取轨迹特征, 使用改进的DTW算法进行识别. 实验表明, 该框架能够长时间稳定地跟踪手势区域, 并能够在保证识别率的基础上显著提高识别效率.     

基于HOG算子的手型特征提取算法

手型是动态手势的一个重要特征。已有的动态手势识别方法虽利用了手型信息,但是信息都隐含在数据中。对此提出一种动态手势中手型特征的提取算法。该算法能准确识别出动态手势中的手型特征。通过Kinect获取手部位置数据,计算手势样本的手局部图像的HOG(Histogram of Oriented Gradient)算子,通过统计手势过程中,临近帧的手局部图像的HOG算子的相似性,确定该样本的手型特征所在帧。实验结果显示,其手型特征识别平均正确率达到92.78%。     

基于双DSP结构的动态手势红外遥控系统

为了在红外遥控系统中实现手势交互,设计了一种基于双DSP结构的具有动态手势视觉识别功能的红外遥控系统。针对手势识别图像算法的复杂性,系统采用了一种流水线式的动态图像处理模式并提出了一种基于双端口RAM通信的双DSP图像处理硬件系统结构。结构前级负责实时采集图像数据及手势图像预处理,后级结合以帧差法为核心的手势识别算法负责动作识别处理,从而节省单DSP需要的等待时间,手势图像处理任务同步进行,加快动态图像处理的速度。另外,双DSP结构使得系统资源得到有效分配,复杂处理算法同步运行,再配合自学习红外遥控模块实现红外遥控功能。实验结果表明,系统一次手势动作的最短识别时间为1.5 s,动作识别的准确率达到93.75%,具有良好的稳定性和可操作性。     

基于手势识别算法的鼠标终端

提出了一种基于静态手势与动态手势的识别算法,并结合Windows API的鼠标类函数实现鼠标操作.首先,通过图像处理技术把从摄像头捕捉的原图像转换为可信度较高的二值图像;其次,调用静态手势识别算法识别展开的手指个数,根据手指个数,结合Windows API的鼠标类函数实现鼠标双击及移动功能;最后,当检测到手指个数为5时,调用动态手势识别算法来识别手势的上下左右四个方向,并结合Windows API的鼠标类函数模拟鼠标左右键按下、抬起及滚轮滑动等操作.实验表明,该手势识别算法的识别率达到了94.11%,对于一些开发平台没有鼠标或在使用鼠标不方便的情况下,用手势来替代鼠标输入具有一定的研究价值和意义.     

一种面向实时交互的变形手势跟踪方法

变形手势跟踪是基于视觉的人机交互研究中的一项重要内容.单摄像头条件下,提出一种新颖的变形手势实时跟踪方法.利用一组2D手势模型替代高维度的3D手模型.首先利用贝叶斯分类器对静态手势进行识别,然后对图像进行手指和指尖定位,通过将图像特征与识别结果进行匹配,实现了跟踪过程的自动初始化.提出将K-means聚类算法与粒子滤波相结合,用于解决多手指跟踪问题中手指互相干扰的问题.跟踪过程中进行跟踪状态检测,实现了自动恢复跟踪及手势模型更新.实验结果表明,该方法可以实现对变形手势快速、准确的连续跟踪,能够满足基于视觉的实时人机交互的要求.     

基于深度图像技术的手势识别方法

针对复杂环境下的手势识别问题,提出一种基于深度图像技术的手势识别方法。利用深度图像信息从复杂环境中提取手势区域,综合手势的表观特征,建立决策树实现手势的识别。对常见的9种手势在复杂背景条件下进行测试,实验结果表明,手势的平均识别率可达到98.4%,速度达到每秒25帧。     

基于OpenCV的摄像头动态手势轨迹识别及其应用

利用OpenCV计算机视觉库在vs2008平台上设计了一个基于实时摄像头的集动态手势检测、动态手势跟踪、动态手势轨迹识别的应用.首先,该应用基于静止的背景更新,利用背景差分检测运动手势,再结合颜色直方图的粒子滤波进行动态手势跟踪,最后利用隐马尔可夫模型(HMM)进行运动轨迹识别.在运动检测部分结合了背景差分图与通过颜色直方图获得的反投影图,达到比较满意的实时运动检测效果;在运动手势跟踪部分,改进的颜色直方图的粒子跟踪能够在经过类肤色人脸的干扰后迅速地找回运动手势,基本达到了跟踪的要求,但是同时对于HMM识别轨迹时需要的运动轨迹序列采集造成了影响;在识别轨迹部分,HMM的训练达到了识别的要求,但是识别的效果主要取决于实时运动轨迹序列的采集工作与采集方法的优化.     

基于自适应手指分割与判别的静态手势识别

由于动态手势可以看作是多帧静态手势的融合,研究静态手势成为解决手势识别问题的重点。针对静态手势,提出一种自适应手指分割与判别的手势识别算法。首先,运用YCb Cr颜色空间的肤色聚类特性对手势图像进行分割,并采用质心点漂移的理念确定手指方向并作旋转归一化处理;其次,针对手势轮廓点的梯度方向和跨度确定手指的候选区域,并结合形态学的方法重建出单一手指的二值化形态;最后,选取恰当的形状特征,运用SVM分类器对其形状特征进行分类。实验表明该方法具有较好的识别率。     

基于Leap Motion的动态手势识别

动态手势识别作为人机交互的一个重要方向，在各个领域具有广泛的需求。相较于静态手势，动态手势的变化更为复杂，对其特征的充分提取与描述是准确识别动态手势的关键。为了解决对动态手势特征描述不充分的问题，利用高精度的Leap Motion传感器对手部三维坐标信息进行采集，提出了一种包含手指姿势和手掌位移的特征在内的、能够充分描述复杂动态手势的特征序列，并结合长短期记忆网络模型进行动态手势识别。实验结果表明，提出的方法在包含16种动态手势的数据集上的识别准确率为98.50%；与其他特征序列的对比实验表明，提出的特征序列，能更充分准确地描述动态手势特征。     

Recognition of dynamic hand gestures

This paper is concerned with the problem of recognition of dynamic hand gestures. We have considered gestures which are sequences of distinct hand poses. In these gestures hand poses can undergo motion and discrete changes. However, continuous deformations of the hand shapes are not permitted. We have developed a recognition engine which can reliably recognize these gestures despite individual variations. The engine also has the ability to detect start and end of gesture sequences in an automated fashion. The recognition strategy uses a combination of static shape recognition (performed using contour discriminant analysis), Kalman filter based hand tracking and a HMM based temporal characterization scheme. The system is fairly robust to background clutter and uses skin color for static shape recognition and tracking. A real time implementation on standard hardware is developed. Experimental results establish the effectiveness of the approach.     

动态手势识别及在PPT播放当中的应用研究

本文主要研究了动态手势识别在PPT播放当中的应用,即在播放过程中能够通过动态手势控制PPT的翻页.首先在动态手势检测的研究中,通过采用背景差分和基于HSV的肤色建模相结合的方法,分割出了较好的动态手势图像.其次,通过对几种动态手势的跟踪算法的分析与比较,采用了主流的非线性跟踪算法W勇瞬’惴？通过对得到的手势图像中的V分量值的人为设置,消除了在跟踪过程中脸部及其他的类肤色干扰,从而避免了手势跟踪过程中的遮挡问题.最后通过采用隐马尔可夫模型与阈值Max相结合的方法,实现了对PPT播放的实时控制.实验结果表明动态手势的识别能够应用到PPT播放当中,并最终实现了利用动态手势来实时控制PPT的翻页.     

Gesture Recognition: The Gesture Segmentation Problem

The gesture segmentation problem is introduced as the first step towards visual gesture recognition i.e. with the detection, analysis and recognition of gestures from sequences of real images. Our gesture segmentation scheme is composed of two steps: accurate gesture contour tracking in space domain, and continuous tracking in time domain. Experimental results and implementations issues are presented.     

基于Hausdorff距离的手势识别

随着先进人机交互技术的提出及发展，手势识别正成为其中一项关键技术，基于视觉的手势识别是当前涉及图象处理，模式识别，计算机视觉等领域的一个比较活跃的课题，由于Hausdorff距离模板匹配的方法具有计算量小，适应性强的特点，因此基于Hausdorff距离，建立了一个手势识别系统，该系统采用边缘特征像素点作为识别特征，并首次利用Hausdorff距离模板匹配的思想，在距离变换空间内，实现了中国手指字母集上的基于单目视觉的30个手指字母的手势识别，为提高系统的鲁棒性，还提出了修正的Hausdorff距离形式，测试集上的平均识别率为96．7％，实验结果表明，基于Hausdorff距离的模板匹配方法用于基于听觉的静态手势识别是可行的。     

基于视觉的动态手势识别研究综述

手势自古以来在人类交流方面扮演着非常重要的角色,而基于视觉的动态手势识别技术是利用计算机视觉、物联网感知等新兴技术和3D视觉传感器等新型设备让机器能够理解人类的手势,从而让人类能和机器更好地交流,因此对于人机交互等领域的研究很有意义。介绍了动态手势识别中所用到的传感器技术,并比较了相关传感器的技术参数。通过追踪近年来国内外关于视觉的动态手势识别技术,陈述了动态手势识别的处理流程：手势检测与分割、手势追踪、手势分类。通过对比各流程所涉及的方法,可以发现深度学习具有较强的容错性、高度并行性、抗干扰性等一系列优点,在手势识别领域取得了远高于传统学习算法的成就。最后分析了动态手势识别目前遇到的挑战和未来可能的发展方向。     

融合关节旋转特征和指尖距离特征的手势识别

作为人机交互的重要方式,手势交互和识别由于其具有的高自由度而成为计算机图形学、虚拟现实与人机交互等领域的研究热点.传统直接提取手势轮廓或手部关节点位置信息的手势识别方法,其提取的特征通常难以准确表示手势之间的区别.针对手势识别中不同手势具有的高自由度以及由于手势图像分辨率低、背景杂乱、手被遮挡、手指形状尺寸不同、个体差异性导致手势特征表示不准确等问题,本文提出了一种新的融合关节旋转特征和指尖距离特征的手势特征表示与手势识别方法.首先从手势深度图中利用手部模板并将手部看成链段结构提取手部20个关节点的3D位置信息;然后利用手部关节点位置信息提取四元数关节旋转特征和指尖距离特征,该表示构成了手势特征的内在表示;最后利用一对一支持向量机对手势进行有效识别分类.本文不仅提出了一种新的手势特征表示与提取方法,该表示融合了关节旋转信息和指尖距离特征;而且从理论上证明了该特征表示能唯一地表征手势关节点的位置信息;同时提出了基于一对一SVM多分类策略进行手势分类与识别.对ASTAR静态手势深度图数据集中8类中国数字手势和21类美国字母手势数据集分别进行了实验验证,其分类识别准确率分别为99.71%和85.24%.实验结果表明,本文提出的基于关节旋转特征和指尖距离特征的融合特征能很好地表示不同手势的几何特征,能准确地表征静态手势并进行手势识别.