基于TLD和DTW的动态手势跟踪识别

针对动态手势跟踪稳定性的不足和识别效率的问题, 提出一种基于TLD和DTW的动态手势跟踪识别框架. 首先利用基于Haar特征的静态手势分类器获得手势区域, 然后使用TLD跟踪算法对获得的手势区域进行跟踪以获取手势轨迹, 最后提取轨迹特征, 使用改进的DTW算法进行识别. 实验表明, 该框架能够长时间稳定地跟踪手势区域, 并能够在保证识别率的基础上显著提高识别效率.     

基于Bag of Features的手势识别

基于视觉的手势识别中,手势的识别效果易受手势旋转,光照亮度的影响,针对该问题,借鉴了目标识别和图像检索领域的Bag of Features(特征袋)算法,将Bag of Features算法应用到手势识别领域.通过SURF(加速鲁棒性特征)算法提取手势图像的特征描述符,使手势对尺度、旋转、光照具有很强的适应力,再应用Bag of Features算法把SURF特征描述符映射到一个统一维度的向量,即Bag of Features特征向量,再用支持向量机对图像得到的特征向量进行训练分类.实验结果表示,该方法不仅具有较高的时间效率,满足手势识别的实时性,而且即使在很大角度的旋转以及亮度的变化下,仍能达到较高的识别率.     

基于卷积神经网络优化TLD运动手势跟踪算法

针对TLD（Tracking-Learning-Detection）算法在光照变化不均、遮挡严重、跟踪目标模糊等情况下会出现跟踪失败的问题，提出一种基于卷积神经网络优化TLD运动手势跟踪算法。选取手势特征作正样本，其背景作负样本，获取手势HOG特征并投入到卷积神经网络中加以训练，得到手势检测分类器，从而确定目标手势区域，实现手势的自动识别；再利用TLD算法对手势进行跟踪与学习，对正负样本进行估计检测并实时校正，同时运用SURF特征匹配更新跟踪器。实验结果验证，该算法对比TLD经典算法跟踪精度提高了4.24%，增强了运动手势的跟踪效果，相比经典跟踪算法拥有更高鲁棒性。     

改进卷积神经网络的动态手势识别

针对现有的单目视觉下动态手势识别率低、识别手势种类少等问题提出一种联合卷积神经网络和支持向量机分类（CNN-Softmax-SVM）的动态手势识别算法.首先采用一种基于YCbCr颜色空间和HSV颜色空间的快速指尖检测跟踪,能在复杂背景下实时获取指尖运动轨迹;其次将指尖运动轨迹作为联合CNN-Softmax-SVM网络的输入,最终通过训练网络来识别动态手势.测试结果显示,采用联合CNN-Softmax-SVM算法能够很好地识别动态手势.     

基于范例集实现复杂场景下的动态手势跟踪

范例集作为近年来视觉跟踪器的一种表示方法,已应用于手势跟踪与识别。但是基于范例集的手势跟踪往往不能实现复杂场景下手部轮廓特征的精确提取,并且不能在手部位置与方向任意变化情况下实现手部轮廓的提取与跟踪,极易造成手部动作的不准确预测,从而影响手势跟踪效果与手势识别率。本文提出一种新的基于范例集的跟踪器：CEE(CAMSHIFT Embedded Exemplar)跟踪器,实现复杂场景下的动态手势跟踪。在学习阶段,利用ICAMSHIFT（Improved CAMSHIFT）算法提取手部轮廓特征并生成范例集,同时建立手势的动态HMM模型;在跟踪阶段,首先利用由ICAMSHIFT算法获取的手部特征和HMM概率模型预测手势动作,然后根据学习所得范例集获取当前手部轮廓。实验结果表明,算法能实现复杂场景下的准确手势跟踪,并能在手部位置与方向任意变化情况下实现手部轮廓的提取与跟踪。此外,在严重遮挡情况下也能取得不错的跟踪效果。     

基于随机投影的加速度手势识别

针对手势交互中手势信号的相似性及不稳定性,设计并实现了一种基于随机投影(RP)的加速度手势识别方法.识别系统包含训练阶段和测试阶段:训练阶段运用动态时间规整(DTW)和近邻传播(AP)算法对训练集中的每一个手势迹创建样本中心;测试阶段先通过计算未知手势迹与样本中心的距离找出候选姿势迹,然后用RP算法将候选手势迹和未知手势迹投影到低维子空间,把识别问题转换成l₁-minimization问题来对未知的手势迹进行识别.在采集的2400个数据样本上进行了基于特定人和非特定人的实验,结果表明所提算法分别取得了98.41%和96.67%的识别率,该方法能够有效识别加速度手势动作.     

基于多特征融合的动态手势识别

针对目前动态手势识别计算复杂度较高以及对实验器材有相应要求的问题,提出基于多特征融合的动态手势识别.使用OpenPose得到手部关键点信息,建立手势模型,将坐标信息利用手部的结构关系进行处理,得到手部的角度和长度特征.将角度特征序列和长度特征序列进行融合,利用阈值设定过滤序列中的奇异点,使用FastDTW算法计算待测动态手势与手势模板库中的序列距离,得到预测手势动作类别.实验表明,该方法计算复杂度较低,识别速度快,选取的四种手势动作的识别准确率均在90％以上,有较好的识别效果.     

基于HMM方法的动态手势识别技术的改进

为了提高基于HMM方法的动态手势识别的效率和准确性,针对HMM方法在训练手势中计算的高复杂性,提出了一种HMM算法和动态规划的算法相结合的方法,对HMM算法中的训练阶段进行了改进,增强了人机交互的准确性与实时性。     

Android智能手机自适应手势识别方法

随着触摸屏技术的快速发展,智能手机的手势操作成为主要的人机交互方式.通过分析android平台的手势识别原理,指出其采样引起的特征丢失导致识别准确率不高以及识别速度偏慢等问题,提出基于向量的手势识别方法.谊方法规定八个方向,对触屏输入的手势进行取样并构造得到的方向序列,应用动态时间规整算法进行识别.该方法能够根据手势的方向特征达到对手势的快速筛选,与原有的基于坐标点距离的识别算法相结合,形成更加快速精确的自适应识别方法.实验证明,本文提出的自适应方法将手势识别速度提高近一倍,并进一步提高了识别的精确度,在智能移动设备上具有广泛的应用前景.     

融合手势全局运动和手指局部运动的动态手势识别

传统基于手部轮廓或手部运动轨迹的动态手势识别方法,其提取的特征通常难以准确表示动态手势之间的区别.针对动态手势的复杂时序、空间可变性、特征表示不准确等问题,提出一种融合手势全局运动和手指局部运动的手势识别方法.首先进行动态手势数据预处理,包括去除手势无效帧、手势帧数据补全和关节长度归一化;然后根据给定的手部关节坐标,利用手势距离函数分段提取动态手势关键帧,并基于手势关键帧提取手在空间中的全局运动特征和手内部手指的局部运动特征;其次融合手势全局运动和手指局部运动的关键帧手势特征,并采用线性判别分析进行特征降维;最后利用带高斯核的支持向量机实现动态手势识别与分类.对DHG-14/28动态手势数据集中14类手势和28类手势数据集进行实验,其分类识别准确率分别为98.57%和88.29%,比现有方法分别提高11.27%和4.89%.实验结果表明,该方法能准确地表征动态手势并进行手势识别.     

一种肤色干扰下的变形手势跟踪方法

介绍了一种基于单目视觉的肤色干扰下的变形手势跟踪方法。根据跟踪过程中所用到的基本手势特征,提出了一种基于PGH（成对几何直方图）的静态手势识别方法。为了解决跟踪过程中的肤色干扰问题,实现了基于Kalman滤波器的手势预测跟踪。为了解决跟踪过程中的初始化问题,提出了一种基于层次结构的跟踪初始化解决方案。实验结果表明,该方法能够在肤色干扰的情况下有效地对变形手势进行跟踪,并能够满足基于视觉的实时人机交互的要求。     

融合关节旋转特征和指尖距离特征的手势识别

作为人机交互的重要方式,手势交互和识别由于其具有的高自由度而成为计算机图形学、虚拟现实与人机交互等领域的研究热点.传统直接提取手势轮廓或手部关节点位置信息的手势识别方法,其提取的特征通常难以准确表示手势之间的区别.针对手势识别中不同手势具有的高自由度以及由于手势图像分辨率低、背景杂乱、手被遮挡、手指形状尺寸不同、个体差异性导致手势特征表示不准确等问题,本文提出了一种新的融合关节旋转特征和指尖距离特征的手势特征表示与手势识别方法.首先从手势深度图中利用手部模板并将手部看成链段结构提取手部20个关节点的3D位置信息;然后利用手部关节点位置信息提取四元数关节旋转特征和指尖距离特征,该表示构成了手势特征的内在表示;最后利用一对一支持向量机对手势进行有效识别分类.本文不仅提出了一种新的手势特征表示与提取方法,该表示融合了关节旋转信息和指尖距离特征;而且从理论上证明了该特征表示能唯一地表征手势关节点的位置信息;同时提出了基于一对一SVM多分类策略进行手势分类与识别.对ASTAR静态手势深度图数据集中8类中国数字手势和21类美国字母手势数据集分别进行了实验验证,其分类识别准确率分别为99.71%和85.24%.实验结果表明,本文提出的基于关节旋转特征和指尖距离特征的融合特征能很好地表示不同手势的几何特征,能准确地表征静态手势并进行手势识别.     

基于时空上下文的手势跟踪与识别

针对复杂背景下手势运动过程中出现的手势形态变化、遮挡、光照变化等问题,提出了一种基于时空上下文的手势跟踪与识别方法。使用机器学习方法离线训练手势样本分类器,实现对手势的检测和定位;利用时空上下文跟踪算法对动态手势进行跟踪,同时为了避免跟踪过程中出现的漂移、目标丢失等情况,使用手势检测算法对手势位置信息进行实时校准;根据手势运动轨迹对手势运动进行跟踪与识别。实验表明,提出的方法可以实现对手势运动快速、准确、连续识别,满足人机交互的要求。     

基于手势识别的机器人人机交互技术研究

研究了基于视觉的动态手势识别技术,采用基于肤色的高斯模型与改进的光流场跟踪算法结合的方 法,实现了复杂背景下实时的手势跟踪,具有快速和准确的特点,且具有较好的鲁棒性．对于动态手势识别器,采 用了隐马尔可夫模型（HMM）作为训练识别算法．考虑到动态手势特征本身的一些特点,对HMM 参数优化算法重 估式加以修正,调整了算法比例因子,从而推导了最佳状态链的确定算法、HMM 参数优化算法．最后将研究开发 的动态手势识别算法成功地应用到了基于网络的远程机器人控制系统中．     

动态手势理解与交互综述

近年来,手势作为一种输入通道,已在人机交互、虚拟现实等领域得到了广泛的应用,引起了研究者的关注.特别是随着先进人机交互技术的出现以及计算机技术（特别是深度学习、GPU并行计算等）的飞速发展,手势理解和交互方法取得了突破性的成果,引发了研究的热潮.综述了动态手势理解与交互的研究进展与典型应用：首先阐述手势交互的核心概念,分析了动态手势识别与检测进展;而后阐述了动态手势交互在人机交互中的代表性应用,并总结了手势交互现状,分析了下一步的发展趋势.     

基于骨架的快速手势识别模型

对于手势识别来说, 骨架数据是一种紧凑且对环境条件稳健的数据模态. 最近基于骨架的手势识别研究多使用深度神经网络去提取空间和时间的信息, 然而这些方法可能存在复杂的计算和大量的模型参数的问题. 为了解决这个问题, 我们提出一种轻量高效的手势识别模型. 该模型使用从骨架序列上计算出的两种空间几何特征, 以及自动学习的运动轨迹特征, 然后只使用卷积网络作为骨干网络实现手势分类. 最终我们的模型参数量最少情况下仅为0.16 M, 计算复杂度最大情况为0.03 GFLOPs. 我们在公开的两个数据集上评估了我们的方法, 与其他输入为骨架模态的方法相比, 我们的方法取得了相应数据集上最好的结果.     

基于Kinect的手势跟踪概述

综述了当前基于Kinect手势跟踪的几种代表性方法:基于轮廓和特征匹配运动目标跟踪算法、均值漂移跟踪算法、连续自适应均值漂移跟踪算法、卡尔曼滤波跟踪算法以及粒子滤波跟踪算法,分析其特点及相互关系,详细探讨了各方法的优缺点.最后对手势跟踪发展趋势作出了展望.