基于视觉的动态手势识别及其在仿人机器人交互中的应用

手势识别是人和机器人交互中的重要组成部分，本文针对双目视觉系统SFBinoeye实 现了基于光流PCA(主分量分析)和DTW(动态时间规整)的命令手势识别，用以控制仿人机器人 SFHR的手臂运动．利用块相关算法计算光流，并通过主分量分析得到降维的连续投影系数， 与手掌区域的质心位置组合为混合特征向量．针对DTW定义了新的加权距离测度，并用它对 手势进行匹配识别．针对9个手势训练和识别，识别率达到92.4%，并成功地应用于机器人的 手臂控制中．     

室内机器人动态手势指令识别系统研究

针对目前室内移动机器人手势指令识别系统存在的问题,对图像传感器与机器人相分离的图像采集方案进行了研究,并利用动态手势指令对机器人进行控制。动态手势指令识别方法是对手的不同运动轨迹进行识别,通过皮肤颜色模型和手势中心点方向向量法追踪得到手势运动轨迹,提取手势运动轨迹的特征向量,通过基于动态时间规整（DTW）实现对轨迹的识别。实验结果表明,该系统可以实现对机器人前进、后退、左转、右转的实时控制。     

光流分量分解的步态识别

步态识别因其远距离和难于伪装等特点在生物识别技术中颇受关注。针对目前特征提取方法信息量不足的现状,提出一种基于光流分量分解的步态识别方法,对步态光流图中横向分量和纵向分量为正的部分按行、列进行分解,求出每行和每列的光流横、纵向分量,得到4个特征向量。根据训练得出的每个特征向量在识别过程中的权重进行特征融合。将主成分分析和线性判别分析相结合,用动态时间规整算法进行匹配,最后采用最近邻分类算法分类。在CASIA Database B和C上的实验表明,该方法在正常、背包和穿大衣的条件下分别得到了97%,90%和64%的识别率,在慢速和快速行走的条件下分别得到了88%和87%的识别率。     

基于DTW算法的肌电信号手势识别方法

为了提高肌电信号手势识别算法的准确度,增强实时性,提出了一种基于动态时间规整（DTW）算法的手势识别方法,该方法利用肌电信号（EMG）对个体间的手势进行识别。首先,采用滑动平均能量的方法对原始的EMG信号进行数据分割,探测有效动作;其次,对于分割的数据段使用平均绝对值（MAV）来提取信号特征;最后,用DTW算法将8维的EMG信号融合并计算测试样本和模版的相似度,其中采用了DTW算法寻找规整路径的方法进行了模板制作,实现了个体间的手势识别。实验结果表明,使用DTW算法对肌电信号进行手势识别,其动作识别的准确率达到96.09%,该方法计算速度快,实时性强。     

基于TLD和DTW的动态手势跟踪识别

针对动态手势跟踪稳定性的不足和识别效率的问题, 提出一种基于TLD和DTW的动态手势跟踪识别框架. 首先利用基于Haar特征的静态手势分类器获得手势区域, 然后使用TLD跟踪算法对获得的手势区域进行跟踪以获取手势轨迹, 最后提取轨迹特征, 使用改进的DTW算法进行识别. 实验表明, 该框架能够长时间稳定地跟踪手势区域, 并能够在保证识别率的基础上显著提高识别效率.     

基于DTW与混合判别特征检测器的手势识别

在动态手势识别领域,动态时间规整(DTW)算法在消除不同时空表示模式之间的时间差异方面具有优势,但作为一种模板匹配算法,受限于样本库的容量大小并且缺乏统计模型框架训练,其识别效果和稳定性较差,尤其在大数据量、复杂手势和组合手势的情况下。针对上述不足,提出一种基于DTW和混合判别特征检测器(CFDF)的手势识别算法。利用DTW只对手势信号在时域进行规整,通过CFDF将手势特征的概率分布转换成二值的分段线性函数,根据允许的偏差范围分别做归0或归1处理后,再进行二次分类。实验结果表明,该算法通过舍弃无辨识度特征有效地降低了维度和噪声,手势平均识别率可达91.2%,比单独采用DTW的识别算法提高了6.0%。     

基于RFID反向散射通信的机器人手势控制系统

针对当前手势控制技术中手势数据的不稳定性,研究了一种基于RFID反向散射通信的机器人手势控制系统.首先,通过对数据进行加窗处理来解决标签反射信号在时域上的不连续性,并利用相对熵的思想提取相位流中动态手势的指纹特征分段;其次,利用动态时间规整（Dynamic Time Warping,DTW）算法计算当前分段与先验手势指纹库中各一维分量的匹配程度,并在此基础上结合k邻近算法实现手势分类;最后通过蓝牙设备与机器人进行串口通信,实现人机交互应用.实验结果显示该系统可以对机器人进行前进、后退、向左、向右、顺时针旋转、停止的实时控制,机器人对手势指令的正确反馈率高于84%,证明系统在真实环境下具有良好的可行性和鲁棒性.     

基于动态时间规整的手势加速度信号识别

为了提高基于加速度传感器的动态手势识别算法的性能,本文采用了动态时间规整(DTW)识别算法。通过该算法计算测试模板和参考模板的相似度,从而得出识别结果。为了验证该方法,建立了一套手势加速度无线采集系统,并采集了41个志愿者的手势信息。实验结果表明,该方法手势平均识别率在97%以上。与HMM识别算法相比,DTW识别算法在识别的准确率上比HMM识别算法更具优势。     

基于肌电信号和加速度信号的动态手势识别方法

为了增强手势识别的多样性和简便性,提出了一种基于肌电信号（EMG）和加速度（ACC）信息融合的方法来识别动态手势。首先,利用MYO传感器采集EMG和ACC的手势动作信息;然后分别对ACC和EMG信号作特征降维和预处理;最后,为减少训练样本数,提出用协作稀疏表示分类器来识别基于ACC信号的姿态手势,用动态时间规整（DTW）算法和K-最邻近分类器（KNN）来分类EMG信号的手形手势。其中在利用协作稀疏表示分类器识别ACC姿态信号时,通过对创建字典最佳样本个数以及特征降维的维数进行研究来降低手势识别的复杂度。实验结果表明,手形手势的平均识别率达到了99.17%,对于向上向下、向左向右4种姿态手势平均识别率达到 96.88%,而且计算速度快;对于总体的12个动态手势,其平均识别率达到96.11%。该方法对动态手势的识别率较高,计算速度快。     

高阶NMI值的字母手势识别

提出了基于手势伸展方向以及手势图像高阶NMI值的特征向量进行识别分类的算法。首先,对采集到的手势图像进行预处理与二值化,然后按手势的伸展方向进行粗分类,之后,对每幅图像提取图像的1阶和4阶NMI值,这样将一幅图像表示成一个有17维分量的特征向量。识别时用k近邻原则进行判别,识别率达到86．6％。     

基于自适应子空间在线PCA的手势识别

基于视觉的手势识别系统的学习一般是离线的,导致系统对新手势的正确识别需要重新离线学习,因此系统实时性、可扩展性和鲁棒性较差,不适合认知发育的智能框架。文中提出了基于自适应子空间在线PCA的手势识别方法。该方法通过计算样本投影系数向量的PCA来实现子空间在线更新,并根据新样本与已学习样本的差异程度,调整子空间更新策略,使算法自适应于不同情况,减少计算和存储开销,实现增量的在线学习和识别手势的目的。实验表明,本文方法能处理未知手势问题,实现手势在线积累和更新,逐渐增强系统识别能力。     

Tracking,recognition, and distance detection of hand gestures for a 3‐D interactive display

Abstract— This study proposes an interactive system for displays, the technologies of which consists of three main parts: hand‐gesture tracking, recognition, and depth measurement. The proposed interactive system can be applied to a general 3‐D display. In this interactive system, for hand‐gesture tracking, Haar‐like features are employed to detect a specific hand gesture to start tracking, while the mean‐shift algorithm and Kalman filter are adopted for fast tracking. First, for recognizing hand gestures, a principal component analysis (PCA) algorithm is used to localize colored areas of skin, and then hand gestures are identified by comparison with a prepared database. Second, a simple optical system is set up with an infrared laser source and a grid mask in order to project a proposed horizontal stripe pattern. Third, the projected patterns are deciphered to extract the depth information using the Hough‐transform algorithm. The system containing hand‐gesture localization, recognition, and associated depth detection (the distance between the display and the hand), was included in a prototype of an interactive display. Demonstration of rotation recognition of a finger‐pointing hand gesture was successful by using the algorithm of radar‐like scanning.     

A model-based hand gesture recognition system

This paper introduces a model-based hand gesture recognition system, which consists of three phases: feature extraction, training, and recognition. In the feature extraction phase, a hybrid technique combines the spatial (edge) and the temporal (motion) information of each frame to extract the feature images. Then, in the training phase, we use the principal component analysis (PCA) to characterize spatial shape variations and the hidden Markov models (HMM) to describe the temporal shape variations. A modified Hausdorff distance measurement is also applied to measure the similarity between the feature images and the pre-stored PCA models. The similarity measures are referred to as the possible observations for each frame. Finally, in recognition phase, with the pre-trained PCA models and HMM, we can generate the observation patterns from the input sequences, and then apply the Viterbi algorithm to identify the gesture. In the experiments, we prove that our method can recognize 18 different continuous gestures effectively. Received: 19 May 1999 / Accepted: 4 September 2000     

Robust gesture recognition using feature pre-processing and weighted dynamic time warping

Gesture recognition is a technology often used in human-computer interaction applications. Dynamic time warping (DTW) is one of the techniques used in gesture recognition to find an optimal alignment between two sequences. Oftentimes a pre-processing of sequences is required to remove variations due to different camera or body orientations or due to different skeleton sizes between the reference gesture sequences and the test gesture sequences. We discuss a set of pre-processing methods to make the gesture recognition mechanism robust to these variations. DTW computes a dissimilarity measure by time-warping the sequences on a per sample basis by using the distance between the current reference and test sequences. However, all body joints involved in a gesture are not equally important in computing the distance between two sequence samples. We propose a weighted DTW method that weights joints by optimizing a discriminant ratio. Finally, we demonstrate the performance of our pre-processing and the weighted DTW method and compare our results with the conventional DTW and state-of-the-art.     

一种基于DTW/ISODATA算法的多层分类器手语识别方法

为提高大词汇量手语识别速度,论文提出了一种将动态时间规整(DTW)和隐马尔可夫模型(HMM)相结合的多层次的大词汇量手语识别方法。该方法思想是先进行全局粗略搜索,将要识别的手势词归入某一组范围较小的词表中,然后通过更加精确的HMM局部搜索将词识别出来。各个词汇表用DTW/ISODATA算法来产生。对4942个孤立手语词作了实验,结果表明,相对于仅用HMM单层识别而言,识别速度从原来每个词的2.364秒提高到0.137秒,提高了94.2%,识别准确率也提高了4.66%。