基于表观的动态孤立手势识别

给出一种基于表观的动态孤立手势识别技术.借助于图像运动的变阶参数模型和鲁棒回归分析,提出一种基于运动分割的图像运动估计方法.基于图像运动参数,构造了两种表观变化模型分别作为手势的表观特征,利用最大最小优化算法来创建手势参考模板,并利用基于模板的分类技术进行识别.对120个手势样本所做的大量实验表明,这种动态孤立手势识别技术具有识别率高、计算量小、算法稳定性好等优点.     

连续动态手势的时空表观建模及识别

论述了复杂背景下连接动态手势的分割、建模及识别;融合手势运动信息和皮肤颜色信息,进行复杂背景下的手势分割;通过结合手势的时序信息、运动表观以及形状表观,提出动态手势的时空表观模型,并提出基于颜色、运动以及形状等多模式信息的分层次融合策略抽取时空表观模型的参数,最后,提出动态时空规整算法用于手势识别,实验表明,利用上述提出的手势分割、建模、特征参数抽取及识别方法识别１２种手势,平均识别率高达９７％。     

复杂背景下的手势分割与识别

目前在基于单目视觉的手势识别中,手势分割技术几乎都是基于简单的背景或者要求 手势者带有特殊颜色的手套,给人机交互增加了一定的限制.本文融合人手颜色信息和手势运 动信息,两次利用种子算法对复杂背景下的手势进行分割.根据分割出的手区域大大加速了运动 特征参数的提取,并结合手区域的形状特征,建立手势的时空表观模型.识别时,采用独立分布的 多状态高斯概率模型,进行时间规整.手势训练集和测试集的识别率分别为97.8%和95.6%.     

基于结构分析的手势识别

该文从分割和表示（建模）两方面着手，提出了一种新颖的手势分割和整体及局部手势特征提取算法．用模糊集合来描述视频流中空域和时域上的背景、颜色、运动等信息，通过对它们执行模糊运算，分割出人手；使用结构分析的方法来表示手势，根据人手不同部分在几何尺寸上的变化，从低到高逐次分析图像金字塔中各种分辨率的图像，以获取手势的整体和局部结构特征；将人手划分成手掌和手指几个部分，使用手掌和各手指的中心点的坐标和从手掌中心到所有手指的中心的方向（作为手势方向）来表示一个2D手势．实验结果证明，该文算法具有很好的鲁棒性，对手势分割中间结果的精确性要求不高，因此能适应环境的变化．     

融合GVF Snake与肤色模型的手势轮廓提取方法

针对在基于视觉的手势识别系统中手势轮廓难以准确提取问题,本文提出一种融合GVF Snake和肤色模型的手势轮廓提取方法.首先把图像由RGB空间转换到YCb'Cr’空间,利用该空间上的椭圆肤色模型检测出手势区域并提取手势轮廓作为GVF Snake模型的初始轮廓曲线;然后根据图像分块思想把检测出的手势所在图像区域分割出来,并计算该图像分块的梯度值;最后在图像分块和初始轮廓曲线的基础上通过GVF Snake模型迭代搜素准确提取手势轮廓.实验结果表明,本文提出的手势轮廓提取方法无需人工参与,准确性上优于肤色模型、传统Snake模型,实时性上优于GVF Snake模型,满足手势识别系统中手势轮廓提取的实时性和准确性要求.检测准确、实时性高.     

基于用户行为分析的手势跟踪方法

人手结构的高维性而导致粒子滤波跟踪方法中采样数目非常庞大,是实现运动人手的实时性跟踪研究的主要障碍之一.以降低粒子数目为目标,以行为分析和建模为切入点,提出一种手势跟踪方法.首先分析操作者在手势操作过程中的行为特征,建立人手运动的动态模型;其次,研究动态模型的基本特征,并给出一种描述方法;然后,建立人手运动的时段模型,分析了手势状态的时间-空间关系.在此基础上,提出了状态变量微观结构的概念,重点给出了基于状态变量微观结构的手势跟踪算法;最后,设计和完成了实验,并与相关参考文献方法的实验结果进行对比.结果表明,采用该算法,用少量粒子就可以得到比较精确的跟踪结果.提出的核心算法已经用于一个基于自然手势交互的三维虚拟装配原型系统.     

基于特征空间切分建模的变形手势跟踪算法

为解决人机交互中手势形变和无规律运动带来的跟踪难题,提出了一种基于特征空间切分建模的非参数核密度估计算法来实现手势跟踪.首先,在检测模块中利用AdaBoost分类器检测图像中手势的存在,将检测到的手势位置信息传送给跟踪模块,该模块精确提取手势目标从而对其颜色建模.然后,利用目标的颜色模型对各帧图像进行后验概率密度估算,获取运动目标的概率密度图像,将其分解成手势运动区和同色干扰区.最后,对同色干扰区采用混合高斯建模来削弱同色目标的干扰.当目标丢失时启动再检测模块,并利用贝叶斯分类器与方差分类器实现手势目标重检.实验结果表明,该算法通过对特征空间切分建模以及不同分类器的级联解决了变形手势跟踪的同色干扰与再检测难题.该算法提高了跟踪的准确率（>81.5%）,适合于非刚性物体做无规则运动的复杂场景.     

基于单目摄像头的3D动态手势交互

传统的手势交互都需要借助于Leap Motion或Kinect等专用交互设备。以图像通道转换、二值化等图像处理方式提取手势,以手势平面坐标值的变化获取手势的平面移动信息,以手势面积的变化解决了手势深度的问题。通过绘制手势轮廓结合自创的图像匹配算法计算不同图像的匹配率,用最高匹配率选择相对应的手势运动信息。通过摄像头坐标系到3D场景坐标系之间的转换,结合三维图形的几何变换计算变换矩阵,实现手的空间移动与旋转。在不借助专用的手势交互设备的情况下,实现单目摄像头的动态手势交互。     

基于多特征加权融合的静态手势识别

针对人工提取特征的单一性及卷积神经网络提取特征的遗漏性问题,提出了一种基于多特征加权融合的静态手势识别方法.首先,提取分割后的手势图像的傅里叶和Hu矩等形状特征,将两者融合作为手势图像的局部特征;设计双通道卷积神经网络提取手势图像的深层次特征,采用主成分分析方法对提取的特征进行降维;然后,将提取的局部特征和深层次特征进行加权融合作为手势识别的有效特征描述;最后,使用Softmax分类器进行手势图像分类.实验结果验证了提出方法的有效性,在手势图像数据集上的识别准确率达到了99%以上.     

以多模型融合为特征的三维手势跟踪算法

三维手势跟踪是基于手势交互中的一个基础性研究课题,要实时、高精度地实现三维手势跟踪是一个具有挑战性的热点问题.为提高三维人手跟踪的精确度,提出一种基于多模型融合状态预测的粒子滤波跟踪算法.首先通过对基于数字手套的虚拟烤箱系统进行实验,结合人手的行为理解和描述建立了基于认知实验的人手运动状态预测模型;其次对人手跟踪过程中的数据建立人手运动模型,将Sigma点原理应用到人手模型数据上,得到基于局部分析预测模型;最后将这2个模型按照其与当前帧图像的相似度进行融合,得到粒子滤波过程中的状态预测模型.与退火算法相比较的实验结果表明,在运行时间基本相同的情况下,该算法通过改善粒子滤波过程中状态预测的精度提高了人手跟踪过程中的精度.     

基于自适应阈值的动态手势分割和识别

对手势视频流进行了帧分离,通过对人体肤色的检测来分割手势,识别过程采取了自适应阈值二值化方法进行预处理,特征提取兼顾了手势本身的形状特征和整个手势序列的运动轨迹特征。实验结果证明获得了较高的识别率,此方法是可行的。     

复杂背景下基于傅立叶描述子的手势识别

人的手势是人们日常生活中最广泛使用的一种交流方式。由于在人机交互界面和虚拟现实环境中的应用,手势识别的研究受到了越来越广泛的关注。但是目前基于单目视觉的手势识别技术中,手势分割要求背景简单或者要求识别者戴着笨重的数据手套。而该文结合了运动信息和基于KL变换的肤色模型,在复杂背景下进行手势分割,与传统的基于RGB肤色模型的手势分割相比,在复杂背景环境下得到了很好的分割效果。在对分割的手势区域进行预处理后,该文使用了一种归一化的傅立叶描述子进行手势的特征提取,相比传统的傅立叶描述子更加准确,最后采用了传统的三层BP网络作为模式识别器,手势训练集和测试集的识别率分别达到了95．9％和95％。     

Airwriting: a wearable handwriting recognition system

We present a wearable input system which enables interaction through 3D handwriting recognition. Users can write text in the air as if they were using an imaginary blackboard. The handwriting gestures are captured wirelessly by motion sensors applying accelerometers and gyroscopes which are attached to the back of the hand. We propose a two-stage approach for spotting and recognition of handwriting gestures. The spotting stage uses a support vector machine to identify those data segments which contain handwriting. The recognition stage uses hidden Markov models (HMMs) to generate a text representation from the motion sensor data. Individual characters are modeled by HMMs and concatenated to word models. Our system can continuously recognize arbitrary sentences, based on a freely definable vocabulary. A statistical language model is used to enhance recognition performance and to restrict the search space. We show that continuous gesture recognition with inertial sensors is feasible for gesture vocabularies that are several orders of magnitude larger than traditional vocabularies for known systems. In a first experiment, we evaluate the spotting algorithm on a realistic data set including everyday activities. In a second experiment, we report the results from a nine-user experiment on handwritten sentence recognition. Finally, we evaluate the end-to-end system on a small but realistic data set.     

基于圆弧扫描线的手势特征提取和实时手势识别

基于手势的人机交互是当前备受关注的自然人机交互模式之一,实时手势识别是其中最重要的步骤。本文提出了一种基于圆弧扫描线的手势特征提取和实时手势识别方法。首先,基于一种抽象描述手掌和五指关系的简洁人手海龟模型,结合肤色特征和腕部标记分割出人手部图像,并进行二值化处理 和统一尺寸来建立手势训练集。 然后,以手掌中心为圆心构造同心圆来提取训练集中不同手势样本的特征,并使用线性判别分析(Linear discriminant analysis,LDA)算法对手势特征向量进行离线预处理。最后,使用 改进的加权K近邻（Weighted-K-nearest neighbor,W-KNN）算法进行实时手势分类和识别。为了验证本文方法的有效性 ,在自建小型手势数据库上进行了算法分析和比较,并在多投影系统下进行实时交互测试。实验 结果表明本文算法具有较高的识别效率。     

A Real-Time Approach to the Spotting, Representation, and Recognition of Hand Gestures for Human–Computer Interaction

Aiming at the use of hand gestures for human–computer interaction, this paper presents a real-time approach to the spotting, representation, and recognition of hand gestures from a video stream. The approach exploits multiple cues including skin color, hand motion, and shape. Skin color analysis and coarse image motion detection are joined to perform reliable hand gesture spotting. At a higher level, a compact spatiotemporal representation is proposed for modeling appearance changes in image sequences containing hand gestures. The representation is extracted by combining robust parameterized image motion regression and shape features of a segmented hand. For efficient recognition of gestures made at varying rates, a linear resampling technique for eliminating the temporal variation (time normalization) while maintaining the essential information of the original gesture representations is developed. The gesture is then classified according to a training set of gestures. In experiments with a library of 12 gestures, the recognition rate was over 90%. Through the development of a prototype gesture-controlled panoramic map browser, we demonstrate that a vocabulary of predefined hand gestures can be used to interact successfully with applications running on an off-the-shelf personal computer equipped with a home video camera.     

Feature fusion for 3D hand gesture recognition by learning a shared hidden space

Hand gesture recognition has been intensively applied in various human-computer interaction (HCI) systems. Different hand gesture recognition methods were developed based on particular features, e.g., gesture trajectories and acceleration signals. However, it has been noticed that the limitation of either features can lead to flaws of a HCI system. In this paper, to overcome the limitations but combine the merits of both features, we propose a novel feature fusion approach for 3D hand gesture recognition. In our approach, gesture trajectories are represented by the intersection numbers with randomly generated line segments on their 2D principal planes, acceleration signals are represented by the coefficients of discrete cosine transformation (DCT). Then, a hidden space shared by the two features is learned by using penalized maximum likelihood estimation (MLE). An iterative algorithm, composed of two steps per iteration, is derived to for this penalized MLE, in which the first step is to solve a standard least square problem and the second step is to solve a Sylvester equation. We tested our hand gesture recognition approach on different hand gesture sets. Results confirm the effectiveness of the feature fusion method.