应用计算机视觉的动态手势识别综述

从手势识别系统框架模型、手势分割、手势建模与分析和手势识别等几个方向,系统地综述当前计算机视觉动态手势识别技术的研究现状,分析其存在的不足,提出了进一步研究的问题.结果表明:基于简易可穿戴设备的手势识别、基于深度视觉传感器的手势识别和多方法交叉融合的手势识别将是未来该领域的发展趋势.     

基于液态金属复合材料传感手环的手势意图识别系统

手势意图识别是人机交互领域的热门研究方向，然而现有手势的识别系统大多基于肌电信号，肌电信号不可避免的信号串扰、衰减、信噪比低等问题严重影响了手势识别的准确率.为了解决这一问题，研发了基于液态金属复合材料传感手环的可穿戴手势识别系统，液态金属复合材料灵敏的压阻效应使设计的传感手环获取的传感信号表现出稳定、灵敏度高、噪声低等优异特性.基于此传感信号的手势识别系统由数据采集和模式识别两个部分组成，其平均离线识别准确率高达97.19%.更重要的是，该系统无须在手部加装设备，通过前臂肌肉即可获取信号，因此可用于手部功能缺失的残疾群体，用户范围广泛，具有重要的社会和经济效益.     

基于三维轨迹的相似手势识别研究

为解决动态手势识别中相似手势识别率不高的问题,本文开发了基于Leap Motion设备的动态手势识别系统,即对采集到的所有动态手势的三维运动轨迹数据预处理后,以运动角为固定特征通过HMM模型区分出非相似与相似手势;对于相似手势,设计了基于角点数、子区域百分比、角点序号百分比、轨迹区域长宽比的二次识别系统.验证试验表明,相似手势的最终识别率高达92.56%,二次识别的平均识别率比基于HMM一次识别的平均识别率提高了17%.     

基于Zigbee和加速度传感器的民族手势识别系统

本文论述了一种基于Zigbee和加速度传感器的民族手势识别系统。该系统通过6个加速度传感器采集手势信息,利用Zig-bee无线网络进行数据传输,结合识别算法识别动作者的手势信息,并通过液晶屏显示出来。实验结果表明,本系统能准确快速识别单手势静态民族手势语,自动判断下一手势的起始,并通过抖动滤波处理减少了误差。     

基于深度数据的手势识别研究进展

手势是人机交互的重要手段之一。基于视觉的手势识别具有非接触式交互的特点,在人工智能领域得到越来越广泛的应用。然而,受到传统二维光学摄像头的限制,采集到的手势图像质量极易受到光照和杂散背景的影响,这给手势的提取带来了重大挑战,严重制约了基于视觉的手势识别的实用化进程。近年来,深度摄像技术的兴起,为解决上述问题带来了新的机遇。在深度数据的辅助下,基于视觉的手势识别新方法层出不穷,识别的准确度不断提升,有力地促进了基于视觉的手势识别系统的实用化进程。在此背景下,从数据的角度出发,分深度数据的获取、常用手势数据集和基于深度数据的识别方法 3个方面介绍目前基于深度数据的手势识别研究的最新进展,并对其未来发展做了进一步的展望。     

车载手势识别中基于小波变换和双边滤波的图像去噪方法

手势识别是人机交互中的重要研究领域,车载手势识别系统可以减少驾驶员手动操作仪表导致的分心,提高驾驶安全性。受光照变化、汽车环境、摄像头成像质量等各因素的影响,车载手势图像中常会存在大量复杂噪声。这些噪声严重影响后续手势分割、特征提取和手势识别的准确性。针对手势图像中存在的噪声问题,本文提出了一种适用于车载手势图像处理的新方法。该方法先对小波分解后的各高频子带采用不同方向的一维非线性扩散滤波处理得到初步去噪手势图,在此基础上用多尺度双边滤波对图像再次处理。实验结果表明,本文方法可以较好地去除车载手势图中噪声,抑制车载手势图细节的模糊。      

基于OPENCV的手势识别的实现与应用

本文主要对静态手势识别的技术存在的各种方法进行了相应的分析与探讨,而在这个基础之上实现与设计了一套先进的静态手势识别系统。而该系统主要分为手势的分类、图像的预处理、分类器的设计与样本的训练以及特征的提取四个模块。而该系用在运行时,首先从文件夹中读取图像部分,其次在经过图像的预处理模块得到手势的轮廓图像以及二值图像,最后在对轮廓图像与二值图像这两幅图对手势进行相应的特征提取,并且采用贝叶斯分类器对这个手势进行分类识别。     

Kinect骨骼信息下的动态手势识别研究

针对复杂环境中存在的手势识别问题,提出一种利用Kinect传感器获取深度信息并进行动态手势识别的方法。该方法通过对Kinect传感器获取的深度信息进行分析,获取人体主要骨骼点的3D坐标,从中选取六个点作为手部运动的特征参照;为提高手势识别系统的识别速度,提出了一种基于查表的DTW算法对得到的特征数据进行模板训练并实现动态手势识别。实验结果表明:该方法具有较高的识别速度和识别率,对复杂背景及光照强度变化具有较强的鲁棒性。     

基于眼动的孤独症儿童对常见手势反应的研究

通过佩戴TobiiⅡ眼镜式眼动仪,对7～14岁的30名孤独症儿童进行自然情境手势反应测试,并与7～8岁的30名普通儿童比较,探索孤独症儿童对自然情境中常见手势的反应,深入了解孤独症儿童的沟通问题。研究发现,与普通儿童比较,孤独症儿童对5个手势的反应得分均较差,两者有显著差异(F=12.799,P=0.000);在5个手势反应中,他们对"夸奖"手势反应最正确,其次是"握手"手势,而对"过来""起立""再见"手势反应较差;有语言伴随可以提高对手势的反应得分;眼动研究发现孤独症儿童和普通儿童的注视点在"夸奖"手势上差异不明显(t_夸=0.198,P_夸=0.844),在"起立"手势上有明显差异(t_起=7.464,P_起=0.000);"夸奖"和"起立"两个手势的初始注视位置有显著差异(χ~2_夸=10.214,P_夸=0.006;χ~2_起=6.171,P_起=0.046),普通儿童能注视到主要位置,孤独症儿童则不能。总之,孤独症儿童对常见手势的反应比普通儿童差,要发展其沟通交往能力,须在日常生活和课堂中配合语言并加强手势的理解与应用,同时可加强使用"夸奖"等具有积极意义的手势,以提高他们对交流对象的关注。     

基于混合高斯模型的非固定握持姿势手势识别

针对手势识别研究中普遍要求用户以严格固定方式握持数据采集设备,致使用户体验差的问题,使用混合高斯模型(Gaussian mixture model,GMM)对非固定握持姿势的手势识别算法进行改进,以提高手势人机交互时的舒适性.首先通过GMM从加速度传感器数据中提取用户握持姿势数据,然后借助握持信号实现手势命令数据提取与坐标转换,使识别系统能够自适应不同的握持姿势.为使GMM可以同时满足手势识别应用中对稳定性和适应速度的要求,优化了GMM的学习机制,包括增加备则模态和改善优先级计算.实验结果表明,所述系统在滚转角和俯仰角+60°~-60°、偏摆角+20°~-20°范围内,握持姿势对手势识别正确率没有明显影响,实现了非固定握持姿势的手势识别,起到了提高用户体验的作用.     

面向三维场景造型的徒手手势交互方法

针对手势交互在场景造型应用中的问题,从3个层面分析并提出解决思路,意图建立一种面向三维场景造型的徒手手势交互方法.首先,在宏观上基于用户活动和系统任务,构造面向场景造型的手势交互框架;其次,在中观上提出完整实用的手势集构造方法,并用此方法为本文系统设计手势集;再次,在微观上针对场景造型中手势识别的"米达斯"接触问题,从时间、空间、手势辅助3方面提出优化方法;最后,通过实验验证了所提出方法的可用性并总结了未来的研究方向.      

基于改进NanoDet和GRU的交警手势识别研究

无人驾驶车辆对道路交通指示牌以及信号灯具有良好的识别效果，但在交警手势识别方面还有进一步发展的空间。当交警和交通信号灯同时在场以指挥复杂的路况时，能够识别出交警手势并根据交警手势优先做出判断尤为重要。考虑到车载设备的性能限制，使用了改进的NanoDet以保障实时从画面中提取人群中的交警区域，将注意力机制和GRU相结合，提高了该网络对交警手势的识别精度。设计了一种并行的运行架构，提高了交警手势智能识别系统的整体执行效率。     

一种基于WiFi信道状态信息的人体感知算法

针对现有的基于WiFi的动作识别系统不能同时识别人物身份的问题,提出一种基于WiFi信号的人体手势和身份识别算法(Wi-GAH). Wi-GAH采用神经网络方法进行设计,将信道状态信息的幅度特征转换成一个三维矩阵结构,以最大程度地保留单个样本数据所携带的空间、时间及频率相关性;然后采用二维卷积从三维矩阵中提取特征,并使用随机丢弃神经元和批归一化减小过拟合;最后利用多任务学习实现人体手势和身份的并行识别.实验结果表明, Wi-GAH对150个手势的识别准确率为95.67%,对4个人的身份识别率达到87.33%;当只需要区分人体的权限类别时,其识别准确率能达到92.05%.     

基于移动终端的汉语手语识别技术研究

文中使用图像轮廓填充图形作为手语手势的特征参数进行静态手语识别。关键是提取出图像边缘轮廓,并做出轮廓填充图形,根据这个特征参数对待测图像进行手语手势的特征匹配。该方法对图像亮度、缩放、平移、旋转具有不变性,而且该方法计算简单、快速,可以用于基于移动终端（Android手机操作系统平台下）的手语识别系统。     

基于深度图像的手势识别综述

手势是一种自然直观的人机交互方式,手势识别是新一代人机交互中的重要技术.深度图像可以方便的实现前景和背景的分割,提高手势识别的性能.从人手分割、特征提取和手势识别三个方面介绍了基于深度图像手势识别的研究现状及其应用,并对其中存在的难点展开讨论.     

移动单目相机下基于单应的动态手势轨迹识别

针对单目相机的移动会造成图像坐标系的全局运动,对手势识别中运动轨迹的观测产生影响,不能满足手势交互的应用需要的问题,建立并证明了一种基于单应的目标运动轨迹观测模型.该模型通过分析目标平面运动时相邻帧之间的射影关系,利用单应矩阵求解与特征点的重投影,求得相邻帧之间的目标相对运动矢量,得到世界坐标系下的目标运动轨迹.为验证该模型的有效性,基于该模型提出了一种利用移动相机进行动态手势轨迹识别的方法.实验结果表明:使用该方法进行动态手势轨迹识别的识别率为89%,处理速度达到72.28帧/s,在移动相机环境下保证了手势识别系统的识别率与实时性.     

基于MYO的肌电假肢手控制中手势在线识别系统

表面肌电(surface electromyography,s EMG)信号被广泛应用于临床诊断、康复工程和人机交互等领域中.针对目前控制肌电假肢手的电极成本高、电极佩戴困难以及操作灵活性差等问题,设计一种基于MYO的肌电假肢手手势在线识别系统.通过采集人体上肢前臂的表面肌电信号,在时域上分别提取5种特征值,利用反向传播(back propagation,BP)神经网络分类算法实现对8种手势动作意图的在线实时识别.实验结果证明,利用MYO进行手势识别可以获得较好的识别结果,该系统能够准确识别8种手部动作,平均在线识别率达到92%.     

面向手语自动翻译的基于Kinect的手势识别

提出了一种基于3D体感摄像机Kinect设备实现面向手语自动翻译的手势识别方法,利用Kinect体感外设提供的深度图像实现手的检测,并通过OpenNI+NITE框架中函数获得手掌质心在三维空间中的位置,然后通过等值线追踪算法(又称围线追踪算法)和三点定位算法识别出手指实现了手势跟踪,最后通过矢量匹配方法识别手指名字,并设计了三层分类器来实现静态手势语的识别.相较于传统的基于数据手套和单目摄像机的方法,本方法识别的更准确.基于上述方法,实现了一个手势识别系统.实验结果显示,本文提出的方法更加简洁且行之有效.     

基于改进卷积神经网络的RFID单标签非接触手势识别研究

提出基于卷积神经网络的单标签非接触式手势识别系统，在不需要携带任何设备的情况下，利用单标签、单天线实现精准的手势识别。首先，通过人为添加干扰物，读取受多径效应影响的标签相位信号；其次，对标签相位信号进行预处理，选取动态时间规整算法(dynamic time wrapping, DTW)匹配与先验指纹库粗粒度手势识别；最后，将标签相位信号利用马尔可夫变迁场(markov transition field, MTF)生成特征图像，利用IM-AlexNet模型进行深度训练和实验测评。实验结果表明，改进后的模型训练参数减少为初始的7%,且准确率达到96.76%.该系统可大范围扩展，并具有较高的鲁棒性。     

基于视觉的手势识别研究

在对基于视觉的手势识别的几个关键问题进行研究的基础上,尝试将高斯金字塔光流算法与DTW分类算法相结合,应用到动态手势识别中.实验表明,四个动态手势的平均识别率达到了94.5%.