基于表观特征的手势识别研究

手势识别在人机交互与虚拟现实中有重要应用,本文提出一种新的基于Zernike矩和傅里叶描绘子联合表观特征的手势识别方法。依据YCbCr色彩空间的肤色检测,分割出手势;对手势分割后的图像计算Zemike矩和傅里叶描绘子,选取Zernike矩和傅里叶描述子构成联合特征向量;构建一个多层感知器神经网络分类器,进行手势识别。构建一个含有2000样本的数据集来验证算法,实验结果显示手势识别准确率达到98．9％.     

Grael脑电放大器与深度学习的手势实时识别研究

手势识别是人机交互的关键。为了能够更好地实现脑电信号与肌电信号的融合,精准地识别人体的运动,本文建立了一套基于Grael脑电放大器的手势动作实时检测识别的研究系统。通过Grael脑电放大器和Curry8系统采集5个通道的8种不同手势的表面肌电信号(sEMG),并对采集到的sEMG信号进行滤波去噪、滑动窗口分割以及特征提取等预处理的操作;最后采用几种常用的分类器与卷积神经网络(CNN)对不同手势的sEMG信号进行实时分类识别。结果表明CNN的识别准确率最高,能达到92.98%;对每个手势动作进行30次实时识别检测,结果显示识别延迟大概在1～1.5 s,实时识别的精度可高达90%。该系统为将来研究脑电信号与肌电信号的融合提供了一个可行的方法,在人机交互方面展现了巨大的潜力和应用空间。     

复杂背景下多特征结合的深度学习手势识别

科学技术的快速发展使得基于深度学习的人机交互已经得到广泛的应用。手势识别作为人机交互领域的重要组成部分,同样具有重要的研究意义和应用价值。通过对传统的手势识别方法进行研究,发现主要是利用肤色检测算法实现手势识别和分类,但是传统方法在针对具有复杂背景的手势图像时会出现识别效果差等问题。为解决这一问题,提出一种基于卷积神经网络的肤色特征和边缘特征结合的手势识别方法。首先,在YCrCb颜色空间采用椭圆肤色模型和Otsu阈值肤色识别算法获取手势肤色特征,经算法判断后,对手势肤色图像采用改进Canny边缘检测算法获得手势边缘特征。其次,提出一种边缘填充方法对手势边缘图像处理,得到手势轮廓完整的手势边缘图像。最终,采用逻辑运算和形态学运算得到手势分割图像,并输入卷积神经网络进行训练和识别。实验结果表明,该方法在复杂背景下具有较好的手势识别效果,在NUS-II数据集上的平均识别率为98.83%。     

基于HS-CrCb空间的手指数量检测方法研究

手势识别成为未来人机交互的重要方式,本文主要对复杂背景下手指数量的检测方法进行研究。首先通过对比分析不同颜色空间下的手势区域提取方法,提出一种基于 HS-CrCb 肤色模型的手势区域提取方法,并在实验中提取了更清晰和完整的手势区域;其次,采用凸缺陷、手势形状以及手指夹角等特征对手势进行建模和手指数量检测,算法能准确识别出不同手势下对应的手指数量。在Qt和OpenCV环境下建立算法平台,算法在实验测试中取得了良好的效果,具有较好的工程参考和应用价值。     

基于LBFGS-EKF算法的三维空间目标跟踪研究

人机交互中,人手与机器的交互是最通用的方式,因此手势交互研究是当今人机交互研究的重点之一.本文以Leap Motion为依据,对三维空间目标检测和跟踪进行研究,提出了一种限定内存扩展卡尔曼滤波算法(LBFGSEKF).该算法在基于降低噪声所提出的EKF方法上,通过LBFGS算法求最优解的方式来代替EKF算法在每次迭代中求逆Hessian矩阵而造成内存消耗,计算速率下降,导致实时性差的问题,从而形成一种新的目标跟踪算法.仿真结果表明,新算法用于手势识别时,可以降低误差、提高目标跟踪的精度.     

基于动态贝叶斯网络的手势识别

研究了动态手势的识别技术,实现人机交互。采用HSV空间的肤色模型实现手势定位,光流场算法进行手势追踪,具有较好的快速性、准确性和鲁棒性。提出应用链码描述手势运动矢量,双手相对位置标量以及双手与脸的相对位置标量,将多条链码作为动态手势的特征进行提取。建立了一个动态手势识别的动态贝叶斯网络模型,将一部分手势链码作为训练样本,通过对DBNs的推理学习实现手势识别。实验构建动态手势识别系统,可应用于多媒体、智能电器或幻灯片控制之中。     

机器人人脸表情识别技术研究

随着服务机器人智能化程度不断提高,基于表情识别的人机交互技术已逐渐成为研究热点。相对于语音和手势,表情交互在服务机器人多方式人机交互中的地位无可替代,例如对于行动或语言能力有缺陷的病人,机器人理解其面部表情则成为最主要的交互方式。本文面向室内环境下人机交互需求,基于机器人单目摄像头获取视频信息,提出了层次化的面部检测及表情识别系统,分别就该系统的两个关键环节:人脸检测定位与跟踪;表情特征提取与分类开展了深入研究,开发出具有较高实时性及识别率的面部表情识别系统。因此服务机器人具备面部表情识别功能,对实现人性化、自然化和智能化的人机交互有着重要作用。     

基于Mask R-CNN与SG滤波的手势识别关键点特征提取方法

手势识别是人机交互的重要手段.为了精确识别手势并摒除光照等环境干扰,同时减除由于手部高维运动造成的关键点剧烈抖动的问题,提出一种基于基于蒙版区域的卷积神经网络(Mask Region-based convolutional neural network,Mask R-CNN)与多项式平滑算法(Savitzky-Golay,SG)的手势关键点提取方法.该方法首先对输入的红绿蓝(RGB)三通道图像进行特征提取与区域分割,获得手部的实例分割与掩码.然后利用ROIAling及功能性网络进行目标匹配,标记出22个关键点(21个骨骼点+1个背景点).将标记后结果送入SG滤波器进行数据平滑,并进行骨骼点的重新标定.从而得到稳定的手势提取特征.对模型进行对比实验,结果表明,该方法能够最大程度摒除环境干扰,并精准提取关键点.与传统基于轮廓分割的手势关键点提取相比,模型的鲁棒性大大提高,识别精度达到93.48％.     

基于现场可编程门阵列的可重构手势交互教学机器人设计

针对传统教学机器人可重构性差、系统综合应用性不足、人机交互功能简单等缺点,本文设计开发一种基于现场可编程门阵列（FPGA）的可重构动静态手势交互教学机器人。该机器人以Xilinx的Spartan6为控制器,通过OV5640摄像头对手势图像信息进行识别传输,利用I2C总线与FPGA控制芯片进行通信,利用WiFi模块进行数据传输,从而对机器人进行相应的手势指令控制,实现人机手势交互、机械臂抓物、自动循迹、超声避障、运动除障、语音播报等多种功能。同时,该手势控制机器人对测试者的数字手势和动作手势识别正确率达95.1%,实时识别响应时间小于0.5s。本文设计的基于FPGA的可重构动静态手势交互教学机器人可应用于FPGA系统设计等研究类课程教学中,具有推广价值。     

基于人脸先验知识和混合高斯模型的手势检测

手势检测是时下人机交互的热点。针对现在手势检测系统中的设备较为昂贵复杂,本文设计了一个采用普通摄像头采集图像,利用人脸先验知识来进行肤色建模和肤色分割,提取出图像里的肤色区域,然后利用基于混合高斯模型的方法去除背景检测手势的方法。该方法检测成功率高,适用于手势检测系统。     

神经网络与马尔可夫模型的手势识别系统

手势是一种作为表达思想或感情的肢体或身体运动,人的语言和手势是最好的沟通工具。采用基于彩色和边缘信息进行手区域检测,利用神经网络和最大内切圆搜索的方法对定义的手姿态进行识别,用基于隐马尔可夫模型对手势进行识别;对6种背景下的手势进行识别,实验证明本文的方法具有很高的识别率。     

手势识别系统中手指及指尖检测方法

为了满足手势识别系统中手势的识别与理解的需要,提出了一种快速、鲁棒的手指及指尖检测方法。首先根据肤色在颜色空间中的聚类特性,初步分离出感兴趣的手势部分。然后在此基础上,通过手轮廓边缘曲率特征法结合用于检测平行线的环形算子,实现指尖和手指的快速精确检测。实验结果表明,该方法能有效的检测出指尖、手指,并为进一步在手势识别系统中应用打下基础。     

基于半监督生成对抗网络的毫米波雷达跨域手势识别

基于深度学习的毫米波雷达手势识别以其免接触、保护隐私和环境依赖性低等特点受到越来越多的关注。但是目前的学习方法大都采用全监督方法,其性能受限于雷达数据的获取和标注,且其学习样本都来源于单一环境,极大的影响了不同场景下的迁移能力,因此本文提出了一种基于半监督生成对抗网络的跨域手势识别方法。首先,通过数据预处理,提取动态混合特征时间图（DFTM）以消除环境干扰,并且对手势动态特征进行更加全面的表征;其次,结合毫米波信号特点进行数据增强,进一步扩充数据量,提高模型泛化能力;第三,针对实际应用中可获得的标记数据通常较少的问题,提出并构建了一个改进半监督生成对抗网络,在原始GAN的基础上增加了分类器,通过生成数据帮助提高分类器辨别能力,同时利用源域中的少量标记数据和目标域中的大量未标记数据,实现域无关的手势识别。实验结果表明,对于新用户、新环境和新位置的平均手势识别准确率分别达到 98.21%、95.23%和97.6%。与现有其他手势识别方法相比,本文所提方法在只有少量标记数据的情况下也能达到较高的跨域手势识别准确率,为后续毫米波雷达人机交互提供了新的研究思路。     

服务机器人手势识别系统研究

为了解决手势控制服务机器人时单手手势交互不够自然和易受背景光照影响的问题,提出一种较自然的双手手势识别方案。利用Viola-Jones检测器和高斯肤色模型结合的方法进行手势分割,有效克服了背景和光照的影响。针对单一特征识别时的缺点,提取手势形状的多种特征组成混合特征向量。最后通过经典的BP神经网络方法实现手势识别。实验表明,该系统在不同背景和光照条件下鲁棒性较好,识别率在90%以上,可以对服务机器人进行前进、后退、左转、右转、停止的实时控制。     

支持自定义的多粒度动态手势识别方法研究

大多数手势识别研究往往仅考虑手部的运动轨迹,无法全面的对动态手势特征进行描述。在深度分析了驱动手势的各关节特征影响度的前提下,使用了多粒度的动态手势识别方法,同时,针对大部分手势识别研究不考虑用户自定义手势问题,提出了一种改进的动态时间规整(DTW)方法。实验结果表明,该方法可以较好的识别不同粒度下的手势,以及在自定义模式下准确的识别出非模板库中的手势,从而实时的向模板库中添加新手势。     

基于PCA降维的分层超限学习机手势识别方法

针对原始超限学习机在手势识别应用中欠缺良好的泛化性能和鲁棒性等问题,运用主成分分析(PCA)算法降低手势数据维数简化数据结构,并引入以超限学习机为基础,根据多层感知器理论拓展的分层超限学习机作为分类器应用于手势识别.PCA算法提取手势图像的主要特征,通过分层超限学习机的稀疏自动编码和分层训练,获得原始输入的多层稀疏表达,使自动编码后的输出近似原始输入,最大限度地减少重构误差,提高特征分类的精度.实验表明,与原始的超限学习机相比,具有更好的泛化性能,更快的识别速率以及更高的识别精度,提高了整体的学习性能.     

基于三维视觉特征的数字手势语义识别新方法研究

为了解决现有手势识别易受背景噪声干扰和算法较为复杂的问题,提出一种基于3D视觉的数字手势语义识别方法。首先,通过RealSense 3D相机采集手部区域的RGB图像和深度图像,并结合深度信息和肤色信息,对手势进行分割;其次,对手势图像进行形态学滤波后,得到手势区域的轮廓凸包面积比、凸缺陷数、手指夹角和关键点连线比值等特征参数;最后,通过分析不同手势独有的特征参数,实现准确的手势识别。对数字0～9的手势分别进行50次识别实验,手势分割准确率为100%,手势识别准确率为98.5%。实验表明该方法准确可靠,数字手势识别效果理想。     

基于静电电容式触摸检测的3D手势识别技术

本文主要介绍了瑞萨电子基于静电电容式触摸检测的3D手势识别技术,包括基于静电电容式触摸检测的3D坐标计算原理、X/Y/Z三轴坐标算法、抗干扰措施等。并且基于3D坐标计算,介绍了瑞萨电子的3D手势识别解决方案。     

基于轻量级卷积神经网络的手势识别检测

针对基于深度学习的手势识别模型参数量大、训练速度缓慢且对设备要求高,增加了成本的问题,提出了一种基于轻量级卷积神经网络的手势识别检测算法。首先利用Ghost模块设计轻量级主干特征提取网络,减少网络的参数量和计算量;通过引入加权双向特征金字塔网络改进特征融合网络,提升网络检测精度;最后使用CIoU损失函数作为边界框回归损失函数并加入Mosaic数据增强技术,加快模型收敛速度提升网络的鲁棒性。实验结果表明,改进后的模型大小仅为17.9M,较原YOLOv3模型大小减小了92.4%,平均精确度提高了0.6%。因此新的检测方法在减少模型参数量的同时,还可保证模型的检测精度和效率,为手势识别检测提供理论参考。     

基于肤色和特征相似度映射手势识别算法

文中提出用来进行手区域定位和手势识别的新算法,该算法基于肤色特征和特征相似度映射函数,该函数是归一化为[0,1]的函数,它模拟在尺度空间中各点的图像特征的相似性.实验结果表明运用该方法能够在复杂的背景中进行手势识别.