虚拟环境中基于手势识别的三维交互技术

介绍了基于数据手套和基于视觉 (摄像机 )的手势输入 ,在分析了手势识别原理的基础上 ,通过计算机进行图像分析 ,采用神经网络和几何法对其图像进行手势的识别 ,实现了一种在虚拟环境中具有广阔运用前景的三维交互输入新技术。     

基于手势识别的文字输入系统

基于视觉的手势识别是实现新一代人机交互的关键技术。通过手势识别向屏幕输入文字以供搜索查找的系统基本没有,在现有的手势识别基础上,利用汉语字母和数字对应的手语作为输入手势,采用微软的kinect获取深度图像,对其进行手势分割。通过Canny算法提取手势的边缘,利用小波矩提取特征,得到手势字母,实现了具有手势识别以及基于文字输入功能的系统。实验表明该系统能够准确有效地实现汉字的输入。     

Android智能手机自适应手势识别方法

随着触摸屏技术的快速发展,智能手机的手势操作成为主要的人机交互方式.通过分析android平台的手势识别原理,指出其采样引起的特征丢失导致识别准确率不高以及识别速度偏慢等问题,提出基于向量的手势识别方法.谊方法规定八个方向,对触屏输入的手势进行取样并构造得到的方向序列,应用动态时间规整算法进行识别.该方法能够根据手势的方向特征达到对手势的快速筛选,与原有的基于坐标点距离的识别算法相结合,形成更加快速精确的自适应识别方法.实验证明,本文提出的自适应方法将手势识别速度提高近一倍,并进一步提高了识别的精确度,在智能移动设备上具有广泛的应用前景.     

连续交互空间下的混合手势交互模型

分析了触控交互技术在移动手持设备及可穿戴设备应用的应用现状及存在的问题;基于交互动作的时间连续性及空间连续性,提出了将触控交互动作的接触面轨迹与空间轨迹相结合,同时具有空中手势及触控手势的特性及优点的混合手势输入方法;基于连续交互空间的概念,将混合交互手势,空中手势、表面触控手势进行统一,建立了包括空中层、表面层、混合层的连续交互空间分层处理模型;给出了统一的信息数据定义及数转换流程;构建了通用性的手势识别框架,并对轨迹切分方法及手势分类识别方法进行了阐述.最后设计了应用实例,通过实验,对混合交互手势的可用性及连续空间分层处理模型的可行性进行了验证.实验表明,混合手势输入方式同时兼具了表面触控输入及空中手势输入的优点,在兼顾识别效率的同时,具有较好的空间自由度.     

基于Hermite神经网络的动态手势学习和识别

为提高动态手势学习速度和识别准确率,本文提出一种基于Hermite正交基前向神经网络的动态手势识别方法。利用Camshift算法实时跟踪手势运动轨迹,提取手势特征向量作为神经网络的输入;以Hermite正交基函数作为隐含层激励函数构造三层前向神经网络,并给出一种基于伪逆的直接计算权值方法和根据网络目标精度要求自适应确定隐含节点数目方法;运用训练好的Hermite神经网络识别动态手势。测试结果表明:Hermite神经网络能够提高网络的学习训练速度和精度,提高手势学习速度和识别准确率,而且在手势识别方面具有较好的鲁棒性和泛化能力。     

基于LSTM的多维度特征手势实时识别

手势识别广泛应用于传感领域,主要有基于计算机视觉、基于深度传感器与基于运动传感器等3种手势识别方式.基于运动传感器的手势识别具有输入数据少、速度快、直接获取手部三维信息的优点,逐渐成为当前的研究热点.传统基于运动传感器的手势识别本质为模式识别问题,其准确率严重依赖于先验经验提取的特征数据集.与传统的模式识别方法不同,深度学习可以在很大程度上减少人工启发式提取特征的工作量.为解决传统模式识别存在的问题,文中提出一种基于长短期记忆网络(LSTM)的多特征手势实时识别方法,通过充分的实验验证了该方法的性能.该方法首先定义了5种基本手势和7种复杂手势的手势库,基于手部姿态的运动学特征,进一步提取角度特征和位移特征,随后利用短时傅里叶变换(SFTF)提取传感器数据的频域特征,将3种特征输入深度神经网络LSTM中进行训练,从而对采集的手势进行分类识别.同时为了验证所提方法的有效性,通过自设计的手持式体验棒收集了6名志愿者的手势数据作为实验数据集.实验结果表明,提出的识别方法对于基本手势和复杂手势的识别准确率达到94.38％,与传统的支持向量机、K-近邻法和全连接神经网络相比,识别精度提升了近2％.     

基于手势输入构造三维概念模型的研究进展

综述了国内外基于手势输入构造三维概念模型的最新研究进展,讨论分析了手势交互过程及其关键技术：手势设计、手势识别、手势交互的层次结构以及手势交互的三维实现．最后对今后的发展方向进行了展望．     

手势识别的神经网络方法

手势识别正成为人机交互技术研究中的一种重要模式。本文介绍了手势的基本概念及手势的两种方式,分析了人机交互过程中用户产生手势和计算机系统“感知”手势的基本过程,提出了手势识别的两种途径,在此基础上,使用数据手套５ｔｈ Ｇｌｏｖｅ‘９５输入手势,运用ＢＰ神经网络实现了静态手势的识别。     

粒子群优化神经网络在动态手势识别中的应用

为了提高动态手势学习训练速度和识别准确率,本文提出一种基于粒子群优化BP神经网络的动态手势识别方法。首先基于自然人机交互需要,定义一套基于机器视觉的动态手势模型;在获取指尖运动轨迹的基础上,提取动态手势的特征向量作为神经网络的输入;利用改进的PSO算法训练BP神经网络,得到神经网络的权值和阈值;最后利用训练过的神经网络识别基于机器视觉的动态手势。测试结果表明:改进的PSO算法能够提高神经网络训练速度和精度,进而提高动态手势识别准确率。     

基于Leap Motion的手语识别算法优化

Leap Motion设备产生的数据在虚拟环境中可以进行手势识别。通过识别和跟踪用户的手来生成虚拟3D手部模型,从而获取手势信息。本文设计了一种基于隐马尔可夫模型(Hidden Markov Model, HMM)分类算法来学习从Leap Motion中所获取的手势信息的系统,根据手势特征的重要性赋予不同权值,可进一步提高分类准确率,实现手语信息的识别输入。测试结果表明,识别准确率为86.1%,手语打字输入识别速度为每分钟13.09个字符,可显著提高聋哑人与正常人之间沟通的便捷性。     

一种基于手绘草图的三维建模方法研究

研究一种基于手绘草图进行三维建模的方法。将用户界面分为手势区、轮廓区、控制区、信息提示区等。根据手势区输入的手势以及控制区输入的控制信息,对轮廓区输入的二维信息构建三维模型。采用模板匹配的方法识别用户手势,采用容差环的方法识别用户输入的物体轮廓,根据生成的三维数据之间的分层信息构建物体表面三角网格,对物体进行三维建模。     

基于Leap Motion指尖位置的手势提取和识别技术研究

Leap Motion是最近推出的一款比较新颖的手部信息采集设备,它能够高精度、高帧率地跟踪捕获手部信息,基于此特性,本文阐述了一种基于指尖位置和方向信息进行手势提取和识别的研究方案。采用Leap Motion传感器进行手势的三维空间坐标信息采集,从中提取指尖坐标及方向向量信息,建立手势识别模型,构建手势特征数据。对特征数据进行归一化处理后输入到支持向量机进行训练,实现对特定手势的识别。实验结果表明,提出的手势识别方案平均识别精度达到97.33%,具有较高的准确性和鲁棒性。     

基于加速度传感器的大手势集手势识别算法改进研究

搭载着加速度传感器的智能移动终端为手势识别提供广泛的应用平台,在已有的基于单枚加速度传感器的手势识别研究中,识别正确率、速度和手势集合难以达到良好的平衡。本文以一种基于加速度符号序列的识别算法为基础,改进了其特征提取方法,并设计了基于加权树结构模板库的匹配方法,实现了大手势集、高正确率、速度快的手势识别。实验表明,所述系统在21个手势组成的手势集合上,实现了95.2%的用户依赖识别率和94.6%的用户非依赖识别率,识别时间小于10毫秒,对手势识别研究有一定的借鉴价值。     

结合手指检测和HOG特征的分层静态手势识别

目的 基于手势的交互方式在人机交互中发挥着越来越重要的作用,手势识别是大多数手势交互系统的核心技术.当手势种类较多时,目前已有的大多数手势识别方法往往无法获得足够高的识别率.为此,提出了一种结合手指检测和梯度方向直方图(HOG)特征的分层静态手势识别方法.方法 提出一种基于形态学操作的手指检测算法作为手势识别方法的基础.首先由肤色模型从输入图像中提取出手部区域,然后利用手指检测算法识别出手势包含的手指个数,并根据手指个数从事先训练好的支持向量机分类器集合中选取一个,最后提取手部区域的HOG特征,并利用选择好的分类器完成识别任务.结果 对25种常用手势进行了识别实验,将本文方法与单独使用HOG特征的方法进行对比.本文方法可以将传统HOG方法的识别率提高20%左右.结论 基于手指个数的分层识别策略可以有效地解决传统单层识别方法在手势种类较多时识别率不高的问题.在手部区域能被成功检测的情况下,提出的结合手指检测和HOG特征的方法可以取得较理想的手势识别结果,且能达到实时性要求.     

模板匹配的三维手势识别算法

针对三维空间的手势识别,基于轻量级的二维平面手势识别算法进行了扩展及改进,将其扩展到了三维空间,提出了基于投影的单次旋转模板匹配识别方法.将手势模板集划分为空间平面手势和空间立体手势2类模板;对于空间平面手势模板,输入手势轨迹需要先投影到相应的坐标平面,再进入模板匹配流程;基于矩阵奇异值分解,计算归一化手势轨迹与模板之间的最优旋转矩阵,经过一次刚体转置即可完成与模板的匹配度计算.实验结果表明,该方法对三维手势具有较高的识别率,且对于空间平面手势、空间立体手势的识别能力较为均衡.     

复杂背景下基于深度学习的手势识别

在人机交互领域,针对复杂背景下手势识别率低、算法鲁棒性差的问题,基于深度学习提出一种手势识别算法HGDR-Net(hand gesture detection and recognition network).该算法由手势检测和识别2部分构成.在手势检测阶段,为解决复杂背景下手势区域提取困难的问题,基于改进的YOLO(you only look once)算法进行手势检测.改进的YOLO算法结合了手势检测的特点,解决了原始YOLO对小物体检测效果差、定位准确度不高的问题.在识别阶段,利用卷积神经网络(CNN)进行识别,并针对手势区域的尺寸多样性引入了空间金字塔池化(SPP)来解决CNN的多尺度输入问题.最后在训练过程中联合线下和实时2种数据增强方法避免过拟合问题,提升HGDR-Net的泛化能力.在NUS-II和Marcel两个复杂背景的公共数据集上进行了验证实验,识别率分别达到98.65%和99.59%.结果表明本文算法能准确地从各种复杂背景中识别手势,相比于基于人工提取特征的传统算法和其他基于CNN的算法具有更高的识别准确率和更强的鲁棒性.     

基于改进的YCbCr空间及多特征融合的手势识别

针对基于视觉的手势识别的复杂性,提出一种基于改进的YCbCr空间及多特征融合的手势识别新方法。首先针对YCbCr颜色空间易受环境因素影响的特点,采用改进的YCbCr椭圆聚类肤色模型的手势分割方法提取手势区域;然后按手势图像外接矩形的宽高比和手指个数进行粗分类,再提取手势的Hu矩和傅里叶描述子构建融合特征,并将融合特征输入BP神经网络进行训练识别;最后综合粗分类和BP神经网络的结果进行手势判别。实验结果表明,该方法在保证实时性的同时具有较高的识别率。     

支持笔输入的乐谱编辑器

设计并实现了一个支持笔输入的乐谱编辑器,用户使用笔和书写板输入乐谱手势符号,利用基于网格编码的单笔划手势识别算法识别手势符号,生成与输入相应的乐谱,具有实时播放的功能。与传统交互界面的乐谱编辑器相比较,该系统的交互方式更加符合人们对乐谱的书写和认知习惯,使乐谱的输入过程变得简单、自然、高效。     

概念图形草绘设计技术研究

针对概念草图的输入输出问题,采用了基于草绘输入的交互式图形设计方法,实现了单笔划草绘轨迹主动分段识别与规整方法;运用了基于笔式手势的草图编辑方法,并将概念草图以DXF的格式输出,实现与现有CAD系统之间的集成.根据手势设计原则以及草图编辑的需要,定义并实现了选择、删除、移动等10种手势,同时采用感知器线性分类方法对手势进行识别.实例表明:手势编辑模式能够改善传统编辑方式在自然性与智能性方面的不足.     

基于轨迹模板匹配的动态手势识别方法

首先采用基于混合高斯模型与椭圆肤色模型进行手势分割,分割出手势区域,使用卡尔曼滤波器进行手势跟踪,获得手势中心点的位置.在此基础上,记录各帧中心点位置,得到运动轨迹,利用提出的轨迹模板匹配方法对动态手势进行识别.该方法利用基本的几何特征便可完成手势运动轨迹的设置与识别,无需特征选择或训练样本的搜集.最后,采用基于Zynq-7000的Zedboard平台对该算法进行实现,并采用HLS硬件加速工具进行算法加速.实验结果表明,该算法可实现较精确的手势识别,接受弹性的输入采样,识别正确率在95%以上,且通过硬件加速后,可在嵌入式平台中实时识别,具有较好的实时性.