基于Leap Motion和支持向量机的手势识别

为了使手势识别在更多的领域得到推广及应用,提出了基于Leap Motion体感设备实时跟踪技术获取手势三维空间坐标信息的方法,并从中分别提取角度信息和相对坐标信息,构建手势特征数据,建立手势识别模型.对特征数据进行归一化处理后,利用支持向量机(SVM)分类器进行训练、建模和分类,实现手势识别.实验结果表明:以角度数据和坐标数据作为手势特征的方法可行,平均识别率分别为96.6%和91.8%.通过对比可以得出:以角度数据作为特征值具有较高的准确性和鲁棒性,并避免了单纯依照一种特征值产生的局限性.     

基于Leap Motion和Unity3D的虚拟沙画手势识别及交互

虚拟仿真技术的快速发展及体感设备的不断更新为沙画动画这一全新的艺术创作形式带来新的灵感。针对沙画现场作画工序复杂的问题,结合Leap Motion设备和Unity3D开发环境完成手势识别并驱动虚拟手实现虚拟沙画效果。首先,依据Leap Motion捕捉到的手势坐标及方向信息提取手部关键点;然后提出角域划分的方法并引入新的特征向量,将其与提取信息串联作为手势分类依据;最后,根据自行定义的沙画手势语义驱动虚拟手完成虚拟沙画创作。实验证明,利用Leap Motion完成近距离手势识别效果较其他方法结果更加精准,实时性较高,手势跟踪稳定,虚拟沙画绘画过程沉浸感强。     

基于Leap Motion的动态手势识别

动态手势识别作为人机交互的一个重要方向，在各个领域具有广泛的需求。相较于静态手势，动态手势的变化更为复杂，对其特征的充分提取与描述是准确识别动态手势的关键。为了解决对动态手势特征描述不充分的问题，利用高精度的Leap Motion传感器对手部三维坐标信息进行采集，提出了一种包含手指姿势和手掌位移的特征在内的、能够充分描述复杂动态手势的特征序列，并结合长短期记忆网络模型进行动态手势识别。实验结果表明，提出的方法在包含16种动态手势的数据集上的识别准确率为98.50%；与其他特征序列的对比实验表明，提出的特征序列，能更充分准确地描述动态手势特征。     

基于Leap Motion的三维手势交互系统研究

手势识别的快速发展及体感设备的不断更新为三维手势交互提供了灵感,基于Leap Motion 手势识别和最邻近算法,建立了一种三维手势交互系统。首先对手势设计理论和交互手 势设计原则进行研究,基于此设计手势功能和建立手势库,并将手势库分为 8 种手势;其次进 行手势特征提取,建立手指关键点模型,获取手势特征的角度特征;然后计算 KNN 算法和 SVM 算法的手势识别效率,KNN 改进算法取得较好的识别效率;最后,设计三维交互系统,手势分 类为 4 个模块,每个模块有 2 个手势任务;20 名测试者中提取 1 600 组手势数据,并进行总采 集样本关节点均值的数据分析;设计三维交互系统模块,在 Unity3D 中创建的三维交互系统中 导入 1 600 组手势数据,根据自定义的 8 种手势驱动虚拟手完成交互设计过程,完成用户体验 分析和手势识别效率统计。通过研究发现,基于 Leap Motion 手势识别具有较高的识别效率, 三维手势交互系统富有创新性。     

基于单目摄像头的3D动态手势交互

传统的手势交互都需要借助于Leap Motion或Kinect等专用交互设备。以图像通道转换、二值化等图像处理方式提取手势,以手势平面坐标值的变化获取手势的平面移动信息,以手势面积的变化解决了手势深度的问题。通过绘制手势轮廓结合自创的图像匹配算法计算不同图像的匹配率,用最高匹配率选择相对应的手势运动信息。通过摄像头坐标系到3D场景坐标系之间的转换,结合三维图形的几何变换计算变换矩阵,实现手的空间移动与旋转。在不借助专用的手势交互设备的情况下,实现单目摄像头的动态手势交互。     

Leap Motion手势交互层次化校正方法研究

Leap Motion手势识别在识别区域边缘和手指遮挡部位存在识别不稳定的现象。提出了一种Leap Motion手势交互层次校正方法。该方法通过实时对比阈值方式分析Leap Motion的识别错误,并采用层次化的校正算法校正人手位置,解决人手交互过程中的识别不稳定现象。通过对实验进行分析,75%参与者对实验交互方式满意,80%参与者认为该方法更精确,且交互内容识别精度超过89%,充分证明了该方法能够提高Leap Motion的识别准确率,提升用户体验。     

基于Leap Motion的手势控制技术初探

最新体感设备Leap Motion的面世提供给用户一种全新的体验, 即通过跟踪探测动态手势可以进行体感游戏、虚拟演奏、凌空绘画等的非接触式人机交互. 文章首先对Leap Motion的技术特点进行介绍, 并对同类型设备进行对比总结, 介绍了Leap Motion的相关应用和发展前景. 文章分析了Leap Motion的原理和技术基础, 然后提出基于Leap Motion的手势控制技术, 最后以一个基于Unity 3D的手势控制虚拟场景中的物品运动的具体实例, 对Leap Motion手势控制技术的实现进行了细节介绍.     

基于Leap Motion的动态手势识别方法

伴随虚拟现实（Virtual Reality,VR）技术的发展,以及人们对人机交互性能和体验感的要求提高,手势识别作为影响虚拟现实中交互操作的重要技术之一,其精确度急需提升^[1].针对当前手势识别方法在一些动作类似的手势识别中表现欠佳的问题,提出了一种多特征动态手势识别方法.该方法首先使用体感控制器Leap Motion追踪动态手势获取数据,然后在特征提取过程中增加对位移向量角度和拐点判定计数的提取,接着进行动态手势隐马尔科夫模型（Hidden Markov Model,HMM）的训练,最后根据待测手势与模型的匹配率进行识别.从实验结果中得出,该多特征识别方法能够提升相似手势的识别率.     

Hand gesture recognition using Leap Motion via deterministic learning

With the development of multimedia technology, traditional interactive tools, such as mouse and keyboard, cannot satisfy users’ requirements. Touchless interaction has received considerable attention in recent years with benefit of removing barriers of physical contact. Leap Motion is an interactive device which can be used to collect information of dynamic hand gestures, including coordinate, acceleration and direction of fingers. The aim of this study is to develop a new method for hand gesture recognition using jointly calibrated Leap Motion via deterministic learning. Hand gesture features representing hand motion dynamics, including spatial position and direction of fingers, are derived from Leap Motion. Hand motion dynamics underlying motion patterns of different gestures which represent Arabic numbers (0-9) and capital English alphabets (A-Z) are modeled by constant radial basis function (RBF) neural networks. Then, a bank of estimators is constructed by the constant RBF networks. By comparing the set of estimators with a test gesture pattern, a set of recognition errors are generated. The average L₁ norms of the errors are taken as the recognition measure according to the smallest error principle. Finally, experiments are carried out to demonstrate the high recognition performance of the proposed method. By using the 2-fold, 10-fold and leave-one-person-out cross-validation styles, the correct recognition rates for the Arabic numbers are reported to be 94.2%, 95.1% and 90.2%, respectively, for the English alphabets are reported to be 89.2%, 92.9% and 86.4%, respectively.     

Virtual grasps recognition using fusion of Leap Motion and force myography

Hand gesture recognition is important for interactions under VR environment. Traditional vision-based approaches encounter occlusion problems, and thus, wearable devices could be an effective supplement. This study presents a hand grasps recognition method in virtual reality settings, by fusing signals acquired using force myography (FMG), a muscular activity-based hand gesture recognition method, and Leap Motion. We conducted an experiment where participants performed grasping of virtual objects with VR goggles on their head, an FMG band on their wrist, and a Leap Motion positioned either on the desk or on the goggles (two experimental settings). The FMG, Leap Motion, and fusion of both signals were used for training and testing a simple, but effective linear discriminant analysis classifier, as well as three other mainstream classification algorithms. The results showed that the fusion of both signals achieved a significant improvement in classification accuracy, compared to using Leap Motion alone in both experimental settings.     

沉浸式虚拟训练中的虚拟手操控技术研究

将人手的自然动作加入沉浸式虚拟现实系统中,可有效提高系统的沉浸感和交互性,简便快捷、成本低廉的虚拟手建模及操控技术,有助于此项内容的推广应用;在对虚拟手骨骼结构模型分析的基础上,提出了基于Leap Motion的虚拟手控制方法和流程;以维修训练为任务背景,设计了四种用于虚拟手操作的手势规则,并对实现流程和关键技术进行了分析;构建基于Unity3D引擎的原型系统对虚拟手进行仿真验证,结果表明,基于Leap Motion的虚拟手操控简单、交互自然,可以满足虚拟现实系统交互需要。     

基于卷积神经网络的Leap Motion运动数据优化网络

为提高Leap Motion设备的采集精准度,解决自遮挡、采样频率不稳定等设备固有问题,首先,设计了使用Leap Motion和动作捕捉设备的手部多模态同步运动采集方案,采集了日常动作数据集;其次,提出了基于卷积神经网络(convolutional neural network,CNN)的Leap Motion手部运动数据优化方法,使用日常动作数据集训练Leap Motion数据到动作捕捉数据的映射网络;最后,提出手指平面约束,确保网络输出数据保持稳定的手部骨骼结构.通过15名志愿者采集了6类动作共967550帧的同步运动数据集,进行了手指平面约束有效性、动作一致性实验,并与双向循环自编码器(bidirectional recurrent autoencoder,BRA)、双向编解码器(encoder-bidirectional-decoder,EBD)方法进行了精度对比.结果表明,文中方法支持使用Leap Motion获取固定采样频率且近似动捕设备精度的手部运动数据,效果较BRA和EBD更加稳定平滑.将文中方法应用于康复游戏中,明显减少了交互动作识别的错误次数.     

基于Leap Motion的手势识别在虚拟交互中的研究*

针对虚拟场景中的自然手势交互进行了研究,提出了基于Leap Motion的动态指尖手势轨迹识别方法。首先借助Leap Motion设备采集指尖在场景中运动时产生的坐标并同时对数据进行预处理,然后从这一系列坐标中找出起始和结束位置并提取出有效的手势轨迹,再进行轨迹优化和手势初步分类,基于加权欧氏距离将轨迹和手势模板进行相似度计算,得到识别结果。采集200组手势数据进行实验,结果证明提出的方法具有很高的识别率,将方法应用在手势交互系统中,实现使用自然手势和虚拟物品进行交互,增加了交互乐趣,改善了交互体验。     

基于Leap Motion的可抓取无人机系统

为了解放无人机的传统控制方式和解决高空取物等实际问题,提出一种将手势识别技术与无人机相结合的可抓取无人机系统。该系统通过Leap Motion采集手势数据,使用Python并结合Leap Motion v2 SDK库将数据进行处理,通过NRF24L01无线模块对数据进行发送,在无人机端将收到的数据通过Arduino进行分析处理,输出相应的PWM波来控制无人机的飞行状态以及机械爪的抓取。经试验证实该系统可通过手势改变无人机的飞行状态,以及控制机械爪的抓取,表明了该系统实现方法的可靠性及有效性。     

基于三级神经网络的鲁棒3D手姿估计

人类在认识事物时往往是从粗到细再到精,受认识过程的启发,根据手的拓扑结构设计了一种新的手势估计网络。该方法首先从手的角度提取全局特征,然后从手指角度提取局部特征,最后从关节点的角度提取点的细化特征,并融合三个不同阶段特征回归出每一关节点的3D空间坐标值,从而改善了回归精度。由于深度图只保存了目标点到相机的深度信息,以深度图作为神经网络的输入不利于卷积核获取其他两个方向的坐标信息;为了能在2D卷积核中直接利用空间坐标的全部信息,利用相机成像原理对深度图进行转换,将深度图转换为3通道的图像,这样提高了神经网络的回归精度。最后在公开数据集NYU和MSARA上进行训练和测试,测试结果表明,提出的网络结构及输入数据的转变都取得了良好的效果。     

基于改进RCE和RBF神经网络的静态手势识别

针对手势识别的手区域分割、手势特征提取和手势分类的三个过程,提出了一种新的静态手势识别方法。改进了传统的RCE神经网络用于手区域的分割,具有更高的运行速度和更强的抗噪能力。依Freeman链码方向提取手的边缘到掌心的距离作为手势的特征向量。将上一步得到的手势特征向量作为RBF神经网络的输入,进行网络的训练和分类。实验验证了该方法的有效性和可行性,并用其实现了人和仿人机器人的剪刀石头布的猜拳游戏。     

基于特征线条的手势识别

单目视觉的手势识别系统,通常把人手建模成一个像素或者一块,从整体上分析手势的运动参数并提取表观特征.从细微之处着手,融合颜色、运动和边缘等多种信息以提取能够反应人手结构特性的特征线条,并将特征线条分割成小的曲线段,跟踪这些曲线段的运动.采用平面模型对手势图像表观的变化建模,根据各个曲线段的运动,融合成手的整体运动分量.同时分析了图像坐标系的选取和对运动参数的影响,提出了随手运动的坐标系,以抽取平移不变的平面模型参数,进行手势识别.     

基于Leap Motion的手术室无干扰交互技术

在手术室中,传统人机交互技术很大程度上依赖于鼠标、键盘、触摸屏等输入设备,但这种接触式交互有导致患者感染的风险.而虚拟操作人机交互过程采用计算机视觉来获取手势信息,在交互的自然性与成本上有很大的优势,是现如今人机交互领域发展的主要趋势.本文介绍了一种基于Leap Motion的手势控制技术,利用AR技术和Leap Motion设备,使得手术过程中医生无需接触手术设备,在非接触式设备的帮助下使医生能彻底远离因接触设备给手术带来的干扰和手术风险.实验表明,相比于传统的接触式交互技术,基于Leap Motion的手术室无干扰交互技术在一定程度上减少了接触式交互所带来的手术感染风险并增加了医生操作的易用性.