Leap Motion体感控制器及其在飞机结构展示系统中的应用

由于现有的展示系统主要是依靠传统的鼠标和键盘实现控制,在人机交互和效率上存在很大的问题。针对这种情况,提出采用Leap Motion体感控制器代替传统鼠标键盘的程序控制方法。采用Leap公司的Leap Motion作为传感器,建立不依赖于传统手持设备的手势交互飞机结构展示系统。通过手势变换和手势识别实现飞机结构的放大、缩小、平移和旋转等基本功能。应用实例表明,Leap Motion体感控制器是一种非常直观、自然、有效的人机交互设备,可以广泛应用于人机交互领域。     

基于Leap Motion的手势控制技术初探

最新体感设备Leap Motion的面世提供给用户一种全新的体验, 即通过跟踪探测动态手势可以进行体感游戏、虚拟演奏、凌空绘画等的非接触式人机交互. 文章首先对Leap Motion的技术特点进行介绍, 并对同类型设备进行对比总结, 介绍了Leap Motion的相关应用和发展前景. 文章分析了Leap Motion的原理和技术基础, 然后提出基于Leap Motion的手势控制技术, 最后以一个基于Unity 3D的手势控制虚拟场景中的物品运动的具体实例, 对Leap Motion手势控制技术的实现进行了细节介绍.     

基于Leap Motion的虚拟课堂手势交互方法

随着虚拟现实技术的飞速发展, Leap Motion等体感传感器出现并被广泛地应用在人机交互中. 针对 Leap Motion体感控制器在识别范围边缘识别率低且识别速度慢的问题提出了一种基于深度神经网络的Leap Motion手势交互方法. 该方法在定义的交互手势基础上, 设计了三维交互系统并应用到虚拟场景中. 系统首先通过Leap Motion进行数据捕捉, 对获取到的红外图像采用深度神经网络进行特征提取并实现对手势的分类识别, 然后结合Leap Motion获取的手部坐标前后帧的变化来判断动态手势, 最终结合动态手势完成虚拟场景中的交互功能. 经过实验验证, 本文手势识别方法无论是在识别速度还是识别精度上都优于Leap Motion自带的手势识别方法, 同时在Leap Motion识别范围边界处仍能保持较高的识别率.     

Leap Motion关键点模型手姿态估计方法

在虚拟操作的人机交互中,为解决视觉方式人手姿态估计的问题,提出一种基于Leap Motion采集设备的关键点模型手姿态参数估计方法.该方法通过建立关键点模型,利用Leap Motion采集的少量手势信息计算模型中人手关键点的空间位置,并将其作为手姿态的估计参数.实验结果表明,文中方法能够实时地估算出手各个关键点的位置以驱动虚拟手运动,为基于手势的虚拟操作人机交互应用奠定了基础.     

基于双Leap Motion的三维可视化交互方法研究

由于Leap Motion硬件设备识别范围和其图像识别算法的局限性,当交互手势中手指平面平行于Leap Motion视觉探测方向时容易因产生手指混叠现象,降低手势识别的精度而影响交互体验.为解决手指遮挡问题提高交互体验,提出在不同角度设置双Leap Motion的方法.首先垂直设置双Leap Motion于预定位置;然后对上边Leap Motion探测数据进行矩阵转换;最后对双Leap Motion数据进行数据融合计算,得到手势运动类型.一系列用户对比实验结果表明,该方法在减少手指混叠现象、提高易用性方面有明显作用,具有实际应用价值.     

基于Leap motion的枪械组装模拟

文章从Leap Motion概念视角出发,探讨体感手势控制在基于视觉的应用开发中的可行性。手势是自然而直观的人际交流方式。基于视觉的手势识别作为一项关键技术成为实现新一代人机交互所不可或缺的一部分。体感设备的快速发展给这项工作带来了更多的可能性,Leap Motion是其中一项发展较为成熟的产品,已利用于多个领域。本文探求其新的开发应用类型。本文在研究了视觉手势识别的研究现状及其应用,分析了Airspace商城中的游戏应用后,研究开发了基于Leap Motion的枪械组装应用。     

一种基于Leap Motion的非参数RDP检测算法

随着计算机软硬件技术的进步和应用的普及,人机交互技术在博物馆领域中扮演着越来越重要的角色,并且受到了学术界和产业界的高度重视。尤其是Leap Motion体感控制器的出现,使人机交互的应用范围更加广泛与成熟,操作者可以通过非接触式的方式对设备进行操作,而无需使用触控屏、鼠标、键盘等外部设备,令人机交互方式更加友好、便捷。为了提高手势识别的准确性与实用性,提出一种基于Leap Motion的非参数RDP检测算法应用在手势识别中,并与Ramer-Douglas-Peucker(RDP)算法进行比较。实验证明使用非参数RDP检测算法可以有效地识别手势并且具有很好的自适应性。     

基于Leap Motion的手势识别在虚拟交互中的研究*

针对虚拟场景中的自然手势交互进行了研究,提出了基于Leap Motion的动态指尖手势轨迹识别方法。首先借助Leap Motion设备采集指尖在场景中运动时产生的坐标并同时对数据进行预处理,然后从这一系列坐标中找出起始和结束位置并提取出有效的手势轨迹,再进行轨迹优化和手势初步分类,基于加权欧氏距离将轨迹和手势模板进行相似度计算,得到识别结果。采集200组手势数据进行实验,结果证明提出的方法具有很高的识别率,将方法应用在手势交互系统中,实现使用自然手势和虚拟物品进行交互,增加了交互乐趣,改善了交互体验。     

Leap Motion手势交互层次化校正方法研究

Leap Motion手势识别在识别区域边缘和手指遮挡部位存在识别不稳定的现象。提出了一种Leap Motion手势交互层次校正方法。该方法通过实时对比阈值方式分析Leap Motion的识别错误,并采用层次化的校正算法校正人手位置,解决人手交互过程中的识别不稳定现象。通过对实验进行分析,75%参与者对实验交互方式满意,80%参与者认为该方法更精确,且交互内容识别精度超过89%,充分证明了该方法能够提高Leap Motion的识别准确率,提升用户体验。     

基于Leap Motion的三维手势交互系统研究

手势识别的快速发展及体感设备的不断更新为三维手势交互提供了灵感,基于Leap Motion 手势识别和最邻近算法,建立了一种三维手势交互系统。首先对手势设计理论和交互手 势设计原则进行研究,基于此设计手势功能和建立手势库,并将手势库分为 8 种手势;其次进 行手势特征提取,建立手指关键点模型,获取手势特征的角度特征;然后计算 KNN 算法和 SVM 算法的手势识别效率,KNN 改进算法取得较好的识别效率;最后,设计三维交互系统,手势分 类为 4 个模块,每个模块有 2 个手势任务;20 名测试者中提取 1 600 组手势数据,并进行总采 集样本关节点均值的数据分析;设计三维交互系统模块,在 Unity3D 中创建的三维交互系统中 导入 1 600 组手势数据,根据自定义的 8 种手势驱动虚拟手完成交互设计过程,完成用户体验 分析和手势识别效率统计。通过研究发现,基于 Leap Motion 手势识别具有较高的识别效率, 三维手势交互系统富有创新性。     

沉浸式虚拟训练中的虚拟手操控技术研究

将人手的自然动作加入沉浸式虚拟现实系统中,可有效提高系统的沉浸感和交互性,简便快捷、成本低廉的虚拟手建模及操控技术,有助于此项内容的推广应用;在对虚拟手骨骼结构模型分析的基础上,提出了基于Leap Motion的虚拟手控制方法和流程;以维修训练为任务背景,设计了四种用于虚拟手操作的手势规则,并对实现流程和关键技术进行了分析;构建基于Unity3D引擎的原型系统对虚拟手进行仿真验证,结果表明,基于Leap Motion的虚拟手操控简单、交互自然,可以满足虚拟现实系统交互需要。     

基于卷积神经网络的Leap Motion运动数据优化网络

为提高Leap Motion设备的采集精准度,解决自遮挡、采样频率不稳定等设备固有问题,首先,设计了使用Leap Motion和动作捕捉设备的手部多模态同步运动采集方案,采集了日常动作数据集;其次,提出了基于卷积神经网络(convolutional neural network,CNN)的Leap Motion手部运动数据优化方法,使用日常动作数据集训练Leap Motion数据到动作捕捉数据的映射网络;最后,提出手指平面约束,确保网络输出数据保持稳定的手部骨骼结构.通过15名志愿者采集了6类动作共967550帧的同步运动数据集,进行了手指平面约束有效性、动作一致性实验,并与双向循环自编码器(bidirectional recurrent autoencoder,BRA)、双向编解码器(encoder-bidirectional-decoder,EBD)方法进行了精度对比.结果表明,文中方法支持使用Leap Motion获取固定采样频率且近似动捕设备精度的手部运动数据,效果较BRA和EBD更加稳定平滑.将文中方法应用于康复游戏中,明显减少了交互动作识别的错误次数.     

Design and implementation of somatosensory interactive game based on Leap Motion

Recently, virtual reality and interactive somatosensory technology has become one of the hot issues in the research of computer applications. Leap Motion is a new type of interactive somatosensory devices which bring users senses of immersion efficiently. This paper studies a interactive somatosensory game model based on Leap Motion and implemented with Unity. Based on the two core technology philosophy of Leap Motion, i.e., virtual reality technology and body sense of interactive technology, the design implementation of each sub module of the system and Leap Motion game algorithm are thoroughly addressed. This paper has certain significance for future application of Leap Motion in film, television, and interactive games.     

无菌条件非接触式多通道自然交互手术环境

无菌和非接触环境是医疗手术室的基本要求,这使得计算机操作室和手术室需要在物理上隔离.同时,因为手术进行中,主治医生如果需要查看病灶图像,通常授意护士或者手术助理到计算机操作室操作病灶图像,由于手术室和计算机操作室间的隔离,以及主治医生和助理间可能存在的意图理解不准确,容易导致护士或者手术助理在手术室和计算机操作室往返多次,这增加了患者手术时间延长、失血增多、脏器暴露时间长等风险,尽量减少手术中定位到病灶图像的时间对于医生和病人都很重要.针对上述需求,借助遮挡环境下的深度图像人体骨架提取、手势跟踪与理解、手术室环境远场语音识别,多模态信息处理与融合技术,构建无菌条件下的非接触式多通道自然交互手术环境.该环境使得主治医生在手术中可通过语音命令、手势及上述交互方式相结合的方式快速定位到需要观察的病灶成像.在接近真实环境的实验环境中,建立的无菌条件的非接触式多通道自然交互手术环境在保证精度的情况下,可显著缩短病灶图像定位时间.无菌环境智能交互医疗手术室为未来下一代高效的手术提供了技术与方法验证.     

基于Leap Motion和S曲线的飞行机器人机械臂控制研究

针对带有多自由度机械臂的飞行机器人,提出基于Leap Motion的控制方法以实现机械臂跟随人体手掌位置姿态运动的功能。采用DH方法建立了机械臂数学模型,给出了将Leap Motion获取的人手运动映射到机械臂末端的推导过程。利用7段S型曲线调速方法近似实现舵机角加速度连续没有突变,减轻了舵机快速响应给飞行器带来的冲击问题。设计制作了实物样机对控制方法的可实现性进行验证测试,在飞行测试中,成功地利用Leap Motion控制远端的机械臂抓取到地面目标。     

基于Leap Motion的电影前期预演人机交互方法

随着虚拟现实(VR)技术的发展,虚拟预演逐渐成为电影制作流程中不可或缺的一环,如何使用 自然、多模态的交互方式,结合三维实时渲染引擎,提高电影制作人员在前期预演中的参与感,是该领域的重 要研究内容。针对当前虚拟预演中使用的交互方式大多为光学运动捕捉系统等,存在价格昂贵、操作难度高、 便携性差等问题。提出一种基于 Leap Motion 的电影前期预演人机交互方式,在获得精准数据的同时,大大降 低了操作难度与设备成本,电影制作人员使用手势交互控制虚拟角色的运动轨迹,完成不同运动状态的切换, 并结合运动捕获数据库,直接参与到前期预演中。通过方案验证,该方法的用户体验更加自然、友好、直观和 高效。