基于Leap Motion的虚拟课堂手势交互方法

随着虚拟现实技术的飞速发展, Leap Motion等体感传感器出现并被广泛地应用在人机交互中. 针对 Leap Motion体感控制器在识别范围边缘识别率低且识别速度慢的问题提出了一种基于深度神经网络的Leap Motion手势交互方法. 该方法在定义的交互手势基础上, 设计了三维交互系统并应用到虚拟场景中. 系统首先通过Leap Motion进行数据捕捉, 对获取到的红外图像采用深度神经网络进行特征提取并实现对手势的分类识别, 然后结合Leap Motion获取的手部坐标前后帧的变化来判断动态手势, 最终结合动态手势完成虚拟场景中的交互功能. 经过实验验证, 本文手势识别方法无论是在识别速度还是识别精度上都优于Leap Motion自带的手势识别方法, 同时在Leap Motion识别范围边界处仍能保持较高的识别率.     

VR环境下基于Leap Motion的三维模型空间位姿自适应调整方法

针对目前基于Leap Motion的人机交互研究中存在的虚拟手与三维模型相互干涉、三维模型与虚拟手空间位姿同步率低的问题,提出一种基于Leap Motion的三维模型空间位姿自适应调整方法.通过将物理交互方法与启发式交互方法相结合,实现基于虚拟手位姿信息的三维模型空间位姿自适应实时精确调整,使人机交互仿真过程更加逼真,提升用户的交互式体验感.借助HTC VIVE所搭建的沉浸式虚拟现实环境,验证了该方法的可行性.     

基于Leap Motion的手势识别在虚拟交互中的研究*

针对虚拟场景中的自然手势交互进行了研究,提出了基于Leap Motion的动态指尖手势轨迹识别方法。首先借助Leap Motion设备采集指尖在场景中运动时产生的坐标并同时对数据进行预处理,然后从这一系列坐标中找出起始和结束位置并提取出有效的手势轨迹,再进行轨迹优化和手势初步分类,基于加权欧氏距离将轨迹和手势模板进行相似度计算,得到识别结果。采集200组手势数据进行实验,结果证明提出的方法具有很高的识别率,将方法应用在手势交互系统中,实现使用自然手势和虚拟物品进行交互,增加了交互乐趣,改善了交互体验。     

基于Leap Motion的手势控制技术初探

最新体感设备Leap Motion的面世提供给用户一种全新的体验, 即通过跟踪探测动态手势可以进行体感游戏、虚拟演奏、凌空绘画等的非接触式人机交互. 文章首先对Leap Motion的技术特点进行介绍, 并对同类型设备进行对比总结, 介绍了Leap Motion的相关应用和发展前景. 文章分析了Leap Motion的原理和技术基础, 然后提出基于Leap Motion的手势控制技术, 最后以一个基于Unity 3D的手势控制虚拟场景中的物品运动的具体实例, 对Leap Motion手势控制技术的实现进行了细节介绍.     

基于Leap Motion的三维手势交互系统研究

手势识别的快速发展及体感设备的不断更新为三维手势交互提供了灵感,基于Leap Motion 手势识别和最邻近算法,建立了一种三维手势交互系统。首先对手势设计理论和交互手 势设计原则进行研究,基于此设计手势功能和建立手势库,并将手势库分为 8 种手势;其次进 行手势特征提取,建立手指关键点模型,获取手势特征的角度特征;然后计算 KNN 算法和 SVM 算法的手势识别效率,KNN 改进算法取得较好的识别效率;最后,设计三维交互系统,手势分 类为 4 个模块,每个模块有 2 个手势任务;20 名测试者中提取 1 600 组手势数据,并进行总采 集样本关节点均值的数据分析;设计三维交互系统模块,在 Unity3D 中创建的三维交互系统中 导入 1 600 组手势数据,根据自定义的 8 种手势驱动虚拟手完成交互设计过程,完成用户体验 分析和手势识别效率统计。通过研究发现,基于 Leap Motion 手势识别具有较高的识别效率, 三维手势交互系统富有创新性。     

基于虚拟手的人机交互关键技术

基于虚拟手的人机交互技术是虚拟现实中的研究热点。对其中的关键技术进行了研究,采用多边形网格建模方法,建立了虚拟手的逼真几何模型;基于Virtools平台开发了数据手套的数据采集模块,提出使用基于初始值的数据转换方法,解决了开始运动时的跳变问题,同时对手指的外展运动,使用约束值方法进行处理,提高了虚拟手与真实人手匹配一致性;最后,针对虚拟手与虚拟物体的操作交互,提出了一种基于有效阈值角度的抓取算法。通过Virtools平台进行验证,实验结果表明:虚拟手模型逼真度高,手型变化自然;同时实现了虚拟手对虚拟物体的操作交互,具有很强的实用性。     

虚拟手交互中约束类物体操作研究

虚拟手技术是虚拟现实技术中的一种交互方式，是指通过手势识别技术将人的真实手映射到虚拟环境中并与虚拟物体进行交互操作的人机交互方式。主要应用于虚拟训练、虚拟手术和虚拟装配等领域。对虚拟手交互的约束类对象进行了研究，提出了基于运动学的约束类物体操作方法，解决了阀门类有约束物体交互中虚拟手姿态不真实、操作不可控的问题。设计实验验证了基于运动学的方法能以符合实际操作的效果完成虚拟现实系统中的操作任务，可以应用到虚拟训练、虚拟装配等仿真平台。     

基于Leap Motion和Unity3D的虚拟沙画手势识别及交互

虚拟仿真技术的快速发展及体感设备的不断更新为沙画动画这一全新的艺术创作形式带来新的灵感。针对沙画现场作画工序复杂的问题,结合Leap Motion设备和Unity3D开发环境完成手势识别并驱动虚拟手实现虚拟沙画效果。首先,依据Leap Motion捕捉到的手势坐标及方向信息提取手部关键点;然后提出角域划分的方法并引入新的特征向量,将其与提取信息串联作为手势分类依据;最后,根据自行定义的沙画手势语义驱动虚拟手完成虚拟沙画创作。实验证明,利用Leap Motion完成近距离手势识别效果较其他方法结果更加精准,实时性较高,手势跟踪稳定,虚拟沙画绘画过程沉浸感强。     

基于Leap Motion的电影前期预演人机交互方法

随着虚拟现实(VR)技术的发展,虚拟预演逐渐成为电影制作流程中不可或缺的一环,如何使用 自然、多模态的交互方式,结合三维实时渲染引擎,提高电影制作人员在前期预演中的参与感,是该领域的重 要研究内容。针对当前虚拟预演中使用的交互方式大多为光学运动捕捉系统等,存在价格昂贵、操作难度高、 便携性差等问题。提出一种基于 Leap Motion 的电影前期预演人机交互方式,在获得精准数据的同时,大大降 低了操作难度与设备成本,电影制作人员使用手势交互控制虚拟角色的运动轨迹,完成不同运动状态的切换, 并结合运动捕获数据库,直接参与到前期预演中。通过方案验证,该方法的用户体验更加自然、友好、直观和 高效。     

基于双Leap Motion的三维可视化交互方法研究

由于Leap Motion硬件设备识别范围和其图像识别算法的局限性,当交互手势中手指平面平行于Leap Motion视觉探测方向时容易因产生手指混叠现象,降低手势识别的精度而影响交互体验.为解决手指遮挡问题提高交互体验,提出在不同角度设置双Leap Motion的方法.首先垂直设置双Leap Motion于预定位置;然后对上边Leap Motion探测数据进行矩阵转换;最后对双Leap Motion数据进行数据融合计算,得到手势运动类型.一系列用户对比实验结果表明,该方法在减少手指混叠现象、提高易用性方面有明显作用,具有实际应用价值.     

基于Leap Motion 的虚拟现实陶艺体验系统

针对陶瓷工艺制作条件严苛导致普及受局限的问题，研发一套基于Leap Motion 的虚拟现实陶艺体验系统，使用户得以脱离物理条件限制、以裸手交互的方式，简单直接地进 行陶瓷制作工艺体验。在结构方面，将陶器划分为顶部、侧面、底面3 部分，其中侧面结构基 于简单均匀广义圆柱体，并利用高斯函数进行形变的约束控制；在交互方面，参考真实陶艺场 景，依据陶器结构特性设计用户友好的手势动作和操作范围，并结合动作捕捉和虚拟现实技术， 在保证陶器形变可控性的同时，提升系统体验的真实感和沉浸感。设计对比实验和陶器模型 偏差值计算方法，量化证明系统可控性和体验的优越性。以沉浸感、完成度、操易度、趣味 性4 项作为调查问卷评估指标进行统计分析，验证系统良好的用户体验。     

悬臂式掘进机虚拟仿真平台设计

悬臂式掘进机广泛应用于煤矿井下巷道施工,掘进机的培训包括传统的书本教学方法和基于井下实际操作的训练方法,但是由于其场地和安全的局限性,无法满足训练要求.针对这一现状,利用虚拟现实技术和交互仿真技术构建了悬臂式掘进机虚拟仿真平台.该平台采用三维建模技术,使用多边形建模方法制作了悬臂式掘进机、转载机、供电系统等三维模型;运用Unity3D引擎驱动三维模型组成的虚拟场景,采用场景优化技术实时渲染出沉浸式的虚拟场景;在脚本语言C#编程环境下实现操作流程顺序控制、操作描述、三维模型驱动等,实现悬臂式掘进机虚拟仿真培训.培训结果表明,沉浸式人机交互可达到与实物培训相类似的效果,提高使用者学习和操作悬臂式掘进机的效率.     

Virtual grasps recognition using fusion of Leap Motion and force myography

Hand gesture recognition is important for interactions under VR environment. Traditional vision-based approaches encounter occlusion problems, and thus, wearable devices could be an effective supplement. This study presents a hand grasps recognition method in virtual reality settings, by fusing signals acquired using force myography (FMG), a muscular activity-based hand gesture recognition method, and Leap Motion. We conducted an experiment where participants performed grasping of virtual objects with VR goggles on their head, an FMG band on their wrist, and a Leap Motion positioned either on the desk or on the goggles (two experimental settings). The FMG, Leap Motion, and fusion of both signals were used for training and testing a simple, but effective linear discriminant analysis classifier, as well as three other mainstream classification algorithms. The results showed that the fusion of both signals achieved a significant improvement in classification accuracy, compared to using Leap Motion alone in both experimental settings.     

沉浸式虚拟维修仿真及其应用

文中给出了沉浸式虚拟维修仿真系统的框架,从样机建模和交互技术两个方面对其关键技术进行了研究。提出了虚拟维修样机的概念,通过定义样机部件的约束运动和交互特征来实现其要求的功能。而交互技术则主要集中在抓取、运动控制和防穿越处理上。对系统在维修性设计分析(核查)、维修程序确认和辅助维修训练中的应用进行了说明。建立了基于Jack系统的沉浸式虚拟维修仿真原型系统,并以某机构的拆装为例对其进行了初步的应用验证。     

Design and implementation of somatosensory interactive game based on Leap Motion

Recently, virtual reality and interactive somatosensory technology has become one of the hot issues in the research of computer applications. Leap Motion is a new type of interactive somatosensory devices which bring users senses of immersion efficiently. This paper studies a interactive somatosensory game model based on Leap Motion and implemented with Unity. Based on the two core technology philosophy of Leap Motion, i.e., virtual reality technology and body sense of interactive technology, the design implementation of each sub module of the system and Leap Motion game algorithm are thoroughly addressed. This paper has certain significance for future application of Leap Motion in film, television, and interactive games.     

沉浸式虚拟维修仿真系统及其实现

给出了沉浸式虚拟维修仿真系统的框架,从样机建模和交互技术两个方面对其关键技术进行了研究．提出了虚拟维修样机的概念,通过定义样机部件的约束运动和交互特征来实现其所要求功能,而交互技术则主要集中在抓取和防穿越处理上．建立了基于Jack系统的沉浸式虚拟维修仿真原型系统,并以某机构的拆装为例对其进行了初步的应用验证。