虚拟手操作技术研究及实现

人机交互是虚拟现实的关键技术之一,而虚拟手操作技术是人机交互技术的重要组成部分,是虚拟现实和运动学相结合的产物.在虚拟手操作技术中如何实现实时、准确的抓取一直是人们所关注的问题.首先研究了虚拟手在虚拟场景中的碰撞检测理论,并在此基础上制定了虚拟手对虚拟物体的稳定抓取规则,然后以Open Inventor为软件平台,采用数据手套和位置跟踪器作为主要的输入设备,实现了虚拟手对虚拟物体的抓取、移动、释放等一系列虚拟操作,实例证明了该技术具有很强的实用性.     

虚拟现实中手与虚拟物体碰撞检测的一种算法

在虚拟现实技术中，人与虚拟空间物体的碰撞检测是非常重要的研究课题之一。由于空间物体结构的复杂性和碰撞响应的多样性，故找出一种通用检测算法是极为困难的。该文针对飞机机舱内的可操纵物体：开关，按钮，油门杆，停车杆等，实现了一种实时精确的碰撞检测算法。     

面向虚拟维修训练的自抓取虚拟手交互行为构建

针对当前维护训练模拟器（MTD）不能很好地向受训者展示飞机维修过程中的具体维修动作的问题,构建一种自抓取的虚拟手与相应的交互行为,以提高机务培训质量。通过分析维修的基本动作要素,定义与构建基于蒙皮骨骼的虚拟手动作库;在场景漫游阶段,实时获取视角位置来驱动虚拟手运动,减轻场景漫游下的虚拟手控制负荷;在具体维修操作阶段,利用所提的交互行为算法,将虚拟手的位置自调节与骨骼动画osgCal相结合,通过调取动作库中的相应动作,完成具体的维修任务。实验结果表明,所提出的方法能较好地展现具体的维修操作,对于虚拟维修训练具有良好可用性。     

虚拟装配环境中虚拟手与虚拟零件的碰撞检测研究

虚拟装配环境中,采用数据手套进行虚拟零件操作是一个很重要的方法,通过在数据手套生成虚拟手的基础上,研究了虚拟装配民虚拟手与虚拟零件基于Hertz的碰撞检测算法,推导手指表面为球面的实现公式,并给出了具体的实现步骤。     

适应物体形状的虚拟手抓取

目的 虚拟手抓取是虚拟交互中的核心技术之一,直接影响沉浸感。已有的虚拟手抓取规则基于接触点法矢夹角和接触点与体心连线的夹角,但在部分形状上不能正确抓取。为此提出一种适应物体形状的抓取规则。方法 针对长方体、球、圆柱这些构成物体的基本几何体,利用形状特征和手指抓握的接触关系制定抓取规则：1）长方体的规则是至少有3个不共线的接触点,并且一对接触点法矢夹角超过90°;2）球的规则要对接触点和球心的空间关系进行计算;3）圆柱的规则根据接触点是否在曲面上,使用长方体规则,或是仿照球的规则判断。对于需要使用多个几何体描述外形的复杂物体,先按照这3种基本几何体分解、单独计算,然后筛选出其中不稳定状态的几何体,把整体的接触点位置、法矢信息集中在这些不稳定状态几何体上,用单一几何体的抓取规则计算整体的抓取。同时加入力矩平衡可能性的计算,抓取规则和力矩平衡二者都满足才判定抓取成功,进一步减少了错误判断的发生。结果 使用unity3d构建虚拟场景,并用neuron的数据手套采集人体、手指数据,进行虚拟交互的仿真。该方法可以正确处理类似水杯这样的多几何体组合物体的抓取判断。结论 本文提出了基于物体形状的抓取规则,和用简单基本形状分解复杂物体的计算方法,准确计算抓取,符合直观感受。     

基于物理的虚拟手交互碰撞力觉生成和反馈

提出一种考虑摩擦的虚拟手交互碰撞力觉生成和反馈方法,以让用户手指感受到逼真的冲击,增强虚拟操作的真实性和沉浸感．该方法首先运用冲量定理和弹性恢复系数,求得质点刚体在二维空间碰撞后的运动状态,然后结合库仑定理,生成质点刚体有摩擦的碰撞力,并拓展到三维空间的虚拟环境中,计算非质点的虚拟刚体碰撞的力矩,再通过虚拟手静力抓持力觉生成模型,将碰撞力和碰撞力矩作用到虚拟手上,求得每个虚拟手指受到的冲击力．当虚拟手抓持的物体与其它虚拟物体发生碰撞时,利用CyberGrasp力觉反馈数据手套,用户手指可感受到逼真的冲击力．实验结果表明运用所提出的方法,用户在虚拟装配时可感受到真实的碰撞力．     

一种基于非线性弹簧模型的虚拟手交互新方法

基于虚拟手的交互技术在人机交互和人机工程学测试等应用中发挥着重要的作用。为了实现直观自然、实时准确、接近真实世界中的虚拟手与虚拟物体的交互,并计算出反馈作用力,首先提出了用非线性弹簧模型计算抓取作用力,使虚拟手和虚拟环境之间实现了基于物理的交互;然后将计算结果以视觉渲染的形式反馈给用户,并对仿真的速率做了定量分析,以便使仿真速率可以达到屏幕刷新频率和力反馈刷新频率的要求。实验结果表明,虚拟手不仅可以直观自然地抓取3维虚拟物体,而且和3维物体之间能够进行实时交互,同时可计算出反馈作用力。     

面向机务虚拟维修训练的虚拟手操作设计

机务维修训练强调手部操作要素,针对虚拟维修过程中手部操作较简单且控制复杂的问题,提出一种基于基本维修作业分类的虚拟手操作仿真方法。基于层次化分解思想构建出新的分解策略,将机务维修任务分解为任务层、子任务层和基本维修作业层,并设计规则实现基本维修作业到虚拟手操作的映射,通过在3ds MAX中构建虚拟手仿真模型,利用骨骼动画技术实现虚拟手的控制,减轻虚拟手关节运动的控制负担,在自主开发的机务训练装备上进行虚拟手操作实验,以飞机电子舱门操作为例,验证方法的可行性和实用性。     

虚拟场景中基于数据手套的交互方法

为了提高操作训练仿真系统的真实性、沉浸感，提高交互的质量和效率，将数据手套引入该系统。针对该输入设备，对其使用方法、数据读取以及交互方法进行了研究。利用Creator软件建立虚拟场景和虚拟手模型，在VC 和Vega集成开发环境中编程实现虚拟场景中基于数据手套的交互。     

沉浸式虚拟训练中的虚拟手操控技术研究

将人手的自然动作加入沉浸式虚拟现实系统中,可有效提高系统的沉浸感和交互性,简便快捷、成本低廉的虚拟手建模及操控技术,有助于此项内容的推广应用;在对虚拟手骨骼结构模型分析的基础上,提出了基于Leap Motion的虚拟手控制方法和流程;以维修训练为任务背景,设计了四种用于虚拟手操作的手势规则,并对实现流程和关键技术进行了分析;构建基于Unity3D引擎的原型系统对虚拟手进行仿真验证,结果表明,基于Leap Motion的虚拟手操控简单、交互自然,可以满足虚拟现实系统交互需要。     

虚拟环境下物体的手抓取

本文分析了手模型及其虚拟环境下物体的操作方法,提出了点接触平面法矢的手握持抓取方法。在此基础上运用虚拟手模型和抓取规则实现了在虚拟环境下对物体的抓取、移动和释放,实例说明能够使虚拟手正确地抓取虚拟环境中的物体。     

虚拟手模型及其抓取技术

在深入分析手的解剖结构和运动特点的基础上，采用层次结构建模方法，建立了虚拟手模型、然后针对已有的虚拟手抓取规则过于简化的特点，提出了一种新的虚拟手抓取规则．该规则能够使虚拟手正确地抓取虚拟环境中的物体．最后运用虚拟手模型和抓取规则实现了虚拟手对虚拟物体的抓取、移动和释放操作．     

虚拟制造环境中虚拟手的行为构造

为了实现虚拟制造环境中智能高效的虚拟手,改善目前主流的依赖对用户手抓握动作跟踪的状况,提出一种适用于虚拟制造环境的虚拟手自主行为构造方法.通过在虚拟手结构模型上增加感知环设计,构建虚拟手的感知能力;结合文中提出的虚拟手三阶段感知算法实现虚拟手的自适应行为机制,极大地减轻了操作者的认知和操作负载;通过构造虚拟手手势集和手势状态转换模型,实现了虚拟手在复杂零件表面的连续抓握操作.文中还重点研究了复杂零件表面虚拟手的连续抓握的行为机制和相关算法.实验结果表明,文中的虚拟手具有很好的几何真实感和行为真实感;提出的方法具有良好的可用性、可靠性和实时性.     

虚拟环境中灵巧手主从抓持的实现

研究了虚拟现实环境中人手和灵巧手的抓持动作.利用数据手套采集人手的运动信息,将人手的运动 映射给灵巧手,通过搭建人手和灵巧手的模型,在虚拟环境下实现了主从抓持操作.探讨了关键技术问题:异构系统 运动映射、碰撞检测、虚拟力建模、稳定抓持的判据.􀁱     

面向人机工程学测试的虚拟手仿真模型

以人机工程学测试为目标提出虚拟手仿真模型,建立虚拟手运动学模型。提出一种曲线拟合的校准方法,以获取精确的数据,更好地控制虚拟手的运动。建立弹簧模型计算手与被抓取物体之间的受力,以视觉渲染的形式将其反馈给用户。实验结果表明,虚拟手可自然地抓取三维虚拟物体,视觉反馈的使用可免于购买昂贵的力反馈设备。     

数字家庭环境中双手交互技术研究

采用基于视觉的双手手势控制方法,构建数字家庭环境。在获取肤色图像后,通过面积过滤和图像方位分辨出左右手的位置,使用形状过滤算法识别出指尖的位置。分析左手静态手势判断所控制的家电,同时跟踪右手指尖移动的路径,通过方向离散化得到方向向量,使用Baum-Welch算法训练方向向量,用Viterbi算法识别动态手势,实现家电状态的控制。实验结果表明,该方法能有效地在数字家庭环境中完成普通家电的控制功能。     

基于物理的虚拟手抓持力觉生成和反馈

提出了一种基于物理的虚拟手静力抓持虚拟物体力觉生成和反馈方法,借鉴机械手抓持原理,在建立基于物理的虚拟手静力抓持通用力学模型并对其进行可解性分析的基础上,针对通用力学模型的多解性,提出了虚拟手最小力螺旋模型以生成力觉,并根据抓持物体的不同,进行模型实例化,实时求得各虚拟手指上的力和(或)力矩,实验结果表明,借助于本文的力觉生成和反馈方法,利用CyberGrasp力觉反馈数据手套,用户可在抓持虚拟物体时感受到真实的接触力。