基于虚拟现实技术的交互式界面设计系统

为了提升使用者与系统界面间的交互性与视觉体验感,设计了基于虚拟现实技术的交互式界面设计系统.首先对图像进行滤波、分割与配准等预处理,实现界面物品图像三维重建,达到物品三维空间可视化目的 ;然后以人机交互功能为基础,通过设定条件与模型获取的视景图像构建完整界面;最后通过触摸手势与笔画手势实现界面与使用者之间的交互功能.实验结果表明,该系统所设计的界面图像真实度达到90％以上,可有效提升界面使用者的视觉体验与移动交互体验.     

基于18-传感器数据手套手部交互模型的建立

虚拟现实技术应用到遥操作机器人系统中可以克服通信时延对系统的影响,其交互设备数据手套用作遥操作机器人系统的主端控制装置可以在人机交互中充分发挥手的自然性和灵巧性.介绍了美国Immersion公司生产的CyberGlove的特点及使用方法,接着分析了人体手部的生理结构,将手部运动自由度分解为手部姿态22个自由度和空间位置6个自由度.在建立虚拟手部模型的基础上,以具有18个传感器的数据手套作为手势输入设备,通过人体手部运动学模型建立了数据手套与虚拟手模型之间的联系,利用3DS MAX、OpenGL编程实现了人手与虚拟手模型的交互操作.     

基于Leap Motion的虚拟课堂手势交互方法

随着虚拟现实技术的飞速发展, Leap Motion等体感传感器出现并被广泛地应用在人机交互中. 针对 Leap Motion体感控制器在识别范围边缘识别率低且识别速度慢的问题提出了一种基于深度神经网络的Leap Motion手势交互方法. 该方法在定义的交互手势基础上, 设计了三维交互系统并应用到虚拟场景中. 系统首先通过Leap Motion进行数据捕捉, 对获取到的红外图像采用深度神经网络进行特征提取并实现对手势的分类识别, 然后结合Leap Motion获取的手部坐标前后帧的变化来判断动态手势, 最终结合动态手势完成虚拟场景中的交互功能. 经过实验验证, 本文手势识别方法无论是在识别速度还是识别精度上都优于Leap Motion自带的手势识别方法, 同时在Leap Motion识别范围边界处仍能保持较高的识别率.     

两自由度康复训练交互装置

针对手部康复训练设备主要由主动驱动器驱动导致的安全稳定性差、容易造成二次伤害等问题,设计了一种用于手部康复训练的被动驱动交互装置.首先简单介绍了被动驱动器的结构、实现原理,在此基础上提出了一种两自由度手部康复训练交互装置设计方法,该交互装置在支架上设置两根相互垂直并处于同一平面的轴,轴的两端分别连接被动驱动器和数字编码器,手柄在两轴的驱动下能在两维空间内运动并产生两自由度的力.接着分析了手柄受力与被动驱动器输出力的变换方法,最后设计康复游戏,与研制的交互装置配合,开展了脑卒中患者的康复训练试验,试验结果验证了康复训练交互装置对于手部康复训练的有效性.     

虚拟现实人机交互中多特征手势检验算法研究

文章首先对虚拟现实人机交互的概念和常用方向进行探讨,在此基础上重点论述功能实现所建立的基础,提出通过仿真模拟来对多途径手势进行使用验证,帮助提升人机交互过程中各个手势实现的仿真能力。对于当前的交互功能实现,本文所总结的技术方法具有可行性,应用在设计阶段安全且稳定。     

Leap Motion体感控制器及其在飞机结构展示系统中的应用

由于现有的展示系统主要是依靠传统的鼠标和键盘实现控制,在人机交互和效率上存在很大的问题。针对这种情况,提出采用Leap Motion体感控制器代替传统鼠标键盘的程序控制方法。采用Leap公司的Leap Motion作为传感器,建立不依赖于传统手持设备的手势交互飞机结构展示系统。通过手势变换和手势识别实现飞机结构的放大、缩小、平移和旋转等基本功能。应用实例表明,Leap Motion体感控制器是一种非常直观、自然、有效的人机交互设备,可以广泛应用于人机交互领域。     

融合关节旋转特征和指尖距离特征的手势识别

作为人机交互的重要方式,手势交互和识别由于其具有的高自由度而成为计算机图形学、虚拟现实与人机交互等领域的研究热点.传统直接提取手势轮廓或手部关节点位置信息的手势识别方法,其提取的特征通常难以准确表示手势之间的区别.针对手势识别中不同手势具有的高自由度以及由于手势图像分辨率低、背景杂乱、手被遮挡、手指形状尺寸不同、个体差异性导致手势特征表示不准确等问题,本文提出了一种新的融合关节旋转特征和指尖距离特征的手势特征表示与手势识别方法.首先从手势深度图中利用手部模板并将手部看成链段结构提取手部20个关节点的3D位置信息;然后利用手部关节点位置信息提取四元数关节旋转特征和指尖距离特征,该表示构成了手势特征的内在表示;最后利用一对一支持向量机对手势进行有效识别分类.本文不仅提出了一种新的手势特征表示与提取方法,该表示融合了关节旋转信息和指尖距离特征;而且从理论上证明了该特征表示能唯一地表征手势关节点的位置信息;同时提出了基于一对一SVM多分类策略进行手势分类与识别.对ASTAR静态手势深度图数据集中8类中国数字手势和21类美国字母手势数据集分别进行了实验验证,其分类识别准确率分别为99.71%和85.24%.实验结果表明,本文提出的基于关节旋转特征和指尖距离特征的融合特征能很好地表示不同手势的几何特征,能准确地表征静态手势并进行手势识别.     

动态手势理解与交互综述

近年来,手势作为一种输入通道,已在人机交互、虚拟现实等领域得到了广泛的应用,引起了研究者的关注.特别是随着先进人机交互技术的出现以及计算机技术（特别是深度学习、GPU并行计算等）的飞速发展,手势理解和交互方法取得了突破性的成果,引发了研究的热潮.综述了动态手势理解与交互的研究进展与典型应用：首先阐述手势交互的核心概念,分析了动态手势识别与检测进展;而后阐述了动态手势交互在人机交互中的代表性应用,并总结了手势交互现状,分析了下一步的发展趋势.     

基于手势的交互式虚拟环境

交互式虚拟现实系统能够为用户提供直观自然的用户接口。使用手势,用户可以更加高效地与虚拟环境进行交互。但随着系统中识别手势的增多,正确手势的识别率和系统的性能会跟着下降。文章提出用交互状态解决手势识别率和系统性能下降问题,并给出了实现方案。     

面向智慧家庭的虚拟体验系统的研究与开发

针对传统室内设计在用户体验方面缺少沉浸感、交互性等问题,提出了一种基于虚拟现实技术的家居互动设计虚拟体验系统的实现方法,本方法围绕虚拟现实的基本特征,使用三维软件制作虚拟场景,使用Unity游戏引擎和基于物理渲染技术提高虚拟场景的逼真度,使用虚拟现实设备HTCVive为用户提供交互体验操作。通过虚拟体验系统的开发,提出了一种新的室内家居设计体验方法。     

基于虚拟现实技术的运动辅助训练系统设计

为了提高教练的指导效率和丰富羽毛球教学与训练的方法,基于虚拟现实技术和KINECT,开发了一套羽毛球辅助训练系统。该系统利用虚拟现实技术,通过3DS MAX工具进行训练场地的虚拟化建模,搭配Cry Engine引擎技术渲染训练场地场景。KINECT被用来识别这些动作以及使用者的位置变化,并将识别结果通过蓝牙模块传输至VR眼镜内,使VR眼镜内的虚拟环境做出图像、声音等相应的改变,以实现虚拟环境下的人机互动。测试表明,本系统能够准确地实现训练场景的虚拟化,对使用者的各个动作的识别率较高,提高了训练者的学习效率。     

虚拟现实技术在柔性上肢康复机器人中的应用

根据末端牵引式和外骨骼式上肢康复机器人的特性,研制了一种新型的柔性上肢康复机器人。机器人的康复训练系统结合了主动和被动模式的要素,将虚拟现实（VR）技术引入上肢康复机器人,通过现实环境中的光学3D位置捕获以及VR环境中的3D位置感知,设计了虚拟动态模型交互性节点和碰撞检测实验,实现虚拟现实交互,提高虚拟模型运动实时效果和上肢康复训练精度。VR和新颖的康复机器人的集成为具有特定任务的患者提供了有效的训练。     

虚拟现实及其应用进展

虚拟现实是一种多通道的新型人机交互接口,它提供了具有沉浸感的智能虚拟环境并允许用户和该环境进行交互.计算机技术、交互技术和人工智能等相关技术的快速发展促进了虚拟现实技术的巨大进步,以此为基础的实际应用也得到了很快的发展和提高.描述了虚拟现实的涵义及其本质特征,归纳了适合使用虚拟现实技术的场合,并介绍了虚拟现实技术在教育、医疗、科学可视化和工程制造等方面的最新应用,最后对虚拟现实未来的应用做出了展望.     

Vision‐tangible interactive display method for mixed and virtual reality: Toward the human‐centered editable reality

Building a human‐centered editable world can be fully realized in a virtual environment. Both mixed reality (MR) and virtual reality (VR) are feasible solutions to support the attribute of edition. Based on the current development of MR and VR, we present the vision‐tangible interactive display method and its implementation in both MR and VR. We address the issue of MR and VR together because they are similar regarding the proposed method. The editable mixed and virtual reality system is useful for studies, which exploit it as a platform. In this paper, we construct a virtual reality environment based on the Oculus Rift, and an MR system based on a binocular optical see‐through head‐mounted display. In the MR system about manipulating the Rubik's cube, and the VR system about deforming the virtual objects, the proposed vision‐tangible interactive display method is utilized to provide users with a more immersive environment. Experimental results indicate that the vision‐tangible interactive display method can improve the user experience and can be a promising way to make the virtual environment better.     

A desktop VR prototype for industrial training applications

The recent advances in computer graphics has spurred interest from both academics and industries in virtual reality (VR) enabled training applications. This paper presents a desktop VR prototype for industrial training applications. It is designed and implemented as a general shell by providing the data interface to import both the virtual environment models and specific domain knowledge. The geometric models of the virtual environment are constructed using feature-based modelling and assembly function by external CAD tools, and then transferred into the prototype through a conversion module. A hierarchical structure is proposed to partition and organise these imported virtual environment models. Based on this structure, a visibility culling approach is developed for fast rendering and user interaction. The case study has demonstrated the functionality of the proposed prototype system by applying it to a maintenance training application for a refinery bump system, which, in general, has a large number of polygons and a certain depth complexity. Significant speedup in both context rendering and response to user manipulations has been achieved to provide the user with a fast system response within the desktop virtual environment. Compared with the immersive VR system, the proposed system has offered an affordable and portable training media for industrial applications.The work was done in Nanyang Technological University.     

基于Quest3D的钻床加工虚拟教学系统的研究

针对培训系统要求人机交互界面好以及沉浸感强等特点,在钻床教学系统开发中采用实时3D建构工具Quest3D,提出了一种针对钻床教学培训的虚拟现实系统的开发方案,将虚拟现实系统分为三维显示模块,运动控制模块,场景交互模块和场景声控模块等,通过Quest3D的图形编程使得整个系统开发周期缩短,运行效率提高。成功将三维场景虚拟交互技术运用于钻床教学培训系统中。     

单兵装备效能评估系统中虚拟现实平台的设计

探讨了单兵装备效能评估系统中虚拟现实分系统的设计，重点研究了虚拟现实场景的设计实现，人机交互接口的设计及音效设计等关键问题。该分系统用于营造满足装备效能评估实验需求的虚拟战场环境。     

Tele-immersive product evaluation: a review and an implementation framework

A novel virtual tele-immersive product evaluation environment is conceived. The components for the tele-immersive virtual environment for product evaluation include a robust virtual reality (VR) hardware system, associated VR driving software, development tool for the tele-immersive virtual environment, networking software, user representation scheme and tools for developing 3D models and incorporating dynamic properties into the models. We have developed a model to allow users to collaboratively evaluate products using the CAVE^TM, Performer, CAVERN, CAVEActors, Pro/ENGINEER, and ADAMS.     

Digital Twin for Human-Robot Interactive Welding and Welder Behavior Analysis

This paper presents an innovative investigation on prototyping a digital twin (DT) as the platform for human-robot interactive welding and welder behavior analysis. This human-robot interaction (HRI) working style helps to enhance human users’ operational productivity and comfort; while data-driven welder behavior analysis benefits to further novice welder training. This HRI system includes three modules: 1) a human user who demonstrates the welding operations offsite with her/his operations recorded by the motion-tracked handles; 2) a robot that executes the demonstrated welding operations to complete the physical welding tasks onsite; 3) a DT system that is developed based on virtual reality (VR) as a digital replica of the physical human-robot interactive welding environment. The DT system bridges a human user and robot through a bi-directional information flow: a) transmitting demonstrated welding operations in VR to the robot in the physical environment; b) displaying the physical welding scenes to human users in VR. Compared to existing DT systems reported in the literatures, the developed one provides better capability in engaging human users in interacting with welding scenes, through an augmented VR. To verify the effectiveness, six welders, skilled with certain manual welding training and unskilled without any training, tested the system by completing the same welding job; three skilled welders produce satisfied welded workpieces, while the other three unskilled do not. A data-driven approach as a combination of fast Fourier transform (FFT), principal component analysis (PCA), and support vector machine (SVM) is developed to analyze their behaviors. Given an operation sequence, i.e., motion speed sequence of the welding torch, frequency features are firstly extracted by FFT and then reduced in dimension through PCA, which are finally routed into SVM for classification. The trained model demonstrates a 94.44% classification accuracy in the testing dataset. The successful pattern recognition in skilled welder operations should benefit to accelerate novice welder training.      

视触觉融合的增强现实三维注册方法

增强现实技术是近年来人机交互领域的研究热点。在增强现实环境下加入触觉感知,可使用户在真实场景中看到并感知到虚拟对象。为了实现增强现实环境下与虚拟对象之间更加自然的交互,提出一种视触觉融合的三维注册方法。基于图像视觉技术获得三维注册矩阵;借助空间转换关系求解出触觉空间与图像空间的转换关系;结合两者与摄像头空间的关系实现视触觉融合的增强现实交互场景。为验证该方法的有效性,设计了一个基于视触觉增强现实的组装机器人项目。用户可触摸并移动真实环境中的机器人零件,还能在触摸时感受到反馈力,使交互更具真实感。