基于触觉交互界面的虚拟现实警务训练系统

虚拟现实凭借着其高沉浸感的体验,在警务仿真培训中有着广泛应用,由于商用虚拟现实系统多关注视觉反馈,难以使用标准的手控器为警务培训提供逼真的触觉交互体验。触觉交互界面基于多功能的离散单点触控交互系统,可实现虚拟现实中的道具操作直接交互,针对虚拟训练中的警务场景,该系统能够识别用户所选道具,并响应用户的交互动作,以提高虚拟现实系统的交互真实性。该系统使用HTC Vive 追踪器对用户进行运动捕捉,以生成人体骨架驱动虚拟代理。同时,使用单片机获取并处理用户的道具选择信息及用户与道具的交互信息,再通过蓝牙通信传输至上位机。硬件设计采用 STM32F103 系列中的 C8T6 最小系统板,相关功能通过软件 Keil5 编程实现。实验验证了系统的正确性和可行性,能够提供多样的物理触觉代理,增强了虚拟环境中的交互体验。该系统为虚拟现实交互技术提供了新的思路和方向,具有很好的应用前景。     

空间增强现实中的人机交互技术综述

空间增强现实是增强现实的三大形式之一,它利用投影等方式在物理空间中增强显示虚拟内容.在空间增强现实系统中,用户可以在物理空间与虚拟内容交互,具有良好的环境感知、空间感知与协同感知,交互任务执行过程中认知负荷低.首先以空间增强现实显示方式为例,通过其系统架构介绍空间增强现实的技术原理;然后将空间增强现实中的人机交互技术分类为基于触控的交互、基于手势或姿势的交互、基于控制器的交互、手持投影仪交互、实物交互及多模态交互并进行分析,对相关技术在三维配准、虚实融合等方面带来的挑战进行阐述;同时总结了空间增强现实在运动锻炼、医疗辅助、教育娱乐、艺术等领域的应用状况;最后对空间增强现实中的交互技术发展趋势进行了展望,指出未来要克服现有技术在稳定性、准确性和实时性上存在的缺陷,在交互方式更自然、交互遮挡处理方法更智能、系统使用场景更广泛、与社会文化和心理现象研究相结合以及新型成像方式等方面得到突破和发展.     

融合Unity3D和混合现实的虚拟场馆IDS

研究融合Unity3D和混合现实的虚拟场馆交互展示仿真方法,实现虚拟场馆的交互展示,提升用户交互体验效果。上述方法利用基础层为交互展示提供硬件设备;数据层通过调用硬件设备采集虚拟场馆数据;业务逻辑层中利用混合现实技术的KinectFusion算法,结合采集的数据,建立虚拟场馆三维模型,Unity3D软件内导入模型,依据模型信息设计基于寻路算法的交互方式,自动搜索交互展示路径,避免发生碰撞;应用层通过移动与旋转等操作,为用户提供场景切换与漫游等功能。仿真结果证明：上述方法可有效建立虚拟场馆三维模型,实现虚拟场馆的交互展示,为用户提供身临其境的交互体验;上述方法可有效搜索交互展示路径,精准避开障碍物。     

基于混合现实的矿用设备维修指导系统

针对矿用设备现场维修知识和专业指导不足导致维修效率低、周期长,虚拟现实和增强现实技术实现平台一般为头戴式设备、手机等,设备的移动性很好,但用户只能依赖交互手柄、触摸屏进行交互,视觉体验缺乏真实性,设计了一种基于混合现实的矿用设备维修指导系统。该系统基于Unity3D虚拟现实平台,采用混合现实设备HoloLens实时显示维修指导方案,实现了矿用设备原理虚拟仿真、基于二维码的设备管理、设备维修指导和远程专家协作等功能。HoloLens通过虚拟文字、虚拟设备模型、动画及语音提示等方式将维修指导信息直观地呈现给维修人员,维修人员可通过视线跟踪、语音交互、手势识别等方式与HoloLens交互。采煤机齿轮磨损故障维修指导应用实例验证了该系统的实用性和有效性。     

一种基于非线性弹簧模型的虚拟手交互新方法

基于虚拟手的交互技术在人机交互和人机工程学测试等应用中发挥着重要的作用。为了实现直观自然、实时准确、接近真实世界中的虚拟手与虚拟物体的交互,并计算出反馈作用力,首先提出了用非线性弹簧模型计算抓取作用力,使虚拟手和虚拟环境之间实现了基于物理的交互;然后将计算结果以视觉渲染的形式反馈给用户,并对仿真的速率做了定量分析,以便使仿真速率可以达到屏幕刷新频率和力反馈刷新频率的要求。实验结果表明,虚拟手不仅可以直观自然地抓取3维虚拟物体,而且和3维物体之间能够进行实时交互,同时可计算出反馈作用力。     

沉浸式虚拟维修仿真系统及其实现

给出了沉浸式虚拟维修仿真系统的框架,从样机建模和交互技术两个方面对其关键技术进行了研究．提出了虚拟维修样机的概念,通过定义样机部件的约束运动和交互特征来实现其所要求功能,而交互技术则主要集中在抓取和防穿越处理上．建立了基于Jack系统的沉浸式虚拟维修仿真原型系统,并以某机构的拆装为例对其进行了初步的应用验证。     

基于经验感知的自适应用户界面模型

针对传统自适应界面缺乏自主学习用户交互历史、难以根据用户经验有效预测用户意图的现状,基于认知心理学相关理论,该文提出了基于经验感知的自适应用户界面模型,从界面静态组成元素、动态交互行为和自适应策略三个方面建立了该模型的统一描述,然后研究了自适应界面模型的实现架构、关键技术和建模方法.最后开发了一个个性化的虚拟家居定制原型系统,并进行了实验评估.实验结果表明,该模型能够根据用户交互历史和上下文环境,准确预测用户意图,实时调整界面布局和交互行为以主动地适应用户.     

基于飞控半物理仿真平台的模拟座舱及虚拟仪表系统的研究

模拟座舱及其虚拟仪表作为飞控半物理仿真系统中用户和系统交互的设备,具有重要的作用;利用Visual C++/GL Studio联合开发了虚拟仪表显示界面,并采用Socket通讯接收来自飞行仿真计算机的仿真数据,驱动程序根据相应的数据驱动仪表界面进行演示,向用户反馈飞行器的飞行状态;同时,通过模拟座舱的控制输入设备,将模拟操纵信号输出给实时网络,实现对飞行器操纵的目的;试验表明,该系统具有良好的人机交互界面,使仿真人员产生身临其境的"真实"感觉。     

基于情境学习的射孔仿真培训系统应用研究

由于传统的仿真培训中只能通过鼠标的点击与键盘进行交互,存在着现场感缺乏以及用户体验不足等缺点,针对油田射孔岗位仿真培训中的交互问题,提出了应用情境学习理论结合体感交互技术的仿真培训系统。通过将Unity与体感交互技术结合,学习者可以运用手势与姿势来实现与仿真培训系统的交互操作。结合应用这一技术可以使得学习者能够在更逼真的虚拟学习环境中尽情的体会和学习,满足学习者的体验和参与需求,可以有效促进学习者从具体的感知经验上升到抽象的知识概念,为教学培训的顺利开展创设有利的条件。     

三维虚拟校园体感交互系统设计与优化研究

三维虚拟校园系统的研究和创建对数字校园的建设有着重要的现实意义。本文在系统分析三维场景构建及虚拟交互技术的基础上,阐述了基于体感交互的三维校园系统开发流程,基于以上研究实现了3dsmax、Unity3D与Kinect平台的三维虚拟校园体感交互系统,该系统具有较高的交互能力、仿真质量和运行效率,最后针对虚拟校园系统的优化与规范提出了设计规范与优化原则。     

一种支持访问控制的用户界面设计模型*

针对传统界面设计方法不能很好地支持多用户访问控制建模的缺点,提出一个面向多用户访问控制的用户界面ACUI（access control user interface）模型。该模型在传统界面设计模型的基础上,引入了RBAC（role based access control）机制,通过对用户模型中的角色及用例进行形式化分析,并根据内部模型中描述的界面构成元素及其交互关系,在用户界面模型中给出了针对不同角色的界面展示规则和界面布局树,最终实现了界面代码的自动生成。实验证明,该模型能很好地指导多用户权限访问控制     

交互设计中的软硬界面设计

随着体验时代的到来,以用户为中心的交互设计逐渐受到重视。作为人与产品互相传递信息的唯一媒介,界面设计在交互设计中起到重要作用。界面设计分为硬界面设计、软界面设计及软硬界面协同设计。文章讨论了软硬界面设计在交互设计中的意义,从几方面浅析交互设计中如何进行软硬界面设计,最后探讨了交互设计中软硬界面设计的发展方向。     

Document search support by making physical documents transparent in projection-based mixed reality

This paper presents Limpid Desk that supports document search on a physical desktop by making the upper layer of a document stack transparent in a projection-based mixed reality environment. A user can visually access a lower-layer document without physically removing the upper documents. This is accomplished by superimposition of cover textures of lower-layer documents on the upper documents by projected imagery. This paper introduces a method of generating projection images that make physical documents transparent. Furthermore, a touch sensing method based on thermal image processing is proposed for the system??s input interface. Areas touched by a user on physical documents can be detected without any user-worn or handheld devices. This interface allows a user to select a stack to be made transparent by a simple touch gesture. Three document search support techniques are realized using the system. User studies are conducted, and the results show the effectiveness of the proposed techniques.     

Reusing UI elements with Model-Based User Interface Development

This paper introduces the potential for reusing UI elements in the context of Model-Based UI Development (MBUID) and provides guidance for future MBUID systems with enhanced reutilization capabilities. Our study is based upon the development of six inter-related projects with a specific MBUID environment which supports standard techniques for reuse such as parametrization and sub-specification, inclusion or shared repositories.We analyze our experience and discuss the benefits and limitations of each technique supported by our MBUID environment. The system architecture, the structure and composition of UI elements and the models specification languages have a decisive impact on reusability. In our case, more than 40% of the elements defined in the UI specifications were reused, resulting in a reduction of 55% of the specification size. Inclusion, parametrization and sub-specification have facilitated modularity and internal reuse of UI specifications at development time, whereas the reuse of UI elements between applications has greatly benefited from sharing repositories of UI elements at run time.     

一种新的笔式交互范式的可用性评估

笔式用户界面是Post—WIMP界面的一种重要形态,具有自然、和谐的交互特性。尽管笔式用户界面广泛应用于无处不在计算环境中,但很少专门对它的可用性进行评估。针对笔式用户界面的特征,提出了一种新的笔式用户界面范式,基于此范式设计并实现了一个面向教学的笔式交互系统(PenOffice),利用此系统对范式从易学性、效率、出错率和用户满意度这几个方面进行了可用性评估,从中分析了笔式用户界面以及这种新的界面范式的优点和不足。     

Prototypes and paratypes: designing mobile and ubiquitous computing applications

Conducting user-centered design is a primary challenge in ubiquitous computing. Two kinds of prototyping techniques can be particularly effective for developing mobile and ubiquitous computing applications: compound prototypes and situated experience prototypes. Compound prototypes combine the final product's user interface (UI) with a computational implementation that runs on a separate system without the resource constraints of the target device. This model lets researchers and designers evaluate a new application's physicality and aesthetics as well as its functionality. Situated experience prototypes, or paratypes, include experimental protocols that attempt to reproduce user interaction with the system in real situations, and can optionally use common prototyping instruments such as paper mock-ups or physical props. Using our Personal Audio Loop (PAL) project as a case study, we discuss how you can fruitfully employ compound prototypes and paratypes when designing and developing mobile and ubiquitous computing applications.     

DIGIS A Graphical User Interface Design Environment for Non-Programmers

DIGIS (Direct Interactive Generation of Interactive Systems) is a graphical UI design environment for non-programmers that facilitates the design of all aspects of a UI with direct manipulation techniques. DIGIS is based on four models: an object model, a system task model, an interaction model and a dialogue control model. These four models describe an interactive system at a high conceptual level which allows a UI designer to quickly construct a high quality direct manipulation UI that supports undo-redo, context-sensitive help and guidance, and connect the UI with the (existing) application.     

Hand-adaptive user interface: improved gestural interaction in virtual reality

Most interactive user interfaces (UIs) for virtual reality (VR) applications are based on the traditional eye-centred UI design principle, which primarily considers the user’s visual searching efficiency and comfort, but the hand operation performance and ergonomics are relatively less considered. As a result, the hand interaction in VR is often criticized as being less efficient and precise. In this paper, the user’s arm movement features, such as the choice of the hand being used and hand interaction position, are hypothesized to influence the interaction results derived from a VR study. To verify this, we conducted a free hand target selection experiment with 24 participants. The results showed that (a) the hand choice had a significant effect on the target selection results: for a left hand interaction, the targets located in spaces to the left were selected more efficiently and accurately than those in spaces to the right; however, in a right hand interaction, the result was reversed, and (b) the free hand interactions at lower positions were more efficient and accurate than those at higher positions. Based on the above findings, this paper proposes a hand-adaptive UI technique to improve free hand interaction performance in VR. A comprehensive comparison between the hand-adaptive UI and traditional eye-centred UI was also conducted. It was shown that the hand-adaptive UI resulted in a higher interaction efficiency and a lower physical exertion and perceived task difficulty than the traditional UI.

     

Post-WIMP环境下笔式交互范式的研究

提出了一种在Post-WIMP环境下的笔式交互范式：PIBG．PIBG范式采用纸笔隐喻，与WIMP范式相比，承载应用信息的交互组件由Window变为Paper和Frame，用户的交互动作由鼠标的点击变为笔的手势．对PIBG范式中静态的界面形式和动态的交互手势进行了研究和设计．结合认知心理学，从信息呈现和交互方式两个方面对该范式的特点进行了阐述．利用GOMS模型，从界面呈现方式、手势的效率、用户满意度三个方面对该范式进行了心理学评估．从评估结果可以看出，PIBG范式通过模拟日常纸笔环境，利用用户原有的知识，可以明显地减轻认知负担，提高操作效率．     

分布式地学虚拟环境研究

讨论了分布式地学虚拟环境的概念,特征以及与GIS的相互关系,从系统结构,数据模型,交互界面和开发工具方面,对分布式地学虚拟环境的系统框架进行了研讨。最后,从理论,技术和应用层面介绍了关于分布式地学虚拟环境的研究热点和难点,并讨论了进一步的研究方向。