视触觉融合的增强现实三维注册方法

增强现实技术是近年来人机交互领域的研究热点。在增强现实环境下加入触觉感知;可使用户在真实场景中看到并感知到虚拟对象。为了实现增强现实环境下与虚拟对象之间更加自然的交互;提出一种视触觉融合的三维注册方法。基于图像视觉技术获得三维注册矩阵;借助空间转换关系求解出触觉空间与图像空间的转换关系;结合两者与摄像头空间的关系实现视触觉融合的增强现实交互场景。为验证该方法的有效性;设计了一个基于视触觉增强现实的组装机器人项目。用户可触摸并移动真实环境中的机器人零件;还能在触摸时感受到反馈力;使交互更具真实感。     

实现牙体预备触觉交互仿真的图形显示

介绍了在牙科手术训练触觉交互系统的虚拟手术环境中,通过材料去除速率控制构成牙齿的网格变形实现牙齿被切削时材料去除过程的图形仿真.针对牙体预备操作和触觉交互装置输出力的特点,在交互系统的虚拟环境中,当工具与牙体模型发生接触时,所有进入工具空间范围的顶点都会沿着其外法线的反方向进行投射,投射量受控于材料去除速度,且网格变形速度不超过真实的牙齿材料去除速度,同时针对网格的变形位置绘制虚拟工具.通过限制网格变形可以动态的实现牙齿被切削过程的形状变化,图形显示逼真同时没有滞后.     

面向视频感知的静电力触觉渲染方法

针对视觉障碍的人获取视频等数字媒体信息受限的问题, 为扩展视频等数字媒体信息的触觉感知通道,提出一种面向视频感知的静电力触觉渲染方法。首先,采用基于像素点的视频帧处理算法,根据手指触摸位置获取当前视频帧的目标像素点,然后将目标像素点彩色信息从RGB模型转换为HSI模型,利用像素点色调分量来映射静电力激励信号频率参量,结合像素点亮度和饱和度分量来映射静电力激励信号幅度参量,合成静电力触觉激励信号,实现对实时视频的触觉渲染和感知。最后,设计动态色彩感知实验和亮度辨识感知实验,结果表明,该方法可实现对视频中物体信息的触觉感知,动态识别平均正确率达90.6%,色彩辨识平均正确率达69.4%,亮度辨识平均正确率达80.0%,所提方法能有效提取视频中的动态特征信息,增强视频触觉渲染的实时性。     

基于触觉交互界面的虚拟现实警务训练系统

虚拟现实凭借着其高沉浸感的体验,在警务仿真培训中有着广泛应用,由于商用虚拟现实系统多关注视觉反馈,难以使用标准的手控器为警务培训提供逼真的触觉交互体验。触觉交互界面基于多功能的离散单点触控交互系统,可实现虚拟现实中的道具操作直接交互,针对虚拟训练中的警务场景,该系统能够识别用户所选道具,并响应用户的交互动作,以提高虚拟现实系统的交互真实性。该系统使用HTC Vive 追踪器对用户进行运动捕捉,以生成人体骨架驱动虚拟代理。同时,使用单片机获取并处理用户的道具选择信息及用户与道具的交互信息,再通过蓝牙通信传输至上位机。硬件设计采用 STM32F103 系列中的 C8T6 最小系统板,相关功能通过软件 Keil5 编程实现。实验验证了系统的正确性和可行性,能够提供多样的物理触觉代理,增强了虚拟环境中的交互体验。该系统为虚拟现实交互技术提供了新的思路和方向,具有很好的应用前景。     

一种高保真视-触觉增强现实系统的搭建

随着增强现实技术的发展,仅包含视觉的增强现实技术已经不能满足人们的需求,而加入触觉信息形成的视-触觉融合的增强现实系统却越来越受到关注。触觉设备是将真实环境和虚拟环境连接起来的纽带。然而,触觉设备在视场中的存在会带来两个问题,一方面触觉设备占据了很大的视觉空间,另一方面触觉设备的定位往往会出现较大的误差,导致了视-触觉增强现实的真实性下降。为了增加使用者的体验感,提出一种高保真视-触觉增强现实环境的搭建方法。首先基于改进的ORB(Oriented FAST and Rotated BRIEF)和KLT(Kanade-Lucas-Tomasi)增强现实跟踪注册算法搭建稳定的视觉增强现实环境。其次提出了一种能校准触笔位置和方向的方法,以提升交互体验。然后提出一种基于力反馈的触觉渲染算法,最后使用改进的全局泊松方程和Criminisi算法对触觉设备进行隐藏和修复,减小因触觉设备存在对用户沉浸感造成的影响。     

虚拟现实大空间下多虚拟目标被动触觉交互方法

针对虚拟现实（VR）大空间下为重定向行走的用户提供被动触觉时存在的虚实交互目标无法一一对应的问题,提出了一种用两个物理代理作为触觉代理为多个虚拟目标提供触觉反馈的方法,以在基于人工势场（APF）的重定向行走过程中,交替地满足用户被动触觉的需求。针对重定向行走算法本身以及标定不精确等原因造成的虚实不对齐的问题,对虚拟目标的位置及朝向进行设计并且在交互阶段引入触觉重定向。仿真实验表明对虚拟目标位置和朝向的设计可以大幅降低对齐误差;而用户实验结果证明触觉重定向的引入进一步提升了交互准确性,且能为用户带来更丰富、更具沉浸感的体验。     

双触点交互的力触觉实时生成方法

力触觉的生成和交互有助于提升虚拟环境的沉浸感和真实性.提出了一种双触点交互的力触觉实时生成方法.把双触点交互分为4种状态,分别提出不同状态下双触点交互的力触觉实时生成算法,并建立虚双触点交互的实验环境,开展双触点交互力触觉生成的评价研究.实验结果表明,该方法能够实时生成双触点交互时的力触觉,增强虚拟环境的沉浸感和真实性,提升了人手力触觉交互的自然性.     

浅析大学校园导视系统交互信息设计

大学校园导视系统交互信息设计可构建更加完善、人性化和具有校园文化特色的导视系统,具有扩展传统静态导视设计系统的功能,从而提升校园文化氛围、营造和谐的校园环境。     

盲人触觉图形显示器的交互体验研究

在互联网时代,盲人由于视力缺失,通过触听觉对图形图像的认知需求越来越强烈.文中通过对触觉和现有触觉图形显示器的梳理分析,围绕其交互技术和用户体验进行研究.首先从人的触觉生理角度论证了触觉图形显示器的可用性;然后列举了主要的触觉图形显示器的研发原型或产品,梳理了各种交互技术及参数的对比,并以用户体验的角度,通过实验分析了影响体验的重要设计因素.最后针对大数据时代,以盲人对产品的体验为中心设计了一套盲人触觉显示器的交互原则,为触觉图形显示器的设计提供了参考.     

力／触觉再现设备的研究现状与应用

力/触觉再现技术作为一种新兴的人机交互模式在虚拟现实系统得到较多应用。力/触觉再现设备是力/触觉再现系统实现过程中必不可少的环节,受到广泛的重视和研究。讨论了力/触觉再现设备的种类和特点,分类介绍了国内外力/触觉再现设备的研究现状,并作了分析比较。最后讨论了力/触觉再现设备在不同领域的应用,并探讨了其未来的研究发展趋势。     

计算机触觉:虚拟现实环境的力触觉建模和生成

触觉是人类5种感觉通道之一,在日常生活中发挥着不可缺少的作用.在虚拟现实和增强现实系统中,力触觉反馈的引入有望显著提高人机交互的沉浸感和交互性.文中综述了虚拟现实环境中力触觉感受的建模和生成方法,从力触觉生成与视觉生成的差异性出发,回顾了计算机触觉的发展历史和国内外研究现状,重点分析了虚拟物体建模、碰撞检测、碰撞响应、变形计算等关键技术,并提出了力触觉生成技术的未来发展趋势和技术挑战.     

A haptic-based approach to virtual training for aerospace industry

In the last years, the industrial world has been increasingly adopting computer-aided solutions for design for maintainability and maintenance training tasks with the goal to reduce development costs and to shorten time, and to improve product and service quality. Computer-based training systems created to simulate machine assembly maintenance are normally operated by means of ordinary human–computer interfaces (keyboard, mouse, etc.), but this usually results in systems that are far from the real procedures, and therefore not effective in terms of training. In this study, we show that a better solution may come from the combination of virtual reality techniques and haptic interaction. To this regard, we present the results of a research aimed at testing and evaluating the effectiveness of the haptic feedback for first-person maintenance tasks targeted to the aerospace industry. The proposed system implements an interaction environment in which each of the main maintenance activities can be simulated by the trainee exploiting a hand-based commercial haptic device, operated by means of specific haptic-rendering techniques to provide realistic feedbacks during manipulation. A usability study is included to help assessing the potential of this approach.     

虚拟装配中基于导纳控制的力觉渲染技术

传统的力触觉渲染多采用阻抗控制,不能很好地满足虚拟装配的应用要求,相比之下导纳控制模式更适用这一领域.为此提出一种基于导纳控制的双线程力觉渲染构架,并给出相应的力觉渲染算法.首先建立用于导纳控制的动力学模型,并讨论了碰撞和约束这2个状态下的力觉渲染;为了使用力觉交互接口进行虚拟装配中的小间隙装配,提出物理约束与几何约束结合的力觉渲染方法;最后针对物理计算和力反馈循环2个线程刷新频率不匹配的问题,利用二次拉格朗日多项式进行数值插值,实现了力觉交互接口的平稳输出.通过力反馈设备与自主开发的虚拟装配原型系统VAPP的连接与应用,验证了所提出的算法满足虚拟装配系统中力觉交互的应用要求.     

虚拟体空间中的触觉雕刻

目前,在虚拟环境中大多数的信息获取是通过视觉、听觉等非接触感觉获得的。然而缺乏触觉反馈的信息减少了很大一部分的信息源。在看和听之外,能够触摸、感觉和操纵物体,在很大程度上提高了虚拟环境的真实性。该文研究了触觉绘制的基本模型,提出了采用虚平面作为中介实现体数据的实时触觉绘制。并在此基础上探讨了体的局部变形及结合触觉反馈模型,实现了具有触觉反馈的虚拟雕刻交互系统。该系统可应用于融化、燃烧、印记、构造和着色实时交互操作。     

虚拟骨科手术中触觉交互建模方法综述

虚拟骨科手术可以让骨科医生使用多种虚拟骨科手术器械在三维重建的骨性解剖结构模型上进行骨科手术操作和训练。力触觉交互在骨科手术中起着不容忽视的作用,如何在骨科手术模拟中实现真实快速的触觉交互,已成为近年来虚拟骨科手术研究的热点。文章主要对现有的骨科手术模拟系统中用到的触觉交互模型进行了研究、分类和总结,分析了现有的一些模型的特点和不足,并展望了骨科手术系统中未来力触觉交互的发展。     

图像的力/触觉表达技术研究综述*

总结了图像的力/触觉表达技术研究的现状及特点,分析了图像的力/触觉表达研究中存在的问题,并展望了该技术的发展前景.     

引入力触觉的数字文物多模交互方法

目的 针对当前文物资源由传统的实体文物向虚拟展示和数字文物进行扩展的趋势,如何提供一种多模态的信息呈现方式就显得尤为重要。通过将力触觉技术引入3维文物展示领域,提出一种基于多模感知的3维文物交互式呈现的算法框架。在对文物的基本特征进行视、听、触觉多通道分析的基础上,依据用户与文物模型的接触状态对多通道信息进行计算和整合。方法 在力触觉计算渲染方面,基于嵌入深度构建弹簧系统模拟轮廓形状的接触过程,引入动摩擦和静摩擦因数来反映表面摩擦力这一材质特征,通过法线贴图来实现文物表面纹理的触觉处理;针对交互的环境由2维平面拓展至立体空间,结合力触觉设备将操作时的行为和状态映射为虚拟环境中的操作代理,借助操作代理构建\"旋转\"和\"选择-移动-释放\"两种基本的操作范式来实现用户意图;最后,物理引擎的引入将物体的基本运动规律集成至虚拟场景,提升场景交互的真实感.结果 使用Phantom Omni手控器搭建面向馆藏文物的多模感知实验系统,抽取志愿者对实验系统进行测评。实验结果表明：运用本文方法,用户可从视觉、听觉、触觉多个通道对数字文物的整体和细节信息进行感知,且交互的整体过程简单、自然、有效。结论 本文提出的基于多模感知的数字文物交互式呈现方法,可有效实现对各类数字遗产特别是3维文物的多模重现,在保证较高实时性的同时拥有良好的可用性和情感体验效果。     

弹性体力/触觉框架模型

在力/触觉建模技术中,高效的实时性与基于物理意义的准确性是与生俱来的一对矛盾.为了提高实时性与准确性的和谐程度,提出一种分析虚拟柔性体力/变形关系的框架结构模型.在柔性体内部建立一定数量并相互独立的钢架结构,运用虚功原理计算每根钢架上节点的位移;根据接触点和节点的分布,采用分水岭法将柔性体表面分割成若干区域,通过本区域内节点和接触点的位移插值计算区域内顶点的变形,进而得到柔性体的整体变形.仿真实验结果表明,该模型简便、实时性好,在具体的虚拟建模力反馈工作中可操作性强.     

虚拟现实的力触觉交互技术发展现状与趋势

虚拟现实通过模拟人的视觉、听觉、力触觉等,使人处于一种与真实世界非常逼真的虚拟世界中,来感受、体验和评价虚拟世界中的场景和设备。力触觉在虚拟现实环境中有其突出优越性,力触觉使得虚拟现实环境变得真实,是唯一的既可接受周围环境输入又可以对周围环境输出的感知通道,可极大增强可视化表达的效果。虚拟现实的力触觉交互技术包括力触觉再现技术和虚拟环境的力触觉建模。介绍了这两方面的发展现状、存在的问题和今后的发展趋势。