基于多重触控的多通道视觉界面信息传达仿真

多通道视觉界面信息操作手势多样化,为满足不同用户需求,提出一种基于多重触控的多通道视觉界面信息传达方法.使用神经网络对原子手势建模,引入逻辑、时序和空间关系描述符分析组合手势架构,运用BP网络分类器检测原子手势,触发组合手势模型转移,实现多重触控手势识别;定义交互界面与程序主体功能不同路径,划分交互设备与信息处理过程,实现多通道信息整合与交互控制;最后将初始数据材料变换成信息模式,变量删除网络界面,把所有删除变量安置在删除树内组建连接树,将观测变量似然函数进行势更新,完成视觉界面信息传达全部过程.仿真结果表明,人机交互自然性有效提高,可为用户提供更加多元化网络服务.     

基于视觉的手势界面关键技术研究

针对视觉手势界面存在的问题,提出了一套行之有效的解决方案.首先,为了解决视觉手势交互中的MidasTouch问题,以人类注意的信息加工模型为理论依据提出了一个可扩展的视觉手势交互模型,该模型将手势交互过程分为选择性处理、分配性处理和集中处理3个不同阶段;然后,基于该模型提出了一个视觉手势识别框架,并结合认知心理学从手势检测、跟踪和识别3个方面对该框架的各个组成模块的关键技术进行了阐述,其中手势检测模块和识别管理模块能够辅助系统在复杂的背景中滤除掉不相关信息而选择性地搜索人手并根据上下文信息对手势识别任务重定向,从而避免了系统时刻都处于激活状态并对所有的手势动作都进行识别分析,有效解决了Midas Touch问题.文中介绍了使用该方法实现的IEToolkit手势界面工具平台,并基于一个视觉手势交互系统进行了实验测试与评估,结果验证了文中方法的可用性.     

UIDT:一种基于摄像头的用户界面模型

为了弥补WIMP界面模型对视觉交互描述的不足,提出一种基于视觉交互的用户界面模型．首先在分析和总结视觉交互过程的基础上,以活动理论为基础,提出一种以用户为中心、面向任务和基于事件驱动的用户界面模型;然后描述了该模型的组成结构及其相互关系;最后给出了一个基于此模型的视频手势交互系统实例．实验结果表明,该模型能够有效地支持视觉交互设计,使用户界面满足可用性要求．     

移动环境下神经功能评价多通道交互模型

随着平板电脑、智能手机、智能手表等智能移动设备的普及,利用便携的智能移动设备随时随地进行健康评价受到了国内外学者的广泛关注.人机交互特有的多通道、交互式、人机协同的计算能够有效地提高移动环境下神经功能评价的准确度.然而,目前很少有研究对人机交互在这一应用场景上发挥的作用进行过充分讨论,更没有形成统一的多通道交互模型.为此,首先分析了目前移动设备上主流的神经功能评价方法,归纳总结出了一套适用该应用场景的交互原语和交互任务.然后,在此基础上提出了移动环境下神经功能评价多通道人机交互模型——MINA（multimodal human-computer interaction model for nerve function assessment in mobile environment),并对该模型的移动医学评价和多通道融合特点进行了分析.最后,依据此模型给出神经系统疾病检测的应用实例.实践证明,MINA能够较好地指导交互式神经功能评价应用的设计和开发,多通道融合的方式能够有效地提高医学评价的准确度.     

手术仿真中基于导纳控制的力触觉形变模型

为了在虚拟手术仿真中获得快速、准确的力触觉形变效果,提出一种基于导纳控制的力触觉形变模型.基于该模型,采用PHANTOM OMNI力触觉交互设备,以3DS MAX 2013,Microsoft Visual C++2012,Open GL函数库为基础搭建了实时柔性体力触觉再现系统,实现了虚拟双手对心脏双点的拉拽交互操作.感知实验和交互效率的结果表明,所提出的模型简单有效,形变效果逼真、视觉反馈流畅、力触觉反馈平稳,操作者对虚拟环境的感知和交互准确可靠,能够满足虚拟手术仿真系统的要求.     

触觉再现技术研究进展

针对触觉再现技术面临的数据获取难、设备真实感低、应用数量少等问题,在触觉感知机理和触觉再现范式基础上,分析了现有触觉信号采集、建模、渲染等关键环节的方法和特点,归纳了典型触觉再现设备的种类和实现原理,讨论了触觉再现技术的主要应用领域.根据触觉再现技术的研究现状,提出了构建触觉感知模型、提高触觉数据特征提取与模型处理精度、开发低功耗低成本的普适性触觉系统与多通道融合的交互应用的未来发展方向.     

实时多组织虚拟手术的反馈力模拟

为了在虚拟下颌整形手术系统中提供实时和真实的触觉交互,分别构建了基于虚拟中介平面的推操作触觉模型、基于粘附力的拉操作触觉模型和基于非线性粘弹性的针刺触觉模型,以模拟皮肤拉钩、整形镊和针的典型手术操作;同时通过相邻组织间的动态触觉约束建立了多组织联合形变模型,以避免表面弹簧-质点模型形变过程中可能出现的表面间相互穿透的异常现象;并进一步将触觉交互模型和多组织形变模型集成于虚拟下颌手术系统,从而为医生提供一个手术训练的虚拟平台.触觉感知和交互效率的实验结果表明,通过触觉交互识别皮肤、肌肉和骨骼能够获得较高的识别正确率,并能提供实时的触觉和视觉交互体验.     

基于分布式认知理论的扩展资源模型

分布式认知理论通过协调人机对话,结合人和计算机各自的优势解决问题,在人机交互研究中扮演了指导者的角色.尽管分布式认知理论支持的资源模型在分析人机交互时取得了成功,但模型存在不能提供复杂用户任务支持、缺乏对模型中元素的准确定义等问题,在一定程度上导致了表现形式上的混乱.使用分布式认知理论构造了扩展资源模型,建立人机交互活动中的动作和表征之间的联系,从而指导界面的设计和实现.扩展资源模型从静态结构和交互策略两个方面对界面交互动作提供支持,在交互中减少人的认知负担.该研究对设计符合人的认知特点的界面具有一定的指导作用.     

虚拟城市规划中的多通道整合

将多通道交互用于虚拟环境,研究自然和谐的交互方式已经成为虚拟现实的一个重要研究方向.文中以城市规划为应用背景,融合跟踪器、语音和笔输入,提出概率合一的任务制导多通道整合,并辅以上下文语义;以此为基础,有针对性地设计了多通道交互技术,并依据多通道交互的特性分别进行阐述,实现了自然、高效的多通道虚拟城市规划.     

面向多用户交互桌面的界面管理系统

针对多用户交互桌面的界面管理问题,通过需求分析、界面建模、原型实现与用户研究四个阶段的研究,提出了一个完整的界面管理方案.首先基于对交互式桌面水平显示、直接输入以及多用户使用三个特性的分析,提出了桌面界面管理中输入管理、布局管理、权限管理和冲突管理四个方面的新需求,这些显著区别于台式计算机上的界面管理.在此基础上,设计了层次式的桌面交互界面模型,它自底向上由处理多用户输入的输入管理层、控制交互界面的对象管理层、以及基于树状结构组织的图形对象层组成.进而,实现了多用户桌面的交互界面管理系统uTablePlatform,并开展了实际的用户研究.4 组测试者在uTablePlatform 上分别完成了一次旅行规划的任务,观察和问卷结果表明本文设计并实现的界面管理系统可以有效的帮助用户完成桌面交互任务.     

虚拟体空间中的触觉雕刻

目前，在虚拟环境中大多数的信息获取是通过视觉、听觉等非接触感觉获得的。然而缺乏触觉反馈的信息减少了很大一部分的信息源。在看和听之外，能够触摸、感觉和操纵物体，在很大程度上提高了虚拟环境的真实性。该文研究了触觉绘制的基本模型，提出了采用虚平面作为中介实现体数据的实时触觉绘制。并在此基础上探讨了体的局部变形及结合触觉反馈模型，实现了具有触觉反馈的虚拟雕刻交互系统。该系统可应用于融化、燃烧、印记、构造和着色实时交互操作。     

以交互为中心的Post-WIMP界面模型

随着硬件设备和软件技术的发展,国内外开展了大量基于Post-WIMP界面的新型交互技术的研究.面对多种交互设备以及使用环境,在界面设计的过程中,根据上下文选择适当的交互组件或技术,并有效地进行组合与评估,成为构造Post-WIMP界面的关键问题.将界面设计与应用语义分离,使设计者能够灵活地置换各种交互技术.通过对Post-WIMP界面交互过程与界面设计层次的分析,建立起以交互为中心的分层Post-WIMP界面模型,将交互的各个层次进行分离.在模型的基础上,描述一个了Post-WIMP界面生成工具.借助该工具,设计者能够在设计过程中方便地引入新的交互技术,并能在最终的软件系统中加以灵活应用,从而可以快速、有效地进行界面原型实现和迭代评估.应用实例表明,Post-WIMP模型的建立以及生成工具的实现,有利于设计者确定设计方案及对方案的整体评估.     

基于用户认知能力的自助服务终端界面交互设计方法

大众用户认知能力的多样性问题一直是自助服务终端界面交互设计领域的一大挑战。基于分布式认知理论对自助服务终端界面交互活动进行分析和建模, 确定人机交互过程中交互活动和信息呈现之间的关系, 并在此基础上提出基于用户认知能力的自助服务终端界面交互设计方法。采用这种方法, 设计人员首先要进行用户调研, 识别出需要照顾的用户群体, 然后进行认知能力分析, 建立用户认知负荷模型, 接下来描述用户的交互行为, 确定基本的交互框架, 再运用通用可用性设计方法建立交互设计矩阵, 提出交互设计方案。以酒店自助服务终端为实例, 采用该方法制定设计方案, 通过与传统方法形成的设计方案进行对比, 验证所提设计方法的有效性。这种交互设计方法能够帮助设计人员开发易于大众用户理解和使用的自助服务终端界面, 降低用户的认知负荷, 更好地满足自助服务终端用户的认知多样性需求。     

用户认知驱动的VR自然交互认知负荷研究

针对目前虚拟现实自然交互系统中用户认知负荷难以量化问题,以量化认知负荷为目的,提出一种基于概率神经网络的多通道信息融合模型。首先根据认知理论建立“认知—行为—环境”框架,并在此基础上研究用户认知的数学表征（方法,过程,机理）,构建多通道认知模型;然后将多通道信息融合方法引入虚拟现实自然交互系统,建立一种面向虚拟现实自然交互系统的认知负荷模型;通过VR隧道应急救援系统实验对系统中用户认知进行验证。验证结果表明,具体提出的认知负荷模型具有一定的可行性。     

基于MAS的智能交互界面研究及应用

自适应人机交互界面的设计是应用系统能否成功实施与使用的关键,基于此提出了将多Agent系统引入用户界面设计中.分析了交互Agent模型的性质、作用和结构,讨论了几种典型界面模型的特点.实现了一种通过广义状态转移网络学习、进化、预测用户行为并能自主动作的自适应界面Agent模型,并结合应用实例说明了其工作机制.     

普适计算中多通道交互建模研究

计算机处理速度和性能的迅猛提高并没有相应提高用户使用计算机交互的能力,其中一个重要原因就是缺少一个与之相适应的高效、自然的人机交互界面.普适计算的发展为人们提供了一个无处不在的获取服务的环境,而多通道用户界面允许用户使用自然的交互方式,如语音、手势、表情等在此环境中与系统进行协同工作,改变了传统交互手段的局限性.重点讨论了基于笔和语音的多通道交互,给出了普适环境中对多通道交互建模的框架,进一步研究了在图形信息应用中的多通道交互实例,论证了创建自然多通道交互方式的优势.     

视触觉融合的增强现实三维注册方法

增强现实技术是近年来人机交互领域的研究热点。在增强现实环境下加入触觉感知,可使用户在真实场景中看到并感知到虚拟对象。为了实现增强现实环境下与虚拟对象之间更加自然的交互,提出一种视触觉融合的三维注册方法。基于图像视觉技术获得三维注册矩阵;借助空间转换关系求解出触觉空间与图像空间的转换关系;结合两者与摄像头空间的关系实现视触觉融合的增强现实交互场景。为验证该方法的有效性,设计了一个基于视触觉增强现实的组装机器人项目。用户可触摸并移动真实环境中的机器人零件,还能在触摸时感受到反馈力,使交互更具真实感。     

基于ACT-R模型的互联网交互模式库设计

论文以用户行为中心的交互设计理念,提出了基于AC T-R认知模型的新型交互模式库的组织方法,并给出相应的界面评估方法和界面效率。设计者可根据设计需求和关注点发掘交互模式,并参考模式对应的认知原则以及界面效率,对交互方案进行选择和优化。     

Post-WIMP界面隐式交互特征研究

首先从认知心理学的角度对Post-WIMP界面下的隐式交互特征进行分析和描述。然后通过对传统界面的交互任务生成结构和Post-WIMP界面的交互任务生成结构进行比较,分析Post-WIMP界面交互任务的生成特点。根据这些特点提出了利用识别技术、上下文感知技术和用户修正技术(User Mediation)相结合的方法来支持Post-WIMP界面的隐式交互,并构造了Post-WIMP界面的交互任务生成框架。这些隐式交互特征的研究将为建立Post-WIMP界面软件框架和交互平台提供底层支持。     

面向磁悬浮视触觉交互的多速率系统框架

非接触式磁悬浮视触觉交互克服了机械式交互的固有摩擦,具有广阔应用前景,但存在交互过程中虚拟工具穿透物体、图形渲染与触觉渲染速率不一致等问题。针对上述问题,提出面向磁悬浮视触觉交互的多速率系统框架,通过扩展三自由度（3-DOF）单射线触觉渲染方法,利用多射线对虚拟工具进行建模,避免工具穿透,实现六自由度（6-DOF）触觉渲染;通过多速率并行,实现速率不一致模块间相互协同;通过构建映射滤波算法,实现视觉定位数据到虚拟工具位姿的稳定映射。实验结果表明,该系统能有效避免交互过程中的穿透现象,并提供稳定、真实的视触觉反馈。