桌面环境下的笔式三维交互框架

笔输入和三维交互结合是研究三维交互范型的一种新方法。提出一个桌面虚拟环境下的笔式三维交互框架,包含交互原语和交互任务构造两个核心组件。首先采用词法到语法的二级封装机制来生成高级事件和交互原语,然后综合交互上下文、用户修正和手势识别实现基本交互任务到复杂交互任务的整合机制。框架中内嵌的手势交互、约束感知和混合交互技术能有效降低任务分解和模式切换带来的认知负担,提高交互自然性。     

触控、笔和空间手势的混合输入

针对单通道输入条件下输入能力受限的问题,以触控、笔和空间手势为输入通道,提出混合输入技术,允许用户通过双手配合的方式完成操作任务.首先分析了触控、笔和空间手势的性能特点;然后结合不同复杂程度的实际操作环境,提出以笔输入为主的10种双通道和三通道混合输入技术.性能对比的实证研究结果表明,相比于单通道笔式输入,双通道并行输入情况下触控+笔的综合性能最优,双通道二维空间划分下,触控点击+笔的性能最优;包含空间手势的混合输入技术错误率最低,但定性评估结果却最不理想.相关结论对基于触控、笔和空间手势的混合交互和界面设计具有参考意义.     

笔式交互和触摸交互的融合策略

针对笔输入能力弱和触摸输入精度低的问题,提出笔式交互与触摸交互的融合策略,并设计了笔+触摸输入技术.首先定性考察笔输入和触摸输入的特性和优劣势,提出2种笔+触摸输入的融合策略;其次基于融合策略设计3种笔+触摸输入技术以及用于参照对比的单笔和单触摸输入技术;再通过3个实验比较这些输入技术的性能.实验结果表明,与单笔或单触摸相比,在颜色改变的直线轨迹任务中,笔+单指触摸、笔+多指触摸和笔+触摸手势的性能分别提升至少90.909%,80.165%和148.209%;在颜色和粗细均改变的圆形轨迹任务中,笔+触摸和笔+手势的任务完成时间比单笔分别减少16.552%和19.705%,而错误率不存在显著差异;在颜色和粗细均改变的绘画任务中,笔+单指触摸、笔+多指触摸和笔+触摸手势的综合指标分别为5.933, 3.333和4.700.最后给出面向笔+触摸输入的交互设计建议、应用场景和改进思路,对笔和触摸的混合输入与界面设计具有指导意义.     

连续交互空间下的混合手势交互模型

分析了触控交互技术在移动手持设备及可穿戴设备应用的应用现状及存在的问题;基于交互动作的时间连续性及空间连续性,提出了将触控交互动作的接触面轨迹与空间轨迹相结合,同时具有空中手势及触控手势的特性及优点的混合手势输入方法;基于连续交互空间的概念,将混合交互手势,空中手势、表面触控手势进行统一,建立了包括空中层、表面层、混合层的连续交互空间分层处理模型;给出了统一的信息数据定义及数转换流程;构建了通用性的手势识别框架,并对轨迹切分方法及手势分类识别方法进行了阐述.最后设计了应用实例,通过实验,对混合交互手势的可用性及连续空间分层处理模型的可行性进行了验证.实验表明,混合手势输入方式同时兼具了表面触控输入及空中手势输入的优点,在兼顾识别效率的同时,具有较好的空间自由度.     

ICOMDT:一个面向动态任务的交互计算模型

近年来,包含动态任务的交互式系统得到了广泛的应用.基于现有对用户与动态任务交互的研究,提出一个面向动态任务的定量化可计算的交互模型ICOM^DT,用于解释用户与动态任务的交互行为,并实现用户意图预测.更具体地,将ICOM^DT应用于运动目标选择任务,设计了两个实验以验证模型的有效性.实验1收集用户数据对模型进行拟合并预测用户选择的错误率,实验结果表明,能够很好地拟合且预测值也与真实值接近;实验2将模型对用户意图的理解拓展为一种辅助运动目标选择技术ICOMPointer,通过在具体的游戏场景中与Windows原本的选择技术及两种现有的增强目标选择技术对比,发现使用ICOMPointer选中目标的平均完成时间更短,完成速度更快.ICOM^DT模型的提出对计算机理解用户意图,提高用户与动态任务的交互效率有着重要意义.     

基于混合输入的场景设计工具

笔式用户界面作为Post-WIMP界面中的一种，以触控技术为依托，摒弃了物理键盘和鼠标，在一定程度上改变了人机交互的方式.草图绘制和识别软件不断涌现，但是却一直没有成熟的笔式界面设计开发工具.基于PGIS交互范式，利用场景设计方法，开发了基于笔式交互原语的图形和草图混合输入的场景设计工具SDT.首先，基于软件工程领域的高内聚低耦合原则提出了"分离-融合"设计方法，并据此提出了系统的总体架构；其次，从界面形式化描述、笔式交互原语和单字符、混合输入这3个方面介绍了关键技术；再次，通过一个完整示例对该工具进行了更具体的展示，同时佐证了该系统的可用性和可行性；最后，通过两个评估实验，验证了该工具的先进性和有效性.     

面向协作交互任务的资源模型

提出一种面向协作交互任务的资源模型.首先分析了现有协作任务分析方法和资源模型;然后在总结典型协作交互任务的基础上,提出了基于分布式认知的协作资源模型,描述了模型的组成结构和交互策略;最后给出了模型的使用模式和一个基于此模型的笔式协作概念图实例.分析表明,该模型能有效地支持协作交互,建立符合认知特点的协作用户界面.     

融合交互意图的图神经网络协同过滤算法

传统的协同过滤方法很大程度上以一种统一的方式进行建模,未从交互意图的细粒度上考虑建模关系。为此提出一种融合交互意图的图神经网络协同过滤算法（INTNGCF）。首先,通过将边分解成多个潜在空间来识别潜在意图;其次,利用交互意图融合层确定这些潜在意图的重要性;最后,生成用户对项目的预测评分。在三个真实数据集上与七种基线模型进行对比实验,结果表明,提出的算法与其他先进的推荐模型相比具有一定的性能优势。     

基于人工智能技术的新媒体交互艺术表达设计

由于新媒体交互元素提取速度低,灵活性差,新媒体交互艺术表达效果降低,对此,基于人工智能技术提出一种新的新媒体交互艺术表达方法,通过分析新媒体交互艺术主要的表达场景,即用户信息传达场景、新媒体交互艺术推送场景、交互艺术推广场景和个人服务场景,为交互表达提供场景应用基础,计算空间复杂度、空间复杂度和资源复杂度,根据复杂度计算结果,从视觉元素、多媒体元素、人机交互元素三个方面进行交互设计,在实现交互后整合拓扑结构,在新媒体网络拓扑结构显示与控制上实现多媒体元素交互艺术的表达.实验结果表明,基于人工智能技术的新媒体交互艺术表达方法交互元素提取速度提高了30％,灵活性更强.     

多主体团队交互协议

团队是动态不可预测性环境下协作问题求解的有效方式,联合意图是团队联合求解的关键.因此,主体在团队活动中如何采用言语动作形成、维护、解除联合意图,是一个值得研究的重要问题.旨在设计一种基于主体通信语言FIPA(foundation forintelligent physical Agent)ACL(Agent communication language)的多主体团队交互协议.首先,分析了现有FIPA ACL支持团队联合求解的充分性问题.在概念上明确区分了联合请求与委托请求,指出委托请求言语动作不能充分支持团队协作.并扩展定义了联合请求,讨论了相关定理.然后,基于联合请求动作,提出一种主体团队交互协议,并给出了协议的形式化语义,最后讨论了协议的实际应用.区别于现有的基本动作请求协议、合同网协议以及拍卖协议,团队交互协议描述了另一类主体交互模式,对主体交互模块的设计具有指导意义.     

交互复杂度--面向网络计算的复杂度指标

随着网络计算的盛行,计算问题的解决越来越倾向于通过分布在网络上的服务的交互来完成,研究问题在交互意义上的复杂度显得日益重要．提出了以交互为基本要素的通用计算模型——交互积,在此基础上提出了算法的交互复杂度指标,并初步探索了交互复杂度和时间复杂度之间的关系．利用3-GIP的通用性,可以降低网格系统的成本和提高好用性,而交互复杂度可以作为网格上问题解决方案的评价指标,从而可以指导网格应用的开发．     

三维交互任务的描述和结构设计

主要讨论了三维交互中交互任务的归纳描述和结构设计问题.首先归纳出三维交互中的基本交互任务和普遍交互任务,对二者之间的联系进行了描述,提出了一个三维交互任务的产生框架,最终建立起三维交互中通用的核心模块.三维交互核心模块描述了三维交互中通用的底层结构,模块中定义了三维交互中通用的一系列交互原语和交互任务,实现了原语的产生和任务的整合工作.在开发三维用户界面构造系统(3D UI toolkit或3D UIMS)或具体的三维/虚拟现实应用时,可以直接用它来建立系统的底层交互结构,而程序员将只关注于交互风格的建立等高层工作.     

软件系统中业务特征冲突的分析

随着软件技术的发展,越来越多的软件系统出现了业务特征冲突问题,如何在新的环境下解决该问题成为人们研究的重点。该文通过对软件本身的分析,给出了软件系统中业务特征冲突产生的核心原因,并基于此核心原因,对软件系统的业务特征冲突进行了分类,提出了一种新的分类方法。由于该方法并不针对某个具体的软件系统,而是从软件的角度进行分析,因此具有较好的普遍性,基于此方法的冲突检测和冲突解决也具有广泛的适用性。     

桌面虚拟现实环境下的双手交互技术

面向桌面虚拟环境,在分析通用交互设备特点的基础上,提出了具有广泛适用性的双手交互的设备组合;根据虚拟现实通用交互任务的需求,结合设备特点,提出了为左、右手设备分配不同的子任务的策略;组合不同的单手交互技术,提出了包括基于辅助平面的双手交互等3个适用于典型桌面设备组合的双手交互技术;开发了双手交互技术工具箱,并进行了应用验证.     

人机交互的进展及面临的挑战

叙述了人机交互的最近进展，尤其是我国的一些优秀成果，包括多通道交互、交互模型、虚拟现实和三维交互、可穿戴计算和移动计算、智能空间、标准化；并论述了无所不在计算等对人机交互提出的挑战．最后发表了若干看法。     

Post-WIMP环境下笔式交互范式的研究

提出了一种在Post-WIMP环境下的笔式交互范式：PIBG．PIBG范式采用纸笔隐喻，与WIMP范式相比，承载应用信息的交互组件由Window变为Paper和Frame，用户的交互动作由鼠标的点击变为笔的手势．对PIBG范式中静态的界面形式和动态的交互手势进行了研究和设计．结合认知心理学，从信息呈现和交互方式两个方面对该范式的特点进行了阐述．利用GOMS模型，从界面呈现方式、手势的效率、用户满意度三个方面对该范式进行了心理学评估．从评估结果可以看出，PIBG范式通过模拟日常纸笔环境，利用用户原有的知识，可以明显地减轻认知负担，提高操作效率．     

交互设计背景下的书籍设计

现代设计的趋势是以人为本,关注人的感受和情感。交互的概念和交互设计学科就是在这样的背景下产生的。它利用多种手段、媒介实现了人和产品之间的交流和互动,其理念和技术也渗入到相关的多个学科。作为传统的书籍需要交互吗?需要交互体验吗?回答是肯定的。书籍的基本功能是阅读,书籍设计最终目的是沟通和交流。现代的书籍设计更加注重人作为阅读者的感受和体验,充分调动人的五感,在触觉、视觉、味觉、嗅觉、听觉上,运用多种材料和手段,做到与人更好地互动和交流。     

一个基于“恶意对抗”的公平交互机制的研究

由于多代理交互环境中检测机制、仲裁机制的有限性,合法代理将注定要遭受损失。针对上述现象,该文提出了一个恶意对抗机制（Malice-Antagonized Interaction Mechanism,MAIM),即在该机制下,交互代理双方都允许表现出恶意行为,以期实现交互的公平性,为了分析MAIM机制的可行性,文中应用游戏理论对MAIM在几种典型的游戏中实现交互公平性的情况进行了分析和证明。最终得出结论：在完善信息的纯策略游戏中,MAIM无法实现交互的公平性,而在完美信息的混合策略游戏、不完美信息的顺序游戏和同时决策游戏中,能实现交互的公平性。从而从理论上证明了恶意对抗机制的可行性。