情感计算——和谐人机交互中的关键因素

情感计算在和谐人机交互中起着关键性作用,在此讨论了情感计算的研究内容、一般模式和方法、意义、应用和未来研究的热点。     

数字化人类情感——和谐人机交互环境中的情感计算

传统的人机交互,主要通过键盘、鼠标、屏幕等方式进行,只追求便利和准确,无法理解和适应人的情绪或心境。而如果缺乏这种情感理解和表达能力,就很难指望计算机具有类似人一样的智能,也很难期望人机交互做到真正的和谐与自然。 由于人类之间的沟通与交流是自然而富有感情的,因此,在人机交互的过程中,人们也很自然地期望计算机具有情感能力。情感计算(Affective Computting)就是要赋予计算机类似于人一样的观察,理解和生成各种情感特征的能力,最终使计算机像人一样能进行自然、亲切和生动的交互。     

情感可以计算——情感计算综述

情感计算是自然和谐人机交互技术的一个重要组成部分.本文综述了情感计算的背景、研究基础和核心技术,并对未来的发展进行了展望.     

人机交互中的个性化情感模型

人与机器人的交互过程中,情感因素的引入能够使人机交流更加自然和谐.因此,完整的人工情感模型的建立是首要解决的问题.基于情感能量理论基础,首先,提出了心境自发转移和刺激转移模型.其次,结合情绪自发转移的马尔可夫链模型和刺激转移的HMM模型,将心境和情绪的自发和刺激转移过程统一在一个框架下.最后,将完整的人工情感模型软件化并应用于儿童玩伴机器人上,在接受非结构化环境与用户的信息输入后,个性化的情感软件模块产生输出,实现针对儿童用户的玩伴机器人个性化交互,通过应用验证了该模型的有效性.     

智能虚拟环境中主体的情感计算研究

为了在智能虚拟环境中赋予主体情感能力,提高其逼真度及人机交互的自然性,并且兼顾虚拟环境的实时性要求,以心理学中的基本情绪理论和认知评价理论为依据,模拟推理规则为基础,提出了一种情绪产生器模型。该模型首先根据模糊IF-THEN规则制定情绪激发条件规则,进而推理得出“情绪因子”;然后建立了一个受情绪因子、个性及前一时刻的情绪状态制约的非线性函数,用来生成当前情绪及计算情绪强度。仿真结果表明,模型较符合人类的基本情绪状态的产生、迁移及衰减规律,在一定程度上体现了人类情绪的模糊性和非线性,而且易于机器实现。     

虚拟智能体情感研究综述

分别从合成情感模型、个性模型以及合成情感具体行为表现等方面,介绍并分析了各类模型和方法的基本思想和关键技术;进而给出了若干具有代表性的虚拟智能体情感应用系统,并对如何将上述情感技术应用于虚拟智能体进行了总结;最后提出了未来虚拟智能体情感研究需解决的若干问题.     

面向网络计算的移动智能体研究与实现

本文围绕移动智能体的以下五个问题进行了探讨 :( 1 )什么是移动智能体与移动智能体系统 ?文中分析了移动智能体的本质特性 ,通过形式化方法认识了移动智能体的核心属性与行为模型 ,给出了移动智能体的计算模型与生命周期模型 ,澄清了移动智能体系统的基本组成。( 2 )为什么要引入移动智能体 ?本文对移动智能体的效用作了深入地探讨 ,认为移动智能体并非一个全新的、替代性的计算模式 ,而是对当前网络计算模式的一个有益补充与归纳。其优势在于提供了一个网络时代的通用计算框架 ,使得基于信息的分布式系统可以简单地、有效地建模与实现 ,智…     

基于人工智能和元宇宙的人机交互学习智能代理

文章提出一种基于人工智能和元宇宙的人机交互学习智能代理,将佛教经典卷宗——《心经》中的模糊本体论应用于人工智能(artificial intelligence, AI)中,使得中小学生在AI-FML元宇宙中学习英语和模糊标记语言(fuzzy markup language, FML);计算智能是人工智能的一个重要分支,它包括模糊逻辑、神经网络和进化计算;基于强化学习、智能代理、本体和AI-FML人机交互学习技术,提出了一种基于模糊本体的智能代理,供学生在AI-FML元宇宙平台上体验计算智能应用,学习模糊逻辑、神经网络和进化计算的基本概念;将模糊本体和AI-FML的核心技术与《心经》相结合,在AI-FML元宇宙中构建具有计算智能、感知智能和认知智能的智能代理;此外,还运用人类对《心经》的语义理解,将AI-FML元宇宙平台的概念解释给中小学生学习和体验计算智能;智能代理与学习环境和AI-FML元宇宙进行交互,可以帮助教师评估学生们在每个课时学习英语或计算智能应用的表现,并以热力图的形式来反映;通过评估AI-FML元宇宙在上海4所国际中小学的实施情况,观察到智能代理能够有效工作,学生的学习成...     

情感计算与工程理性*

通过对情感与理性的相容性分析以及情感在集成、适应、动力和交互等方面的功能研究,指出情感是人类解决现实复杂问题的有效机制。在情感功能与工程需求的适配性分析的基础上指出,围绕情感所展开的情感计算在复杂工程问题的求解上潜力巨大,具备有效性和一定的必要性。提出了情感计算在工程领域研究的本源性、相关性和可操作性策略,指出情感计算的工程实现需要对研究的切入点、情感发生机制、情感效应机制、平台选择等关键环节予以关注,并给出了相关建议。     

基于BBN情感模型的和谐人机交互研究

提出了一种将个性、情感、情绪分层表示的思想,并且利用贝叶斯网络进行情感建模,通过虚拟人脸的面部表情来反映情绪的变化,旨在赋予机器类人的情感,达到更加真实和谐的人机交互。最后将此情感模型应用于情感虚拟人交互系统,实验证明,该模型简单、稳定,且易于实现。     

基于人机互动系统情感分析计算研究

由于人的情感包含大量的信息,特别是面部的表情与手势图像中存在大量干扰信息,造成了情感计算正确率下降,为此提出了一种从用户的面部表情与手势中系统地分析情感线索的方法。对面部表情与手势进行分析是感情丰富的人机交互系统的基本组成部分,采用非语言线索算法来判断用户的感情状态。从图像序列中提取与表情相关的特征,通过智能法则系统分析用户的情感状态,得到的感情信息最终与用户的真实反映相适应。最后采用基于主体接口技术来处理如沮丧或愤怒等特定的情绪状态。实验结果表明,提出的方法能够准确地分析计算出用户的情感信息。     

多模态人机交互综述

多模态人机交互旨在利用语音、图像、文本、眼动和触觉等多模态信息进行人与计算机之间的信息交换。在生理心理评估、办公教育、军事仿真和医疗康复等领域具有十分广阔的应用前景。本文系统地综述了多模态人机交互的发展现状和新兴方向,深入梳理了大数据可视化交互、基于声场感知的交互、混合现实实物交互、可穿戴交互和人机对话交互的研究进展以及国内外研究进展比较。本文认为拓展新的交互方式、设计高效的各模态交互组合、构建小型化交互设备、跨设备分布式交互、提升开放环境下交互算法的鲁棒性等是多模态人机交互的未来研究趋势。     

情感计算与理解研究发展概述

情感在感知、决策、逻辑推理和社交等一系列智能活动中起到核心作用,是实现人机交互和机器智能的重要元素。近年来,随着多媒体数据爆发式增长及人工智能的快速发展,情感计算与理解引发了广泛关注。情感计算与理解旨在赋予计算机系统识别、理解、表达和适应人的情感的能力来建立和谐人机环境,并使计算机具有更高、更全面的智能。根据输入信号的不同,情感计算与理解包含不同的研究方向。本文全面回顾了多模态情感识别、孤独症情感识别、情感图像内容分析以及面部表情识别等不同情感计算与理解方向在过去几十年的研究进展并对未来的发展趋势进行展望。对于每个研究方向,首先介绍了研究背景、问题定义和研究意义;其次从不同角度分别介绍了国际和国内研究现状,包括情感数据标注、特征提取、学习算法、部分代表性方法的性能比较和分析以及代表性研究团队等;然后对国内外研究进行了系统比较,分析了国内研究的优势和不足;最后讨论了目前研究存在的问题及未来的发展趋势与展望,例如考虑个体情感表达差异问题和用户隐私问题等。     

面向情绪调节的多模态人机交互技术

目的 现代社会存在心理问题的人日趋增多,及时调节其负面情绪对社会和谐稳定具有重要现实意义。传统的情绪调节方法需要花费大量人力,为此提出一种面向情绪调节的多模态人机交互方法,识别用户情绪,采用文本对话和体感交互实现对用户情绪的调节。方法 综合运用了表情识别、文本对话和手势来实现对用户情绪的识别,构建了具有情绪表现力的智能体。用户的表情识别采用支持向量机方法,文本对话采用基于规则和融入情绪因素的Seq2Seq模型实现。设计了聊天、过生日和互动游戏（打篮球）等交互剧情,采用手势和肢体动作来辅助交互。为了更好地体现情绪调节的作用,在互动游戏中设计了强化学习算法,可根据用户的情绪反馈来自动调整游戏难度,最终让用户情绪调整到积极状态。结果 通过实验发现,采用单模态交互很难感知到用户的背景信息,因此对用户的情绪识别可能出现误判。而采用多模态的人机交互方式,可以通过文本对话了解用户的背景信息,从而对用户情绪的识别更为合理。在多模态的人机交互剧情中,用户能以更自然的方式实现情景互动,智能体在多模态交互中更能发挥情绪调节作用。结论 本文提出一种基于多模态人机交互的情绪调节方法,该方法不需要昂贵的硬件设备,便于推广普及,为消极情绪的调节提供了一种可计算方案。     

基于OCC的Agent情感模型研究

Agent不仅要具有逻辑推理能力,还应当具有类似人类的情感能力。通过对情感理论的分析,提出了一个基于OCC的Agent情感模型,使Agent能够模拟像人类一样的认知能力和情感能力,从而行为决策更加智能。通过模型在虚拟环境角色中的应用结果,验证了此模型的合理性。     

一种大屏幕人机交互系统的实现方法

针对利用双目立体视觉技术实现大屏幕人机交互系统时摄像头标定复杂的问题, 提出一种大屏幕人机交互系统的实现方法。由两个摄像头负责采集用户手部的图像,获取指尖的二维图像位置坐标,通过透视投影模型,由测量所得的两个摄像头之间的距离、大屏幕左边与摄像头之间的距离、摄像头离地面的高度、大屏幕底边离地面的高度等数据,求出地面上与指尖成像在同一位置的地面坐标,由摄像头的位置及地面坐标求出一条直线,两条直线相交获取指尖空间坐标,由指尖空间坐标选取与屏幕对应的二维平面坐标,经物理坐标到逻辑坐标转换求出手指指向屏幕的实际坐标,实现大屏幕的定位。定位完成后,采用指尖检测方法检测视频图像中指尖是否存在,以此判断食指弯曲和伸开的点击操作。指尖空间坐标的计算方法虽然存在误差,但由于用户在操作过程中能够实时看到鼠标的位置,因此该误差对用户是透明的,而这种方法以简单的、近似的求解避免了复杂的摄像头标定过程,便于系统工程的实施。     

飞行模拟系统人机交互设计

针对增强飞行模拟训练的沉浸感,提高飞行模拟训练的效率和效果的目的,以真实飞行训练为基础,利用UI分类和设计方法,对飞行训练关键交互操作以及核心人机交互UI进行研究并加以整合,运用虚拟仿真技术,着力解决飞行模拟训练中人机交互体验沉浸感低,人性化设计不足,交互方式单一,训练效率和效果不佳等问题。提出将飞行模拟训练系统人机交互UI分为沙盒人机交互UI模块,平显、仪表人机交互UI模块,头戴式显示器人机交互UI模块,样机驾驶舱人机交互环境模块四个部分,完成了四个模块的设计,并基于Unigine引擎实现了四个模块。有效提升了飞行模拟训练的效率和训练效果。     

A survey on mobile affective computing

The spontaneous recognition of emotional states and personality traits of individuals has been puzzling researchers for years whereas pertinent studies demonstrating the progress in the field, despite their diversity, are still encouraging. This work surveys the most well-known research studies and the state-of-the-art on affect recognition domain based on smartphone acquired data, namely smartphone embedded sensors and smartphone usage. Inevitably, supplementary modalities employed in many eminent studies are also reported here for the sake of completeness. Nevertheless, the intention of the survey is threefold; firstly to document all the to-date relevant literature on affect recognition through smartphone modalities, secondly to argue for the full potential of smartphone use in the inference of affect, and thirdly to demonstrate the current research trends towards mobile affective computing.     

基于虚拟手的人机交互关键技术

基于虚拟手的人机交互技术是虚拟现实中的研究热点。对其中的关键技术进行了研究,采用多边形网格建模方法,建立了虚拟手的逼真几何模型;基于Virtools平台开发了数据手套的数据采集模块,提出使用基于初始值的数据转换方法,解决了开始运动时的跳变问题,同时对手指的外展运动,使用约束值方法进行处理,提高了虚拟手与真实人手匹配一致性;最后,针对虚拟手与虚拟物体的操作交互,提出了一种基于有效阈值角度的抓取算法。通过Virtools平台进行验证,实验结果表明:虚拟手模型逼真度高,手型变化自然;同时实现了虚拟手对虚拟物体的操作交互,具有很强的实用性。