共情对话研究进展

人工智能驱动的对话是当前研究热点,有着广泛的应用前景。但目前这类对话系统普遍缺乏情感交互能力,限制了其在心理关爱、抑郁症等精神障碍疾病方面的应用。如何让对话系统充分理解用户情绪并生成带有共情的回复是目前对话系统面临的主要挑战之一。首先介绍了共情对话研究中情感感知和共情对话生成两大挑战,并分别调研归纳了相关研究方法。情感感知任务大致可分为基于规则、基于机器学习和基于深度学习三类方法,共情对话生成大致可分为基于检索和基于动态生成两类方法。接着介绍了共情对话的最新发展动向,并总结了共情对话数据集、通用对话数据集和多模态数据集的特点和链接,归纳了当前共情对话研究中不同的评估方法便于后续研究。最后对共情对话的研究工作进行了总结和展望。     

基于深度学习的对话情绪生成研究综述

情绪生成是人工情感计算研究中的子任务,在对话系统中情绪生成任务旨在生成待回复话语中的情绪类别。对话情绪生成可以推动对话情绪理解和对话表达研究,同时在智能闲聊机器人、情绪安慰、推荐系统和人机情感交互等诸多智能化领域具有重要的理论意义和实际应用价值。得益于深度神经网络在自然语言处理领域的优异表现,基于深度学习的对话系统情绪生成受到越来越多研究人员的关注。总结目前基于深度学习的对话情绪生成相关工作,现阶段利用深度学习的对话系统情绪生成相关研究主要包含三方面内容：情绪感知、情绪预测和情绪决策。简要介绍了一些常用的情绪对话数据集,最后对该任务当前问题进行了归纳概况并展望未来发展趋势。     

基于改进编解码器和情感词典的对话生成模型

针对现有对话模型生成的回复语句缺乏情感共鸣、拟人效果不够理想的问题，提出一种基于改进编解码器和情感词典的对话生成模型。利用AgSeq2Seq模型对语料库进行训练并构建高质量对话生成系统，结合情感词典识别输入语句的情绪特征并计算回复语句的情感值，基于情绪对比机制根据不同的情感特征生成相应的拟人回复。实验结果表明，相对传统的对话生成模型，提出模型可以主动识别用户情绪，生成更加合乎逻辑、适应语境的回复，实现拟人程度更高的情感对话过程。     

情感型对话机器人技术的研究综述

对话机器人技术一直是人机交互领域的研究热点,基于文本或者语音的对话机器人已经广泛应用于生活当中。然而,构建能够与人类进行自然的、流畅的对话的机器人仍然充满挑战。情感作为拟人性的重要方面能够提高人机交互的自然性和流畅性。因此,为了推进对话机器人技术的发展,本文对情感型对话机器人的相关概念、发展历史、情感生成方式、设计思路和评价方式的相关研究展开了系统的梳理。情感型对话机器人主要分为指定类别情感回复和生成式情感回复两种,其中生成式情感回复是未来发展的主要趋势。     

基于深度学习的情感对话响应综述

人机对话作为人工智能的重要领域,以其方便快捷的交互特点广泛应用于任务型和闲聊型机器人等诸多商业场景,并被视为新一代人机交互的主要形式.但情绪感知与表达能力的缺乏致使人机对话技术在复杂交互场景中难以满足人们对情感交流的强烈需求.为弥补人机对话技术中情感智能的缺失,基于深度学习的情感对话响应任务被提出且已发展为对话领域中一个重要的研究方向.本文首先回顾了基于深度学习的情感对话响应任务的发展历程,其次按照任务将情感对话响应分为可控情感对话生成、共情对话响应、情绪支持、多模态情感对话生成、新任务五类.随后本文也按照常用的结构将模型进行了归类与分析,以求更细致地阐述各种结构在情感对话响应任务中的具体用法,之后介绍了常用数据与评测指标.最后本文也对模型进行了总结,并在此基础上进一步展望了该任务未来的发展方向.     

对话情绪识别综述

对话情绪识别是情感计算领域的一个热门研究课题,旨在检测对话过程中每个话语的情感类别。其在对话理解和对话生成方面具有重要的研究意义,同时在社交媒体分析、推荐系统、医疗和人机交互等诸多领域具有广泛的实际应用价值。随着深度学习技术的不断创新和发展,对话情绪识别受到学术界和工业界越来越多的关注,现阶段需要综述性的文章对已有研究成果进行总结,以便更好地开展后续工作。从问题定义、问题切入方式、研究方法、主流数据集等多个角度对该领域的研究成果进行全面梳理,回顾和分析了对话情绪识别任务的发展。对话文本中含有丰富的语义信息,结合视频和音频可以进一步提升建模效果,因此,重点对文本对话情绪识别以及多模态对话情绪识别的方法进行了梳理,立足于当前研究现状,总结了现有对话情绪识别领域存在的开放问题以及未来的发展趋势。     

基于生成对抗网络的情感对话回复生成

近年来,随着神经网络技术和自然语言处理技术的不断深入发展,基于深度神经网络的对话生成研究取得了突破性的进展,使得人机对话系统广泛应用于生活中,提供便利,比如电商客服、语音助手等。然而,现有的模型倾向于产生一般的回答,普遍缺乏情感因素。针对该问题,提出了一种基于生成对抗网络的情感对话内容生成模型——EC-GAN（emotional conversation generative adversarial network）,通过结合多指标奖励与情感编辑约束产生更有意义和可定制的情感回复。对于生成器,使用Seq2Seq模型生成回复,接受判别器的奖励,引导生成句子的回复,提高多样性和情感丰富度;对于判别器,使用双判别器、内容判别器可以确定回复是否属于通用回复,情感判别器判别生成语句的情感与指定的情感类别的一致性,并将判别结果反馈到生成器,指导回复生成。注意观察输入与回复之间的情感变化,验证交互情感的共鸣度存在的方向性。在NLPCC 2017 Shared Task 4——emotional conversation generation的实验表明,模型不仅可以提高回复的流畅性和多样性,同时也显著提高了情感丰富度。     

知识感知的多类型对话推荐

智能推荐型对话系统通过丰富的交互方式与用户进行交流,首先收集用户兴趣和偏好,然后主动地向用户推荐其感兴趣的内容。因此,该类系统通常涵盖多种对话类型,如问答、闲聊、推荐等。目前的研究采用流水线模型,存在误差累积的问题。该文提出基于Transformer的具有知识感知能力的对话生成模型完成面向推荐的多类型对话任务。该模型使用Transformer解码器隐式地学习对话目标路径并生成回复。此外,该文通过引入知识编码器和基于知识词表的Copy机制,提升模型对知识的感知能力。在DuRecDial数据集上的实验表明,提出的模型和基线模型相比在自动评估中取得了显著的性能提升,其中F₁、BLEU与Distinct分别提升了59.08%、110%、66.14%。该模型在2020语言与智能技术竞赛: 面向推荐的对话任务中获得第三名。     

基于异构二部图的对话情感分析

对话情感分析旨在分析识别一段对话中用户在发言终止时的情绪状态。与传统的文本情感分析不同,对话过程中的上下文语境和用户之间的交互会对用户的情绪产生重要影响,且对话文本的语法结构复杂,多存在较远距离的语法成分的依赖关系,因而是一项十分具有挑战性的任务。为解决上述问题,该文将文本的句法依存关系引入模型中,通过图卷积网络提取句法结构信息,并与文本情感分析模型相结合,提出了两种同时建模语义和句法结构的模型H-BiLSTM+HGCL和BERT+HGCL。在构建的中文对话情感分析数据集上的实验表明,与不采用依存关系的基线模型相比,该文所提出的模型取得了更好的实验性能。     

基于对话约束的回复生成研究

现有的对话系统中存在着生成“好的”“我不知道”等无意义的安全回复问题。日常对话中,对话者通常围绕特定的主题进行讨论且每句话都有明显的情感和意图。因此该文提出了基于对话约束的回复生成模型,即在Seq2Seq模型的基础上,结合对对话的主题、情感、意图的识别。该方法对生成回复的主题、情感和意图进行约束,从而生成具有合理的情感和意图且与对话主题相关的回复。实验证明,该文提出的方法能有效提高生成回复的质量。     

面向任务型的对话系统研究进展

基于人工智能技术的人机对话系统在人机交互、智能助手、智能客服、问答咨询等多个领域应用日益广泛,这极大地促进了自然语言理解及生成、对话状态追踪和端到端的深度学习模型构建等相关理论与技术的发展,并成为目前工业界与学术界共同关注的研究热点之一。该文聚焦特定场景下的任务型对话系统,在对其基本概念进行形式化定义的基础上,围绕着以最少的对话轮次来获得最佳用户需求相匹配的对话内容为目标,针对目前存在的复杂业务场景下基于自然语言的用户意图的准确理解和识别、针对训练数据的标注依赖及模型结果的可解释性不足,以及多模态条件下对话内容的个性化生成这三个重大的技术问题和挑战,对当前的技术与研究进展进行系统地对比分析和综述,为进一步的研究工作奠定基础。同时,对新一代的面向任务型的人机对话系统未来的关键研究方向与任务进行总结。     

口语对话系统中对话管理方法研究综述

口语对话系统是人机交互领域的核心技术,也是实现和谐人机交互的重要途径,具有重大的研究意义和应用价值,其中的各项理论和技术的研究进展一直备受关注.较为全面深入地总结了对话管理及口语对话系统的研究进展和现状.首先阐述了口语对话系统中的主要研究问题,包括系统各模块的研究内容与关键技术、系统的可移植性和鲁棒性设计等;然后从理论模型、研究进展及可用性等角度系统地剖析了现有的多种口语对话管理策略;最后展望了未来可能的研究方向和亟待解决的问题.     

面向虚实融合的人机交互

面向虚实融合的人机交互涉及计算机科学、认知心理学、人机工程学、多媒体技术和虚拟现实等领域，旨在提高人机交互的效率，同时响应人类认知与情感的需求，在办公教育、机器人和虚拟/增强现实设备中都有广泛应用。本文从人机交互涉及感知计算、人与机器人交互及协同、个性化人机对话和数据可视化等4个维度系统阐述面向虚实融合人机交互的发展现状。对国内外研究现状进行对比，展望未来的发展趋势。本文认为兼具可迁移与个性化的感知计算、具备用户行为深度理解的人机协同、用户自适应的对话系统等是本领域的重要研究方向。     

多模态人机交互综述

多模态人机交互旨在利用语音、图像、文本、眼动和触觉等多模态信息进行人与计算机之间的信息交换。在生理心理评估、办公教育、军事仿真和医疗康复等领域具有十分广阔的应用前景。本文系统地综述了多模态人机交互的发展现状和新兴方向,深入梳理了大数据可视化交互、基于声场感知的交互、混合现实实物交互、可穿戴交互和人机对话交互的研究进展以及国内外研究进展比较。本文认为拓展新的交互方式、设计高效的各模态交互组合、构建小型化交互设备、跨设备分布式交互、提升开放环境下交互算法的鲁棒性等是多模态人机交互的未来研究趋势。     

语音情感识别研究综述

语音是人们传递信息内容的同时又表达情感态度的媒介,语音情感识别是人机交互的重要组成部分。由语音情感识别的概念和历史发展进程入手,从6个角度逐步展开对语音情感识别研究体系进行综述。分析常用的情感描述模型,归纳常用的情感语音数据库和不同类型数据库的特点,研究语音情感特征的提取技术。通过比对3种语音情感识别方法的众多学者的多方面研究,得出语音情感识别方法可期望应用场景的态势,展望语音情感识别技术的挑战和发展趋势。     

人机交互中的智能体情感计算研究

机器的情感是通过融入具有情感能力的智能体实现的,虽然目前在人机交互领域已经有大量研究成果,但有关智能体情感计算方面的研究尚处起步阶段,深入开展这项研究对推动人机交互领域的发展具有重要的科学和应用价值。本文通过检索Scopus数据库选择有代表性的文献,重点关注情感在智能体和用户之间的双向流动,分别从智能体对用户的情绪感知和对用户情绪调节的角度开展分析总结。首先梳理了用户情绪的识别方法,即通过用户的表情、语音、姿态、生理信号和文本信息等多通道信息分析用户的情绪状态,归纳了情绪识别中的一些机器学习方法。其次从用户体验角度分析具有情绪表现力的智能体对用户的影响,总结了智能体的情绪生成和表现技术,指出智能体除了通过表情之外,还可以通过注视、姿态、头部运动和手势等非言语动作来表现情绪。并且梳理了典型的智能体情绪架构,举例说明了强化学习在智能体情绪设计中的作用。同时为了验证模型的准确性,比较了已有的情感评估手段和评价指标。最后指出智能体情感计算急需解决的问题。通过对现有研究的总结,智能体情感计算研究是一个很有前景的研究方向,希望本文能够为深入开展相关研究提供借鉴。     

多轮任务型对话系统研究进展

对话系统旨在实现机器与人类进行信息交流并向其提供个性化服务,具有一定的研究价值。为了及时跟进相关领域的研究,对其目前研究进展进行综述。首先针对对话系统的发展和分类情况进行介绍;其次综述了任务型对话系统的架构,重点梳理基于模块和基于端到端两种框架,并进一步总结归纳所使用模型的优缺点;接下来介绍任务型对话系统的评估方法以及应用领域,包括电商领域、教育领域和医学领域等方面;最后对多轮任务型对话系统面临的问题与挑战进行分析并作出总结。     

网络教学中的学习情绪双元辨别研究

针对目前网络教学系统中对学生学习情绪与学习状态的捕捉辨识存在问题,提出在网络学习情绪辨别机制中,结合人脸表情辨别和基于半投票机制的文字语意推论辨别两种非侵入性情绪辨别方式的优点,设计了网络实时监视指导单元.实验表明,该非侵入性的情绪双元辨别机制使网络教学系统中的学习情绪辨别率得到有效提升,系统交互性明显加强,为网络教学系统中学习情绪辨别机制的设计提供方向.