基于深度学习的开放域引导对话生成模型

针对在开放域对话生成中的回复往往具有高重复性的特点或缺乏实际意义,以及与上下文内容相关性低和弱同理心等问题,利用基于DialoGPT的改进预训练模型分别构建生成排序模型,将DialoGPT模型作为基干网络并引入情绪分类和句子分类模块,便于进行多任务训练.首先将抽取的特定情绪对话之间用特殊间隔符进行拼接,然后输入到在大量数据训练过的生成模型;通过训练特定数据集和编码上下文内容,模型可以在多轮对话过程生成通顺流畅且情感引导的候选文本;同时在生成时采用核采样算法以提高回复多样性;最后通过排序模型挑选与上下文信息相关性最高的回复作为输出.另外为了进一步提高模型生成的泛化能力和算法收敛速度,采用AdamW替换Adam进行梯度更新.实验结果表明,所设计的生成排序模型在Context、Fluency等指标相比基线模型都有一定提升,对话示例显示可以有来有回的对话交流,生成的回复文本内容通顺流畅且多样性高.     

基于DQN的开放域多轮对话策略学习

有效地进行多轮对话是开放域人机对话系统的主要目标之一。目前的神经网络对话生成模型在开放域多轮对话过程中存在着容易产生万能回复、很快陷入死循环的问题;而已有的多轮对话研究工作存在着没有考虑未来对话走向的问题。借鉴强化学习方法考虑全局的视角,该文利用深度强化学习算法DQN(deep Q-network),提出了使用深度价值网络对每一轮的候选句子进行评估,并选择未来收益最大的而非生成概率最大的句子作为回复的多轮对话策略学习方法。实验结果表明,该文提出的方法将多轮对话的平均对话轮数提高了两轮,同时在主观对比评价指标上获胜比例高出了45%。     

基于知识增强的开放域多轮对话模型

如何减轻安全回复和重复回复一直是开放域多轮对话模型的两大挑战性难题.然而,现有开放域对话模型往往忽略了对话目标的引导性作用,以及如何在对话历史和对话目标中引入和选择更精确的知识信息.鉴于此,提出基于知识增强的多轮对话模型.所提模型首先将对话历史中实词进行义原及领域词替换,达到消除歧义和丰富对话文本表示的效果.然后将经过知识增强后的对话历史、扩充的三元组世界知识、知识管理和知识拷贝加以集成,以融合知识、词汇、对话历史和对话目标多种信息,生成多样性回复.通过两个国际基准开放域汉语对话语料库上的实验结果及可视化验证所提模型同时在自动评测和人工评测上的有效性.     

基于变分自编码器的多隐变量双向推理模型

开放域对话系统的关键任务之一是生成丰富多样且连贯的对话回复，但是仅从上文信息进行单向推理无法达到这一目标。针对该问题，提出了基于多隐变量的双向推理模型MLVBI(Multiple Latent Variables Bidirectional Inference)。首先，在语言模型中结合变分自动编码器并将单向推理扩充到双向推理，将语料分割为上文、查询与回复后，使用正向推理从查询中推理出回复用于学习正常语序信息，同时使用反向推理从回复中推理出查询用于学习额外主题信息，最后融合成双向推理，使得模型生成更连贯的回复。其次，针对双向推理过程中单个隐变量解释能力不足的问题，引入多个隐变量进一步提高生成对话的多样性。实验结果表明，MLVBI在两个开放域数据集DailyDialog和PersonalChat上的准确性和多样性都达到了当前最佳的效果，并且消融实验也证明了双向推理和多隐变量的有效性。     

面向开放域深度学习的自动问答技术研究

结合聊天机器人背景,提出一个面向开放域深度学习的人机交互英语自动问答系统。首先,通过问答系统子模块建立问答库和收录问题预处理;然后利用机器学习算法进行关键词扩展、问题分类、相似度计算和答案匹配抽取;最后采用基于LSTM的Seq2seq模型实现英语聊天机器人,并在其基础上加入注意力机制和集数搜索算法,以提升系统自动问答质量。结果表明,相较于RNN和GRU神经元生成回复,LSTM神经元的生成回复结果更加准确。且添加注意力机制和集数搜索后,模型收敛速度显著提升。系统测试发现,英语问答系统子模块和英语聊天机器人的问答正确率分别为95.48%和96.52%,系统自动问答正确率为96%。由此可知,本系统可实现人机交互和英语问题的自动问答。     

基于多视角对抗学习的开放域对话生成模型

近年来,随着智能家居的普及,对话系统在生活中发挥着越来越重要的作用,基于神经网络构建的生成式对话系统由于其灵活性高受到了许多研究者的关注。以提高生成模型对话的流畅性、上下文相关性为目的,提出基于多视角对抗学习的开放域对话生成模型。其中,模型生成器是基于检索到的相似对话进行改写得到生成的对话;模型的判别器是由两个二分类器共同组成的,该二元判别器分别从句子、对话两个层面多视角地对生成句子进行判别。在中文对话语料上进行实验,该模型在人工评价和自动评测上的得分都高于目前常用的对话生成模型。实验结果表明,利用二元判别器多视角训练可以同时提高生成回复的流畅度和上下文相关性。     

基于开放域对话系统的自动化评测方法研究

开放域对话系统的研究在近年来取得了很大的进展,然而基于该类系统的自动化评测依然是目前亟待解决的问题。针对目前各类评测方法需要大量标注数据和评测准确率较低等问题,提出了一种利用长短期记忆网络和注意力机制判别问题—回复对是否为真实对话的评测模型。该模型基于连续的对话语料进行建模,解决了目前基于参考回复的评测模型需要大量标注数据的弊端。在Cornell和Reddit数据集上,该模型分别取得了57.2%和71.8%的准确率,与现有几种评测模型相比准确率有明显提升。     

基于改进编解码器和情感词典的对话生成模型

针对现有对话模型生成的回复语句缺乏情感共鸣、拟人效果不够理想的问题，提出一种基于改进编解码器和情感词典的对话生成模型。利用AgSeq2Seq模型对语料库进行训练并构建高质量对话生成系统，结合情感词典识别输入语句的情绪特征并计算回复语句的情感值，基于情绪对比机制根据不同的情感特征生成相应的拟人回复。实验结果表明，相对传统的对话生成模型，提出模型可以主动识别用户情绪，生成更加合乎逻辑、适应语境的回复，实现拟人程度更高的情感对话过程。     

基于回复生成的对话意图预测

随着人机对话系统的不断发展,让计算机能够准确理解对话者的对话意图,并根据对话的历史信息对回复进行意图预测,对于人机对话系统有着十分重要的意义。已有研究重点关注根据对话文本和已有标签对回复进行意图预测,但是,在很多场景下回复可能并没有生成。因此,文中提出了一种结合回复生成的对话意图预测模型。在生成部分,使用Seq2Seq结构,根据对话历史信息生成文本,作为对话中未来回复的文本信息;在分类部分,利用LSTM模型,将生成的回复文本与已有的对话信息转变为子句级别的表示,并结合注意力机制突出同一轮次对话句与生成回复的联系。实验结果表明,所提出的模型相比简单基线模型取得了2.54%的F1-score提升,并且联合训练的方式有助于提升模型性能。     

基于深度学习的个性化对话内容生成方法

人机对话系统是人机交互领域一个非常重要的研究方向,开放域聊天机器人的研 究受到了广泛关注。现有的聊天机器人主要存在 3 个方面的问题：①无法有效捕捉上下文情境 信息,导致前后对话内容缺乏逻辑关联。②大部分不具备个性化特征,导致聊天过程千篇一律, 且前后对话内容可发生矛盾。③倾向于生成“我不知道”、“对不起”等无意义的通用回复内容, 极大降低用户的聊天兴趣。本研究中利用基于 Transformer 模型的编解码(Encoder-Decoder)结构 分别构建了通用对话模型和个性化对话模型,通过编码历史对话内容和个性化特征信息,模型 可以有效捕捉上下文情境信息以及个性化信息,实现多轮对话过程,且对话内容符合个性化特 征。实验结果表明,基于 Transformer 的对话模型在困惑度(perplexity)和 F1 分数评价指标上相 比于基线模型得到了一定的提升,人工评价显示模型可以正常进行多轮交互对话过程,生成内 容多样性高,且符合给定的个性化特征。     

PCC:一个对单用户建模的个性化对话系统

对话系统是自然语言处理（NLP）领域中一个重要的下游任务,在近几年得到了越来越多的关注,并取得了很大的发展。然而尽管对话领域已经取得了许多优秀的成果,现有的对话模型在拓展个性化方面依然有很大的局限性。为了使对话模型更符合人类的对话方式,拥有更好的个性化建模能力,该文提出一种新的对单个用户建模的个性化模型PCC（a Personalized Chatbot with Convolution mechanism）。在编码端,PCC通过文本卷积神经网络（TextCNN）处理用户历史回复帖子以得到用户兴趣信息;在解码端,使用相似度搜寻用户历史回答中与当前问题最为匹配的回复和用户ID一起指导生成。实验结果证明,该文模型在生成回复的准确性和多样性上均有较大提升,证明了历史回复信息在个性化建模方面的有效性。     

基于BERT的常见作物病害问答系统问句分类

问句分类作为问答系统的关键模块，也是制约问答系统检索效率的关键性因素。针对农业问答系统中用户问句语义信息复杂、差异大的问题，为了满足用户快速、准确地获取常见作物病害问句的分类结果的需求，构建了基于BERT的常见作物病害问答系统的问句分类模型。首先，对问句数据集进行预处理；然后，分别构建双向长短期记忆(Bi-LSTM)自注意力网络分类模型、Transformer分类模型和基于BERT的微调分类模型，并利用三种模型提取问句的信息，进行问句分类模型的训练；最后，对基于BERT的微调分类模型进行测试，同时探究数据集规模对分类结果的影响。实验结果表明，基于BERT的微调常见作物病害问句分类模型的分类准确率、精确率、召回率、精确率和召回率的加权调和平均值分别高于双向长短期记忆自注意力网络模型和Transformer分类模型2～5个百分点，在常见作物病害问句数据集（CCDQD）上能获得最高准确率92.46%，精确率92.59%，召回率91.26%，精确率和召回率的加权调和平均值91.92%。基于BERT的微调分类模型具有结构简单、训练参数少、训练速度快等特点，并能够高效地对常见作物病害问句准确分类，可以作为常见作物病害问答系统的问句分类模型。     

限定领域口语对话系统中超出领域话语的协处理方法

领域外话语的开放性、口语化以及表达多样性,使得现有的限定领域口语对话系统不能很好地处理超出领域话语。该文提出了一种限定领域口语对话系统协处理方案,基于人工智能标记语言AIML,设计一套理解开放语义用户话语的理解模板,并对未匹配话语基于话语相似度进行理解模板分类,进而采用扩展有限状态自动机处理模式,结合对话流程上下文的状态及信息,实现理解模板到应答模板的转换,改变了单纯模板匹配方法在对话流程控制方面的相对缺失。中文手机导购领域的测试表明,该文所提出的协处理方法能有效地辅助口语对话系统完成限定领域完整对话流程,得到更好的用户满意度。
     

智能问诊中基于深度神经网络的反问生成方法

在智能问诊中,为了让医生快速提出合理的反问以提高医患对话效率,提出了基于深度神经网络的反问生成方法。首先获取大量医患对话文本并进行标注;然后使用文本循环神经网络（TextRNN）、文本卷积神经网络（TextCNN）二种分类模型分别对医生的陈述进行分类;再利用双向文本循环神经网络（TextRNN-B）、双向变形编码器（BERT）分类模型进行问题触发;设计六种不同的问答选取方式来模拟医疗咨询领域情景,采用开源神经机器翻译（OpenNMT）模型进行反问生成;最后对已生成的反问进行综合评估。实验结果表明,使用TextRNN进行分类优于TextCNN,利用BERT模型进行问题触发优于TextRNN-B,采用OpenNMT模型在Window-top方式下实现反问生成时,使用双语评估替补（BLEU）和困惑度（PPL）指标进行评价的结果最好。所提方法验证了深度神经网络技术在反问生成中的有效性,可以有效解决智能问诊中医生反问生成的问题。     

基于多模态推理图神经网络的场景文本视觉问答模型

文本阅读能力差和视觉推理能力不足是现有视觉问答(visual question answering, VQA)模型效果不好的主要原因,针对以上问题,设计了一个基于图神经网络的多模态推理(multi-modal reasoning graph neural network, MRGNN)模型。利用图像中多种形式的信息帮助理解场景文本内容,将场景文本图片分别预处理成视觉对象图和文本图的形式,并且在问题自注意力模块下过滤多余的信息;使用加入注意力的聚合器完善子图之间相互的节点特征,从而融合不同模态之间的信息,更新后的节点利用不同模态的上下文信息为答疑模块提供了更好的功能。在ST-VQA和TextVQA数据集上验证了有效性,实验结果表明,相比较此任务的一些其他模型,MRGNN模型在此任务上有明显的提升。     

知识感知的多类型对话推荐

智能推荐型对话系统通过丰富的交互方式与用户进行交流,首先收集用户兴趣和偏好,然后主动地向用户推荐其感兴趣的内容。因此,该类系统通常涵盖多种对话类型,如问答、闲聊、推荐等。目前的研究采用流水线模型,存在误差累积的问题。该文提出基于Transformer的具有知识感知能力的对话生成模型完成面向推荐的多类型对话任务。该模型使用Transformer解码器隐式地学习对话目标路径并生成回复。此外,该文通过引入知识编码器和基于知识词表的Copy机制,提升模型对知识的感知能力。在DuRecDial数据集上的实验表明,提出的模型和基线模型相比在自动评估中取得了显著的性能提升,其中F₁、BLEU与Distinct分别提升了59.08%、110%、66.14%。该模型在2020语言与智能技术竞赛: 面向推荐的对话任务中获得第三名。     

基于句法分析和二次贝叶斯模型的受限域问题分类

针对受限域的特殊性,提出了一种基于句法分析和二次贝叶斯模型的问题分类的新方法。该方法首先利用浅层句法分析的结果,抽取问题的主干部分和疑问词及其附属成分作为分类的特征,大大减少了噪声;然后,提出一种适用于受限域问题分类的改进的二次贝叶斯分类模型,并利用这一模型进行了大量的实验。实验结果表明了这一方法在受限域内的有效性,大类与小类问题的平均分类精度分别达到了89.66%和84.13%。