基于Transformer实现文本导向的图像编辑

为方便非专业用户修图,提出一种基于Transformer的图像编辑模型TMGAN,使用户可通过自然语言描述自动修改图像属性。TMGAN整体框架采用生成对抗网络,生成器采用Transformer编码器结构提取全局上下文信息,解决生成图像不够真实的问题;判别器包含基于Transformer的多尺度判别器和词级判别器两部分,给生成器细粒度的反馈,生成符合文本描述的目标图像且保留原始图像中与文本描述无关的内容。实验表明,此模型在CUB Bird数据集上,IS（inception score）、FID（Fréchet inception distance）以及MP（manipulation precision）度量指标分别达到了9.07、8.64和0.081。提出的TMGAN模型对比现有模型效果更好,生成图像既满足了给定文本的属性要求又具有高语义性。     

基于图表示学习的消息回复关系判断方法

微信、QQ和钉钉等社交媒体都提供多对多聊天群组功能,这些聊天群组包含海量信息,对群组聊天内容进行有效分析,获取有价值的关联信息,是当前领域的研究热点。群组中用户间交互是群组实现的主要功能,用户间消息回复是用户间交互实现的方式,消息间的回复行为下隐藏着消息间和用户间的关系。群组消息间回复通常是隐式和非连续的,大部分群组消息间没有指定明确的回复关系,当前消息也不一定是上一条临近消息的回复,回复关系要根据具体的聊天场景确定。当消息间没有显示指定回复关系时,回复不易于分析和理解群组聊天内容,阻碍了对群组聊天内容的整体性分析。本论文针对群组消息间的回复关系,提出了基于图表示学习的消息回复关系判断方法,该方法不同于以往方法仅使用部分群组要素,是在综合学习消息的文本信息、发送消息的用户信息和上下文信息的基础上,根据群组内容构建群组图和生成自适应消息图,得到了多种群组要素信息和要素间关系组成的图结构,利用图模型在图结构上进行群组消息的表示学习,图模型输出群组消息的表示向量,拼接消息对的表示向量并进一步预测群组消息间的回复关系。在消息间回复关系的学习过程中,图模型通过任务学习更新图中消息节点,同时更新图中用户节点向量表示,经过用户向量分析实验验证了该模型输出的用户向量的有效性和合理性。在公开数据集和标注数据集上进行了对比实验和显著性检验分析,结果显示模型在多个评估指标上大幅优于对比模型,如在F1指标上,比单纯依赖BERT的句子对分类模型提高了接近20%。     

图像信息对句子语义理解与表示的有效性验证与分析

近年来,图像文本建模研究已经成为自然语言处理领域一个重要的研究方向.图像常被用于增强句子的语义理解与表示.然而也有研究人员对图像信息用于句子语义理解的必要性提出质疑,原因是文本本身就能够提供强有力的先验知识,帮助模型取得非常好的效果;甚至在不使用图像的条件下就能得出正确的答案.因此研究图像文本建模需要首先回答一个问题:图像是否有助于句子语义的理解与表示?为此,本文选择一个典型的不包含图像的自然语言语义理解任务:自然语言推理,并将图像信息引入到该任务中用于验证图像信息的有效性.由于自然语言推理任务是一个单一的自然语言任务,在数据标注过程中没有考虑图像信息,因此选择该任务能够更客观地分析出图像信息对句子语义理解与表示的影响.具体而言,本文提出一种通用的即插即用框架(general plug and play framework)用于图像信息的整合.基于该框架,本文选择目前最先进的五个自然语言推理模型,对比分析这些模型在使用图像信息前后的表现,以及使用不同图像处理模型与不同图像设置时的表现.最后,本文在一个大规模公开数据集上进行了大量实验,实验结果证实图像作为额外知识,确实有助于句子语义的理解与表示.此外,还证实了不同的图像处理模型和使用方法对整个模型的表现也会造成不同的影响.     

融合外部语义知识的中文文本蕴含识别

基于神经网络的文本蕴含识别模型通常仅从训练数据中学习推理知识,导致模型泛化能力较弱。提出一种融合外部语义知识的中文知识增强推理模型(CKEIM)。根据知网知识库的特点提取词级语义知识特征以构建注意力权重矩阵,同时从同义词词林知识库中选取词语相似度特征和上下位特征组成特征向量,并将注意力权重矩阵、特征向量与编码后的文本向量相结合融入神经网络的模型训练过程,实现中文文本蕴含的增强识别。实验结果表明,与增强序列推理模型相比,CKEIM在15%、50%和100%数据规模的CNLI训练集下识别准确率分别提升了3.7%、1.5%和0.9%,具有更好的中文文本蕴含识别性能和泛化能力。     

基于层次结构的生成式自动文摘

基于编码器—解码器架构的序列到序列学习模型是近年来主流的生成式文摘方法。但是,传统的编码器尚不能有效地对长文档进行语义编码,并且只能学习线性链结构的信息, 忽视了文档具有的层次结构。而文档的层次结构(字—句—文档)有助于自动文摘系统更加准确地判断文档内不同结构单元的语义信息和重要程度。为了使编码器能够获取文档的层次结构信息,该文根据文档的层次结构对文档进行编码: 首先构建字级语义表示,然后由字级语义表示构建句级语义表示。另外,该文还提出了一种语义融合单元来对输入文档不同层次的语义信息进行融合,作为最终的文档表示提供给编码器生成摘要。实验结果表明,在加入该文提出的层次文档阅读器与语义融合单元后,系统性能在 ROUGE 评价指标上有显著提高。     

面向限定领域问答系统的自然语言理解方法综述

领域无关的自然语言理解(NLU)技术在最近的十年中取得了长足的进步,然而由于基础研究与现实应用之间存在着强烈的实际需求与当前处理能力不足的矛盾,因此很多通用技术还不能在现实的问答系统中得到有效使用。针对现有的需求,开发面向领域的自然语言理解技术显得非常必要。首先对开放领域与限定领域问答系统进行了比较,并对一些典型的面向限定领域问答系统的自然语言理解技术进行了分析,然后介绍了面向限定领域问答系统的自然语言理解技术的评测标准,最后总结了目前限定领域问答系统研究存在的主要问题及未来发展方向。     

机器人自然语言导航的层叠式条件随机场模型

提出了一种基于层叠条件随机场进行救灾机器人自然语言导航命令理解的方法。该方法由三层条件随机场(CRFs)构成:第一层用于导航词性标注,选取词、词性以及上下文作为特征模板生成导航词性标签;第二层用于导航过程提取,选择词、导航词性标签以及上下文构建特征模板生成导航过程标签;第三层用于起点终点识别,选取词、导航词性标签、导航过程标签以及上下文构建特征模板判断出地名词为起点还是终点。根据导航词性与导航要素的对应关系便可从命令中提取出导航信息。该方法能够处理完全不受限的自然语言导航命令,总体正确率达到78.6%,无需依赖特定的指令与地图,对完成救灾机器人导航的人机交互任务具有重要意义。     

自然语言处理的历史与现状

在现代语言学中自然语言的处理占据重要地位,成为了语言学中一门值得深入探讨学习的新学科.本文从自然语言处理发展的各个阶段进行了历史追溯以及现状分析,从萌芽期、发展期和繁荣期三个阶段来探讨自然语言发展的特点.     

基于Pi验算的流程建模方法探讨

传统的软件开发在需求阶段多是采用自然语言描述,因为自然语言自身的矛盾性和语义的模糊性等,在后期的运行中,难以避免软件的很多漏洞。本文针对这一现状,分析和探讨了形式化方法的优势,以形式化语言Pi验算描述交互为例,演示了形式化方法的准确性和采用形式化方法的必要性。     

限定领域智能导学系统问题生成及对话管理技术

智能导学是当前信息化教学研究的一个热点领域,将导学技术应用到难于识记并需要严格遵守的规章规程类知识领域,将极大地提高领域人员对相关知识的快速理解与掌握能力.采用面向对象的知识表示方法,提高了对通用主题和问题模板表示的灵活性.设计了基于模板的领域知识表示方法和导学问题生成方法,可实现一个主题知识生成多种问句.采用约简的有限状态转移方法,避免了对话管理中状态数量庞大的问题.最后,本文以船舶损管领域为例,将此方法运用到船舶损管训练语音导学原型系统中.系统运行良好,充分表明这种设计方法是切实可行的.