面向限定领域问答系统的自然语言理解方法综述

领域无关的自然语言理解(NLU)技术在最近的十年中取得了长足的进步,然而由于基础研究与现实应用之间存在着强烈的实际需求与当前处理能力不足的矛盾,因此很多通用技术还不能在现实的问答系统中得到有效使用。针对现有的需求,开发面向领域的自然语言理解技术显得非常必要。首先对开放领域与限定领域问答系统进行了比较,并对一些典型的面向限定领域问答系统的自然语言理解技术进行了分析,然后介绍了面向限定领域问答系统的自然语言理解技术的评测标准,最后总结了目前限定领域问答系统研究存在的主要问题及未来发展方向。     

自然语言处理的历史与现状

在现代语言学中自然语言的处理占据重要地位,成为了语言学中一门值得深入探讨学习的新学科.本文从自然语言处理发展的各个阶段进行了历史追溯以及现状分析,从萌芽期、发展期和繁荣期三个阶段来探讨自然语言发展的特点.     

词义刻画与词义识别

为了改善词义识别的效果,使词义识别技术水平获得实质性的提高,需要考察词义刻画与词义理解之间的关系,确定是否有必要重新刻画词语的词义,需要从理论和实验角度进行探讨。从语言学角度分析了影响词义刻画的各种因素,并设计和实现了人机词义识别的对比实验,借以揭示词义刻画粒度大小与词义识别精度之间的关系,进而说明调整词义刻画粒度的必要性。实验结果表明,科学控制词义刻画的粒度可以增强词义的可计算性,提高词义识别的精度。     

一个自然语言水印嵌入安全性评估方案

自然语言水印是一种为自然语言文档特别设计的数字版权管理技术。虽然已经有不少精心设计的自然语言水印算法,但是对它们的嵌入质量和安全性只有简单的说明。本文中,我们提出了一个自然语言水印嵌入安全性的评估方案,定义了理想不可检测性,并提出了构造针对特定检测器的不可检测性的交互证明系统。本文也对一些实际系统按此方案作了评价。     

人-服务机器人交互中自然语言理解研究

针对与服务机器人交互过程中不受限的自然语言指令,提出了一种基于语料库的最大熵分类及理解算法。首先,通过收集家庭服务领域内的机器人控制语料,设计了一套有效的机器人控制指令体系。然后,对语料库进行对应控制指令的类别标注,从而把自然语言指令理解问题转化为分类问题。其次,通过对库中文本特征的提取和附加权重,建立最大熵分类器求解分类问题。最后,通过在所建控制指令语料库上进行多重交叉训练测试,控制指令理解的准确率可以达到90%以上。     

自然语言语义相关度计算模型的k枝剪求解法

为了能够更为合理地利用语义来进行自然语言处理,提出了一种自然语言语义相关度计算模型及该模型的k枝剪求解法.在该模型中使用语句的语义相关度来判定最佳语法分析方案;分析了语句的两层语义结构并给出了其数学描述方法;在模型求解过程中,会形成一个状态空间树,使用k枝剪法舍弃可能性较小的状态,可以有效地降低计算复杂度并较为准确地计算出模型的近似解.实验结果表明,该方法具有一定的可行性.     

基于BERT的任务导向对话系统自然语言理解的改进模型与调优方法

任务导向对话系统的自然语言理解,其目的就是解析用户以自然语言形式输入的语句,并提取出可以被计算机所理解的结构化信息,其包含意图识别和槽填充两个子任务。BERT是近期提出来的一种自然语言处理预训练模型,已有研究者提出基于BERT的任务导向对话系统自然语言理解模型。在此基础上,该文提出一种改进的自然语言理解模型,其编码器使用BERT,而解码器基于LSTM与注意力机制构建。同时,该文提出了该模型的两种调优方法: 锁定模型参数的训练方法、使用区分大小写的预训练模型版本。在基线模型与改进模型上,这些调优方法均能够显著改进模型的性能。实验结果显示,利用改进后的模型与调优方法,可以分别在ATIS和Snips两个数据集上得到0.883 3和0.925 1的句子级准确率。     

机器人自然语言导航的层叠式条件随机场模型

提出了一种基于层叠条件随机场进行救灾机器人自然语言导航命令理解的方法。该方法由三层条件随机场(CRFs)构成:第一层用于导航词性标注,选取词、词性以及上下文作为特征模板生成导航词性标签;第二层用于导航过程提取,选择词、导航词性标签以及上下文构建特征模板生成导航过程标签;第三层用于起点终点识别,选取词、导航词性标签、导航过程标签以及上下文构建特征模板判断出地名词为起点还是终点。根据导航词性与导航要素的对应关系便可从命令中提取出导航信息。该方法能够处理完全不受限的自然语言导航命令,总体正确率达到78.6%,无需依赖特定的指令与地图,对完成救灾机器人导航的人机交互任务具有重要意义。     

全局自匹配机制的短文本摘要生成方法

基于编码器-解码器架构的序列到序列学习模型是近年来主流的生成式自动文摘模型,其在计算每一个词的隐层表示时,通常仅考虑该词之前（或之后）的一些词,无法获取全局信息,从而进行全局优化.针对这个问题,在编码器端引入全局自匹配机制进行全局优化,并利用全局门控单元抽取出文本的核心内容.全局自匹配机制根据文本中每个单词语义和文本整体语义的匹配程度,动态地从整篇文本中为文中每一个词收集与该词相关的信息,并进一步将该词及其匹配的信息有效编码到最终的隐层表示中,以获得包含全局信息的隐层表示.同时,考虑到为每一个词融入全局信息可能会造成冗余,引入了全局门控单元,根据自匹配层获得的全局信息对流入解码端的信息流进行过滤,筛选出原文本的核心内容.实验结果显示,与目前主流的生成式文摘方法相比,该方法在Rouge评价上有显著提高,这表明所提出的模型能有效融合全局信息,挖掘出原文本的核心内容.     

基于层次结构的生成式自动文摘

基于编码器—解码器架构的序列到序列学习模型是近年来主流的生成式文摘方法。但是,传统的编码器尚不能有效地对长文档进行语义编码,并且只能学习线性链结构的信息, 忽视了文档具有的层次结构。而文档的层次结构(字—句—文档)有助于自动文摘系统更加准确地判断文档内不同结构单元的语义信息和重要程度。为了使编码器能够获取文档的层次结构信息,该文根据文档的层次结构对文档进行编码: 首先构建字级语义表示,然后由字级语义表示构建句级语义表示。另外,该文还提出了一种语义融合单元来对输入文档不同层次的语义信息进行融合,作为最终的文档表示提供给编码器生成摘要。实验结果表明,在加入该文提出的层次文档阅读器与语义融合单元后,系统性能在 ROUGE 评价指标上有显著提高。