多语种自然语言生成系统中的语言模型

介绍了在多语种自然语言生成系统中如何用统一的模型来表示各种语种的语言知识。本文将语言知识分为语义资源和语法资源两个部分。前者通过Ｓｃｈｅｍａ和优化规则确定文本的内容;后者根据子结构类,句法规则和词典确定文本的具体形式。该模型以复杂特征集为语言知识的载体,将表示抽象语义的数据扩展为生成不同语种文本所需的语言资源。     

基于BERT-SUMOPN模型的抽取-生成式文本自动摘要

抽取式摘要可读性、准确性较差,生成式摘要存在连贯性、逻辑性的不足,此外2种摘要方法的传统模型对文本的向量表示往往不够充分、准确.针对以上问题,该文提出了一种基于BERT-SUMOPN模型的抽取-生成式摘要方法.模型通过BERT预训练语言模型获取文本向量,然后利用抽取式结构化摘要模型抽取文本中的关键句子,最后将得到的关键...     

结合主题模型与自监督学习的可控文本生成技术研究

基于大型预训练语言模型的有监督学习方法在可控文本生成任务上取得了优秀的成果,但这些研究都着重于控制生成文本的高级属性(比如情感与主题),而忽略了泛化性问题.现有的基于自监督学习的研究方法则通过句子级别的训练来使模型获得补全整句的能力,使模型做到单词和短语级别的控制生成,但生成与特定属性强相关句子的能力依旧待提升.所以本文提出了一种单词级别(细粒度)与句子(粗粒度)级别相结合的多粒度训练方式：单词级别的主题模型让模型学习主题层面的语义以获得主题到文本的生成能力,句子级别的自监督训练让模型学习整句的表征以获得补全句子的能力.通过主题模型与自监督学习的结合,使模型在单词与短语级别的可控生成阶段取得了更好的效果.实验表明,本文提出的模型在主题契合度以及常规文本生成指标方面优于现有的基线模型.     

基于外部知识筛选的主题文本生成技术研究

在自然语言生成任务中，主题文本生成是一项富有挑战性的工作，其主要难点在于：源信息量远小于目标生成的信息量.为了解决该问题，本文提出一个基于外部知识筛选的主题文本生成模型Trans K，通过引入与主题词相关的外部知识来丰富源信息，进而提高生成文本的质量.本文为了解决引入外部知识的“一词多义”问题，提出一种基于线性变换的主题向量计算方法，用于筛选和主题词语义一致的外部知识；提出一种基于注意力机制的外部权重计算方法，为每个外部词设定一个主题权重，使其更贴合文本语义；为了解决主题词（含候选词）在生成文本中反复出现的问题，提出一种基于多头注意力机制的内部权重计算方法.在EASSY数据集上的实验表明，与基线相比，Trans K生成文本质量的各项指标更优.此外，人类评估表明，该模型可生成与主题更相关、语言更连贯、且符合语义逻辑的文本.     

基于Masked-Pointer的多轮对话重写模型

针对多轮会话中的Non-Sentential Utterances(NSUs)问题,结合当前在自然语言处理领域广泛使用的预训练语言模型,将Masked Language Model用于多轮会话NSUs的重写任务,提出Masked Rewriter Model.与基于Seq2Seq的重写模型相比,重写效果提升明显.根据N...     

基于条件变分自编码器的问题生成方法

将条件变分自编码器作为辅助模块,引入预训练语言模型的编码解码过程,通过数据增强(潜在的语义扩充)以提高模型的鲁棒性。通过建立陈述句与疑问句之间的高维分布联系,由分布采样实现一对多的问题生成。结果表明,融合条件变分自编码器不仅能生成多样性的问题,也有助于提升问题生成的模型性能。在基于SQuAD数据集划分的2个答案可知问题生成数据集Split1和Split2上,BLEU-4值分别被提升到20.75%和21.61%。     

基于BERT模型的无监督候选词生成及排序算法

词汇简化的目的是在保持句子原始语义的前提下用更易于理解的简单词替代复杂词,同时使语句保持流畅.传统方法依赖人工标记的数据集或者只关注复杂词本身而未能有效地关注复杂词的上下文,导致生成的候选词不符合上下文语境.为了解决上述两个问题,提出一种基于BERT(Bidirectional Encoder Representations from Transformers)模型的无监督候选词生成及排序算法Pretrained-LS,还同时考虑了复杂词和上下文.在候选词生成阶段,Pretrained-LS利用BERT模型生成候选词;在候选词排序阶段,除了常见的词频和BERT预测顺序排序特征,Pretrained-LS提出BERT词嵌入表示语义相似度、基于Roberta(A Robustly Optimized BERT Pretraining Approach)向量的上下文相似度以及常见词复杂分数字典三个排序特征.实验中,在候选词生成阶段,Pretrained-LS采用广泛使用的精确率P、召回率R以及两者的调和平均值F作为评价标准,在候选词排序阶段同样采用精确率P以及准确率A作为评价标准.在三个英语...     

基于跨语种预训练语言模型XLM-R的神经机器翻译方法

探索将XLM-R跨语种预训练语言模型应用在神经机器翻译的源语言端、目标语言端和两端,提高机器翻译的质量.提出3种网络模型,分别在Transformer神经网络模型的编码器、解码器以及两端同时引入预训练的XLM-R多语种词语表示.在WMT英语-德语、IWSLT英语-葡萄牙语以及英语-越南语等翻译中的实验结果表明,对双语平...     

基于BERT-Transformer的跨语言文本摘要技术研究

自动生成技术在信息提取任务中具有重要作用,为此研究设计了基于双向Transformer编码器(Bidirectional Encoder Representation from Transformers, BERT)的摘要生成模型.模型的掩码方式由casual改为了seq2seq,模型使用改进的随机集束搜索算法(Random Beam Search Algorithm, RBSA)作为解码算法.实验结果显示,RBSA的多样性百分比最高为69.20%,高于对比算法.摘要模型的覆盖度分数为30.12,生成的摘要在数据集1上的ROUGE-1、ROUGE-2、ROUGE-L数值分别为39.11、17.20、29.71,在数据集2上分别为41.21、18.70、38.29,均优于对比模型,可以自动生成中文和英文文本摘要,通过快速提取原文信息提高翻译效率.     

基于映射规则的数据产品自动生成方法及系统

随着知识图谱的广泛应用,为了提高从中提取知识数据和产品数据的准确率和效率,以知识图谱为数据源,根据实际业务需求制定业务数据抽取与组织规则(抽取规则即为题目中的映射规则,设计规则的表达描述方法和规范约束,由业务需求者填写实际可实施抽取的规则),支持根据该规则从知识图谱中抽取符合规则的子图.由于该子图符合设计业务需求方的规...     

具有可移植性自然语言生成系统的实现

从系统可移植性的角度对自然语言生成系统的任务域处理模块、语言学处理模块、文本生成模块进行研究,提出了具有一定可移植性的自然语言生成系统的设计方法,并通过实验验证了方法的可行性,最后给出了实验结果.     

利用对话模型引导的对话生成推荐

对话推荐技术旨在通过与用户的对话交互完成高质量的信息推荐.针对已有研究存在的对话目标预测准确性不高的问题,提出一种利用对话模型引导的对话生成推荐(dialogue guided recommendation of dialogue generation, DGRDG)模型.首先,利用对话模型生成对话目标,通过经典的Seq2Seq模型融合输入的对话历史、用户画像以及知识信息来生成对话目标;其次,提出目标重规划策略(goal replan policy, GRP)来修正生成的对话目标,以提高对话目标预测的准确率.在DuRecDial数据集上进行实验的结果表明,对话目标生成模块在引入目标重规划策略后,对话目标预测的准确率提高了3.93%;总体模型在BLEU,DISTINCT,F1以及人工评价指标上具有较好的效果.     

平面有限元网格自动剖分法

提出了一套新的完整的平面有限元网络自动剖分方法，着重介绍网格自动剖分的基本原理、推导过程、程序设计思路以及其它计算数据的前处理。     

可移植的自然语言生成系统中知识库的设计

从可移植的角度对自然语言生成系统中任务域处理进行了研究,结合面向对象的知识库的基本理论,从知识表示、知识获取、知识推理、知识更新等方面提出了可移植的自然语言生成系统中知识库的设计方法,并通过实验结果证明该方法是可行的.     

报表生成描述子语言RGDL文本

定义计算机应用系统自动生成描述语言的组成部分之一──报表生成描述子语言ＲＧＤＬ的文本，本语言具有第四代软件语言４ＧＬ的特征和效率．     

基于NLP的军用文书自动生成系统建模

军用文书自动生成是C4ISR系统中的关键技术之一 ,是提高指挥效能必不可少的重要环节。通过系统分析 ,文中阐明了C4ISR系统中军用文书生成系统的一个重要发展方向是基于自然语言处理的文书自动生成。根据军用文书生成过程中的信息流向 ,提出了该系统 3个模块的结构模型 :信息理解模块、文书信息库模块、文书生成模块 ,描述了这 3个模块的整体运作流程。该模型对其它领域中基于自然语言理解的文本生成系统具有参考价值     

一个面向受限领域的汉语人机接口系统

介绍了一个面向受限领域（ＲｅｓｔｒｉｃｔｅｄＤｏｍａｉｎ）的汉语人机接口系统ＣＩＳ，它能处理受限领域是里一个单句，详细论述了ＣＩＳ的设计思想，系统结构及实现技术。     

实时系统中的报表自动生成模型

针对实时系统应用软件的特点,详细讨论了一种报表自动生成模型,并将其应用到某电力生产实时信息显示系统中,结果表明,该模型提高了软件的开发效率和系统的实时性,使系统具有较强的灵活性、可扩充性和实用性