自然语言处理预训练技术综述

在目前已发表的自然语言处理预训练技术综述中,大多数文章仅介绍神经网络预训练技术或者极简单介绍传统预训练技术,存在人为割裂自然语言预训练发展历程.为此,以自然语言预训练发展历程为主线,从以下四方面展开工作:首先,依据预训练技术更新路线,介绍了传统自然语言预训练技术与神经网络预训练技术,并对相关技术特点进行分析、比较,从中归纳出自然语言处理技术的发展脉络与趋势;其次,主要从两方面介绍了基于B E RT改进的自然语言处理模型,并对这些模型从预训练机制、优缺点、性能等方面进行总结;再者,对自然语言处理的主要应用领域发展进行了介绍,并阐述了自然语言处理目前面临的挑战与相应解决办法;最后,总结工作,预测了自然语言处理的未来发展方向.旨在帮助科研工作者更全面地了解自然语言预训练技术发展历程,继而为新模型、新预训练方法的提出提供一定思路.     

基于文法规则匹配的自然语言处理系统研究与实现

对对话管理系统中的自然语言理解技术进行了研究,提出了基于文法规则匹配的自然语言处理方法,给出了采用该方法实现的自然语言处理系统的结构模型。对自然语言信息通过文法规则自动机解析为参数信息的过程做了介绍,并给出了规则应用举例。     

自然语言处理中的文本表示研究

自然语言处理是人工智能的核心技术,文本表示是自然语言处理的基础性和必要性工作,影响甚至决定着自然语言处理系统的质量和性能.探讨了文本表示的基本原理、自然语言的形式化、语言模型以及文本表示的内涵和外延.宏观上分析了文本表示的技术分类,对主流技术和方法,包括基于向量空间、基于主题模型、基于图、基于神经网络、基于表示学习的文...     

几何命题处理中的中文分词技术

如何将自然语言表述的初等几何命题自动转化为计算机可理解的作图语言是自然语言处理中的空白,也是实现教育软件人机交互的难点.而中文分词是自然语言处理的第1步,分词结果直接影响后期的处理工作.该文通过对几何范围内的受限语言的研究,建立了有效可行的语言理解模型,完成了词素的切分和词性标注,并在程序上得以实现.     

基于自然语言处理的计算机几何作图

如何将自然语言表述的初等几何命题自动转化为计算机可理解的作图语言是自然语言处理中的空白,也是实现教育软件人机交互的难点。文中通过对几何范围内的受限自然语言的研究,建立了有效可行的语言理解模型,实现了从自然语言到形式化规则的自动转化,并且设计出相应的软件。     

知识增强的自然语言生成研究综述

自然语言生成(Natural Language Generation, NLG)任务是自然语言处理(Natural Languge Processing, NLP)任务中的一个子类,并且是一项具有挑战性的任务。随着深度学习在自然语言处理中的大量应用,其已经变成自然语言生成中处理各种任务的主要方法。自然语言生成任务中主要有问答任务、生成摘要任务、生成评论任务、机器翻译任务、生成式对话任务等。传统的生成模型依赖输入文本,基于有限的知识生成文本。为解决这个问题,引入了知识增强的方法。首先介绍了自然语言生成的研究背景和重要模型,然后针对自然语言处理归纳介绍了提高模型性能的方法,以及基于内部知识(如提取关键词增强生成、围绕主题词等)和外部知识(如借助外部知识图谱增强生成)集成到文本生成过程中的方法和架构。最后,通过分析生成任务面临的一些问题,讨论了未来的挑战和研究方向。     

中文文法规则的化简及其语义计算效果对比

为在自然语言处理中进行更快的语义计算,分析自然语言中最普适语法规则的基本特征,在此基础上,将语义功能相似的文法符号合并,构造一个更为简洁的文法规则,用来描述自然语言;依据自然语言语义计算模型,通过语义计算,进行模型求解,求出最符合语义逻辑的语法分析方案。通过实验比较文法简化前后的计算复杂度和正确率,得到模型求解“时间复杂度”和“正确率”之间的关系。     

大语言模型架构下的智能写作系统设计与实现

大语言模型（Large Language Models,LLMs）是一种基于深度学习的自然语言处理（Natural Language Processing,NLP）模型,用于理解、生成和处理自然语言文本,逐渐被应用于不同领域。本文通过对LLMs的技术场景探索,利用LLMs对自然语言的语法、语义和上下文信息的理解与生成自然语言的能力,构建改进媒体传统机器写稿模式的智能写作系统。     

面向机器阅读理解的多任务层次微调模型

机器阅读理解与问答一直以来被认为是自然语言理解的核心问题之一, 要求模型通过给定的文章与问题去挑选出最佳答案. 随着BERT等预训练模型的兴起, 众多的自然语言处理任务取得了重大突破, 然而在复杂的阅读理解任务方面仍然存在一些不足, 针对该任务, 提出了一个基于回顾式阅读器的机器阅读理解模型. 模型使用RoBERTa预...     

自然语言处理中的逻辑词

词是自然语言处理中最基本的单位,在当今知识表示领域,知识图作为自然语言理解的语义模型有其独到之处。本文从语言学和逻辑学的角度,首次提出并探讨了逻辑词研究逻辑词分类及如何用知识图表示各类逻辑词的结构。对自然语言处理中研究复句和篇章的理解提供了一种新的途径。     

基于自然语言处理的图像情感语义检索研究

自然语言问答在情感图像检索中并未广泛应用,对此进行了探索与尝试,设计和实现了一个以自然语言作为检索入口的情感图像检索系统,并给出系统架构及技术方案。研究过程中,引入自然语言处理技术对自然问句进行浅层语义分析,并建立了一个情感映射模型,实现了常用情感词语与该模型之间以及该模型与情感图像之间的映射。另外,还对系统的检索结果进行了评价。通过对系统的实现,为自然语言问答与情感图像检索的结合提供了一种新的思路与方法。     

自然语言处理技术在气象服务文本的应用综述

气象服务文本是气象服务产品的主要形式.使用自然语言技术自动生成气象服务文本将有效提高气象服务水平.文章首先总结了自然语言处理技术在国内外的研究现状,以及其在气象服务文本的应用,其次梳理了在气象服务领域下自然语言处理技术生成文本的基本技术路线,同时对其未来的应用发展提出想法,为今后的相关工作做参考.     

自然语言处理的历史与现状

在现代语言学中自然语言的处理占据重要地位,成为了语言学中一门值得深入探讨学习的新学科.本文从自然语言处理发展的各个阶段进行了历史追溯以及现状分析,从萌芽期、发展期和繁荣期三个阶段来探讨自然语言发展的特点.     

自然语言理解与智能检索

智能信息处理是中文信息处理中的重要课题,尤以智能检索和信息获取为重要.而自然语言处理和理解技术是智能信息处理的核心.本文讨论了自然语言理解应用于智能检索和信息获取的若干问题,阐述了标注!完善基于词典的知识库的处理手段.     

浅谈自然语言处理

自然语言是指汉语、英语、日语等人们日常使用的语言通常是指一种随社会人文演化的语言,而不是人造的语言,可进一步解释为以语音为介质,由词汇和语法两部分组成的符号系统.自然语言对人类思维与交流的影响和作用往往是决定性的.随着人工智能(Artificial Intelligence,AI)的快速发展,自然语言处理(Natura...     

量词在知识图中的分类与表示

在当今知识表示领域中,知识图作为自然语言理解的语义模型有其独到之处,而在自然语言处理中普遍认为词是最基本的单位,本文从语义学和自然语言处理的角度（主要是从知识图的角度,）在对介词的逻辑词的研究之后,按照量词图的结构,对汉语中的量词进行了分类,并且按照知识量词构造,给一词图。     

基于记忆学习方法在自然语言处理中的应用

1 背景介绍在诸多自然语言处理应用问题中,传统手工规则的失败暴露了经典人工智能IF-THEN推理模式在自然语言知识体系尚未完全把握的情况下的缺陷。由此,在一定知识推理机制体系下,自然语言的知识表示和知识获取作为自然语言处理中的关键问题已经成为困扰其形式化的主要瓶颈。     

CDSA模型及其在关系数据库自然语言接口中的实现

本文通过对传统的自然语言处理方法的分析, 针对自然查询语言的结构, 提出了一种基于结构分析的语言模型—CDSA(Concept Dependence on Structure Analysis)模型, 并描述了作者实现的一个基于CDSA模型的关系数据库自然语言接口的实验软件NLQI（Natural Language Query Interface）     

基于BERT的任务导向对话系统自然语言理解的改进模型与调优方法

任务导向对话系统的自然语言理解,其目的就是解析用户以自然语言形式输入的语句,并提取出可以被计算机所理解的结构化信息,其包含意图识别和槽填充两个子任务。BERT是近期提出来的一种自然语言处理预训练模型,已有研究者提出基于BERT的任务导向对话系统自然语言理解模型。在此基础上,该文提出一种改进的自然语言理解模型,其编码器使用BERT,而解码器基于LSTM与注意力机制构建。同时,该文提出了该模型的两种调优方法: 锁定模型参数的训练方法、使用区分大小写的预训练模型版本。在基线模型与改进模型上,这些调优方法均能够显著改进模型的性能。实验结果显示,利用改进后的模型与调优方法,可以分别在ATIS和Snips两个数据集上得到0.883 3和0.925 1的句子级准确率。     

基于深度学习的数据库自然语言接口综述

数据库自然语言接口(natural language interface to database,NLIDB)能够凭借自然语言描述实现数据库查询操作,是促进用户无障碍地与数据库交互的重要工具.因为NLIDB具有较高的应用价值,近年来一直受到学术与商业领域的关注.目前成熟的NLIDB系统大部分基于经典自然语言处理方法,即通过指定的规则实现自然语言查询到结构化查询的转化.但是基于规则的方法仍然存在拓展性不强的缺陷.深度学习方法具有分布式表示和深层次抽象表示等优势,能深入挖掘自然语言中潜在的语义特征.因此近年来在NLIDB中,引入深度学习技术成为了热门的研究方向.针对基于深度学习的NLIDB研究进展进行总结:首先以解码方法为依据,将现有成果归纳为4种类型分别进行分析;然后汇总了7种模型中常用的辅助方法;最后根据目前尚待解决的问题,提出未来仍需关注的研究方向.