选择式机器阅读理解综述

机器阅读理解是自然语言处理领域的研究热点之一,对提升机器阅读能力和智能水平有着重要意义,为跟进相关领域的研究进展对其进行综述。首先,介绍机器阅读理解的发展历程及主要任务;其次,重点梳理当前选择式机器阅读理解基于深度学习方法的相关工作,并从语义匹配、预训练模型、语义推理、外部知识四个方面展开叙述;归纳总结了相关数据集以及评价指标;最后,对选择式机器阅读理解的未来发展趋势进行了展望。     

神经机器阅读模型综述

近年来,随着互联网的高速发展,网络内容安全问题日益突出,是网络治理的核心任务之一。文本内容是网络内容安全最为关键的研究对象,然而自然语言本身固有的模糊性和灵活性给网络舆情监控和网络内容治理带来了很大的困难。因此,如何准确地理解文本内容,是网络内容治理的关键问题。目前,文本内容理解的核心支撑技术是基于自然语言处理的方法。机器阅读理解作为自然语言处理领域中的一项综合性任务,可以深层次地分析、全面地理解网络内容,在网络舆论监测和网络内容治理上发挥着重要作用。近年来,深度学习技术已在图像识别、文本分类、自然语言处理等多个领域中取得显著成果,基于深度学习的机器阅读理解方法也被广泛研究。特别是近年来各种大规模数据集的公开,加快了神经机器阅读理解的发展,各种结合不同神经网络的机器阅读模型被相继提出。本文旨在对神经机器阅读模型进行综述。首先介绍机器阅读理解的发展历史和研究现状;然后阐述机器阅读理解的任务定义,并列举出有代表性的数据集以及神经机器阅读模型;再介绍四种新趋势目前的研究进展;最后提出神经机器阅读模型当前存在的问题,并且分析机器阅读理解如何应用于网络内容治理问题以及对未来的发展趋势进行展望。     

基于神经网络的机器阅读理解综述

机器阅读理解的目标是使机器理解自然语言文本并能够正确回答与文本相关的问题,由于数据集规模的制约,早期的机器阅读理解方法大多基于人工特征以及传统机器学习方法进行建模.近年来,随着知识库、众包群智的发展,研究者们陆续提出了高质量的大规模数据集,为神经网络模型以及机器阅读理解的发展带来了新的契机.本文对基于神经网络的机器阅读理解相关的最新研究成果进行了详尽的归纳.首先,概述了机器阅读理解的发展历程、问题描述以及评价指标;然后,针对当前最流行的神经阅读理解模型架构,包括嵌入层、编码层、交互层和输出层中所使用的相关技术进行了全面的综述,同时阐述了最新的BERT预训练模型及其优势;之后,本文归纳了近年来机器阅读理解数据集和神经阅读理解模型的研究进展,同时详细比较分析了最具有代表性的数据集以及神经网络模型;最后,本文展望了机器阅读理解研究的挑战和未来的研究方向.     

基于预训练模型的机器阅读理解研究综述

近年来深度学习技术不断进步,随着预训练模型在自然语言处理中的应用与发展,机器阅读理解不再单纯地依靠网络结构与词嵌入相结合的方法。预训练语言模型的发展推动了机器阅读理解的进步,在某些数据集上已经超越了人类的表现。简要介绍机器阅读理解以及预训练语言模型的相关概念,综述当下基于预训练模型的机器阅读理解研究进展,对目前预训练模型在相关数据集上的性能进行分析,总结了目前存在的问题并对未来进行展望。     

会话式机器阅读理解综述

机器阅读理解(MRC)是一个受数据集推动的研究领域,其目标是让机器在理解文章内容的基础上能够正确回答相关问题.早期受数据集限制,机器阅读理解任务大多局限于单轮问答,问答对之间缺少依赖关系.而会话问答(ConvQA)是使机器在帮助人类获取信息时可以进行连续主题的人机交互过程.近年来,随着机器阅读理解数据集和深度神经网络的发展,研究人员将机器阅读理解与会话问答结合,形成更为复杂真实的会话式机器阅读理解(CMC),这极大地推动了机器阅读理解领域的发展.对近几年会话式机器阅读理解相关最新研究进展从三方面归纳总结:首先阐述该任务的定义、所面临的挑战以及相关数据集的特性;然后归纳总结当前最新模型的架构及其研究进展,着重介绍会话历史嵌入表示以及会话推理所使用的相关技术方法;最后梳理分析当前会话式机器阅读理解模型,并对未来研究重点和研究方法进行展望.     

面向机器阅读理解的高质量藏语数据集构建

机器阅读理解是通过算法让机器根据给定的上下文回答问题,从而测试机器理解自然语言的程度。其中,数据集的构建是机器阅读理解的主要任务之一。目前,相关算法模型在大多数流行的英语数据集上都取得了显著的成绩,甚至超过了人类表现。但对于低资源语言,由于缺乏相应的数据集,机器阅读理解研究尚处于起步阶段。该文以藏语为例,人工构建了藏语机器阅读理解数据集(TibetanQA),其中包含20 000个问题答案对和1 513篇文章。该数据集的文章均来自云藏网,涵盖了自然、文化和教育等12个领域,问题形式多样且具有一定的难度。另外,该数据集在文章收集、问题构建、答案验证、回答多样性和推理能力等方面,均采用严格的流程以确保数据的质量,同时采用基于语言特征消融输入的验证方法说明了数据集的质量。最后,该文初步探索了三种经典的英语阅读理解模型在TibetanQA数据集上的表现,其结果难以媲美人类,这表明藏语机器阅读理解任务还需要更进一步的探索。     

基于多篇章多答案的阅读理解系统

机器阅读理解任务一直是自然语言处理领域的重要问题。2018机器阅读理解技术竞赛提供了一个基于真实场景的大规模中文阅读理解数据集,对中文阅读理解系统提出了很大的挑战。为了应对这些挑战,我们在数据预处理、特征表示、模型选择、损失函数的设定和训练目标的选择等方面基于以往的工作做出了对应的设计和改进,构建出一个最先进的中文阅读理解系统。我们的系统在正式测试集ROUGE-L和BLEU-4上分别达到了63.38和59.23,在105支提交最终结果的队伍里面取得了第一名。     

基于自注意力机制的阅读理解模型

机器阅读理解是自然语言处理领域一项得到广泛关注与研究的任务。该文针对中文机器阅读理解数据集DuReader,分析其数据集的特点及难点,设计了一种基于循环神经网络和自注意力机制的抽取式模型Mixed Model。通过设计段落融合等策略,该文提出的模型在DuReader测试集上达到了54.2的Rouge-L得分和49.14的Bleu-4得分。     

机器阅读理解研究与进展

针对目前机器阅读理解的研究进展，对机器阅读理解的研究背景和国内外研究现状进行详细介绍，着重介绍国内外主流的大规模机器阅读理解数据集，以及在各个数据集上的评价指标。介绍神经机器阅读理解模型，并对向量化、编码、注意力机制、答案预测模块做了详细的介绍。总结当前机器阅读理解所面临的问题，并展望未来的发展趋势。     

多跳式文本阅读理解方法综述

多跳阅读理解成为近年来自然语言理解领域的研究热点,与简单阅读理解相比,它更加复杂,需要面对如下挑战：(1)结合多处内容线索,如多文档阅读等;(2)具有可解释性,如给出推理路径等。为应对这些挑战,出现了各类不同的工作。因此该文综述了多跳式文本阅读理解这一复杂阅读理解任务,首先给出了多跳文本阅读理解任务的定义;由于推理是多跳阅读理解模型的基础能力,根据推理方式的不同,多跳阅读理解模型可以分为三类：基于结构化推理的多跳阅读理解模型、基于线索抽取的多跳阅读理解模型、基于问题拆分的多跳阅读理解模型,该文接下来比较分析了各类模型在常见多跳阅读理解模型任务数据集上的实验结果,发现这三类模型之间各有优劣。最后探讨了未来的研究方向。     

抽取式机器阅读理解研究综述

机器阅读理解要求机器能够理解自然语言文本并回答相关问题,是自然语言处理领域的核心技术,也是自然语言处理领域最具挑战性的任务之一。抽取式机器阅读理解是机器阅读理解任务中一个重要的分支,因其更贴合实际情况,更能够反映机器的理解能力,成为当前学术界和工业界的研究热点。对抽取式机器阅读理解从以下四个方面进行了全面地综述：介绍了机器阅读理解任务及其发展历程;介绍了抽取式机器阅读理解任务以及其现阶段存在的难点;对抽取式机器阅读理解任务的主要数据集及方法进行了梳理总结;讨论了抽取式机器阅读理解的未来发展方向。     

面向机器阅读理解的多任务层次微调模型

机器阅读理解与问答一直以来被认为是自然语言理解的核心问题之一, 要求模型通过给定的文章与问题去挑选出最佳答案. 随着BERT等预训练模型的兴起, 众多的自然语言处理任务取得了重大突破, 然而在复杂的阅读理解任务方面仍然存在一些不足, 针对该任务, 提出了一个基于回顾式阅读器的机器阅读理解模型. 模型使用RoBERTa预...     

基于问题分解的多跳机器阅读理解模型

多跳机器阅读理解是自然语言处理领域最困难的任务之一,需要在多个段落之间进行推理。多跳机器阅读理解任务中的复杂问题一般由多个简单问题融合而成,可以通过分解复杂问题使模型更好地理解问题。因此,针对复杂多跳问题,提出了一种基于问题分解的多跳阅读理解模型。该模型首先将多跳问题分解为多个单跳问题,然后利用单跳阅读理解模型对其进行求解。将问题分解视作一个阅读理解任务：多跳问题是问题分解的上下文,而包含问题答案的证据段落则是问题。阅读理解任务捕捉了多跳问题和证据段落之间的交互语义信息,可以指导多跳问题中单跳问题的抽取。所提模型的BLEU值和Rouge-L值分别为71.48%和79.29%。实验结果表明,该模型对多跳机器阅读理解是有效的。     

自然语言处理评测中的问题与对策

自然语言处理中的评测任务引导和推动着技术、模型和方法上的研究。近年来,新的评测数据集和评测任务不断被提出,与此同时,现有评测暴露的一系列问题也限制了自然语言处理技术的进步。该文从自然语言处理评测的概念、构成、发展和意义出发,分类综述了主流自然语言处理评测的任务和特点,进而总结归纳了自然语言处理评测中的问题及其成因。最后,该文参照人类语言能力评测规范,提出类人机器语言能力评测的概念,并从信度、难度、效度三个方面提出了一系列类人机器语言能力评测的基本原则和实施设想,并对评测技术的未来发展进行了展望。     

自然语言处理预训练模型的研究综述

近年来,深度学习技术被广泛应用于各个领域,基于深度学习的预处理模型将自然语言处理带入一个新时代。预训练模型的目标是如何使预训练好的模型处于良好的初始状态,在下游任务中达到更好的性能表现。对预训练技术及其发展历史进行介绍,并按照模型特点划分为基于概率统计的传统模型和基于深度学习的新式模型进行综述;简要分析传统预训练模型的特点及局限性,重点介绍基于深度学习的预训练模型,并针对它们在下游任务的表现进行对比评估;梳理出具有启发意义的新式预训练模型,简述这些模型的改进机制以及在下游任务中取得的性能提升;总结目前预训练的模型所面临的问题,并对后续发展趋势进行展望。