基于藏文BERT的藏医药医学实体识别

藏医药文本字符嵌入对藏医药医学实体识别有着重要意义,但目前藏文缺少高质量的藏文语言模型。本文结合藏文结构特点使用普通藏文新闻文本训练基于音节的藏文BERT模型,并基于藏文BERT模型构建BERT-BiLSTM-CRF模型。该模型首先使用藏文BERT模型对藏医药文本字符嵌入进行学习,增强字符嵌入对藏文字符及其上下文信息的表示能力,然后使用BiLSTM层进一步抽取藏医药文本中字符之间的依赖关系,最后使用CRF层强化标注序列的合法性。实验结果表明,使用藏文BERT模型初始化藏医药文本字符嵌入有助于提高藏医药医学实体识别效果,F1值达96.18%。     

融合机器阅读理解的中文医学命名实体识别方法

医学命名实体识别是自动构建大规模医学知识库的关键，但医学文本中存在实体嵌套现象，采用序列标注的方法不能识别出嵌套中的实体。文中提出了基于阅读理解框架的中文医学命名实体识别方法，该方法将嵌套命名实体识别问题建模为机器阅读理解问题，使用BERT建立阅读理解问题和医学文本之间的联系，并引入多头注意力机制强化问题和嵌套实体之间的语义联系，最后用两个分类器对实体开头和结尾位置进行预测。与目前5种主流方法相比，该方法取得了最优结果，综合F1值达到了67.65%;与经典的实体识别模型BiLSTM-CRF相比，F1值提升了7.17%,其中嵌套较多的临床表现实体提升16.81%。     

基于BERT的中文简历命名实体识别

为了充分发掘中文简历数据中所蕴含的信息,提高构建社交网络知识图谱和档案知识图谱的实体丰富度,提出了基于BERT的中文简历命名实体识别技术.该技术模型首先通过BERT网络将大规模未标注文本生成具有语义特征的字符向量,接着通过嵌入条件随机场(CRF)的双向长短时记忆(BiLSTM)神经网络模型获取输入文本序列的上下文特征,解码标注提取出相应的8个实体类型.实验结果表明,该网络模型在个人中文简历数据集上取得了97.07％的平均F1值,可以运用于中文简历数据的实体识别任务.     

基于多特征嵌入的中文医学命名实体识别

针对基于字符表示的中文医学命名实体识别模型嵌入信息单一、缺失词边界和结构信息的问题,文中提出了一种融合多特征嵌入的医学命名实体识别模型。首先,将字符映射为固定长度的嵌入表示;其次,引入外部资源构建词汇特征,该特征能够补充字符的潜在词组信息;然后,根据中文的象形文字特点和文本序列特点,分别引入字符结构特征和序列结构特征,使用卷积神经网络对两种结构特征进行编码,得到radical-level词嵌入和sentence-level词嵌入;最后,将得到的多种特征嵌入进行拼接,输入长短期记忆网络编码,并使用条件随机场输出实体预测结果。将自建中文医疗数据和CHIP＿2020任务提供的医疗数据作为数据集进行实验,实验结果表明,与基准模型相比,所提模型同时融合了词汇特征和文本结构特征,能够有效识别医学命名实体。     

基于MacBERT与对抗训练的机器阅读理解模型

机器阅读理解旨在让机器像人类一样理解自然语言文本,并据此进行问答任务。近年来,随着深度学习和大规模数据集的发展,机器阅读理解引起了广泛关注,但是在实际应用中输入的问题通常包含各种噪声和干扰,这些噪声和干扰会影响模型的预测结果。为了提高模型的泛化能力和鲁棒性,提出一种基于掩码校正的来自Transformer的双向编码器表示(Mac BERT)与对抗训练(AT)的机器阅读理解模型。首先利用Mac BERT对输入的问题和文本进行词嵌入转化为向量表示;然后根据原始样本反向传播的梯度变化在原始词向量上添加微小扰动生成对抗样本;最后将原始样本和对抗样本输入双向长短期记忆(Bi LSTM)网络进一步提取文本的上下文特征,输出预测答案。实验结果表明,该模型在简体中文数据集CMRC2018上的F1值和精准匹配(EM)值分别较基线模型提高了1.39和3.85个百分点,在繁体中文数据集DRCD上的F1值和EM值分别较基线模型提高了1.22和1.71个百分点,在英文数据集SQu ADv1.1上的F1值和EM值分别较基线模型提高了2.86和1.85个百分点,优于已有的大部分机器阅读理解模型,并且在真实问答结果上...     

基于BERT＿Att的机器阅读理解模型

针对当前机器阅读理解模型中文本与问题的语义融合不够充分、缺乏考虑全局的语义信息的问题，提出一种基于BERT、注意力机制与自注意力机制的机器阅读理解模型BERT＿Att。该模型采用BERT将文本和问题分别映射进特征空间，通过Bi-LSTM、注意力机制与自注意力机制将文本与问题进行充分的语义融合，通过Softmax计算答案的概率分布。在公共数据集DuReader上的实验结果表明，该模型的BLEU-4值与ROUGE-L值较现有的模型均有进一步的提升，并且分析了影响模型表现的因素，验证了该模型设计的有效性。     

基于注意力阅读理解式的中文命名实体识别模型

为了改善传统基于阅读理解的命名实体识别方法存在的缺陷，提出一种基于注意力的阅读理解实体识别方法。该方法首先通过来自变换器的双向编码器表征量（Bidirectional Encoder Representations from Transformers,BERT）模型对实体类型的问题语句和待处理的文本进行编码，其次使用注意力网络关联二者，最后通过Span网络进行序列解码，提取出相应的实体类型。实验结果表明，该方法的F1值大于对照组的F1值，能够更准确地判断实体类型。     

基于BERT的电机领域中文命名实体识别方法

针对电机领域实体识别精度较低的问题,提出一种融合BERT预训练语言模型的中文命名实体识别方法。利用BERT预训练语言模型增强字的语义表示并按照上下文特征动态生成字向量,将字向量序列输入双向长短期记忆神经网络进行双向编码,同时通过条件随机场算法标注出实体识别结果。根据电机文本特点对自建数据集进行标注,并将电机领域实体划分为实物、特性描述、问题/故障、方法/技术等4个类别。实验结果表明,与基于BiLSTM-CRF、BiLSTM-CNN和BiGRU的实体识别方法相比,该方法具有更高的准确率、召回率和F1值,并且有效解决了电机领域命名实体识别任务中标注数据不足及实体边界模糊的问题。     

基于BERT和多窗口门控CNN的电机领域命名实体识别

针对电机领域命名实体识别困难、精度不高的问题,提出了一种基于BERT和多窗口门控CNN的电机领域命名实体识别模型。该模型首先利用BERT预训练模型生成句子的字向量序列,根据电机领域文本的上下文动态微调字向量,增强字向量的语义表达;其次,构建具有全局时序特征感知单元和多窗口门控CNN单元的双分支特征提取层,形成句子的多级语义特征表示;最后,通过CRF对字符序列进行解码,得到每个字符对应的标签。在小规模的自建电机领域数据集与多组模型进行的对比实验结果表明,该模型命名实体识别性能均优于其他模型,macro-F1值达到了90.16%,验证了该方法对电机领域实体识别的有效性。     

基于BERT嵌入的中文命名实体识别方法

在基于神经网络的中文命名实体识别过程中,字的向量化表示是重要步骤,而传统的词向量表示方法只是将字映射为单一向量,无法表征字的多义性.针对该问题,通过嵌入BERT预训练语言模型,构建BERT-BiGRU-CRF模型用于表征语句特征.利用具有双向Transformer结构的BERT预训练语言模型增强字的语义表示,根据其上下文动态生成语义向量.在此基础上,将字向量序列输入BiGRU-CRF模型中进行训练,包括训练整个模型和固定BERT只训练BiGRU-CRF2种方式.在MSRA语料上的实验结果表明,该模型2种训练方式的F1值分别达到95.43%和94.18%,优于BiGRU-CRF、Radical-BiLSTM-CRF和Lattice-LSTM-CRF模型.     

基于动态图神经网络的会话式机器阅读理解研究

近年来,基于深度学习的机器阅读理解模型研究取得显著进展,但这些模型在全局语义关系构建以及较长距离推理上仍有显著缺陷,在对段落文本进行推理时,大多只把文本信息看作词的序列,而没有探索词与词之间丰富的语义关系.为了解决上述问题,该文提出一种新的基于动态图神经网络的会话式机器阅读理解模型.首先,提取文本中的实体,使用句法结构...     

一种基于数据重构和富特征的神经网络机器阅读理解模型

该文描述了ZWYC团队在“2018机器阅读理解技术竞赛”上提出的机器理解模型。所提出模型将机器阅读理解问题建模成连续文本片段抽取问题,提出基于富语义特征的神经交互网络模型。为了充分使用答案标注信息,模型首先对数据进行细致的重构,让人工标注的多个答案信息都能融合到数据中。通过特征工程,对每个词构建富语义表征。同时提出一种简单有效的问题和文档交互的方式,得到问题感知的文档表征。基于多个文档串接的全局表征,模型进行答案文本预测。在最终测试集上,该模型获得了目前先进的结果,在105支队伍中排名第2。     

神经机器阅读模型综述

近年来,随着互联网的高速发展,网络内容安全问题日益突出,是网络治理的核心任务之一。文本内容是网络内容安全最为关键的研究对象,然而自然语言本身固有的模糊性和灵活性给网络舆情监控和网络内容治理带来了很大的困难。因此,如何准确地理解文本内容,是网络内容治理的关键问题。目前,文本内容理解的核心支撑技术是基于自然语言处理的方法。机器阅读理解作为自然语言处理领域中的一项综合性任务,可以深层次地分析、全面地理解网络内容,在网络舆论监测和网络内容治理上发挥着重要作用。近年来,深度学习技术已在图像识别、文本分类、自然语言处理等多个领域中取得显著成果,基于深度学习的机器阅读理解方法也被广泛研究。特别是近年来各种大规模数据集的公开,加快了神经机器阅读理解的发展,各种结合不同神经网络的机器阅读模型被相继提出。本文旨在对神经机器阅读模型进行综述。首先介绍机器阅读理解的发展历史和研究现状;然后阐述机器阅读理解的任务定义,并列举出有代表性的数据集以及神经机器阅读模型;再介绍四种新趋势目前的研究进展;最后提出神经机器阅读模型当前存在的问题,并且分析机器阅读理解如何应用于网络内容治理问题以及对未来的发展趋势进行展望。     

MCA-Reader:基于多重联结机制的注意力阅读理解模型

机器阅读理解是当下自然语言处理的一个热门任务,其内容是: 在给定文本的基础上,提出问题,机器要在给定文本中寻找并给出最终问题的答案。片段抽取式阅读理解是当前机器阅读理解研究的一个典型的方向,机器通过预测答案在文章中的起始和结束位置来定位答案。在此过程中,注意力机制起着不可或缺的作用。该文为了更好地解决片段抽取式机器阅读理解任务,提出了一种基于多重联结机制的注意力阅读理解模型。该模型通过多重联结的方式,更有效地发挥了注意力机制在片段抽取式机器阅读理解任务中的作用。利用该模型,在第二届“讯飞杯”中文机器阅读理解评测(CMRC2018)的最终测试集上EM值为71.175,F₁值为88.090,排名第二。     

基于BiDAF多文档重排序的阅读理解模型

随着互联网的兴起和发展,数据规模急速增长,如何利用机器阅读理解技术对海量的非结构化数据进行解析,从而帮助用户快速、准确地查找到满意答案,是目前自然语言理解领域中的一个热门课题。该文通过对机器阅读理解中的深度神经网络模型进行研究,构建了RBiDAF模型。首先,通过对DuReader数据集进行数据探索,并对数据进行预处理,从中提取出有利于模型训练的特征。其次在BiDAF模型的基础上提出了基于多文档重排序的RBiDAF机器阅读理解模型,该模型在BiDAF模型四层网络框架的基础上添加了ParaRanking层。其中在ParaRanking层,该文提出了多特征融合的ParaRanking算法,此外在答案预测层,提出了基于先验知识的多答案交叉验证算法,进而对答案进行综合预测。在“2018机器阅读理解技术竞赛”的最终评测中,该模型表现出了不错的效果。     

Bridge inspection named entity recognition via BERT and lexicon augmented machine reading comprehension neural model

As an important data source in the field of bridge management, bridge inspection reports contain large-scale fine-grained data, including information on bridge members and structural defects. However, due to insufficient research on automatic information extraction in this field, valuable bridge inspection information has not been fully utilized. Particularly, for Chinese bridge inspection entities, which involve domain-specific vocabularies and have obvious nesting characteristics, most of the existing named entity recognition (NER) solutions are not suitable. To address this problem, this paper proposes a novel lexicon augmented machine reading comprehension-based NER neural model for identifying flat and nested entities from Chinese bridge inspection text. The proposed model uses the bridge inspection text and predefined question queries as input to enhance the ability of contextual feature representation and to integrate prior knowledge. Based on the character-level features encoded by the pre-trained BERT model, bigram embeddings and weighted lexicon features are further combined into a context representation. Then, the bidirectional long short-term memory neural network is used to extract sequence features before predicting the spans of named entities. The proposed model is verified by the Chinese bridge inspection named entity corpus. The experimental results show that the proposed model outperforms other mainstream NER models on the bridge inspection corpus. The proposed model not only provides a basis for automatic bridge inspection information extraction but also supports the downstream tasks such as knowledge graph construction and question answering systems.     

基于神经网络的机器阅读理解综述

机器阅读理解的目标是使机器理解自然语言文本并能够正确回答与文本相关的问题,由于数据集规模的制约,早期的机器阅读理解方法大多基于人工特征以及传统机器学习方法进行建模.近年来,随着知识库、众包群智的发展,研究者们陆续提出了高质量的大规模数据集,为神经网络模型以及机器阅读理解的发展带来了新的契机.本文对基于神经网络的机器阅读理解相关的最新研究成果进行了详尽的归纳.首先,概述了机器阅读理解的发展历程、问题描述以及评价指标;然后,针对当前最流行的神经阅读理解模型架构,包括嵌入层、编码层、交互层和输出层中所使用的相关技术进行了全面的综述,同时阐述了最新的BERT预训练模型及其优势;之后,本文归纳了近年来机器阅读理解数据集和神经阅读理解模型的研究进展,同时详细比较分析了最具有代表性的数据集以及神经网络模型;最后,本文展望了机器阅读理解研究的挑战和未来的研究方向.     

融合注意力机制的药用植物文本命名实体识别

药用植物文本的命名实体识别对中医药领域的信息抽取和知识图谱构建起着重要作用。针对药用植物属性文本存在长序列语义稀疏的问题,提出一种基于注意力机制的双向长短时记忆网络(BiLSTM)和条件随机场(CRF)模型相结合的疾病实体识别方法（BiLSTM+ATT-CRF,BAC）。首先对药用植物属性文本进行预处理和半自动化标注构建数据集,并进行预训练得到低维词向量;然后将这些低维词向量输入BiLSTM网络中,得到双向语义依赖的特征向量;Attention层把注意力集中到与当前输出特征高度相关的信息上;最后通过条件随机场（CRF）算法获取最优的标签序列并解码输出。实验结果表明,BAC方法针对药用植物属性文本的长序列语义稀疏问题,疾病命名实体识别效果较传统方法更优。利用BAC方法训练好的模型从1680条文本句子中识别疾病命名实体,共抽取出1422个疾病实体。与药用植物名称进行匹配,共抽取出4316个药用植物治疗疾病的三元组数据。     

TransformerG:基于层级图结构与文本注意力机制的法律文本多跳阅读理解

该文针对Cail2020法律多跳机器阅读理解数据集进行研究,提出了TransformerG,一个基于不同层级的实体图结构与文本信息的注意力机制融合的多跳阅读理解模型。该模型有效地结合了段落中问题节点、问题的实体节点、句子节点、句中的实体节点的特征与文本信息的特征,从而预测答案片段。此外,该文提出了一种句子级滑动窗口的方法,有效解决在预训练模型中文本过长导致的截断问题。利用TransformerG模型参加中国中文信息学会计算语言学专委会(CIPS-CL)和最高人民法院信息中心举办的“中国法研杯”司法人工智能挑战赛机器阅读理解赛道,取得了第2名的成绩。     

N-Reader:基于双层Self-attention的机器阅读理解模型

机器阅读理解是自然语言处理和人工智能领域的重要前沿课题,近年来受到学术界和工业界的广泛关注。为了提升机器阅读理解系统在多文档中文数据集上的处理能力,我们提出了N-Reader,一个基于神经网络的端到端机器阅读理解模型。该模型的主要特点是采用双层self-attention机制对单个文档以及所有输入文档进行编码。通过这样的编码,不仅可以获取单篇文档中的关键信息,还可以利用多篇文档中的相似性信息。另外,我们还提出了一种多相关段落补全算法来对输入文档进行数据预处理。这种补全算法可以帮助模型识别出具有相关语义的段落,进而预测出更好的答案序列。使用N-Reader模型,我们参加了由中国中文信息学会、中国计算机学会和百度公司联手举办的“2018机器阅读理解技术竞赛”,取得了第3名的成绩。