基于BERT模型的中文短文本分类算法

针对现有中文短文本分类算法通常存在特征稀疏、用词不规范和数据海量等问题,提出一种基于Transformer的双向编码器表示(BERT)的中文短文本分类算法,使用BERT预训练语言模型对短文本进行句子层面的特征向量表示,并将获得的特征向量输入Softmax回归模型进行训练与分类。实验结果表明,随着搜狐新闻文本数据量的增加,该算法在测试集上的整体F1值最高达到93%,相比基于TextCNN模型的短文本分类算法提升6个百分点,说明其能有效表示句子层面的语义信息,具有更好的中文短文本分类效果。     

基于BERT和双通道注意力的文本情感分类模型

对于句子级文本情感分析问题,目前的深度学习方法未能充分运用情感词、否定词、程度副词等情感语言资源。提出一种基于变换器的双向编码器表征技术(Bidirectional encoder representations from transformers,BERT)和双通道注意力的新模型。基于双向门控循环单元（BiGRU）神经网络的通道负责提取语义特征,而基于全连接神经网络的通道负责提取情感特征;同时,在两个通道中均引入注意力机制以更好地提取关键信息,并且均采用预训练模型BERT提供词向量,通过BERT依据上下文语境对词向量的动态调整,将真实情感语义嵌入到模型;最后,通过对双通道的语义特征与情感特征进行融合,获取最终语义表达。实验结果表明,相比其他词向量工具,BERT的特征提取能力更强,而情感信息通道和注意力机制增强了模型捕捉情感语义的能力,明显提升了情感分类性能,且在收敛速度和稳定性上更优。     

基于BBCAL模型的法条自动推送方法

针对公益诉讼案件内容复杂难以理解,专业术语特征难以有效提取等问题,提出一种面向公益诉讼案件的法条自动推送模型.使用BERT模型获取案件词向量,引入BiLSTM模型挖掘词向量更深层次的含义,解决长期依赖问题,设计CNN不同的卷积核尺寸提取不同粒度的专业术语特征信息,引入注意力机制,获取与当前任务最相关的特征.实验结果表明...     

融合注意力机制的电力集控安全隐患实体识别模型研究

针对电力集控安全隐患文本实体边界模糊、常用实体识别模型识别准确率低的问题,提出了一种融合注意力机制与基于Transformer的双向编码器表示(BERT)-双向长短时记忆(BiLSTM)-条件随机场(CRF)的电力集控安全隐患数据实体识别模型。首先,利用BERT层将安全隐患文本编码表示为融合上下文语义的字位置和句位置的向量表示组,以减少实体识别误差积累。然后,提出了BiLSTM网络层挖掘电力集控隐患文本的语义特征并进行标签概率预测,在此基础上加入注意力机制增加重要信息的权重,提高重要信息对安全隐患语义信息的影响程度。最后,利用CRF层为标注结果进行综合打分,得到全局最优标签序列。在不同的电力安全隐患实体信息类别上的对比试验显示,所提模型的准确率为97.54%、召回率为96.47%、F值为97.13%,与传统算法相比总体效果提升了5%～21%。该结果证明了电力集控安全隐患实体识别模型的有效性。     

面向中文新闻文本分类的融合网络模型

针对神经网络文本分类模型随着层数的加深,在训练过程中发生梯度爆炸或消失以及学习到的词在文本中的语义信息不够全面的问题,该文提出了一种面向中文新闻文本分类的融合网络模型.该模型首先采用密集连接的双向门控循环神经网络学习文本的深层语义表示,然后将前一层学到的文本表示通过最大池化层降低特征词向量维度,同时保留其主要特征,并采...     

基于BERT-CNN的Webshell流量检测系统设计与实现

Webshell是一种网站后门程序,常被黑客用于入侵服务器后对服务器进行控制,给网站带来严重的安全隐患。针对以往基于流量的机器学习检测Webshell方法存在特征选择不全、向量化不准确、模型设计不合理导致的检测效果不佳问题,设计并实现了一种将基于变换器的双向编码器表示技术（BERT）与卷积神经网络（CNN）相结合的Webshell流量检测系统,通过分析超文本传输协议（HTTP）报文中各个字段信息,提取其中具有Webshell信息的特征字段,使用BERT模型对特征进行向量化编码,并结合一维CNN模型从不同空间维度检测特征建立分类模型,最后使用模型对流量数据进行检测调优。实验结果表明,与以往基于流量检测方法相比,该检测系统在准确率、召回率和F1值等性能指标上表现更好,分别达到99.84%、99.83%、99.84%。     

基于FA-TR模型的中文文本摘要生成

针对传统文本生成摘要方法在生成摘要时存在并行能力不足以及事实性错误问题,提出在Transformer框架基础上引入事实感知的FA-T R模型.提取源文本的事实性描述信息,对该信息进行编码后与源文信息编码相融合,加入源文的位置编码一起作为编码器的输入,通过解码器对语义向量进行解码生成目标摘要.该模型改善了生成的摘要歪曲或捏造源文本事实的现象,提高了摘要质量.通过在中文短文本摘要数据集LCSTS实验,采用ROUGE作为评价指标,与其它4种方法进行实验对比与分析,验证了该模型的可行性和算法的有效性.     

基于模型的复杂系统任务保证研究综述

任务保证是国外航天领域为确保复杂系统在任务周期内的安全、可靠而提出的一种工作方式。随着基于模型的系统工程技术近年来的迅猛发展,将其与任务保证相结合而形成的基于模型的任务保证概念开始得到广泛的应用和认可。这为复杂系统在安全性、可靠性工作方法上的进一步发展提供了有利条件。介绍了基于模型的任务保证概念,并对其所涉及的安全/保证案例、基于模型的系统工程、目标结构表示等关键要素,以及其目前在复杂系统设计中的典型应用进行了阐述。对基于模型的任务保证在未来的发展方向进行了展望。为基于模型的任务保证在复杂系统中的应用提供了理论参考。     

面向上下文注意力联合学习网络的方面级情感分类模型

针对现有的方面级情感分类模型存在感知方面词能力较弱、泛化能力较差等问题,文中提出面向上下文注意力联合学习网络的方面级情感分类模型(CAJLN).首先,利用双向Transformer的表征编码器(BERT)模型作为编码器,将文本句子预处理成句子、句子对和方面词级输入序列,分别经过BERT单句和句子对分类模型,进行上下文、方面词级和句子对隐藏特征提取.再基于上下文和方面词级隐藏特征,建立上下文和方面词的多种注意力机制,获取方面特定的上下文感知表示.然后,对句子对隐藏特征和方面特定的上下文感知表示进行联合学习.采用Xavier正态分布对权重进行初始化,确保反向传播时参数持续更新,使CAJLN在训练过程中可以学习有用信息.在多个数据集上的仿真实验表明,CAJLN可有效提升短文本情感分类性能.     

面向专业领域的多头注意力中文分词模型——以西藏畜牧业为例

专业领域语料往往比通用领域语料涵盖更多未登录词,如西藏畜牧业领域语料包含大量直接音译或者合成的人名、地名、牲畜名、牧草名等未登录词,是造成分词准确率低的最主要原因.针对该问题,该文提出面向专业领域的多头注意力机制中文分词模型,该模型把字向量表示的语句作为输入,利用双向门控循环神经网络与多头注意力机制学习字向量的上下文语...     

基于机器阅读理解的中文命名实体识别方法

针对现有命名实体识别方法主要考虑单个句子内的上下文信息,很少考虑文档级上下文影响的问题,文中提出基于机器阅读理解的中文命名实体识别方法,利用阅读理解思想,充分挖掘文档级的上下文特征,支撑实体识别.首先,针对每类实体,将实体识别任务转化为问答任务,构建问题、文本及实体答案三元组.然后,将三元组信息通过双向Transformer编码器进行预训练,再通过卷积神经网络捕捉文档级文本上下文信息.最后通过二进制分类器实现实体答案预测.在MSRA、人民日报公开数据集和自建数据集上的命名实体识别对比实验表明,文中方法性能较优,阅读理解思想对实体识别具有较好的作用.     

基于BERT的三阶段式问答模型

预训练语言模型的发展极大地推动了机器阅读理解任务的进步.为了充分利用预训练语言模型中的浅层特征,并进一步提升问答模型预测答案的准确性,提出了一种基于BERT的三阶段式问答模型.首先,基于BERT设计了预回答、再回答及答案调整三个阶段;然后,在预回答阶段将BERT嵌入层的输入视作浅层特征来进行答案预生成;接着,在再回答阶...     

面向方面级情感分类的特征融合学习网络

在方面级情感分类任务中,现有方法强化方面词信息能力较弱,局部特征信息利用不充分.针对上述问题,文中提出面向方面级情感分类的特征融合学习网络.首先,将评论处理为文本、方面和文本-方面的输入序列,通过双向Transformer的表征编码器得到输入的向量表示后,使用注意力编码器进行上下文和方面词的建模,获取隐藏状态,提取语义信息.然后,基于隐藏状态特征,采用方面转换组件生成方面级特定的文本向量表示,将方面信息融入上下文表示中.最后,对于方面级特定的文本向量通过文本位置加权模块提取局部特征后,与全局特征进行融合学习,得到最终的表示特征,并进行情感分类.在英文数据集和中文评论数据集上的实验表明,文中网络提升分类效果.     

基于多语BERT的无监督攻击性言论检测

攻击性言论会对社会安定造成严重不良影响,但目前攻击性言论自动检测主要集中在少数几种高资源语言,对低资源语言缺少足够的攻击性言论标注语料导致检测困难,为此,提出一种跨语言无监督攻击性迁移检测方法。首先,使用多语BERT（mBERT）模型在高资源英语数据集上进行对攻击性特征的学习,得到一个原模型;然后,通过分析英语与丹麦语、阿拉伯语、土耳其语、希腊语的语言相似程度,将原模型迁移到这四种低资源语言上,实现对低资源语言的攻击性言论自动检测。实验结果显示,与BERT、线性回归（LR）、支持向量机（SVM）、多层感知机（MLP）这四种方法相比,所提方法在丹麦语、阿拉伯语、土耳其语、希腊语这四种语言上的攻击性言论检测的准确率和F1值均提高了近2个百分点,接近目前的有监督检测,可见采用跨语言模型迁移学习和迁移检测相结合的方法能够实现对低资源语言的无监督攻击性检测。     

基于自注意力门控图卷积网络的特定目标情感分析

基于特定目标的情感分析旨在预测句子中不同方面表达的不同情感倾向。针对之前利用循环神经网络（RNN）结合注意力机制的网络模型所带来的训练参数多且缺少对相关句法约束和长距离词依赖机制解释的问题,提出自注意力门控图卷积网络MSAGCN。首先,模型采用多头自注意力机制编码上下文词和目标,捕获句子内部的语义关联;然后,采用在句子的依存树上建立图卷积网络的方法获取句法信息以及词的依存关系;最后,通过带有目标嵌入的门控单元（GTRU）获取特定目标的情感。与基线模型相比,所提模型的准确率和调和平均值F1分别提高了1%~3.3%和1.4%~6.3%;同时,预训练的BERT模型也被应用到当前任务中,使模型效果获得了新的提升。实验结果表明所提出的模型能更好掌握用户评论的情感倾向。     

基于注意力平衡列表的溯因推理模型

溯因推理是自然语言推理(NLI)中的重要任务,旨在通过给定的起始观测事件和最终观测事件,推断出二者之间合理的过程事件(假设)。早期的研究从每条训练样本中独立训练推理模型;而最近,主流的研究考虑了相似训练样本间的语义关联性,并以训练集中假设出现的频次拟合其合理程度,从而更精准地刻画假设在不同环境中的合理性。在此基础上,在刻画假设的合理性的同时,加入了合理假设与不合理假设的差异性和相对性约束,从而达到了假设的合理性和不合理性的双向刻画目的,并通过多对多的训练方式实现了整体相对性建模;此外,考虑到事件表达过程中单词重要性的差异,构造了对样本不同单词的关注模块,最终形成了基于注意力平衡列表的溯因推理模型。实验结果表明,与L2R²模型相比,所提模型在溯因推理主流数据集叙事文本中的溯因推理(ART)上的准确率和AUC分别提高了约0.46和1.36个百分点,证明了所提模型的有效性。     

基于BERT和联合学习的裁判文书命名实体识别

正确识别裁判文书中的实体是构建法律知识图谱和实现智慧法院的重要基础。然而常用的命名实体识别（NER）模型并不能很好地解决裁判文书中的多义词表示和实体边界识别错误的问题。为了有效提升裁判文书中各类实体的识别效果,提出了一种基于联合学习和BERT的BiLSTM-CRF（JLB-BiLSTM-CRF）模型。首先,利用BERT对输入字符序列进行编码以增强词向量的表征能力;然后,使用双向长短期记忆（BiLSTM）网络建模长文本信息,并将NER任务和中文分词（CWS）任务进行联合训练以提升实体的边界识别率。实验结果表明,所提模型在测试集上的精确率达到了94.36%,召回率达到了94.94%,F1值达到了94.65%,相较于BERT-BiLSTM-CRF模型分别提升了1.05个百分点、0.48个百分点和0.77个百分点,验证了JLB-BiLSTM-CRF模型在裁判文书NER任务上的有效性。     

基于BERT的心血管医疗指南实体关系抽取方法

实体关系抽取是医疗领域知识问答、知识图谱构建及信息抽取的重要基础环节之一。针对在心血管专病知识图谱构建的过程中尚无公开数据集可用的情况,收集了心血管疾病领域的医疗指南并进行相应的实体和关系类别的专业标注,构建了心血管专病知识图谱实体关系抽取的专业数据集。基于该数据集,首先提出双向变形编码器卷积神经网络（BERT-CNN）模型以实现中文语料中的关系抽取,然后根据中文语义中主要以词而不是字为基本单位的特性,提出了改进的基于全词掩模的双向变形编码器卷积神经网络（BERT（wwm）-CNN）模型用于提升在中文语料中关系抽取的性能。实验结果表明,改进的BERT（wwm）-CNN在所构建的关系抽取数据集上准确率达到0.85,召回率达到0.80,F₁值达到0.83,优于对比的基于双向变形编码器长短期记忆网络（BERT-LSTM）模型和BERT-CNN模型,验证了改进网络模型的优势。