意图识别与语义槽填充的双向关联模型

意图识别与语义槽填充联合建模正成为口语理解(Spoken Language Understanding,SLU)的新趋势.但是,现有的联合模型只是简单地将两个任务进行关联,建立了两任务间的单向联系,未充分利用两任务之间的关联关系.考虑到意图识别与语义槽填充的双向关联关系可以使两任务相互促进,提出了一种基于门控机制的双向...     

基于BERT的意图分类与槽填充联合方法

口语理解是自然语言处理的一个重要内容,意图分类和槽填充是口语理解的两个基本子任务。最近的研究表明,共同学习这两项任务可以起到相互促进的作用。该文提出了一个基于BERT的意图分类联合模型,通过一个关联网络使得两个任务建立直接联系和共享信息,以此来提升任务效果。模型引入BERT来增强词向量的语义表示,有效解决了目前联合模型由于训练数据规模较小导致的泛化能力较差的问题。在ATIS和Snips数据集上的实验结果表明,该模型能有效提升意图分类和槽填充的性能。     

基于知识库实体增强BERT模型的中文命名实体识别

针对预训练模型BERT存在词汇信息缺乏的问题,在半监督实体增强最小均方差预训练模型的基础上提出了一种基于知识库实体增强BERT模型的中文命名实体识别模型OpenKG+Entity Enhanced BERT+CRF。首先,从中文通用百科知识库CN-DBPedia中下载文档并用Jieba中文分词抽取实体来扩充实体词典;然后,将词典中的实体嵌入到BERT中进行预训练,将训练得到的词向量输入到双向长短期记忆网络（BiLSTM）中提取特征;最后,经过条件随机场（CRF）修正后输出结果。在CLUENER 2020 和 MSRA数据集上进行模型验证,将所提模型分别与Entity Enhanced BERT Pre-training、BERT+BiLSTM、ERNIE和BiLSTM+CRF模型进行对比实验。实验结果表明,该模型的F1值在两个数据集上比四个对比模型分别提高了1.63个百分点和1.1个百分点、3.93个百分点和5.35个百分点、2.42个百分点和4.63个百分点以及6.79个百分点和7.55个百分点。可见,所提模型对命名实体识别的综合效果得到有效提升,F1值均优于对比模型。     

基于多粒度和语义信息的中文关系抽取

中文关系抽取采用基于字符或基于词的神经网络,现有的方法大多存在分词错误和歧义现象,会不可避免的引入大量冗余和噪音,从而影响关系抽取的结果.为了解决这一问题,本文提出了一种基于多粒度并结合语义信息的中文关系抽取模型.在该模型中,我们将词级别的信息合并进入字符级别的信息中,从而避免句子分割时产生错误;借助外部的语义信息对多...     

端到端对话系统意图语义槽联合识别研究综述

目前基于深度学习的端到端对话系统因具有泛化能力强、训练参数少、性能好等优势，在学术界和工业界成为了研究热点。意图识别和语义槽填充的结果对于对话系统的性能至关重要。介绍了端到端任务型对话系统意图和语义槽联合识别的主流方法，对注意力机制、Transformer模型在捕获长期依赖关系方面的效果同循环神经网络、长短时记忆网络进行对比，并分析了因其并行处理导致无法对文本词序位置信息完整捕获的局限；阐述了胶囊网络相较于卷积神经网络在捕获小概率语义信息保证特征完整性方面的优势；重点介绍了基于BERT（Bidirectional Encoder Representations from Transformers）模型的联合识别方法，不仅能够并行处理而且可以解决一词多义的问题，是目前性能最好的方法。最后对未来研究的发展方向进行讨论和分析。     

基于标签分解的口语理解模型

在双向长短时记忆网络的基础上,提出一种用于口语理解的标签拆分策略,并构建一个联合模型。通过将1次127种标签分类转换成3次独立的分类,平衡ATIS数据集的标签。针对ATIS数据集资源较少的问题,引入外部词向量以提升模型的分类性能。实验结果表明,与循环神经网络及其变体结构相比,该模型的F1值有显著提升,最高可达95.63%。     

基于BERT的警情文本命名实体识别

针对警情领域关键实体信息难以识别的问题,提出一种基于BERT的神经网络模型BERT-BiLSTM-Attention-CRF用于识别和提取相关命名实体,且针对不同案由设计了相应的实体标记注规范。该模型使用BERT预训练词向量代替传统Skip-gram和CBOW等方式训练的静态词向量,提升了词向量的表证能力,同时解决了中文语料采用字向量训练时词语边界的划分问题;还使用注意力机制改进经典的命名实体识别（NER）模型架构BiLSTM-CRF。BERT-BiLSTM-Attention-CRF模型在测试集上的准确率达91%,较CRF++的基准模型提高7%,也高于BiLSTM-CRF模型86%的准确率,其中相关人名、损失金额、处理方式等实体的F1值均高于0.87。     

基于BERT的金融文本情感分析与应用

针对金融文本情感倾向模糊问题,设计了一种基于BERT(Bidirectional Encoder Representations from Transformers,基于Transformer的双向编码技术)和Bi-LSTM(Bidirectional Long Short-Term Memory Network,双向长短时记忆网络)的金融文本情感分析模型,以BERT模型构建词向量,利用全词掩盖方法,能够更好地表达语义信息。为搭建金融文本数据集,提出一种基于深度学习模型的主题爬虫,利用BERT+Bi-GRU(双门控循环单元)判断网页内文本主题相关性,以文本分类结果计算网页的主题相关度。实验结果表明:本文所设计的情感分析模型在做情感分析任务时取得了87.1%的准确率,能有效分析文本情感倾向。     

基于分层次多粒度语义融合的中文事件检测

事件检测是信息抽取领域中一个重要的研究方向,其主要研究如何从非结构化自然语言文本中提取出事件的触发词,并识别出事件的类型.现有的基于神经网络的方法通常将事件检测看作单词的分类问题,但是这会引起中文事件检测触发词与文本中词语不匹配的问题.此外,由于中文词语的一词多义性,在不同的语境下,相同的词语可能会存在歧义性问题.针对...     

问答中的问句意图识别和约束条件分析

意图识别和约束条件分析是口语理解(SLU)中的两个重要过程。前者是分类问题,判断话语意图;后者可以看作序列标注问题,给关键信息标特定标签。该文提出了一种LSTM联合模型,同时结合了CRF和注意力机制。在ID问题上,将所有词语输出层向量的加权和用于分类;在SF问题上,考虑标签之间的转移,计算标签序列在全局的可能性。在中文数据集和ATIS英文数据集上的实验验证了该文所提方法的有效性。     

基于BiLSTM和ResCNN的实体关系抽取方法

当前大多数实体关系抽取方法无法获取较长句子中的远距离依赖信息,并且由于远程监督数据噪声的干扰导致关系抽取性能下降。因此本文提出一种基于双向长短期记忆网络（BiLSTM）和残差卷积神经网络（ResCNN）的实体关系抽取模型,该模型在向量表示阶段采用BiLSTM获取词语的上下文信息向量,利用残差网络将卷积神经网络中低层的特征传递到高层,有效解决梯度消失问题。同时将挤压-激励块嵌入残差网络中,能大幅降低数据噪声,强化特征传递,在池化阶段采用分段最大化池化方法来捕捉实体对的结构信息。设计在NYT-Freebase数据集上的验证实验,实验结果表明,该模型能够充分学习特征,显著提升实体关系抽取的效果。     

基于CNN与双向LSTM的中文文本蕴含识别方法

为了避免基于传统机器学习的中文文本蕴含识别方法需要人工筛选大量特征以及使用多种自然语言处理工具造成的错误累计问题,该文提出了基于CNN与双向LSTM的中文文本蕴含识别方法。该方法使用CNN与双向LSTM分别对句子进行编码,自动提取相关特征,然后使用全连接层进行分类得到初步的识别结果,最后使用语义规则对网络识别结果进行修正,得到最终的蕴含识别结果。在2014年RITE-VAL评测任务的数据集上MacroF1结果为61.74%,超过评测第一名的结果61.51%。实验结果表明,该方法对于中文文本蕴含识别是有效的。     

改进GL-GIN的多意图识别和槽填充联合模型

在当前自然语言处理多意图识别模型研究中,存在建模方式均为从意图到插槽的单一方向的信息流建模,忽视了插槽到意图的信息流交互建模研究,意图识别任务易于混淆且错误捕获其他意图信息,上下文语义特征提取质量不佳,有待进一步提升等问题.本文以当前先进的典型代表GL-GIN模型为基础,进行优化改进,探索了插槽到意图的交互建模方法,运用槽到意图的单向注意力层,计算插槽到意图的注意力得分,纳入注意力机制,利用插槽到意图的注意力得分作为连接权重,使其可以传播和聚集与意图相关的插槽信息,使意图重点关注与其相关的插槽信息,从而实现多意图识别模型的双向信息流动;同时,引入BERT模型作为编码层,以提升了语义特征提取质量.实验表明,该交互建模方法效果提升明显,与原GL-GIN模型相比,在两个公共数据集(MixATIS和MixSNIPS)上,新模型的总准确率分别提高了5.2%和9%.     

基于卷积神经网络与双向长短时融合的锂离子电池剩余使用寿命预测

针对锂离子电池剩余使用寿命（remaining useful life,RUL）传统预测方法的精确度与稳定性较低等问题,融合卷积神经网络（convolutional neural network,CNN）和双向长短期记忆（bidirectional long short-term memory,BiLSTM）神经网络的...     

结合注意力机制与双向LSTM的中文事件检测方法

事件检测是信息抽取领域的重要任务之一。已有的方法大多高度依赖复杂的语言特征工程和自然语言处理工具,中文事件检测还存在由分词带来的触发词分割问题。该文将中文事件检测视为一个序列标注而非分类问题,提出了一种结合注意力机制与长短期记忆神经网络的中文事件检测模型ATT-BiLSTM,利用注意力机制来更好地捕获全局特征,并通过两个双向LSTM层更有效地捕获句子序列特征,从而提高中文事件检测的效果。在ACE 2005中文数据集上的实验表明,该文提出的方法与其他现有的中文事件检测方法相比性能得到明显提升。     

基于Attention机制的BiLSTM诈骗电话识别

电话诈骗日益猖獗, 严重影响人民的生命和财产安全, 如何有效防范电话诈骗已成为社会的一大焦点问题.本文提出一种基于Attention-BiLSTM模型的诈骗电话识别方法. 该方法以电话文本为数据集, 采用双向长短时记忆神经网络(bi-directional long short-term memory)模型提取句子的长...     

基于BLSTM-CNN-CRF模型的槽填充与意图识别

口语语言理解（SLU）中的槽填充和意图识别任务通常是分别进行建模，忽略了任务之间的关联性。基于深度学习优势提出一种BLSTM-CNN-CRF学习框架，为槽填充和意图识别任务构建联合模型。双向长短期记忆网络（BLSTM）对全句的单词标签进行标注，卷积神经网络（CNN）用以提取全句的语义特征，条件随机场（CRF）通过解码单词标签与语义特征，获得全句的最佳序列标签。在航空旅行信息系统（ATIS）数据集上的实验表明，联合模型在不依赖于任何人工特征的情况下获得较高性能。