基于图依存分析的情感原因对抽取任务

情感原因对抽取是情感分析任务中的子任务,旨在抽取出给定文档中的所有情感子句以及引起该情感所对应的原因子句。先前的研究在生成情感子句与原因子句表示时忽略了情感子句与原因子句之间的相互联系。为了解决上述问题,基于图依存分析的思想并融入了图注意力机制,提出了GAT-ECPE模型。该模型在获取到情感子句表示与原因子句表示时,将句向量作为节点输入图注意力层从而学习到子句之间关系的信息,而后进行双仿射映射得到情感原因对的编码表示。并且设置了多任务来将情感抽取与原因抽取任务建立联系。在ECPE数据集上的实验结果证明,本文模型相较于先前的一系列模型,在评估指标上有所提升。     

基于多粒度交互推理的答案选择方法研究

预训练语言模型已经广泛应用于不同自然语言处理任务，其蕴含的自注意力机制能够在“文本对子”之上形成统一的语义编码表示，从而使BERT模型的输入结构和运算模式理论上适用于处理“目标问题和候选答案”样本。然而，直接应用BERT等语言模型将面临两种局限性：(1)BERT并不侧重词块、短语和子句的独立语义信息表示，使得文本在匹配过程中往往错失不同颗粒度语义相关性的感知；(2)BERT中的多头注意力机制不能在不同粒度的语义结构之间计算交互强度(相关性)。针对上述问题，该文提出一种基于BERT的多粒度交互推理网络，该方法将问题与候选答案的语言信息进行多粒度语义编码，丰富了句子间的语义信息与交互性。此外，该文提出句子级的编码损失策略，借以提高编码过程对关键子句的加权能力。在WPQA数据集上的实验结果显示，该方法有效提高了非事实性问题的答案选择性能。     

融入领域术语词典的司法舆情敏感信息识别

司法舆情敏感信息识别主要是从海量网络文本中识别出与司法领域相关的敏感舆情。当前,面向司法舆情敏感信息识别的研究较少,相比通用领域的敏感信息识别任务,司法舆情敏感信息具有描述不规范、冗余信息多以及领域词汇过多等特点,这使得通用模型并不适用该任务。为此,该文提出融入领域术语词典的司法舆情敏感信息识别模型。首先使用双向循环神经网络和多头注意力机制对舆情文本进行编码,得到具有权重信息的文本表示;其次将领域术语词典作为分类的指导知识,与舆情文本表征构建相似矩阵,得到融入领域术语词典的司法敏感文本表征;然后利用卷积神经网络对其进行局部信息编码,再利用多头注意力机制获取具有敏感权重的局部特征;最后实现司法领域敏感信息识别。实验结果表明,相比Bi-LSTM Attention基线模型,F₁值提升了8%。     

基于混合多头注意力和胶囊网络的特定目标情感分析

特定目标情感分析旨在判断上下文语境在给定目标词下所表达的情感倾向。对句子语义信息编码时,目前大部分循环神经网络或注意力机制等方法,不能充分捕捉上下文中长距离的语义信息,同时忽略了位置信息的重要性。该文认为句子的语义信息、位置信息和多层次间的信息融合对该任务至关重要,从而提出了基于混合多头注意力和胶囊网络的模型。首先,使用多头自注意力分别在位置词向量基础上对上下文长句子和在双向GRU基础上对目标词进行语义编码;然后,使用胶囊网络在语义信息交互拼接基础上进行位置信息编码;最后,在融入原始语义信息基础上,使用多头交互注意力对上下文与目标词并行融合的方法得到情感预测结果。在公开数据集SemEval 2014 Task4和ACL 14 Twitter上的实验表明,该文模型性能较传统深度学习和标准注意力方法有显著提升,验证了模型的有效性和可行性。     

基于图注意力卷积神经网络的文档级关系抽取

关系抽取作为信息抽取的子任务,旨在从非结构化文本中抽取出便于处理的结构化知识,对于自动问答、知识图谱构建等下游任务至关重要。该文在文档级的关系抽取语料上开展工作,包括但不局限于传统的句子级关系抽取。为了解决文档级关系抽取中长距离依赖问题,并且对特征贡献度加以区分,该文将图卷积模型和多头注意力机制相融合构建了图注意力卷积模型。该模型通过多头注意力机制为同指、句法等信息构建的拓扑图构建动态拓扑图,然后使用图卷积模型和动态图捕获实体间的全局和局部依赖信息。该文分别在DocRED语料和自主扩展的ACE 2005语料上进行实验,与基准模型相比,基准模型上融入图注意力卷积的模型在两个数据集上的F₁值分别提升了2.03％和3.93％,实验结果表明了该方法的有效性。     

利用异构图神经网络实现情绪-原因对的有效抽取

情绪-原因对的自动抽取，是文本情感分析的新任务，旨在以子句为单位，从不带任何标注的原始文本中识别情绪表达，并确定产生相应情绪的原因，形成情绪-原因对。完成上述任务的关键是有效捕捉情绪和原因之间以及不同情绪-原因对之间的关联。针对现有研究在捕捉这些关联方面存在的粒度过粗、无法有效区分不同子句对之间因果关系的相互影响等不足，提出了一种基于异构图神经网络的情绪-原因对抽取方法。该方法首先构建以子句和子句对为顶点的异构图，其中子句和子句对之间以及不同的子句对之间存在不同类型的边，用于捕捉各种细粒度的关联；然后采用带有注意力机制的异构图神经网络顶点表达更新算法，对子句和子句对的初始表达进行迭代更新；接着将更新后的子句对表达输入到二元分类器，通过该分类器判断相应的子句对是否存在情绪-原因关系。在情绪-原因对抽取任务的基准数据集上进行的实验表明，所提基于异构图神经网络的方法具有稳定的效果提升，在F1值上比当前最好的方法高0.85%;如果底层编码器(用于得到初始的子句表达和子句对表达)采用BERT,F1值可以达73.12%,也优于底层编码器同样采用BERT的现有最新算法。     

情感子句预测与原因子句提取方法

为减少人工成本,提出在未给定情感标签情况下预测文本情感子句,同时提取原因子句的方法.使用CNN提取局部语义信息,使用带有注意力的Bi-LSTM提取句子上下文语义信息以及情感表达的关键部分信息,将这3类信息结合获取更好的句子特征来进行情感预测;通过注意力将预测的情感标签与句子特征结合,提取原因.实验结果表明,模型在情感子句预测和原因子句提取任务中均取得目前最好结果,在未给定文本情感标签的情况下,原因提取效果仍优于大部分传统模型.     

基于图卷积网络的特定方面情感分析

方面级情感分析是细粒度情感分析的一个基本子任务,旨在预测文本中给定方面或实体的情感极性。语义信息、句法信息及其交互信息对于方面级情感分析是极其重要的。该文提出一种基于图卷积和注意力的网络模型(CA-GCN)。该模型主要分为两部分,一是将卷积神经网络结合双向LSTM获取的丰富特征表示与图卷积神经网络掩码得到的方面特征表示进行融合;二是采用两个多头交互注意力融合方面、上下文和经图卷积神经网络得到的特征信息,而后接入多头自注意力来学习信息交互后句子内部的词依赖关系。与ASGCN模型相比,该模型在三个基准数据集(Twitter、Lap14和Rest14)上准确率分别提升1.06%、1.62%和0.95%,F₁值分别提升1.07%、2.60%和1.98%。     

基于ECPA神经网络的情绪原因识别方法

情绪原因识别是文本情绪分析领域中的一个前沿研究方向。传统情绪原因识别方法需要进行规则制定、抽取特征,而该文从情绪原因的语言特点出发,结合Bi-LSTM模型和注意力机制,提出一种基于情绪上下文位置注意力神经网络的情绪原因识别方法(ECPA)。该方法考虑了情绪词和情绪类别中的情绪信息,学习了Bi-LSTM模型建模后的上下文语义信息,引入了基于位置信息的注意力机制模型,进而构建情绪原因识别模型。实验结果证明,该方法在情绪原因识别任务中的有效性,并取得了目前最优的性能,同时对情绪归因方法具有一定的指导作用。     

基于多任务学习的时序多模态情感分析模型

针对时序多模态情感分析中存在的单模态特征表示和跨模态特征融合问题,结合多头注意力机制,提出一种基于多任务学习的情感分析模型。首先,使用卷积神经网络（CNN）、双向门控循环神经网络（BiGRU）和多头自注意力（MHSA）实现了对时序单模态的特征表示;然后,利用多头注意力实现跨模态的双向信息融合;最后,基于多任务学习思想,添加额外的情感极性分类和情感强度回归任务作为辅助,从而提升情感评分回归主任务的综合性能。实验结果表明,相较于多模态分解模型,所提模型的二分类准确度指标在CMU-MOSEI和CMU-MOSI多模态数据集上分别提高了7.8个百分点和3.1个百分点。该模型适用于多模态场景下的情感分析问题,能够为商品推荐、股市预测、舆情监控等应用提供决策支持。     

基于事件语境的文本情感原因对特征提取

现有的情感原因对提取任务(ECPE)大多采用将情感从句逐一与原因从句匹配的方法, 或专注于候选对的 排序方法, 忽略了影响情感因果关系成立的从句的事件语境, 导致模型在理解情感因果关系时产生偏差, 并且无法 捕捉长距离的因果关系. 为此, 本文提出了基于注意力机制和情感从句卷积核的分层模型, 将原始文档的事件语境 特征嵌入到情感原因对特征提取器中, 以创建一个集成和增强的特征. 首先, 将情感分析得到的情感从句类别特征 作为卷积核. 然后, 利用文档的事件语境特征提取情感原因对. 本文方法在中文数据集的F1分数上有1.38%6.08% 的提升, 在英文数据集的F1分数上有2.35%~7.27%的提升, 说明情感分析和因果事件语境对于情感原因对提取的 有效性.     

基于BiGCN和IAM的方面级情感分类模型

目前基于神经网络的方面级情感分类模型很少会考虑上下文单词与方面词之间的句法依存关系,可能会错误地将与方面词语法无关的上下文单词作为方面词的情感特征;另一方面大多数方法也忽略了上下文与方面词之间的交互信息。针对这两个问题,提出了基于双向图卷积网络（BiGCN）和交互注意力机制（IAM）的方面级情感分类模型（BiGCN-IAM）,该模型在句法依存树上使用双向图卷积网络提取上下文单词和方面词之间的句法依存关系,然后使用掩码层得到特定的方面词表示;最后使用交互注意力机制学习上下文与方面词之间的交互信息,同时提取了上下文中的重要情感特征和方面词中对分类有贡献的特征。通过在五个公开数据集上的实验证明,该模型效果优于基线模型。     

融合卷积神经网络与双向GRU的文本情感分析胶囊模型

文本情感分析是自然语言处理领域一个重要的分支。现有深度学习方法不能更为全面地提取文本情感特征,且严重依赖于大量的语言知识和情感资源,需要将这些特有的情感信息充分利用使模型达到最佳性能。该文提出了一种融合卷积神经网络与双向GRU网络的文本情感分析胶囊模型。该模型首先使用多头注意力学习单词间的依赖关系、捕获文本中情感词,利用卷积神经网络和双向GRU提取文本不同粒度的情感特征,特征融合后输入全局平均池化层,在得到文本的实例特征表示的同时,针对每个情感类别结合注意力机制生成特征向量构建情感胶囊,最后根据胶囊属性判断文本情感类别。模型在MR、IMDB、SST-5及谭松波酒店评论数据集上进行实验,相比于其他基线模型具有更好的分类效果。     

Emotion-cause span extraction: a new task to emotion cause identification in texts

Emotional cause identification (ECI) is an important task for emotion analysis, aiming to identify the causes behind a certain emotion expressed in the text. Most of the previous studies are restricted to the clause-level binary classification, which have ignored an important fact that not all words in the clause are useful cause information for people to express emotions. In this work, we propose a new task: emotion-cause span extraction (ECSE), which is capable of obtaining more accurate and effective emotion causes. Inspired by recent advances in using joint learning approaches to ECI, we propose a novel joint learning framework for emotion-cause span extraction and span-based emotion classification so as to better address the ECSE task. Taken as the default backbone network, the Bidirectional Encoder Representations from Transformers (BERT) is used to encode multiple words and serve contextualized token representations. Furthermore, we also propose a multi-attention mechanism with emotional context awareness and a relative position learning mechanism on word-level, which is able to further capture the mutual interactions between the emotion clauses and candidate spans. According to the experimental results on a benchmark emotion cause corpus, it proves the reliability of the ECSE task and the effectiveness of our approach. In addition, through an in-depth analysis of traditional ECI task by converting ECSE into the clause-level binary classification task, we achieve the best performance among the systems in comparison, which further demonstrates the feasibility of the new ECSE task.

     

面向特定方面情感分析的图卷积过度注意(ASGCN-AOA)模型

针对注意力机制与卷积神经网络模型在方面级情感分析研究中,无法发掘句中长距离单词与相关句法约束间依存关系,而将与语法无关的上下文单词作为方面情感判断线索的问题,该文提出了一种结合图卷积网络(GCN)和注意-过度注意(AOA)神经网络的方面级情感分类模型(ASGCN-AOA).首先,采用双向长短时记忆网络来对上下文词之间特...     

面向上下文注意力联合学习网络的方面级情感分类模型

针对现有的方面级情感分类模型存在感知方面词能力较弱、泛化能力较差等问题,文中提出面向上下文注意力联合学习网络的方面级情感分类模型(CAJLN).首先,利用双向Transformer的表征编码器(BERT)模型作为编码器,将文本句子预处理成句子、句子对和方面词级输入序列,分别经过BERT单句和句子对分类模型,进行上下文、方面词级和句子对隐藏特征提取.再基于上下文和方面词级隐藏特征,建立上下文和方面词的多种注意力机制,获取方面特定的上下文感知表示.然后,对句子对隐藏特征和方面特定的上下文感知表示进行联合学习.采用Xavier正态分布对权重进行初始化,确保反向传播时参数持续更新,使CAJLN在训练过程中可以学习有用信息.在多个数据集上的仿真实验表明,CAJLN可有效提升短文本情感分类性能.     

结合ECOC与DS证据理论的多目标识别研究

情感分类任务旨在自动识别文本所表达的情感色彩信息(例如,褒或者贬、支持或者反对)。提出一种基于情 绪词与情感词协作学习的情感分类方法:在基于传统情感词资源的基础上,引入少量情绪词辅助学习,只利用大规模 未标注数据实现情感分类。具体来讲,基于文档一单词二部图的标签传播算法框架,利用情绪词与情感词构建两个视 图,通过协作学习的方法从大规模未标注语料中抽取高正确率的自动标注样本作为训练数据,然后训练分类器进行情 感分类。实验表明,该方法在多个领域的情感分类任务中都取得了较好的分类效果。     

基于多通道特征和自注意力的情感分类方法

针对情感分析任务中没有充分利用现有的语言知识和情感资源,以及在序列模型中存在的问题：模型会将输入文本序列解码为某一个特定的长度向量,如果向量的长度设定过短,会造成输入文本信息丢失.提出了一种基于多通道特征和自注意力的双向LSTM情感分类方法（MFSA-BiLSTM）,该模型对情感分析任务中现有的语言知识和情感资源进行建模,形成不同的特征通道,并使用自注意力重点关注加强这些情感信息.MFSA-BiLSTM可以充分挖掘句子中的情感目标词和情感极性词之间的关系,且不依赖人工整理的情感词典.另外,在MFSA-BiLSTM模型的基础上,针对文档级文本分类任务提出了MFSA-BiLSTM-D模型.该模型先训练得到文档的所有的句子表达,再得到整个文档表示.最后,对5个基线数据集进行了实验验证.结果表明：在大多数情况下,MFSA-BiLSTM和MFSA-BiLSTM-D这两个模型在分类精度上优于其他先进的文本分类方法.     

融合多特征的分段卷积神经网络对象级情感分类方法

对象级情感分类旨在判断句子中特定对象的情感极性类别。在现有基于卷积神经网络的研究中,常在模型的池化层采用最大池化操作提取文本特征作为句子表示,该操作未考虑由对象所划分的上下文,因此无法得到更细粒度的对象上下文特征。针对该问题,该文提出一种融合多特征的分段卷积神经网络(multi-feature piecewise convolution neural network,MP-CNN)模型,根据对象将句子划分为两个部分作为上下文,并在池化层采用分段最大池化操作提取上下文特征。此外,该模型还将有助于情感分类的多个辅助特征融入其中,如词的相对位置、词性以及词在情感词典中的情感得分,并通过卷积操作计算词的注意力得分,有效判断对象的情感极性类别。最后在SemEval 2014数据集和Twitter数据集的实验中,取得了较基于传统机器学习、基于循环神经网络以及基于单一最大池化的卷积神经网络分类模型更好的分类效果。