基于关系门控图卷积网络的方面级情感分析

在方面级情感分析任务中，现有方法难以有效利用句法关系类型且性能依赖依存解析的准确性，为此提出注意力增强的关系门控图卷积神经网络（ARGCN）模型.该模型将双向长短时记忆（BiLSTM）网络学习得到的句子顺序特征与依存概率矩阵相结合构建单词图；利用关系门控图卷积神经网络（RG-GCN）和注意力增强网络（AAN）分别从单词图和句子的顺序特征中获取方面词的情感特征；拼接RG-GCN和AAN的输出作为方面词最终的情感特征.在数据集SemEval 2014、 Twitter上进行对比实验和消融实验，结果表明ARGCN模型可以有效地利用关系类型，减小依存解析准确性对模型性能的影响，更好地建立方面词和意见词的联系，模型准确率优于所有基线模型.     

结合句法依存信息的方面级情感分类

引入句法依存信息到原方面术语,提出一种新的方面术语表示方法,利用Glove词向量表示单词以及单词与单词之间的依存关系,构造出包含句法依存信息的依存关系邻接矩阵和依存关系表示矩阵,利用图卷积神经网络和多头注意力机制将句法依存信息融入到方面术语中,使得方面术语表达与上下文结构高度相关。将改进后的方面词术语表示替换到现有模型后,模型泛化能力得到有效提升。对比试验和分析结果表明:该方法具有有效性和泛化性。     

基于自注意力与图卷积网络的方面级情感分析

针对以往大多数方面级情感分析研究中方面词与上下文交互信息缺失,无法充分利用语义信息等问题,提出一种基于自注意力与图卷积网络结合的方面级情感分析模型。为了提高模型的语义表示能力,一方面利用多头自注意力机制,获取文本长距离依赖关系,与依存关系类型矩阵结合,计算融合位置信息和关系类型信息的权重矩阵,输入图卷积网络获取文本特征表示;另一方面设计了文本-方面注意力层,增强方面与上下文的交互,输入图卷积网络获取方面特征表示;最后连接2个向量,完成情感分析任务。在2个开放数据集中,所提模型的整体性能优于其他对比模型。     

一种面向目标的情感极性分析方法

面向目标的情感分析是细粒度情感分析的重要任务之一,旨在预测句子中给定目标实体的情感极性.当前大多数研究方法忽略了句法结构信息,在情感判别时往往会关注无关词汇,从而使分类性能下降.为此,设计了一种新的引入句法结构的模型,该模型利用双向预训练编码器和作用于依存句法树的图卷积网络分别捕获文本的上下文信息和句法结构信息,并使用多头注意力机制进行信息聚合得到目标的情感分类表征.此外,还将该模型与现有的领域自适应方法相结合,同时向模型中引入领域知识和句法结构知识,进一步提升了模型效果.在几个常用的标准数据集上的实验结果表明了上述模型的有效性.     

基于MGCNN的商品评论情感分析

为了解决传统的深度学习模型会忽略语料库中全局词共现信息所包含的非连续和长距离语义的问题。本文提出记忆图卷积神经网络（MGCNN）引入注意力机制的商品评论情感分析方法。首先提取词与词、词与文档之间的关系,以全部的词和文档作为节点,将整个数据集构造成一个异构文本图。再基于图卷积网络（GCN）来构建用于图结构数据的神经网络,利用长短期记忆网络（LSTM）提取上下文相关特征,并使用注意力层获取重要特征。多组对比实验结果表明,本方法的分类效果更好,且随着训练集数据所占比例的降低,其优势更加显著。     

基于注意力与双通道网络的方面级情感分析

针对方面级情感分析任务不能充分兼顾句法全面性与语义关联性,且大多数研究中使用的图卷积仅考虑信息自上而下的传播,忽略了信息自下而上的聚合等问题,本文提出了基于注意力与双通道网络的情感分析模型.该模型在扩展依存表示的同时使用自注意力获取具有语义关联的信息矩阵,使用双通道网络结合全局句法与语义关联信息,双通道网络分别侧重于自上而下传播的语义特征与自下而上聚合的结构特征.通道内的图卷积输出会与信息矩阵进行交互注意力起到残差互补的作用,然后通过平均池化完成通道内的任务.最后将基于语义与基于结构的决策融合得到最终的情感分类特征.实验结果表明该模型在三个公开数据集上的准确率与F1值均有提升.     

采用注意力门控卷积网络模型的目标情感分析

针对传统目标情感分析采用循环神经网络模型导致训练时间长且其他替代模型未能使得上下文和目标词之间实现良好交互等问题,提出了一种用于目标情感分析的注意力门控卷积网络模型。该模型首先将上下文和目标词通过多头注意力机制加强上下文和目标词之间的交互;其次采用门控卷积机制进一步提取关于目标词的情感特征;最后通过Softmax分类器将情感特征进行分类,输出情感极性。实验结果显示,与循环神经网络模型中准确率最高的循环注意力网络模型相比,在SemEval 2014任务四的餐厅和笔记本电脑数据集上的准确率分别提高了1.29%和0.12%;与循环神经网络模型中收敛速度较快的基于注意力的长短期记忆网络模型相比,收敛时间下降了约29.17s。     

融合句法依存与BERT-Att-BiLSTM的属性分类

针对细粒度情感分析属性分类准确率低的问题，提出了一种融合句法依存关系和基于转换器的双向编码器-注意力机制-双向长短期记忆网络(BERT-Att-BiLSTM)的属性分类模型。该模型首先构建基于句法依存关系的目标信息提取层，进行属性-观点对提取；其次，在词嵌入层，使用BERT模块实现结合上下文动态特征的词向量预训练；然后，在特征提取层，融入Att的BiLSTM模块进行特征空间降维处理；最后，在分类层，通过激活函数输出属性-观点对的属性类别。实验结果表明，所提模型的精准度、召回率和F1值分别为85.25%、72.38%和77.06%,均优于其他模型，证明了所提模型的有效性。     

基于双注意力卷积神经网络模型的情感分析研究

卷积神经网络（Convolutional Neural Networks,CNN）无法判别输入文本中特征词与情感的相关性.因此提出一种双注意力机制的卷积神经网络模型（Double Attention Convolutional Neural Networks,DACNN）,将词特征与词性特征有效融合后得到本文的特征表示,确定情感倾向.本文提出局部注意力的卷积神经网络模型,改进卷积神经网络的特征提取能力,采用双通道的局部注意力卷积神经网络提取文本的词特征和词性特征.然后使用全局注意力为特征分配不同的权重,有选择地进行特征融合,最后得到文本的特征表示.将该模型在MR和SST-1数据集上进行验证,较普通卷积神经网络和传统机器学习方法,在准确率上分别取得0.7%和1%的提升.     

基于跨视图对比学习的知识感知推荐系统

知识感知推荐(KGR)领域普遍存在监督信号稀疏问题,为了解决这个问题,对比学习方法被越来越广泛地应用于KGR。但是,过去基于对比学习的KGR模型仍存在一些问题:(1)使用图卷积对所有邻居节点直接聚合,无法排除知识图谱中不必要邻居节点信息的干扰；(2)只关注全局视图的信息,忽略了局部特征,这会导致过平滑问题。为了解决以上问题,提出一种基于跨视图对比学习的知识感知推荐系统(KRSCCL)。KRSCCL使用关系图注意力网络构建包含用户、物品和实体节点的全局视图；使用轻量级图卷积网络构建包含用户和物品节点的局部视图,强调局部特征,有效地缓解过平滑问题。最后,在构建的两个视图的图内和图间节点对之间进行对比学习,以充分提取KG信号,优化用户和物品表示。论文方法在三个不同领域的公开数据集上进行了大量实验,实验结果表明:关系图注意力网络可以有效排除复杂网络聚合时的噪声问题；引入局部视图可以优化节点表示生成,缓解过平滑问题；KRSCCL模型在这三个数据集上都表现良好,在电影领域数据集Movielens-1M上,其推荐的F1分数较最强基线提升2.0%；在音乐领域数据集Last.FM上,其推荐的F1分数较最强基线提升0.3%；在书籍领域数据集Book-crossing上,其推荐的F1分数较最强基线提升5.1%。证明了论文方法的有效性。     

基于BERT与注意力机制的方面级隐式情感分析模型

在方面级情感文本中存在部分不含情感词的评论句，对其情感的研究被称为方面级隐式情感分析.现有分析模型在预训练过程中可能会丢失与方面词相关的上下文信息，并且不能准确提取上下文中深层特征.本文首先构造了方面词感知BERT预训练模型，通过将方面词引入到基础BERT的输入嵌入结构中，生成与方面词信息相关的词向量；然后构造了语境感知注意力机制，对由编码层得到的深层隐藏向量，将其中的语义和句法信息引入到注意力权重计算过程，使注意力机制能更加准确地分配权重到与方面词相关的上下文.对比实验结果表明，本文模型的效果优于基线模型.     

基于双向条目注意网络的推荐系统

提出了一个基于双向条目注意网络(Dual-aspect Item Attention Network, DIAN)的推荐系统, DIAN由2个主要模块组成, 分别是用于建模历史条目和目标条目之间的条目相似性的神经关注模型(Neural Attentive Item Similarity Model, NAIS)和用于建模历史条目之间相似性的双归一化自注意力条目相似性模型(Dual Normalization Self-attention Item Similarity, SAIS)。一方面, 引入神经注意模型来区分用户配置文件中历史项对目标项的影响。另一方面, 为了更好地表达用户的兴趣, 引入自注意力网络, 从用户的历史交互项中推断出条目与条目之间的关系。提出的SAIS模型能够估计用户交互轨迹中每个条目对用户兴趣的相对权重。用双重归一化机制改进了标准的自注意力网络, 并且在2个公共基准上进行大量实验证明所提出的方法优于最先进的推荐模型。     

基于图卷积网络的归纳式微博谣言检测新方法

为了解决传统图卷积神经网络在进行谣言检测时面临的未充分考虑单词语义信息以及池化方法选择困难的问题,提出基于图卷积网络(GCN)的归纳式微博谣言检测新方法. 考虑单词之间的语义关系,结合传统词共现建图方法提出基于词语义相关性的微博事件建图方法,并结合图卷积网络和门循环单元(GRU)实现节点信息聚合;为了有效融合不同节点状态的特征信息,提出基于注意力机制的多池化方法融合策略融合最大池、平均池和全局池以获取最终的图级向量;为了提高微博谣言检测效率,探究微博评论时间对检测结果的影响,获得用于模型训练的最佳评论利用时间阈值. 实验结果表明,本研究方法在给定数据集上的表现普遍优于Text-CNN、Bi-GCN、TextING等典型方法,验证了其在微博谣言检测领域的有效性.     

基于事件模式及类型的事件检测模型

针对触发词定义标准模糊、语料标注成本高等问题,提出一种基于事件模式及类型的事件检测深度学习模型(PTNN)。首先基于实体的语法及语义特征获取潜在论元;其次将潜在论元抽象为角色,结合语法、语义、角色特征构建嵌入表示,增强输入对事件模式的体现;最后利用Bi-LSTM和基于事件类型的注意力机制,完成事件及类型判定。模型在不识别触发词的前提下,通过强化事件模式特征实现事件检测,避免了触发词标注困难的问题,证明了事件模式在神经网络上对事件检测的积极作用,将同类方法的最优效果提升了3%,且达到了基于触发词的检测效果。