采用自注意力机制和CNN融合的实体关系抽取

At present, the neural network model plays an important role in entity relationship extraction tasks. Features can be automatically extracted by a convolutional neural network, but it is limited because a fixed window size convolution kernel in a convolutional neural network is used to extract contextual semantic information of words in a sentence. Therefore, this paper proposes a new relational extraction method fusing self attention and convolutional neural network. The original word vector is calculated by the self attention mechanism to obtain the relationship between the words in the sequence. The input word vector expresses richer semantic information, which can make up for the deficiency of the automatic extraction features of the convolutional neural network. The experimental results on the SemEval 2010 Task 8 dataset show that, after adding the self attention mechanism, our model is beneficial to improve the entity relationship extraction effect.     

基于门控卷积机制与层次注意力机制的多语义词向量计算方法

现有的将词映射为单一向量的方法没有考虑词的多义性,从而会引发歧义问题;映射为多个向量或高斯分布的方法虽然考虑了词的多义性,但或多或少没能有效利用词序、句法结构和词间距离等信息对词在某一固定语境中语义表达的影响。综合考虑以上存在的问题,该文提出了一种基于非残差块封装的门控卷积机制加以层次注意力机制的方法,分别在所选取语境窗口中词的子语义层、合成语义层获得非对称语境窗口下目标单词的合成语义向量以预测目标单词,并按此法在给定语料上学习得到多语义词向量的计算方法。小规模语料上用该方法得到的多语义词向量,在词类比任务的语义类比上相比于基线方法准确率最高可提升1.42%;在WordSim353、MC、RG、RW等计算单词相似度任务的数据集上相比于基线方法能够达到平均2.11的性能提升,最高可到5.47。在语言建模实验上,该方法的语言模型性能相比于其他预测目标单词的方法也有显著提升。     

基于注意力机制的自监督图卷积会话推荐

为了解决会话推荐系统中数据稀疏性问题, 提出了一种基于注意力机制的自监督图卷积会话推荐模型(self-supervised graph convolution session recommendation based on attention mechanism, ATSGCN). 该模型将会话序列构建成3个不同的视图: 超图视图、项目视图和会话视图, 显示会话的高阶和低阶连接关系; 其次, 超图视图使用超图卷积网络来捕获会话中项目之间的高阶成对关系, 项目视图和会话视图分别使用图卷积网络和注意力机制来捕获项目和会话级别局部数据中的低阶连接信息; 最后, 通过自监督学习使两个编码器学习到的会话表示之间的互信息最大化, 从而有效提升推荐性能. 在Nowplaying和Diginetica两个公开数据集上进行对比实验, 实验结果表明, 所提模型性能优于基线模型.     

基于动态词向量和注意力机制的文本情感分类

针对Word2vec等静态词向量模型对于每个词只有唯一的词向量表示,无法学习在不同上下文中的词汇多义性问题,提出一种基于动态词向量和注意力机制的文本情感分类方法.在大型语料库上利用深度双向语言模型预训练通用词向量;在情感分类任务的训练语料上对向量模型进行微调,得到最终的上下文相关的动态词向量作为输入特征;搭建双向长短期...     

自注意力下时空-语义相融合的POI序列推荐

近年来,随着基于位置的社交网络(Location-Based Social Network, LBSN)不断发展,POI序列推荐逐渐成为近年来研究的热点问题.现有的POI序列推荐方法仅仅按照时间的先后顺序建模用户历史签到序列,默认用户POI轨迹中连续POI之间具有相等的时间间隔,忽略了用户签到记录之间的时间间隔影响.另外,POI之间的地理距离以及语义信息也是影响推荐准确性的重要因素.基于此,本文提出自注意力下时空-语义相融合的POI序列推荐模型(POI sequence recommendation model based on the integration of spatiotemporal and semantics under self-attention, SA-TDS-PRec).首先,根据用户的实际签到时间建模POI轨迹.其次,融合POI绝对位置、时空间隔以及语义相关信息.最后利用自注意力机制捕捉用户动态偏好的演化,从而提高POI推荐的准确性.在公开数据集Gowalla和Yelp上进行可扩展实验.结果表明,该模型优于目前主流的基准模型,有效提升推荐结果准确性.     

基于自注意力机制与知识图谱的序列推荐算法

针对现有的序列推荐算法难以充分挖掘序列间内在关系,以及项目之间更深层次联系等问题,提出一种新颖的序列推荐算法.算法主要分为两个主要部分,即项目嵌入和偏好学习.首先基于知识图谱创建一种新的项目嵌入方法,用于获得每个项目的统一表示.然后,通过自注意力机制学习序列的上下文信息,获取用户的个性化偏好向量,生成下一项推荐.在真实...     

基于降噪自编码器网络与词向量的信息推荐方法

基于降噪自编码器的推荐方法缺乏对项目共现关系的分析能力,且模型存在参数冷启动问题。为此,基于降噪自编码器网络与词向量,提出一种信息推荐方法。将用户看作文档,将用户评价过的项目看作词语,以此构建训练语料。利用词向量模型对语料进行训练,得到隐含上下文信息的项目向量。将所有项目向量作为初始权重构建降噪自编码器神经网络,训练得到模型参数。通过模型预测用户评分完成top-N推荐。在标准数据集上的实验结果表明,该方法能提高推荐准确率,训练速度优于降噪自编码、奇异值矩阵分解和协同过滤推荐方法。     

面向推荐系统的分期序列自注意力网络

在推荐系统中,为了充分表达用户反馈数据内部的相互依赖和序列性,准确提取用户的长期/一般偏好、应对数据的动态性,本文提出了一种分期序列自注意力网络(long-term & short-term sequential self-attention network,LSSSAN)进行序列推荐。模型采用自注意力机制和GRU捕捉了用户反馈数据之间的相互依赖和序列性;模型采用注意力机制为不同反馈数据赋予不同权重以动态捕捉重点信息,同时考虑了上下文的动态性;模型基于用户的长期反馈数据,准确表达了用户的长期/一般偏好。该模型在两个数据集上进行训练和测试,结果表明该模型的推荐效果整体优于之前的相关工作。     

一种基于自注意力机制的组推荐方法

基于自注意力网络和神经协同过滤模型（neural collaborative filtering,NCF）提出一种基于自注意力机制的组推荐系统模型SAGR（self-attention group recommendation）,用于建模用户交互数据以及学习群组潜在偏好的表示。通过在用户级和项目级分别使用自注意力机制,动态调整组中每个用户的权重,解决偏好融合问题从而得到组表示。再通过多层神经网络框架NCF从数据中挖掘组和项目之间的交互,最终完成群组推荐。在CAMRa2011和MovieLens数据集上与同类方法进行对比,实验结果表明SAGR方法能够取得更好的组推荐结果。     

融合深度去噪自编码器和注意力机制的推荐算法

传统推荐算法无论在特征提取还是相似度计算方面仍存在数据稀疏和大量噪声数据问题,导致推荐效率不高、用户满意度低等问题,由此提出一种融合深度去噪自编码器和注意力机制的推荐算法。将深度去噪自编码器融入到基于项目相似度的协同过滤推荐算法中,同时加入了注意力机制,以惩罚活跃用户对实验结果的影响,既可以挖掘到用户与项目的线性特征又可以学习到用户与项目非线性特征。实验选取了MovieLens和Pinterest两个公开数据集,与传统推荐算法和近些年较先进算法相比,该算法能够显著提升传统推荐算法的性能,并可以缓解传统推荐算法存在的数据稀疏和冷启动问题。     

基于复合卷积和自注意力的会话推荐

最近,基于卷积神经网络（convolutional neural networks,CNN）的方法显示了在会话数据建模中的潜力,尤其是在提取用户复杂的局部行为交互方面。递归神经网络（recurrent neural networks,RNN）很难从远距离学习项目依赖,而自注意力（self-attention,SA）结构具有对会话事件的顺序进行建模并捕获远距离项目之间交互关系的能力,对于会话数据来说是一种优越的选择。因此提出了一种复合卷积自注意力架构（compound convolutional and self-attention network,CCNN-SA）。该架构利用了两个卷积模块提取的复杂局部特征,同时使用了多头自注意力结构从会话事件中学习长期交互关系,这种灵活而统一的网络体系结构有利于对会话序列的各种重要特征进行综合建模。在两个来自电子商务的基准数据集上对所提出的模型进行了验证,在表征命中率和预测结果排名的评估指标Recall@20和MRR@20上,对于YOOCHOOSE数据集分别提升了2.79%和5.87%,在DIGINETIC数据集上分别提升了2.17%和6.43%,验...     

结合注意力机制的知识感知推荐算法

知识图谱在推荐系统中的应用越来越受重视,可以有效地解决推荐系统中存在的数据稀疏性和冷启动问题.但现有的基于路径和基于嵌入的知识感知推荐算法在合并知识图谱中的实体来表示用户时,并没有考虑到实体对于用户的重要性并不相同,推荐结果会受到无关实体的影响.针对现有方法的局限性,提出了一种新的结合注意力机制的知识感知推荐算法,并给...     

融合自注意力机制与长短期偏好的序列推荐模型

针对现有的序列推荐算法仅利用短期顺序行为进行推荐,而没有充分考虑用户的长期偏好和项目之间更深层次的联系等问题,提出一种融合自注意力机制与长短期偏好的序列推荐模型(combines self-attention with long-term and short-term recommendation,CSALSR)。该模型首先建模用户和项目的潜在特征表示,将用户短期交互序列中的项目成对编码为三向张量,然后经过自注意力机制模块并使用卷积神经网络(convolutional neural network,CNN)从用户的顺序模式中提取项目间更深层次的联系。同时考虑用户的长期偏好,将相似用户的嵌入作为补充增强用户表征。在MovieLens-1M和Gowalla数据集上,实验结果表明提出的方法在准确率precision@N、召回率recall@N、均值平均精度(mean average precision,MAP)上优于其他方法。     

自注意力机制的属性异构信息网络嵌入的商品推荐

基于异构信息网络嵌入的推荐技术能够有效地捕捉网络中的结构信息,从而提升推荐性能.然而现有的基于异构信息网络嵌入的推荐技术不仅忽略了节点的属性信息与节点间多种类型的边关系,还忽略了节点不同的属性信息对推荐结果不同的影响.为了解决上述问题,提出一个自注意力机制的属性异构信息网络嵌入的商品推荐(attributed heterogeneous information network embedding with self-attention mechanism for product recommendation, AHNER)框架.该框架利用属性异构信息网络嵌入学习用户与商品统一、低维的嵌入表示,并在学习节点嵌入表示时,考虑到不同属性信息对推荐结果的影响不同和不同边关系反映用户对商品不同程度的偏好,引入自注意力机制挖掘节点属性信息与不同边类型所蕴含的潜在信息并学习属性嵌入表示.与此同时,为了克服传统点积方法作为匹配函数的局限性,该框架还利用深度神经网络学习更有效的匹配函数解决推荐问题.AHNER在3个公开数据集上进行大量的实验评估性能,实验结果表明AHNER的可行性与有效性.     

融合自注意力和图卷积的多视图群组推荐

为了解决大多数现有的群组推荐仅仅从群组和用户的单一交互中学习群组表示,以及固定融合策略难以动态调整权重的问题。提出了一种融合自注意力和图卷积的多视图群组推荐模型（MVGR）,设计了成员级、项目级和组级三个不同的视图,来捕捉群组、用户和项目三者之间的高阶交互信息,缓解数据稀疏问题,增强群组表示建模过程;对于项目级视图,利用基于二分图的图卷积神经网络来学习群组偏好向量以及项目嵌入;进一步提出了自适应融合组件来动态调整不同视图权重,得到最终的群组偏好向量。在两个真实数据集上的实验结果表明,与基线模型相比,MVGR模型的命中率（HR）和归一化折损累计增益（NDCG）在Mafengwo数据集上平均提高了8.89个百分点和1.56个百分点,在CAMRa2011数据集上平均提高了2.79个百分点和2.7个百分点。     

一种基于社交行为融合的自注意力序列推荐模型

与协同过滤相比,序列推荐能很好的捕捉用户兴趣偏移.在序列推荐中自注意力机制可以捕获长时间依赖关系,所以有很大优势,但是面对数据稀疏性问题,仍然难以获得较好结果.针对推荐系统的数据稀疏问题,借鉴社交推荐模型的社交关系融合思想,提出了一种基于社交行为融合的自注意力序列推荐模型(SBFR).该模型使用自注意力机制生成用户的动...     

基于自注意力机制的方面情感分类

基于方面的情感分类方法判断句子中给定实体或属性的情感极性。针对使用全局注意力机制计算属性词和句子其他词的注意力分数时,会导致模型关注到与属性词不相关的词,并且对于长距离的依赖词、否定词关注不足,不能检测到并列关系和短语的问题,提出了基于自注意力机制的语义加强模型（SRSAM）。该模型首先使用双向长短时记忆神经网络模型（bidirectional long short-term memory,BiLSTM）获取文本编码,其次用自注意力机制计算文本编码的多个语义编码,最后将属性词和语义编码交互后判断属性词在句中的情感极性。使用SemEval 2014数据集的实验表明,由于模型能发现长距离依赖和否定词,对并列关系和短语有一定检测效果,相比基础模型在分类精度上有0.6%~1.5%的提升。     

融合上下文信息与自注意力机制的群组推荐算法

针对群组推荐中组内成员存在偏好动态复杂性的问题,群组成员间的偏好会彼此影响,提出了一种融合上下信息与自注意力机制的群组推荐算法。首先,为了更好地捕捉群组成员间的动态关系,利用自注意力机制自动学习群组内用户的上下文信息与群组中其他成员间的关系权重;其次,根据自注意力机制学习到的组矩阵取其均值嵌入得到群组偏好表示;最后,根据群组偏好利用贝叶斯个性化排序方法进行群组推荐。将提出的方法在MovieLens-1M和CAMRa2011两个数据集上进行实验,并且与基准算法进行比较分析,该方法在推荐的命中率HR和NDCG两个指标上均有提升,实验结果证明该方法得到了更优的群组推荐结果。     

基于自注意力的协同演进推荐

为解决时序模型不能有效获取用户和项目交互序列的语义关系,以及因参数共享而导致的信息丢失问题,提出基于自注意力的协同演进推荐模型(BSFRNN).将循环神经网络提取的序列特征和自注意力机制提取的语义特征进行融合表征用户以及项目的短期特征,将矩阵分解描述的长期特征和短期时序特征进行融合,将融合的特征向量通过多层感知机进行预...     

基于注意力机制和异质信息网络元路径的推荐系统

异质信息网络（HIN）包含丰富的网络结构和语义信息使其常见于推荐系统中。然而,当前推荐系统的研究工作主要是基于元路径提供的间接信息进行推荐,而未充分利用直接交互信息。为了充分利用这些信息,提出一种融合注意力机制和异质信息网络元路径的三元交互模型（AMMRec）。在异质信息网络中使用隐式反馈矩阵构造用户相似度矩阵和项目相似度矩阵,运用异质信息网络的表示学习方法获得对应的特征向量嵌入,通过注意力机制对其进行修正;设计注意力神经网络,将不同元路径的表示向量进行融合;拼接用户嵌入、元路径嵌入和项目嵌入,通过全连接神经网络生成推荐结果。在真实数据集上的实验结果表明,AMMRec的推荐精度最高提升了9.5%。此外,AMMRec对推荐结果具有良好的可解释性。