自注意力下时空-语义相融合的POI序列推荐

近年来,随着基于位置的社交网络(Location-Based Social Network, LBSN)不断发展,POI序列推荐逐渐成为近年来研究的热点问题.现有的POI序列推荐方法仅仅按照时间的先后顺序建模用户历史签到序列,默认用户POI轨迹中连续POI之间具有相等的时间间隔,忽略了用户签到记录之间的时间间隔影响.另外,POI之间的地理距离以及语义信息也是影响推荐准确性的重要因素.基于此,本文提出自注意力下时空-语义相融合的POI序列推荐模型(POI sequence recommendation model based on the integration of spatiotemporal and semantics under self-attention, SA-TDS-PRec).首先,根据用户的实际签到时间建模POI轨迹.其次,融合POI绝对位置、时空间隔以及语义相关信息.最后利用自注意力机制捕捉用户动态偏好的演化,从而提高POI推荐的准确性.在公开数据集Gowalla和Yelp上进行可扩展实验.结果表明,该模型优于目前主流的基准模型,有效提升推荐结果准确性.     

融合自注意力机制与长短期偏好的序列推荐模型

针对现有的序列推荐算法仅利用短期顺序行为进行推荐,而没有充分考虑用户的长期偏好和项目之间更深层次的联系等问题,提出一种融合自注意力机制与长短期偏好的序列推荐模型(combines self-attention with long-term and short-term recommendation,CSALSR)。该模型首先建模用户和项目的潜在特征表示,将用户短期交互序列中的项目成对编码为三向张量,然后经过自注意力机制模块并使用卷积神经网络(convolutional neural network,CNN)从用户的顺序模式中提取项目间更深层次的联系。同时考虑用户的长期偏好,将相似用户的嵌入作为补充增强用户表征。在MovieLens-1M和Gowalla数据集上,实验结果表明提出的方法在准确率precision@N、召回率recall@N、均值平均精度(mean average precision,MAP)上优于其他方法。     

面向推荐系统的分期序列自注意力网络

在推荐系统中,为了充分表达用户反馈数据内部的相互依赖和序列性,准确提取用户的长期/一般偏好、应对数据的动态性,本文提出了一种分期序列自注意力网络(long-term & short-term sequential self-attention network,LSSSAN)进行序列推荐。模型采用自注意力机制和GRU捕捉了用户反馈数据之间的相互依赖和序列性;模型采用注意力机制为不同反馈数据赋予不同权重以动态捕捉重点信息,同时考虑了上下文的动态性;模型基于用户的长期反馈数据,准确表达了用户的长期/一般偏好。该模型在两个数据集上进行训练和测试,结果表明该模型的推荐效果整体优于之前的相关工作。     

融合多头自注意力的问答社区专家推荐算法

专家推荐是在线问答社区的研究热点之一,但现有的算法大多关注用户的静态兴趣和问题信息的匹配,忽视了对用户的动态兴趣表征信息的有效捕捉,从而导致推荐的准确度不足。针对上述问题,提出了融合多头自注意力的问答社区专家推荐算法。首先,构造由卷积神经网络和注意力机制组成的问题编码器,来处理目标问题和用户历史回答问题,提取对应的问题表征;其次,将用户历史回答问题序列当作时间序列,利用多头自注意力机制学习序列中所蕴涵的动态兴趣表征,结合用户的静态兴趣表征,获取用户的综合兴趣表征;最后,将目标问题表征和用户综合表征进行相似性计算产生推荐结果。利用来自知乎问答社区的真实数据进行了不同参数配置及不同算法的对比实验,实验结果表明该算法性能要明显优于目前较流行的深度学习专家推荐算法。     

一种基于社交行为融合的自注意力序列推荐模型

与协同过滤相比,序列推荐能很好的捕捉用户兴趣偏移.在序列推荐中自注意力机制可以捕获长时间依赖关系,所以有很大优势,但是面对数据稀疏性问题,仍然难以获得较好结果.针对推荐系统的数据稀疏问题,借鉴社交推荐模型的社交关系融合思想,提出了一种基于社交行为融合的自注意力序列推荐模型(SBFR).该模型使用自注意力机制生成用户的动...     

用户偏好与时间序列的兴趣点推荐模型

传统的兴趣点推荐通常忽略了用户签到行为中序列模式的重要性,且无法有效地捕捉用户复杂且动态变化的兴趣偏好.由此,本文提出了一种用户偏好和时间序列的兴趣点推荐模型(User Preference&Time Sequence based POI Recommenda-tion,UPTS-PRec).该模型能够分别对短期偏好和...     

基于注意力机制的Java API序列推荐方法

软件开发者在软件代码中如何正确使用API和API序列（APIs）,是一个需要学习的困难过程.于是面对不熟悉函数库或像Github那样包含大量APIs的代码仓库,需要一些推荐工具或系统辅助开发者的APIs使用.目前我们所知最好的方法DeepApi能较好理解用户的查询语义,但基于RNN的模型存在问题：（1）没有考虑每个单词的权重;（2）将输入序列压缩为一个固定长度的向量,损失了较多有用信息;（3）句子过长会使关键信息丢失.为此,本文使用了一种基于注意力机制的模型,可以区分每个单词的重要程度并解决长查询输入所产生的长距离依赖问题.我们从Github上面爬取了649个Java开源项目,经过处理得到有114 364对注释-API序列的训练集.实验结果表明我们的方法比DeepApi方法对于BLUE指标在Top1、Top5、Top10上均能提升约20%以上.     

基于动态和静态偏好的兴趣点推荐算法

针对大多数现有主流兴趣点(POI)推荐算法忽略了融合用户复杂动态偏好和一般静态偏好建模的复杂性问题,提出一个融合复杂动态用户偏好和一般静态用户偏好的POI推荐算法CLSR.首先,在复杂动态偏好建模过程中,基于用户的签到行为及其中的跳过行为设计一个混合神经网络,实现用户的复杂动态兴趣的建模;其次,在一般静态偏好建模过程中...     

融合社交网络和图像内容的兴趣点推荐

基于位置的社交网络（LBSN）蓬勃发展，带来了大量的兴趣点（POI）数据，加速了兴趣点推荐的研究。针对用户-兴趣点矩阵极端稀疏造成的推荐精度低和兴趣点特征缺失问题，通过融合兴趣点的标签、地理、社交、评分以及图像等信息，提出了一种融合社交网络和图像内容的兴趣点推荐方法（SVPOI）。首先分析兴趣点数据集，针对地理信息，利用幂律概率分布构造距离因子；针对标签信息，利用检索词频率构造标签因子；融合已有的历史评分数据，构造新的用户-兴趣点评分矩阵。其次利用VGG16深度卷积神经网络模型（DCNN）识别兴趣点图像内容，构造兴趣点图像内容矩阵。然后根据兴趣点数据的社交网络信息，构造用户社交矩阵。最后，利用概率矩阵分解（PMF）模型，融合用户-兴趣点评分矩阵、图像内容矩阵、用户社交矩阵，构成SVPOI兴趣点推荐模型，生成兴趣点推荐列表。大量的真实数据集上的实验结果表明，与PMF、SoRec、TrustMF、TrustSVD推荐算法相比，SVPOI推荐的准确度均有较大提升，其平均绝对误差（MAE）和均方根误差（RMSE）两项指标比最优的TrustMF算法分别降低了5.5%和7.82%，表明SVPOI具有更好的推荐效果。     

基于自注意力机制与知识图谱的序列推荐算法

针对现有的序列推荐算法难以充分挖掘序列间内在关系,以及项目之间更深层次联系等问题,提出一种新颖的序列推荐算法.算法主要分为两个主要部分,即项目嵌入和偏好学习.首先基于知识图谱创建一种新的项目嵌入方法,用于获得每个项目的统一表示.然后,通过自注意力机制学习序列的上下文信息,获取用户的个性化偏好向量,生成下一项推荐.在真实...     

融合序列局部信息的日期感知序列推荐算法

基于自注意力机制的序列推荐算法利用用户的交互序列建模用户的动态偏好,预测用户未来的行为。但是,将交互序列直接输入自注意力层将会限制算法对序列局部关联信息的有效利用。此外,现有的大部分推荐算法利用用户最近的行为表征与目标项目的点积计算项目得分,这将削弱先前交互项目对推荐结果的影响。提出融合序列局部信息的日期感知序列推荐算法,使用多个垂直过滤器融合各交互项目在交互序列中的多种局部关联信息,同时使用交叉注意力机制捕获所有历史交互项目和目标项目的关系,并且抛弃了传统的位置嵌入方法,改用交互发生的日期作为绝对时间嵌入。在多个公开数据集上的实验表明,该算法在不同的评估指标上较基线算法均有一定程度的提升。     

融合自注意力和图卷积的多视图群组推荐

为了解决大多数现有的群组推荐仅仅从群组和用户的单一交互中学习群组表示,以及固定融合策略难以动态调整权重的问题。提出了一种融合自注意力和图卷积的多视图群组推荐模型（MVGR）,设计了成员级、项目级和组级三个不同的视图,来捕捉群组、用户和项目三者之间的高阶交互信息,缓解数据稀疏问题,增强群组表示建模过程;对于项目级视图,利用基于二分图的图卷积神经网络来学习群组偏好向量以及项目嵌入;进一步提出了自适应融合组件来动态调整不同视图权重,得到最终的群组偏好向量。在两个真实数据集上的实验结果表明,与基线模型相比,MVGR模型的命中率（HR）和归一化折损累计增益（NDCG）在Mafengwo数据集上平均提高了8.89个百分点和1.56个百分点,在CAMRa2011数据集上平均提高了2.79个百分点和2.7个百分点。     

自注意力机制的属性异构信息网络嵌入的商品推荐

基于异构信息网络嵌入的推荐技术能够有效地捕捉网络中的结构信息,从而提升推荐性能.然而现有的基于异构信息网络嵌入的推荐技术不仅忽略了节点的属性信息与节点间多种类型的边关系,还忽略了节点不同的属性信息对推荐结果不同的影响.为了解决上述问题,提出一个自注意力机制的属性异构信息网络嵌入的商品推荐(attributed heterogeneous information network embedding with self-attention mechanism for product recommendation, AHNER)框架.该框架利用属性异构信息网络嵌入学习用户与商品统一、低维的嵌入表示,并在学习节点嵌入表示时,考虑到不同属性信息对推荐结果的影响不同和不同边关系反映用户对商品不同程度的偏好,引入自注意力机制挖掘节点属性信息与不同边类型所蕴含的潜在信息并学习属性嵌入表示.与此同时,为了克服传统点积方法作为匹配函数的局限性,该框架还利用深度神经网络学习更有效的匹配函数解决推荐问题.AHNER在3个公开数据集上进行大量的实验评估性能,实验结果表明AHNER的可行性与有效性.     

基于注意力机制的自监督图卷积会话推荐

为了解决会话推荐系统中数据稀疏性问题, 提出了一种基于注意力机制的自监督图卷积会话推荐模型(self-supervised graph convolution session recommendation based on attention mechanism, ATSGCN). 该模型将会话序列构建成3个不同的视图: 超图视图、项目视图和会话视图, 显示会话的高阶和低阶连接关系; 其次, 超图视图使用超图卷积网络来捕获会话中项目之间的高阶成对关系, 项目视图和会话视图分别使用图卷积网络和注意力机制来捕获项目和会话级别局部数据中的低阶连接信息; 最后, 通过自监督学习使两个编码器学习到的会话表示之间的互信息最大化, 从而有效提升推荐性能. 在Nowplaying和Diginetica两个公开数据集上进行对比实验, 实验结果表明, 所提模型性能优于基线模型.     

基于自注意力网络的共享账户跨域序列推荐

共享账户跨域序列推荐(shared-account cross-domain sequential recommendation,SCSR)是指在多个用户共同使用一个账户和用户的行为会在多个域中产生的情况下,给该账户推荐下一个可能会点击的项目.与传统的序列推荐任务相比,共享账户跨域序列推荐主要面临2方面的挑战:1)每一个账户里的交互行为是由多个用户产生的,并且这些用户的行为是混合在一起的;2)用户在1个域中产生的交互行为可能会提升推荐系统对该用户在其他域的推荐质量.目前,已有的一些相关工作大都是基于循环神经网络(recurrent neural network,RNN)的方法,但由于RNN本身固有的一些缺陷,导致基于RNN的方法不仅非常耗时,而且不能够很好地捕获交互行为之间的长期依赖关系针对SCSR问题,提出了基于自注意力的跨域推荐模型(self-attention-based cross-domain recommendation model,SCRM)来解决这2个挑战具体而言,首先引入1个多头自注意力网络来建模1个共享账户中多个用户参与的交互行为.然后,提出了一个基于多层交叉映射感知网络的跨域传输单元,以实现借助一个域的信息来提高另一个域的推荐质量最后,通过一个混合推荐解码器整合了来自2个域的信息以实现在不同域中的推荐.在真实数据集HVIDEO上进行了实验,实验结果表明,与目前最新的基准方法相比,所提出的模型能在MRR和Recall 这 2个指标上取得了更加优异的结果;在运行效率上,比基于RNN的方法取得了更短的训练和学习时间.     

SSA-PointNet++:空间自注意力机制下的3D点云语义分割网络

为增强捕捉细粒度局部特征能力以进一步提高复杂场景点云语义分割精度,将自注意力机制引入PointNet++构建点云语义分割网络SSA-PointNet++.首先将采样点邻域的自注意力明确分为中心自注意力和邻域自注意力两部分,综合两者并结合不同空间编码方式增强网络模型对采样点邻域拓扑结构的学习;然后构建注意力池化模块以强化...     

深度学习推荐模型中的注意力机制研究综述

探讨注意力机制如何帮助推荐模型动态关注有助于执行当前推荐任务输入的特定部分.分析注意力机制网络框架及其输入数据的权重计算方法,分别从标准注意力机制、协同注意力机制、自注意力机制、层级注意力机制和多头注意力机制这五个角度出发,归纳分析其如何采用关键策略、算法或技术来计算当前输入数据的权重,并通过计算出的权重以使推荐模型可...     

基于自注意力网络的时间感知序列化推荐

随着信息技术的发展, 推荐系统作为信息过载时代的重要工具, 正扮演着越来越重要的角色. 基于内容和协同过滤的传统推荐系统, 倾向于以静态方式对用户与商品交互进行建模, 以获取用户过去的长期偏好. 考虑到用户的偏好往往是动态的, 且具有非持续性和行为依赖性, 序列化推荐方法将用户与商品的交互历史建模为有序序列, 能有效捕获商品的依赖关系和用户的短期偏好. 然而多数序列化推荐模型过于强调用户-商品交互的行为顺序, 忽视了交互序列中的时间信息, 即隐式假设了序列中相邻商品具有相同的时间间隔, 在捕捉包含时间动态的用户偏好上具有局限性. 针对以上问题, 文中提出基于自注意力网络的时间感知序列化推荐(self-attention-based network for time-aware sequential recommendation, SNTSR)模型, 该模型将时间信息融入改进的自注意力网络中, 以探索动态时间对下一商品预测的影响. 同时, SNTSR独立计算位置相关性, 以消除可能引入的噪声相关性, 增强捕获用户序列模式的能力. 在两个真实世界数据集上的大量实验表明, SNTSR始终优于一组先进的序列化推荐模型.     

基于自注意力机制的网络局域安全态势融合方法研究

针对传统网络安全态势感知方法无法高效整合多节点数据、获取全局网络安全态势的问题,文章提出了一种基于自注意力机制（Self-Attention Mechanism）、径向基函数（Radial Basis Function,RBF）神经网络与卷积神经网络（Convolutional Neural Network,CNN）的网络局域安全态势融合方法 SA-RBF-CNN(Self-Attention-RBFCNN)。通过自注意力机制,模型能有效识别并强调关键节点,增强对全局安全态势的认识。同时,改进的RBF结构与CNN结合能进一步提炼特征,增强模型对复杂数据模式的捕捉能力。实验结果显示,SA-RBF-CNN在识别网络安全态势预测的关键指标上优于其他类似方法,与传统态势感知方法相比,其提升了计算速度,减少了通信开销,证明该模型具有一定的实际应用价值。     

一种分层注意力机制与用户动态偏好融合的序列推荐算法

针对现有的序列推荐算法通常仅采用单一项目信息来捕获项目的潜在特征,以及循环神经网络存在时间依赖性随序列中位置单调变化的问题,提出一种分层注意力机制与用户动态偏好融合的序列推荐算法.首先,针对单一项目信息不足以学习项目准确表示的问题,提出一种分层注意力机制用于学习高质量的项目表示.其次,针对循环神经网络的时间依赖性严重损害了用户近期偏好建模的问题,引入文本卷积神经网络来提取循环隐藏状态之间的短期序列模式,并根据用户意图将用户长期偏好与近期偏好进行动态融合.此外,针对传统自注意力机制无法对序列中元素的相对位置信息进行建模的问题,对现有的自注意力机制进行了改进,充分捕获序列中元素的相对位置信息.并在公开数据集MovieLens-1M与Amazon-Book上与现有优秀算法作比较,实验结果证明了所提算法的有效性.