基于DeepFM的深度兴趣因子分解机网络

推荐系统能够根据用户的喜好从海量信息中筛选出其可能感兴趣的信息并进行排序展示。随着深度学习在多个研究领域取得了良好的效果,其也开始应用于推荐系统。目前基于深度学习的推荐排序算法常采用Embedding&MLP模式,只能获得高阶的特征交互。为了解决该问题,DeepFM在上述模式中加入了因子分解机(Factorization Machine,FM),能够实现端到端的低阶与高阶特征交互学习,但其缺乏用户兴趣多样性的表示。鉴于此,通过将多头注意力机制引入DeepFM,提出了深度兴趣因子分解机网络(Deep Interest Factorization Machine Network,DIFMN)。DIFMN能够根据待推荐的不同物品自适应地学习用户表示,展示用户兴趣的多样性。此外,该模型根据用户历史行为的种类添加了喜好表征,从而不仅能够应用于只记录用户爱好的历史行为的任务,还可以处理同时记录用户喜欢与不喜欢的历史行为的任务。采用tensorflow-gpu进行算法的实现,在Amazon(Electronics)和movieLen-20m两个公开数据集上进行对比测试,实验表明所提算法相比DeepFM分别有17.70%和35.24%的RelaImpr提升,验证了其可行性与有效性。     

融合知识图谱与注意力机制的个性化序列推荐

序列推荐系统可以根据用户和物品交互的时间序列信息,精确预测用户下一次交互物品.现有的序列推荐算法存在用户兴趣过渡拟合的问题,导致推荐内容同质化严重,从而无法实现个性化推荐.基于此,本文提出一种融合知识图谱与注意力机制的个性化序列推荐算法(SR-KGA):首先,引入知识图谱,通过图卷积网络对物品进行嵌入表示;其次,通过自注意力机制和多头注意力机制构建序列到序列(seq2seq)模型,最后,在损失函数中加入多样性正则项;实现用交互序列来预测未来可能交互的物品序列,从而进行推荐.通过在真实的数据集上实验,SR-KGA在保证推荐准确度的同时,提升了推荐列表的多样性,实现了用户个性化推荐.     

基于AGRU-GNN的图网络社交推荐算法

在推荐系统中,用户对物品的兴趣是动态变化的,会受用户自身历史行为、朋友历史行为甚至短时热点等多方面因素影响.而如何在推荐系统中对用户的时序兴趣进行描述并提取有效信息,一直以来是推荐算法的一大挑战之一.本文在图神经网络(GNN)推荐算法的基础上,提出一种基于注意力门控循环单元(Attention-GRU)的改进图网络算法,对用户、物品的交互时序历史进行特征建模,于此同时结合社交网络将此时序特征在用户、物品之间传播.算法在Ciao与Epionions数据集上进行了验证,并与其他相关工作进行对比,证明了该模型有效地提取了用户、物品的时序特征,提升了推荐系统的有效性.     

基于深度神经网络和加权隐反馈的个性化推荐

改进的矩阵分解(SVD++)将用户和物品特征向量的内积作为用户对物品的评分,而内积无法捕捉用户与物品之间复杂的高阶非线性关系.此外,SVD++在融入用户隐式反馈时,未区分不同交互物品对于用户特征表达的贡献.针对上述问题,文中提出基于深度神经网络和加权隐反馈的推荐算法(DeepNASVD++),采用深度神经网络建模用户与物品之间的关系,使用注意力机制计算历史交互物品在建模用户隐式反馈时的权重.在公开数据集上的实验验证文中算法的有效性.     

基于高阶和时序特征的图神经网络社会化推荐算法研究

跨项目社会推荐是一种将社交关系整合到推荐系统中的方法。社会化推荐中包含用户-项目交互图和社交网络图,用户是连接这两个图的桥梁,其表示学习对提升社会化推荐的性能至关重要。然而,现有方法主要使用用户或项目的静态属性和社交网络中的显式朋友关系来进行表示学习,用户和项目交互的时序信息及隐式朋友关系未得到充分利用。因此,在社会化推荐中,如何有效利用时序信息和社交信息成为重要的研究课题之一。文中通过建模用户的隐式朋友和项目的社交属性,提出了一种新颖的基于高阶和时序特征的图神经网络社会化推荐算法(Graph Neural Networks Social Recommendation Based on High-order and Temporal Features)模型,简称HTGSR。HTGSR首先利用门控递归单元对基于项目的用户表征进行建模,以反映用户的近期动态偏好,并定义一个高阶建模单元来提取用户的高阶连通特征,挖掘用户的隐式朋友信息;其次利用注意力机制获取基于社交关系的用户表征;然后提出不同的项目社交网络的构建方式,并利用注意力机制来获取项目表征;最后将用户和项目的潜在表征输入到多层感知机,...     

融合注意力LSTM的神经张量分解推荐模型

针对结合深度学习模型的协同过滤算法未考虑关联数据的多维交互随时间动态变化的问题,该文提出一种融合时间交互学习和注意力长短期记忆网络的张量分解推荐模型(LA-NTF)。通过采用基于注意力机制的长短期记忆网络从项目文本信息中提取项目的潜在向量,然后使用融合注意力机制的长短期记忆网络来表征用户—项目关系数据在时间上的多维交互,最后将用户—项目—时间三维张量嵌入多层感知器中,学习不同潜在因子之间的非线性结构特征,从而预测用户对项目的评分。在两个真实数据集上的大量实验表明,与其他传统方法和基于神经网络的矩阵分解模型相比,方根误差(RMSE)和平均绝对误差(MAE)指标均有明显提升,说明LA-NTF模型可显著改善各种动态关系数据的评级预测任务。     

基于多模态知识图的用户微行为会话推荐

基于会话推荐的目标是根据给定的会话预测下一个交互项.针对现有基于会话推荐大多只关注某个用户交互项的连续项来捕获相关信息;以及利用知识图谱提供辅助信息的过程中忽略了多模态知识图中各种数据类型的问题.本文提出多模态知识图的用户微行为的会话模型,将用户微行为和多模态知识纳入基于会话推荐的多任务学习中,用户微行为对项目的建模在微观行为级别上,使用一系列项目操作对来充分捕获会话中的用户意图.提出多模态知识图注意力网络,通过使用多模态图注意机制进行信息传播,将得到的聚集嵌入表示进行推荐.考虑候选项目信息来平衡局部和全局表示的门控模块,门控模块利用多层感知器层对候选项目、最近交互项目和每个用户的全局偏好之间的关系进行建模来计算权重.在两个基准数据集的实验结果表明,本文所提模型优于最新基于会话的推荐,有利于提升推荐的准确率.     

区分交互意图的图卷积协同过滤算法

近几年提出了一些基于图卷积网络的协同过滤推荐模型,然而大部分模型将邻域权重视为常量且不区分用户和物品间的交互关系,无法获取令用户满意的推荐列表。因此,为了得到用户和物品更准确的嵌入表示,提出一种区分交互意图的图卷积协同过滤推荐算法MiGCCF(multi-intention graph convolutional collaborative filtering)。该算法将交互关系进行分解,细粒度分析用户与物品间的交互意图,并引入注意力机制,在消息传播过程中赋予邻域可学习的注意力权重,挖掘用户对于不同交互物品的喜爱度。在Gowalla与Amazon-book上的实验表明,该算法相比于基准算法,在两个数据集上的HR@50和NDCG@50指标分别提高了12.5%和8.5%,具有更好的性能表现。     

结合跳跃连接的多层图注意力网络会话推荐

基于会话的推荐旨在根据匿名用户的短期交互数据来预测用户下一次交互项目. 现有图神经网络会话推荐模型大多在信息传播过程中平等对待所有邻居节点, 而没有区分他们对于中心节点的重要性, 从而给模型训练引入噪声. 此外, 随着图神经网络层数的增加, 过度平滑问题会随之产生. 针对上述问题, 本文提出结合跳跃连接的多层图注意力网络会话推荐模型(MGATSC). 首先利用图注意力网络学习邻居节点对于中心节点的重要性, 并堆叠多层网络以获取高阶邻居信息; 然后为了缓解过度平滑问题, 采用基于残差注意力机制的跳跃连接更新每层网络的节点嵌入, 并通过平均池化得到最终节点嵌入. 最后将反向位置嵌入融合到节点嵌入中, 经过预测层生成推荐. 在Tmall、Diginetica以及Retailrocket这3个公开数据集上的实验结果表明所提模型优于所有基线模型, 验证了模型的有效性与合理性.     

基于知识图谱与深度涟漪网络的推荐系统

利用知识图谱和深度学习进行推荐的方法得到了广泛的研究和应用，但是大多数推荐模型对物品表示建模不够完整，也未能全面捕捉和充分利用用户及物品的高阶交互信息。针对用户特征和物品特征高阶表示的提取问题，对用户与物品间的交互信息和知识图谱的关联信息进行联合提取，提出一种知识图谱交叉涟漪网络(KGCRN)。利用涟漪网络传播对用户偏好和物品特征进行建模，同时丰富两者的表示，提升推荐的性能。此外，设计一种改进的交叉压缩单元处理涟漪网络的输出，利用涟漪网络传播和交叉压缩单元的高阶特征交互获得准确、全面的物品高阶表示，提高模型推荐精度并增强模型应对数据稀疏场景的能力。在MovieLens-20M、Book-Crossing和Last.FM数据集上的实验结果表明，与KGCN、libFM、CKE等基线方法相比，KGCRN在点击通过率预测、Top-K推荐和应对数据稀疏场景下的性能均得到显著提升，其中，相比KGCN，点击通过率预测实验中KGCRN的AUC增益分别提高0.4、5.1、2.4个百分点，F1值分别提升3.29、2.86、0.96个百分点。     

融合社会标签与信任关系的社会网络推荐方法

针对推荐系统中普遍存在的数据稀疏和冷启动等问题,本文将标签与基于信任的社交推荐方法相结合,提出了一种融合社会标签和信任关系的社会网络推荐方法。该方法利用概率因式分解技术实现了社会信任关系、项目标记信息和用户项目评分矩阵的集成。从不同维度出发,实现了用户和项目潜在特性空间的互连。在此基础上,通过概率矩阵因式分解技术实现降维,从而实现了有效的社会化推荐。在Epinions和Movielens数据集上的实验结果表明本文所提出的方法优于传统的社会化推荐和社会标签推荐算法,特别是当用户评分数据较少时该算法的优越性体现得更好。     

一种基于文本卷积神经网络的推荐算法

传统的矩阵因子分解模型不能有效提取用户和物品特征,而基于深度学习模型可以很好地提取特征信息。当前,主流的基于深度学习推荐算法只是单一地将神经网络的输出或物品特征与用户特征乘积的形式来做推荐预测,不能充分挖掘用户和物品之间的关系。基于此,本文提出一种基于文本卷积神经网络与带偏置项的奇异值分解(BiasSVD)结合的推荐算法,利用文本卷积神经网络(TextCNN)来充分提取用户和物品的特征信息,然后用奇异值分解方法来做推荐,深层次理解文档上下文信息,进一步提高推荐的准确性。将该算法在MovieLens的2个真实数据集上做广泛的评估分析,推荐的准确度要明显优于ConvMF算法及主流深度学习推荐算法。     

基于度量学习的多空间推荐系统

隐式反馈具有数据获取成本小、形式广泛的特点,因此在现代推荐系统中被广泛使用.由于用户的隐式反馈通常是稀疏,不平衡,且含义不明确的.因此,想要准确学习用户和物品之间的复杂交互具有挑战性.传统的基于矩阵分解的推荐方法只能建模用户-物品之间的相似性.同时,矩阵分解使用点积运算作为相似度评估方式,而点积运算不满足三角不等式,即不能将用户-物品相似性传递到用户-用户以及物品-物品的相似性建模.因此,矩阵分解不足以在隐式反馈中充分建模用户和物品的关系.尽管现在有基于隐式反馈使用欧式距离来度量用户-物品相似度的度量学习方法,使得对应的推荐方法能够满足三角不等式.但是,现有的度量方法通常会将每个用户或者物品表示为度量空间中的单个点,进而在单个空间内通过用户-物品之间的距离来表征用户-物品之间的相似性.由于在不同的环境下,用户对于同一种类型的物品的偏好也可能存在差异.基于单个空间的用户、物品嵌入向量有可能无法满足用户具有的多种偏好和物品具有的多种属性,进而限制了推荐系统的性能.为了充分刻画用户和物品,我们尝试从多个侧面对于用户和物品进行表示,并提出了一个基于多空间的度量学习(MML)框架.通过设计整合多个空间相似性的度量方式,我们将用户和物品投影到多个空间中进行细粒度的表示.另外,我们设计了一种经过校准的优化策略,包括经过校准的最大间隔损失函数和经过校准的采样方法.在保持多空间度量学习表示能力的同时,确保框架的有效性.最后,模型通过训练好的用户、物品向量,对于稀疏的用户-物品交互矩阵进行填补.在动态更新空间权重的同时,可以赋予模型新的训练视角,最终实现端到端的训练.通过四个真实世界推荐数据集上进行的大量实验表明,MML可以在Recall和nDCG衡量指标上将目前最优的对比算法提高40%以上.     

基于多维特征交叉的深度协同过滤算法

基于深度学习的推荐算法最初以用户和物品的ID信息作为输入,但是ID无法很好地表现用户与物品的特征。在原始数据中,用户对物品的评分数据在一定程度上能表现出用户和物品的特征,但是未考虑用户的评分偏好以及物品的热门程度。在评分任务中使用隐式反馈和ID信息作为用户与物品的特征,在消除用户主观性对特征造成的噪声的同时在一定程度上缓解冷启动问题,利用单层神经网络对原始高维稀疏特征降维,使用特征交叉得到用户与物品的低阶交互,再利用神经网络捕获用户与物品的高阶交互,有效提取了特征间的高低阶交互。在四个公开数据集上的实验表明,该算法能有效提高推荐精度。     

基于需求预测的主动服务推荐方法

在智能计算领域,网络中可用服务数量与类型的快速增长,使用户更依赖于服务完成各种业务,然而当前“请求-响应”被动式的服务模式严重影响了用户体验与资源利用率。为智能感知用户需求并主动为用户推荐合适的服务,通过引入需求预测过程,提出一种主动服务推荐方法。利用矩阵分解算法从大量历史服务使用数据中提取用户特征和服务特征,据此训练深度学习模型并预测用户的服务需求,进而为用户推荐其所需要的服务。基于真实数据的实验结果表明,该方法较单一的矩阵分解模型和深度神经网络模型具有更高的服务推荐准确性和稳定性。     

一种融合标签和知识图谱的推荐方法

随着信息的海量增长,推荐系统成为我们日常生活中一种重要的应用。传统的推荐系统根据用户和物品的交互行为进行推荐并利用用户对物品的评分来体现用户的喜好,但是数据的稀疏性会影响推荐结果的准确度,并且简单地评分数字也难以体现用户偏好的主观性以及用户选择的可解释性。因此,该文提出了一种融合标签和知识图谱的推荐方法,其中标签是一种文本信息,其包含的丰富内容和潜在的语义信息可以体现用户对物品的主观评价,对推荐起着关键作用。而知识图谱作为一种有效的推荐辅助技术,其包含的大量实体能为物品提供更多有效的特征信息。此外,该文还提出了一种融合注意力和自注意力的混合注意力模型,通过标签和实体为物品特征分配混合注意力权重,从而提高了推荐性能。实验结果表明,在MovieLens和Last.FM数据集上,该模型的推荐性能较其他推荐算法有所提升。     

融合双重正则化机制的低秩矩阵分解推荐模型

基于矩阵分解技术的社会化推荐通过加入用户信任关系来加强学习准确性,但忽略了物品之间的关联信息在模型分解过程中对用户兴趣的影响。对此首先提出在物品相似度计算方法中加入用户参与度进行改进,并构建了融合物品关联正则项和信任用户正则项双重约束的矩阵分解推荐模型,在优化隐式特征矩阵过程中体现了物品之间的关联信息对推荐的重要影响。最后通过对两个不同稀疏级别的数据集的实验证明,相比主流的矩阵分解模型,提出的双重正则项的矩阵分解模型能够提高稀疏数据集上预测评分的准确性,并能明显缓解用户冷启动问题。     

Personalized recommendation based on review topics

The traditional collaborative filtering algorithm is a successful recommendation technology. The core idea of this algorithm is to calculate user or item similarity based on user ratings and then to predict ratings and recommend items based on similar users’ or similar items’ ratings. However, real applications face a problem of data sparsity because most users provide only a few ratings, such that the traditional collaborative filtering algorithm cannot produce satisfactory results. This paper proposes a new topic model-based similarity and two recommendation algorithms: user-based collaborative filtering with topic model algorithm (UCFTM, in this paper) and item-based collaborative filtering with topic model algorithm (ICFTM, in this paper). Each review is processed using the topic model to generate review topic allocations representing a user’s preference for a product’s different features. The UCFTM algorithm aggregates all topic allocations of reviews by the same user and calculates the user most valued features representing product features that the user most values. User similarity is calculated based on user most valued features, whereas ratings are predicted from similar users’ ratings. The ICFTM algorithm aggregates all topic allocations of reviews for the same product, and item most valued features representing the most valued features of the product are calculated. Item similarity is calculated based on item most valued features, whereas ratings are predicted from similar items’ ratings. Experiments on six data sets from Amazon indicate that when most users give only one review and one rating, our algorithms exhibit better prediction accuracy than other traditional collaborative filtering and state-of-the-art topic model-based recommendation algorithms.     

一种融合信任和项目卷积描述信息的PMF算法

针对现有概率矩阵分解(PMF)技术的个性化推荐系统在采用社交网络中信任信息时常常忽视项目相关描述文档信息的问题,提出一种融合用户信任和通过卷积网络以获取项目描述等信息的PMF模型.首先,利用用户偏好信息和行为轨迹信息构建一种新的信任网络;然后,通过卷积神经网络从项目描述文档中提取项目潜在的特征向量;最后,在概率矩阵分解过程中同时利用评分数据、信任网络中用户的信任信息和项目的描述信息,计算用户和项目的潜在特征向量以预测评分并进行个性化推荐.为验证算法的有效性,选择3种算法在4个数据集上进行对比,实验结果表明所提出的算法在推荐精确度和鲁棒性方面优于其他3种算法.     

融合物品相似性与流形正则化的矩阵分解推荐模型

矩阵分解是推荐系统中应用最为广泛的方法之一,但其对物品隐因子及其相似性学习不够充分.社会网络分析中认为相互连接的个体有一定共性,受此启发提出一个能够借助近邻关系有效学习物品隐因子及其相似性的矩阵分解推荐模型.首先基于评分矩阵对物品相似性计算进行改良,综合同一用户和相似用户的评分共现信息对物品信息建模;然后通过构建相似性优化和流形局部保持正则化项,使物品相似性作用在矩阵分解中,从而充分学习物品隐因子特征及其相似性;最后根据用户和物品隐因子矩阵计算推荐指数.在公开数据集上的实验结果表明,通过流形正则化技术将改良的物品相似性作用在矩阵分解中,可以有效提升推荐效果.