融合协同过滤信息的知识图注意力网络

知识图谱（KG）能够缓解协同过滤算法存在的数据稀疏和冷启动问题,在推荐领域被广泛地研究和应用。现有的很多基于KG的推荐模型混淆了用户物品二部图中的协同过滤信息和KG中实体间的关联信息,导致学习到的用户向量和物品向量无法准确表达其特征,甚至引入与用户、物品无关的信息从而干扰推荐。针对上述问题提出一种融合协同信息的知识图注意力网络（KGANCF）。首先,为了避免KG实体信息的干扰,网络的协同过滤层从用户物品二部图中挖掘出用户和物品的协同过滤信息;然后,在知识图注意力嵌入层中应用图注意力机制,从KG中继续提取与用户和物品密切相关的属性信息;最后,在预测层将用户物品的协同过滤信息和KG中的属性信息融合,得到用户和物品最终向量表示,进而预测用户对物品的评分。在MovieLens-20M和Last.FM数据集上进行了实验,与协同知识感知注意力网络（CKAN）相比,KGANCF在MovieLens-20M数据集上的F1分数提升了1.1个百分点,曲线下面积（AUC）提升了0.6个百分点;而在KG相对稀疏的Last.FM数据集上,模型的F1分数提升了3.3个百分点,AUC提升了8.5个百分点。实验结果表明,KGANCF能够有效提高推荐结果的准确度,在KG稀疏的数据集上显著优于协同知识嵌入（CKE）、知识图谱卷积网络（KGCN）、知识图注意网络（KGAT）和CKAN模型。     

融合知识图谱和轻量级图卷积网络推荐系统的研究

基于协同过滤的算法是推荐系统中最重要的方法,由于冷启动和数据稀疏性的特点,限制了其推荐性能。为了应对以上问题,提出了知识图谱和轻量级图卷积网络推荐系统相结合的模型,该模型通过将知识图谱中的各个实体（项目）进行多次迭代嵌入传播以获取更多的高阶邻域信息,通过轻量聚合器进行聚合,进而预测用户和项目之间的评分。最后,在3个真实的数据集上MovieLens-20M、Last.FM和Book-Crossing的实验结果表明,该模型与其他基准模型相比可以得到较好的性能。     

融合用户-项目的邻居实体表示推荐方法

在现有基于知识图谱的推荐方法中,大多采用单一用户或项目表示,在合并来自知识图谱的实体时,用户或项目表示所携带的信息容易丢失,用户兴趣欠拟合,进而导致模型的次优表示。为此,该文提出了融合用户-项目的邻居实体表示推荐方法,联合用户和项目的特征表示挖掘用户更感兴趣的内容,使用TransR模型在知识图谱中进行实体传播,获取用户的嵌入表示;使用GCN聚合候选项目在知识图谱的邻域实体,获取项目的嵌入表示。为验证该文方法的有效性,在MovieLens-20M、Book-Crossing、Last-FM公共数据集上进行了实验,并与Wide&Deep、RippleNet、KGAT等10种方法进行了对比,实验结果表明,该文方法的平均AUC和ACC分别提升约8.75%和7.10%。     

融合增强协同信息和知识图谱信息的推荐模型

将知识图谱引入推荐系统,能一定程度解决数据稀疏和冷启动问题,但是往往忽略了高阶协同信息和不同协同信息的重要程度对探索用户潜在偏好的重要性,由此提出了一种融合增强协同信息和知识图谱信息的推荐模型（CIKG）。该模型首先利用用户和项目的历史交互数据,获取一阶协同信息和高阶协同信息,同时使用注意力机制捕获重要信息,得到增强协同信息,用来补充用户和项目的特征表示。其次通过将用户交互的项目与知识图谱中的实体对应,在知识图谱中执行传播操作,得到知识图谱信息,用于挖掘用户的偏好并且增强模型的可解释性。最后通过聚合器将增强协同信息和知识图谱信息结合得到用户和项目的最终表示,从而进行预测。在Last-fm和Book-crossing两个数据集上进行的实验结果表明CIKG相比其他对比的模型推荐效果有较大提升。     

融合协同知识图谱与优化图注意网络的推荐算法

考虑到推荐算法存在数据稀疏及模型复杂度较高等问题,提出了一种融合协同知识图谱与优化图注意网络的推荐模型。将用户/项目知识图谱与用户-项目交互图结合为协同知识图谱,嵌入到优化的图注意网络模型中,这不仅可以很好地缓解数据稀疏问题,还能更大程度地挖掘用户的潜在兴趣和高阶关系;使用优化的图卷积网络,通过去除特征转换和非线性激活模块,可以在不影响整体推荐性能的基础上极大地降低模型复杂度;结合基于偏差的注意力机制,及时感知候选项目与用户真实感兴趣项目之间的偏差,提升模型的训练效率。在Movielens数据集和Douban数据集上进行仿真实验,结果表明该算法在推荐性能和时间复杂度方面,相比对比算法均得到了有效的提升。     

MIKU：融合知识图谱的用户多层兴趣模型

现有的推荐算法仅依靠历史行为无法挖掘到用户的深层兴趣,且受到用户冷启动问题的制约,针对上述问题提出融合知识图谱的用户多层兴趣模型（MIKU）．该模型首先以用户的历史交互项目为知识图谱的头实体构建用户浅层兴趣,结合知识图谱中关系路径链接到历史项目的相关实体挖掘用户深层兴趣;其次考虑到用户兴趣的多样性,针对不同层次的兴趣分别采用自适应加权机制,学习用户对每个历史行为以及各个深层兴趣点的关注度．该模型在细粒度刻画物品特征的同时,利用知识图谱的结构信息为用户的推荐结果提供了一定的可解释性,并且结合了用户的属性特征有效解决了冷启动问题．通过在公开的MovieLens-1M数据集上进行验证,结果表明MIKU模型同CKE、RippleNet等基准模型相比,在推荐结果的准确率上提高了1.93%～5.59%、召回率上提升了2.95%～4.7%.     

结合时间特征的协同过滤深度推荐算法

针对推荐算法中的数据稀疏性和冷启动问题,提出了基于卷积神经网络的结合时间特征的协同过滤深度推荐算法（CNN-deep recommend algorithm with time,C-DRAWT）与基于多层感知机的结合时间特征的协同过滤深度推荐算法（MLP-deep recommend algorithm with time,M-DRAWT）。算法进行数据预处理,利用二进制来编码用户与项目的信息,缓解了one-hot编码的书籍稀疏性问题。提取出用户与项目的隐藏特征,将用户和项目的特征融合时间戳特征,分别输入到优化后的卷积神经网络和多层感知机进行,得到最新时刻的推荐项目。两个算法经过基于MovieLens-1M数据集的对比实验验证,得到的F1-Score值平均提高了0.78%,RMSE值平均提高了2.7%。结果表明,该方法能够缓解数据稀疏性和冷启动问题,相比较于之前的模型具有较好的推荐效果。     

融合协同知识图谱高阶邻居特征的推荐模型

在推荐时引入知识图谱中的实体及关系信息是有效缓解冷启动问题的方法. HAN模型首次将基于注意力机制的图神经网络用于异构图, 但是并没有充分利用节点的高阶邻居信息. 为了解决该问题, 提出了一种融合协同知识图谱高阶邻居特征的推荐模型CKG-HAN. 该模型用元路径来连接项目节点, 将协同知识图谱分成多个子图, 模型的节点注意力层用于聚合子图中每个节点的高阶邻居特征, 关系注意力层给不同元路径下的节点特征分配不同的权重, 最终得到充分融合语义信息的节点嵌入表示. 在MovieLens-1M数据集上进行了Top-K推荐, 结果表明本文提出的模型能够有效提高推荐结果的准确性.     

基于知识图谱与深度涟漪网络的推荐系统

利用知识图谱和深度学习进行推荐的方法得到了广泛的研究和应用，但是大多数推荐模型对物品表示建模不够完整，也未能全面捕捉和充分利用用户及物品的高阶交互信息。针对用户特征和物品特征高阶表示的提取问题，对用户与物品间的交互信息和知识图谱的关联信息进行联合提取，提出一种知识图谱交叉涟漪网络(KGCRN)。利用涟漪网络传播对用户偏好和物品特征进行建模，同时丰富两者的表示，提升推荐的性能。此外，设计一种改进的交叉压缩单元处理涟漪网络的输出，利用涟漪网络传播和交叉压缩单元的高阶特征交互获得准确、全面的物品高阶表示，提高模型推荐精度并增强模型应对数据稀疏场景的能力。在MovieLens-20M、Book-Crossing和Last.FM数据集上的实验结果表明，与KGCN、libFM、CKE等基线方法相比，KGCRN在点击通过率预测、Top-K推荐和应对数据稀疏场景下的性能均得到显著提升，其中，相比KGCN，点击通过率预测实验中KGCRN的AUC增益分别提高0.4、5.1、2.4个百分点，F1值分别提升3.29、2.86、0.96个百分点。     

融合语义特征和知识特征的推荐模型

针对传统推荐模型面临的数据稀疏性问题，提出一种基于结合注意力机制的门控循环单元的融合语义和知识特征的推荐模型。基于知识图谱，使用连续词袋模型捕获项目实体对应的语义特征，依据“偏好扩散”思想进行知识特征的学习，将不同层面特征进行融合后，使用结合注意力机制的门控循环单元挖掘用户潜在兴趣偏好。基于MovieLens数据集的对比实验结果表明，所提模型能够有效提升推荐效果并缓解数据稀疏性问题，通过消融实验验证了该模型各个组件的有效性。     

基于无采样协作知识图网络的推荐系统

知识图谱（KG）可以通过高效组织海量数据实现信息的有效抽取,因而基于知识图谱的推荐方法得到了广泛的研究和应用。针对图神经网络在知识图谱建模中的采样误差问题,提出了一种无采样协作知识图网络（NCKN）的方法。首先,设计了无采样知识传播模块,通过在单个卷积层使用不同大小的线性聚合器来捕捉深层次的信息,实现高效的无采样预计算;然后,为了区分邻居节点贡献度,在传播过程中引入注意力机制;最后,协作传播模块将知识嵌入同用户交互中的协作信号相结合,以更好地描述用户偏好。基于三个真实数据集,评估了NCKN在CTR预测和Top-k预测中的性能。实验结果表明,与主流算法RippleNet、知识图卷积神经网络（KGCN）相比,NCKN在CTR预测中的准确率平均分别提升了2.71%、4.60%;Top-k预测中,NCKN的准确率平均分别提升了5.26%、3.91%。所提方法不仅解决了图神经网络在知识图谱建模中的采样误差问题,且提升了推荐模型的准确率。     

基于知识图偏好注意力网络的长短期推荐模型及其更新方法

目前,知识图谱推荐的研究主要集中在模型建立和训练上。然而在实际应用中,需要使用增量更新方法定期更新模型来适应新用户和老用户偏好的改变。针对大部分该类模型仅利用用户的长期兴趣表示做推荐,而没有考虑用户的短期兴趣且聚合邻域实体得到项目向量表示时聚合方式的可解释性不足,以及更新模型的过程中存在灾难性遗忘的问题,提出基于知识图偏好注意力网络的长短期推荐（KGPATLS）模型及其更新方法。首先,通过KGPATLS模型提出偏好注意力网络的聚合方式以及结合用户长期兴趣和短期兴趣的用户表示方法;然后,为了缓解更新模型存在的灾难性遗忘问题,提出融合预测采样和知识蒸馏的增量更新方法（FPSKD）。将提出的KGPATLS模型和FPSKD方法在MovieLens-1M和Last.FM两个数据集上进行实验。相较于最优基线模型知识图谱卷积网络（KGCN）,KGPATLS模型的曲线下面积（AUC）指标在两个数据集上分别有2.2%和1.4%的提升,准确率（Acc）指标分别有2.5%和2.9%的提升。在两个数据集上对比FPSKD与三个基线增量更新方法Fine Tune、Random Sampling、Full Batch,FPSKD在AUC和Acc指标上优于Fine Tune、Random Sampling,在训练时间指标上FPSKD分别降低到Full Batch的大约1/8和1/4。实验结果验证了KGPATLS模型的性能,而FPSKD在保持模型性能的同时可以高效地更新模型。     

融合实体描述信息和邻居节点特征的知识表示学习方法

知识图谱表示学习旨在将实体和关系映射到一个低维稠密的向量空间中。现有的大多数相关模型更注重于学习三元组的结构特征,忽略了三元组内的实体关系的语义信息特征和三元组外的实体描述信息特征,因此知识表达能力较差。针对以上问题,提出了一种融合多源信息的知识表示学习模型BAGAT。首先,结合知识图谱特征来构造三元组实体目标节点和邻居节点,并使用图注意力网络（GAT）聚合三元组结构的语义信息表示;然后,使用BERT词向量模型对实体描述信息进行嵌入表示;最后,将两种表示方法映射到同一个向量空间中进行联合知识表示学习。实验结果表明,BAGAT性能较其他模型有较大提升,在公共数据集FB15K-237链接预测任务的Hits@1与Hits@10指标上,与翻译模型TransE相比分别提升了25.9个百分点和22.0个百分点,与图神经网络模型KBGAT相比分别提升了1.8个百分点和3.5个百分点。可见,融合实体描述信息和三元组结构语义信息的多源信息表示方法可以获得更强的表示学习能力。     

一种基于CW-RNN的多时间尺度序列建模推荐算法

序列化推荐试图利用用户与物品的历史交互序列,预测下次即将交互的物品。针对序列化推荐中推荐物品依赖于用户的长时间全局兴趣、中时间兴趣还是短时间局部兴趣的不确定性,该文提出了一种基于CW-RNN的多时间尺度序列建模推荐算法。首先,该算法引入CW-RNN层,从用户与物品的历史交互序列中抽取多个时间尺度的用户兴趣特征。然后,通过尺度维卷积来建模对不同时间尺度的用户兴趣特征的依赖,生成多时间尺度用户兴趣特征的统一表示。最后,利用全连接层建模统一的多尺度用户兴趣特征和隐式物品特征的交互关系。在MovieLens-1M和Amazon Movies and TV两个公开数据集上的实验结果表明,相比于现有最优的序列推荐算法,该文提出的算法在准确率上分别提升了3.80%和8.63%。     

基于知识图嵌入的协同过滤推荐算法

利用知识图谱进行推荐的一个巨大挑战在于如何获取项目的结构化知识并对其进行语义特征提取.针对这一问题,提出了一种基于知识图嵌入的协同过滤推荐算法(KGECF).首先从Freebase知识图谱中提取与项目相关的知识信息,并与历史交互项目进行链接构建子知识库;然后通过基于TransR的Xavier-TransR方法得到子知识库中实体、关系表征;设计一种端到端的联合学习模型,将结构化信息与历史偏好信息嵌入到统一的向量空间中;最后利用协同过滤方法进一步计算这些向量并生成精确的推荐列表.在MovieLens-1 M和Amazon-book两个公开数据集上的实验表明,该算法在推荐准确率、召回率、F1值和NDCG四个指标上均优于基线方法,能够集成大规模的结构化和非结构化数据,同时获得高精度的推荐结果.     

Cross attention fusion for knowledge graph optimized recommendation

Knowledge Graph has attracted a wide range of attention in the field of recommendation, which is usually applied as auxiliary information to solve the problem of data sparsity. However, most recommendation models cannot effectively mine the associations between the items to be recommended and the entities in the Knowledge Graph. In this paper, we propose CAKR, a knowledge graph recommendation method based on the cross attention unit, which is similar to MKR, a multi-task feature learning general framework that uses knowledge graph embedding tasks to assist recommendation tasks. Specifically, we design a new method to optimize the feature interaction between the items and the corresponding entities in the Knowledge Graph and propose a feature cross-unit combined with the attention mechanism to enhance the recommendation effect. Through extensive experiments on the public datasets of movies, books, and music, we prove that CAKR is better than MKR and other knowledge graph recommendation methods so that the new feature cross-unit designed in this paper is effective in improving the accuracy of the recommendation system.

     

融合知识图谱和差分隐私的新闻推荐方法

针对现有融合知识图谱和隐私保护的推荐方法不能有效平衡差分隐私（DP）噪声与推荐系统性能的问题,提出了一种融合知识图谱和隐私保护的新闻推荐方法（KGPNRec）。首先,采用多通道知识感知的卷积神经网络（KCNN）模型融合新闻标题、知识图谱中实体和实体上下文等多维度的特征向量,以提高推荐的准确度;其次,利用注意力机制为不同敏感程度的特征向量添加不同程度的噪声,从而降低噪声对数据分析的影响;然后,对加权的用户特征向量添加统一的拉普拉斯噪声,以保证用户数据的安全性;最后,在真实的新闻数据集上进行实验分析。实验结果表明,与隐私保护的多任务推荐方法（PPMTF）和基于深度知识感知网络（DKN）的推荐方法等相比,所提KGPNRec在保护用户隐私的同时能保证方法的预测性能。在Bing News数据集上,所提方法的曲线下面积（AUC）值、准确率和F1分数与PPMTF相比分别提高了0.019、0.034和0.034。