基于层次型文本交互的表示学习研究

传统的推荐系统面临着诸如数据稀疏性、无法解释的推荐等几个挑战。为了解决这些问题,许多研究通过挖掘评论文本语义信息来提高推荐性能。然而,这些方法在文本特征建模和文本交互方面存在问题。在文本建模方面,它们简单地将用户/物品的所有评论拼接成一个单一的评论。然而,单词/短语级别的语义信息可能与评论文本的整体语义信息相悖。在文本交互方面,它们将交互推迟到预测层,无法捕捉用户和物品之间复杂的相关性。为了解决这些问题,我们提出了一种新颖的基于层次型文本交互的表示学习方法。在该方法中,我们以层级方式对低级单词语义和高级评论文本进行建模,以便在不同粒度上挖掘文本信息。为了进一步捕捉复杂的用户-物品的交互关系,我们提出在不同层次上挖掘用户-物品之间的语义关联。在单词级别上,我们提出了一种针对每对用户-物品个性化的注意力机制,来捕捉表示每个评论的重要单词。在文本级别上,我们在用户和物品之间相互传播文本语义信息,并捕捉针对目标任务有用的评论文本。最后,我们通过协同过滤框架,将该方法应用于评分预测应用场景,并通过在公开数据集上的对比实验,证明该方法在评分预测方面的性能优于现有方法。     

联合学习用户端和项目端知识图谱的个性化推荐

如何在已有的用户行为和辅助信息的基础上准确建模用户的偏好非常重要。在各种辅助信息中,知识图谱(Know-ledge Graph,KG)作为一种新型辅助信息,其节点和边包含了丰富的结构信息和语义信息,近年来受到了越来越多研究者的关注。大量研究表明,在个性化推荐中引入知识图谱可以有效地提高推荐的性能,并增强推荐的合理性和可解释性。然而,现有的方法要么是在KG上探索每个用户-项目交互对(user-item)的独立子路径,要么使用图表示学习的方法在KG中分别学习目标用户(user)或项目(item)的表示,虽然都取得了一定的效果,但是前者没有充分捕获用户-项目(user-item)在KG上的结构信息,后者在产生嵌入(embedding)表示的过程中忽略了user和item的相互影响。为了弥补上述方法的不足,提出了一种联合学习用户端和项目端知识图谱(User-end and Item-end Knowledge Graph,UIKG)的新模型。该模型通过挖掘用户和项目在各自KG中的关联属性信息,并通过联合学习有效地捕获用户的个性化偏好与项目之间的关联性。具体的操作步骤是,利用基于图卷积神经网络的方法从用户知识图谱中学习用户表示向量,再将用户表示向量引入项目知识图谱中联合学习得到项目表示向量,实现用户端KG和项目端KG的无缝统一,最后通过多层感知器进行偏好预测,得到用户对项目的偏好概率,从而更有效地挖掘KG中的高阶结构信息和语义信息来捕获用户的个性化偏好。在公开数据集上的实验结果表明,与基线方法相比,UIKG在Recall@K指标上提高了2.5%~13.6%,在AUC和F1指标上提高了0.4%~5.8%。     

一种融合标签和知识图谱的推荐方法

随着信息的海量增长,推荐系统成为我们日常生活中一种重要的应用。传统的推荐系统根据用户和物品的交互行为进行推荐并利用用户对物品的评分来体现用户的喜好,但是数据的稀疏性会影响推荐结果的准确度,并且简单地评分数字也难以体现用户偏好的主观性以及用户选择的可解释性。因此,该文提出了一种融合标签和知识图谱的推荐方法,其中标签是一种文本信息,其包含的丰富内容和潜在的语义信息可以体现用户对物品的主观评价,对推荐起着关键作用。而知识图谱作为一种有效的推荐辅助技术,其包含的大量实体能为物品提供更多有效的特征信息。此外,该文还提出了一种融合注意力和自注意力的混合注意力模型,通过标签和实体为物品特征分配混合注意力权重,从而提高了推荐性能。实验结果表明,在MovieLens和Last.FM数据集上,该模型的推荐性能较其他推荐算法有所提升。     

融合评分与评论的深度评分预测模型

近年来，基于评论推荐模型的出现有效缓解了传统推荐算法存在的数据稀疏性问题.该类模型主要利用文本中丰富的语义信息更好地捕捉用户的偏好特征以及物品的属性特征，以补充更多的相关信息，提高推荐性能.文本特征的提取往往存在语义信息提取不精准的问题，导致推荐效果不理想.本文提出了融合评分与评论的深度评分预测模型(Deep Model combining Rating and Review, DMRR).一方面，该模型融合了评分数据与评论信息，利用评分矩阵引入物品可推荐度与用户偏好程度，使评论文本特征得到增强.另一方面，该模型有效结合了CNN与GRU进行文本信息特征提取，考虑了文本之间密切的依赖关系，以克服传统文本特征提取方法忽略上下文关系的不足.在Amazon上的4个子数据集和Yelp数据集的实验结果表明，该方法与已有的相关算法相比较，均有效地提高了评分预测准确性.     

融合三重注意力和评论评分的深度推荐算法

许多购物网站中存在用户编写的大量评论信息,大部分推荐系统虽然利用了评论信息,但仍有很大的改进空间。一方面是评论中信息参差不齐,掺杂了很多无用信息;另一方面是大多数现有的推荐系统都假设一个用户对于某一商品特征的关注对于所有的商品都是相同的,无法准确体现用户偏好。本文提出一种融合三重注意力和评论评分的方面感知深度推荐模型ANAP（Attention and Neural Aspect Perception）,从词和特征2个层面出发,通过构造2种不同的注意力网络提取评论文本中的重要信息,降低无用信息的影响;为了准确体现用户偏好,通过构造注意力交互网络捕捉用户对不同项目各个方面的不同关注度,实现方面感知的细粒度建模。本文在6个真实数据集上进行实验,同时设计了注意力机制对比实验,结果表明ANAP模型有效提高了评分预测精度,平均绝对误差（Mean Absolute Error, MAE）比现有最佳算法降低了4.86个百分点。     

融合短文本层级注意力和时间信息的推荐方法

信息过载造成的数据稀疏性问题制约着基于评分数据的矩阵分解模型的推荐性能,融合评论文本的推荐模型能够有效缓解评分数据稀疏性.当前的推荐系统利用评论文本为用户和项目建模时,大多仅将用户对项目的评论作为数据来源,而忽视了时间信息对用户和项目属性的影响.针对此问题,提出了一种融合短文本层级注意力和时间信息的推荐方法(RHATR),该方法能够充分地挖掘评论文本潜在的语义信息,并为用户偏好和项目特征的动态变化进行建模.通过对单条评论文本应用单词级注意力,挖掘单条评论文本中情感词和关键词等有效信息,学习用户和项目表示;对含有时间因素的用户评论集和项目评论集分别应用评论级注意力,提取有效的评论,进一步学习用户偏好和项目特征动态表示.将从评论文本中学到的用户和项目表示以及基于ID的项目和用户嵌入作为最终特征,来捕获各用户和项目的潜在因素.实验结果表明,提出的方法相对于当前基线方法在Amazon和Yelp数据集上的均方根误差(RMSE)取得了较好的效果.     

基于评论细粒度观点的跨域推荐模型

现有大多数跨域推荐（cross-domain recommendation,CDR）方法只是简单利用评分数据，对评论信息的挖掘不足。评论信息中往往包含用户的多个观点，如何充分利用评论信息中的细粒度观点挖掘其潜在价值以更好地解决跨域推荐冷启动和数据稀疏问题，成为当下跨域推荐的研究重点与难点。因此，设计了一种基于评论细粒度观点的跨域推荐模型（cross-domain recommendation model based on fine-grained opinion from review,FGOR-CDRM）。该模型主要由评论细粒度观点提取、辅助评论增强、跨域相关性学习三个模块组成。将文本卷积神经网络（text convolutional neural network,TextCNN）与门控机制结合，通过设置两个全局细粒度观点矩阵指导查询，有效提取评论信息的细粒度观点；在文本卷积之上增加一层卷积，利用相似非重叠用户的评论构建辅助文档，在增加训练数据多样性的同时有效缓解了数据稀疏；学习跨域细粒度观点之间的相关性，利用静态细粒度观点构建相关矩阵并进行语义匹配，实现目标域冷启动用户对项目的评分...     

基于注意力交互机制的层次网络情感分类

目前关于商品评论的深度网络模型难以有效利用评论中的用户信息和产品信息。提出一种基于注意力交互机制的层次网络（HNAIM）模型。该模型利用层次网络对不同粒度语义信息进行提取,并通过注意力交互机制在层次网络中通过捕捉用户、产品中的重要特征来帮助提取文本特征。最终将用户视角下的损失值和产品视角下的损失值作为辅助分类信息,并利用层次网络输出的针对用户或产品的关键文本特征进行训练和分类。三个公开数据集上对比结果表明,该模型较相关模型而言效果均有提升。     

基于文本注意力的推荐系统可解释性研究

可解释性能够提高用户对推荐系统的信任度并且提升推荐系统的说服力和透明性,因此有许多工作都致力于实现推荐系统的可解释性。由于评论中包含了丰富的信息,能够体现用户偏好与情感信息,同时包含了对应商品所具有的特性,最近的一些基于评论的深度推荐系统有效地提高了推荐系统的可解释性。这些基于评论的深度推荐系统中内置的注意力机制能够从对应的评论中识别出有用的语义单元（例如词、属性或者评论）,而推荐系统通过这些高权重的语义单元做出决策,从而增强推荐系统的可解释性。但可解释性在很多工作中仅作为一个辅助性的子任务,只在一些案例研究中来做出一些定性的比较,来说明推荐系统是具有可解释性的,到目前为止并没有一个能够综合地评估基于评论推荐系统可解释性的方法。本文首先根据在注意力权重计算机制的不同,将这些具有可解释性的基于评论的推荐系统分为三类：基于注意力的推荐系统,基于交互的推荐系统,基于属性的推荐系统,随后选取了五个最先进的基于评论的深度推荐系统,通过推荐系统内置的注意力机制获得的评论权重文档,在三个真实数据集上进行了人工标注,分别量化地评价推荐系统的可解释性。标注的结果表明不同的基于评论的深度推荐系统的可解释性是具有优劣之分的,但当前的基于评论的深度推荐系统都有超过一半的可能性能够捕捉到用户对目标评论的偏好信息。在评估的五个推荐系统中,并没有哪个推荐系统在所有的数据中具有绝对的优势。也就是说,这些推荐系统在推荐可解释性方面是相互补充的。通过进一步的数据分析发现,如果推荐系统具有更精确的分数预测结果,那推荐系统通过注意力机制获得的高权重的信息确实更能够体现用户的偏好或者商品特征,说明推荐系统内置的注意力机制在提高可解释性的同时也能够提高预测精度;并且发现相较于长评论,推荐系统更容易捕捉到较短的评论中的特征信息;而可解释性评分高的推荐系统会更可能地为形容词赋予较高的权重。本文也为推荐系统可解释性评估进一步研究和探索更好的基于评论的推荐系统解决方案提供了一些启示。     

融合评论文本和图像语义特征的兴趣点推荐

用户-兴趣点签到数据的高度稀疏性让传统的推荐算法的推荐效果大打折扣。基于此,提出评论文本和图像语义信息融合的兴趣点推荐新算法。该算法同时考虑用户评论对评分数据的可解释性和图像语义信息对兴趣点外观的描述性,充分利用评论文本和图像数据辅助用户偏好特征和兴趣点属性特征的学习。使用神经网络抽取与用户和兴趣点相关的评论文本和图像语义特征,分别建模用户-文本语义特征关系、兴趣点-图像语义特征关系,将两种关系与用户-兴趣点评分矩阵进行融合,基于概率矩阵分解构建统一的推荐模型。在Yelp数据集上实验表明,该算法有效地缓解了签到数据稀疏性带来的推荐准确性问题,在MAE和RMSE两项指标上均优于主流方法。     

结合用户聚类和评分偏好的推荐算法*

针对推荐算法中用户评分矩阵维度高、计算量大的问题,为更加真实地反映用户本身评分偏好,提出一种结合用户聚类和评分偏好的推荐算法。先利用PCA降维和k-means聚类对用户评分矩阵进行预处理,在最近邻选取方法上,添加用户共同评分数量作为约束,利用用户和相似簇的相似度对相似簇内评分加权求和生成基本预测评分;再综合用户评分偏置和用户项目类型偏好,建立用户评分偏好模型;最后通过多元线性回归确定每部分的权重,生成最终的预测评分。对比实验结果表明,新算法能更真实地反映用户评分,有效减少计算量并提高推荐系统的预测准确率,更好地满足用户对于推荐系统的个性化需求。     

Exploiting interactions of review text,hidden user communities and item groups,and time for collaborative filtering

Rich side information concerning users and items are valuable for collaborative filtering (CF) algorithms for recommendation. For example, rating score is often associated with a piece of review text, which is capable of providing valuable information to reveal the reasons why a user gives a certain rating. Moreover, the underlying community and group relationship buried in users and items are potentially useful for CF. In this paper, we develop a new model to tackle the CF problem which predicts user’s ratings on previously unrated items by effectively exploiting interactions among review texts as well as the hidden user community and item group information. We call this model CMR (co-clustering collaborative filtering model with review text). Specifically, we employ the co-clustering technique to model the user community and item group, and each community–group pair corresponds to a co-cluster, which is characterized by a rating distribution in exponential family and a topic distribution. We have conducted extensive experiments on 22 real-world datasets, and our proposed model CMR outperforms the state-of-the-art latent factor models. Furthermore, both the user’s preference and item profile are drifting over time. Dynamic modeling the temporal changes in user’s preference and item profiles are desirable for improving a recommendation system. We extend CMR and propose an enhanced model called TCMR to consider time information and exploit the temporal interactions among review texts and co-clusters of user communities and item groups. In this TCMR model, each community–group co-cluster is characterized by an additional beta distribution for time modeling. To evaluate our TCMR model, we have conducted another set of experiments on 22 larger datasets with wider time span. Our proposed model TCMR performs better than CMR and the standard time-aware recommendation model on the rating score prediction tasks. We also investigate the temporal effect on the user–item co-clusters.     

基于多维特征交叉的深度协同过滤算法

基于深度学习的推荐算法最初以用户和物品的ID信息作为输入,但是ID无法很好地表现用户与物品的特征。在原始数据中,用户对物品的评分数据在一定程度上能表现出用户和物品的特征,但是未考虑用户的评分偏好以及物品的热门程度。在评分任务中使用隐式反馈和ID信息作为用户与物品的特征,在消除用户主观性对特征造成的噪声的同时在一定程度上缓解冷启动问题,利用单层神经网络对原始高维稀疏特征降维,使用特征交叉得到用户与物品的低阶交互,再利用神经网络捕获用户与物品的高阶交互,有效提取了特征间的高低阶交互。在四个公开数据集上的实验表明,该算法能有效提高推荐精度。     

基于用户潜在兴趣的知识感知传播推荐算法

知识图谱引入推荐系统可以利用知识图谱实体之间的语义关系学习用户及项目表示。基于嵌入传播的方法利用知识图谱的图结构学习相关特征,但随着传播范围增加,多跳实体间的语义相关性减小。为有效提升推荐语义表达能力并提高推荐准确度,提出基于用户潜在兴趣的知识感知传播推荐模型,该模型采用异构传播方式传播项目关联知识并迭代学习用户的潜在兴趣,以此增强模型对用户与项目的表示能力。具体地,首先图嵌入层生成用户与项目的初始化表示,随后在异构传播层中采用知识感知注意力机制区分同一层中实体之间的重要性,更精确生成目标实体的表示。随后通过用户潜在兴趣传播学习用户的高阶潜在兴趣,增强多跳实体语义相关性。最后在预测层中使用信息衰减因子区分不同传播层次的重要性,生成用户及项目的最终表示。实验表明,该模型在Last. FM与Book-Crossing两个公开数据集上AUC值相较于最先进的基线提升了2.25%与4.71%,F1值分别提升3.05%和1.20%,recall@K值均优于对比的基线模型,提出的模型能有效提高推荐准确度。     

基于对抗采样的社交推荐算法

推荐系统利用用户的历史记录、物品的基础信息等数据进行建模来捕获用户的偏好,有效缓解了信息过载等问题,虽然其已应用广泛,但整个推荐领域面临的挑战却依旧存在,其中数据稀疏这一问题对于推荐性能有举足轻重的影响。近年来,大量研究表明基于社交信息的推荐算法能够有效缓解数据稀疏问题,但它们也仍然存在一定的局限。线上的社交网络是非常稀疏的,并且线上社交网络中的“朋友”通常包括同学、同事、亲戚等,因此,拥有显式朋友关系的用户不一定拥有相似的偏好,即直接利用显式朋友的兴趣偏好进行推荐会存在噪声问题。此外,大部分基于隐式反馈的算法通常直接对用户没有交互过的物品进行随机采样,然后将其作为用户实际交互过的物品的负样本来优化模型,然而用户没有交互过的物品并不代表用户不喜欢,这种粗粒度的采样策略忽略了用户的真实偏好,同样也带来了一定程度的噪声。生成对抗网络（GANs）因其在训练中捕获复杂数据分布的能力以及强大的鲁棒性被广泛应用到推荐系统中,为了减弱上述噪声问题带来的影响,本文基于生成对抗网络提出了一种细粒度的对抗采样推荐模型（ASGAN）,包括一个生成器和判别器。其中,生成器首先利用图表示学习技术初始化社交网络,接着为用户生成一个与其偏好相似的朋友,然后再从该朋友喜欢的物品集中同时生成该用户喜欢的物品和用户不喜欢的物品。判别器则尽可能区分出用户实际交互过的物品和生成器生成的两类物品。随着对抗训练的进行,生成器能更有效地进行社交朋友采样和物品采样,而判别器能够良好地捕获用户的真实偏好分布。最后,在三个公开的真实数据集上与现有的六个工作进行对比,实验结果证明：ASGAN拥有更好的推荐性能,通过重构社交网络和细粒度采样有效缓解了社交信息和物品采样策略带来的噪声问题。     

区分交互意图的图卷积协同过滤算法

近几年提出了一些基于图卷积网络的协同过滤推荐模型,然而大部分模型将邻域权重视为常量且不区分用户和物品间的交互关系,无法获取令用户满意的推荐列表。因此,为了得到用户和物品更准确的嵌入表示,提出一种区分交互意图的图卷积协同过滤推荐算法MiGCCF(multi-intention graph convolutional collaborative filtering)。该算法将交互关系进行分解,细粒度分析用户与物品间的交互意图,并引入注意力机制,在消息传播过程中赋予邻域可学习的注意力权重,挖掘用户对于不同交互物品的喜爱度。在Gowalla与Amazon-book上的实验表明,该算法相比于基准算法,在两个数据集上的HR@50和NDCG@50指标分别提高了12.5%和8.5%,具有更好的性能表现。     

融合知识感知和时间感知的用户偏好网络

在知识感知推荐领域,基于嵌入传播的方式可以挖掘知识图谱的结构化信息,也能够获取n跳实体间的语义信息,但随着传播范围的增加,嵌入传播方式会丢失部分结构化信息,且以这种方式所获得的用户向量表示是粗粒度的,不能充分表征用户的偏好。针对以上问题,提出了一种融合知识感知和时间感知的用户偏好网络(FKTUPN)。首先在嵌入层生成知识图谱的一阶嵌入向量,同时单独为用户偏好进行细粒度的建模;然后用随机游走的方式划分时间槽,进行时间上下文编码,获取图结构的上下文信息,并将该结构化信息嵌入到关系向量中;随后通过知识感知注意力机制区分嵌入表示的贡献并递归传播;最终在预测层中聚合不同传播层次的用户和项目表示,将两种表示相乘后得到推荐结果。实验表明,该模型在Amazon-book、Last-FM以及Yelp三个数据集上的recall@20、NDCG@20指标得分均高于对比的基线模型,细粒度的用户偏好表示以及结构化信息的充分利用能够有效提高推荐的准确度。     

一种潜在特征同步学习和偏好引导的推荐方法

根据用户的历史评分数据为用户提供推荐的商品列表，是目前推荐系统研究的主流.研究者发现，随着用户参与度的不断提高，将反映用户偏好的评论文本与评分数据结合，可以进一步提高推荐的质量.提出了基于潜在特征同步学习和偏好引导的商品推荐方法，将评论文本的主题与用户的"打分偏好"进行关联，同步学习用户评论文本的潜在主题、评分矩阵的用户潜在因子和商品潜在因子，并将潜在主题作为用户个人偏好引导来约束推荐方法对商品的预测打分.该方法对推荐质量的优化主要体现在两个方面：一是在评论文本的潜在主题和评分数据的两种潜在因子之间建立映射关系，同步求解主题模型和矩阵分解模型；二是将从评论文本中学习得到的潜在主题作为用户对商品的个性偏好引入到矩阵分解中，进一步优化推荐方法.在来自Amazon网站的28组真实数据集上进行实验，以均方误差为评价指标，与已有的模型进行了对比分析.实验结果表明，该方法有效减少了推荐误差，与已有的TopicMF方法相比，均方误差在数据子集上最大减少了3.32%，平均减少了0.92%.