基于节点相似性的图注意力网络表示学习模型

图注意力网络(GAT)通过注意力机制聚合节点的邻居信息以提取节点的结构特征,然而并没有考虑网络中潜在的节点相似性特征。针对以上问题,提出了一种考虑网络中相似节点的网络表示学习方法NSGAN。首先,在节点层面上,通过图注意力机制分别学习相似网络和原始网络的结构特征;其次,在图层面上,将两个网络对应的节点嵌入通过基于图层面的注意力机制聚合在一起,生成节点最终的嵌入表示。在三个数据集上进行节点分类实验,NSGAN比传统的图注意力网络方法的准确率提高了约2%。     

基于全局注意力机制的属性网络表示学习

属性网络不仅具有复杂的拓扑结构,其节点还包含丰富的属性信息.属性网络表示学习方法同时提取网络拓扑结构和节点的属性信息来学习大型属性网络的低维向量表示,在节点分类、链路预测和社区识别等网络分析技术方面具有非常重要和广泛的应用.文中首先根据属性网络的拓扑结构得到网络的结构嵌入向量;接着通过全局注意力机制来学习相邻节点的属性信息,先用卷积神经网络对节点的属性信息作卷积操作得到隐藏向量,再对卷积的隐藏向量生成全局注意力的权重向量和相关性矩阵,进而得到节点的属性嵌入向量;最后将结构嵌入向量和属性嵌入向量连接得到同时反映网络结构和节点属性的联合嵌入向量.在3个真实数据集上,将提出的新算法与当前的8种知名网络表示学习模型在链路预测和节点分类等任务上进行比较,实验结果表明新算法具有良好的属性网络表示效果.     

基于注意力机制融合多阶邻域信息的网络表示学习模型

近年来,图神经网络(Graph Neural Networks,GNNs)在网络表示学习领域中发挥着越来越重要的作用.然而,大多数现有的GNNs在每一层中只考虑节点的直接相连的(1阶)邻居,忽略了高阶邻域信息.在节点表示学习过程中引入高阶拓扑知识是一个关键问题.本文中,我们提出了多邻域注意力图卷积网络(Multi-neighboring Attention Graph Convolutional Networks,M AGCN).首先基于注意力机制使用多个邻域掩码从节点的不同阶邻居中学习多个节点表示,然后使用动态路由算法自适应地确定这些表示对最终节点表示的贡献,以聚合成最终的节点表示.在Cora、Citeseer和Pubmed 3个引文网络数据集上的节点分类实验表明,MAGCN比目前较先进的网络表示学习模型有更高的分类准确率.     

基于偏差的图注意力神经网络推荐算法

在推荐系统中,基于知识图谱的神经网络与传统神经网络相比,以图形作为输入,可以很好地将节点信息和拓扑结构相结合进行推理和推荐.然而,现有基于图神经网络的推荐算法,面临着知识表示不准确以及信息融合单一的问题.对此,将图神经网络与注意力机制相结合,提出一种基于偏差的图注意力神经网络推荐算法.该方法采用翻译模型对知识图谱信息进行特征表示的嵌入,获取节点在同一投影空间下的三元组信息,考虑到在三元组中预测值与真实值之间存在误差,以及邻居节点在信息传播时权重的差异,采用基于偏差的注意力计算机制以便更好地捕获节点间高阶连通性.其次,在神经网络的传播训练过程中,通过多通道融合机制对节点和邻居信息进行聚合以提高模型的健壮性.最后,在3个真实数据集上与经典算法进行对比,验证所提出算法的有效性.     

结合跳跃连接的多层图注意力网络会话推荐

基于会话的推荐旨在根据匿名用户的短期交互数据来预测用户下一次交互项目. 现有图神经网络会话推荐模型大多在信息传播过程中平等对待所有邻居节点, 而没有区分他们对于中心节点的重要性, 从而给模型训练引入噪声. 此外, 随着图神经网络层数的增加, 过度平滑问题会随之产生. 针对上述问题, 本文提出结合跳跃连接的多层图注意力网络会话推荐模型(MGATSC). 首先利用图注意力网络学习邻居节点对于中心节点的重要性, 并堆叠多层网络以获取高阶邻居信息; 然后为了缓解过度平滑问题, 采用基于残差注意力机制的跳跃连接更新每层网络的节点嵌入, 并通过平均池化得到最终节点嵌入. 最后将反向位置嵌入融合到节点嵌入中, 经过预测层生成推荐. 在Tmall、Diginetica以及Retailrocket这3个公开数据集上的实验结果表明所提模型优于所有基线模型, 验证了模型的有效性与合理性.     

基于多头注意力机制的半监督卷积网络嵌入

网络嵌入旨在综合利用网络特性来学习节点的低维向量.然而,传统的网络嵌入方法不能全面考虑外部信息,通常只关注一种属性而忽略其他属性,或者分别学习不同属性的表示.对此提出一种基于多头注意力机制的半监督卷积网络嵌入模型(SMAC).利用近年来在自然语言处理中广泛应用的多头注意机制与多层图卷积神经网络,将外部信息与结构信息以半监督的方式结合起来,在一个统一的框架中联合优化.通过在真实数据上的对比实验,验证了该模型能够获得较好的节点向量表示,具有优于对比算法的性能.     

层次标签引导的属性网络嵌入

网络嵌入是在保持网络性质不变的前提下,将节点转换为低维向量,以便下游任务的求解.现有网络嵌入方法的研究大多关注于网络结构、节点属性信息或单层次标签信息等方面.然而,许多真实世界的网络节点通常具有丰富的层次标签信息,这些层次标签信息对获取高效的网络嵌入具有重要价值.由于不同层次的标签之间的信息很难相互关联或继承,如何合理利用层次标签信息进行网络嵌入,获得更高效的向量表示是亟待研究的问题.针对上述问题,提出了一种新的基于层次标签的属性网络嵌入框架(HLANE),该框架利用层次注意力机制将层次标签信息融入网络嵌入中.HLANE框架首先通过现有的网络嵌入方法获取结构和/或属性信息初始化节点的嵌入向量.然后通过层次注意力机制层建立多层次标签的父节点和子节点之间的联系,并依此指导网络节点初始化嵌入向量在不同层次的学习,最终生成网络节点的多层次嵌入向量表示.在真实数据集上的实验表明,与对比算法相比,HLANE框架具有更好的网络节点嵌入表示.     

基于图注意力网络表示学习的协同过滤推荐算法

针对传统的基于模型的协同过滤推荐算法未能有效利用用户与项目的属性信息以及用户之间与项目之间的关系结构信息, 本文提出一种基于图注意力网络表示学习的协同过滤推荐算法. 该算法使用知识图谱表示节点的属性特征信息和节点间的关系结构信息, 并在用户和项目的同质网络上进行节点的图注意力网络表示学习, 得到用户和项目的网络嵌入特征表示, 最后构建融合网络嵌入信息的神经矩阵分解模型获得推荐结果. 本文在Movielens数据集上与相关算法进行对比实验, 实验证明该算法能优化模型的推荐性能, 提高推荐的召回率HR@K和归一化折损累计增益NDCG@K.     

融合拓扑和属性的动态网络链路预测方法

网络数据中出现的大量节点属性和随时间变化的特征,给链路预测提出了新挑战。基于注意力机制和循环神经网络对随时间演化网络进行建模,提出了DTA-LP模型。与传统的静态链路预测算法相比,DTA-LP使用LSTM捕获时序信息,动态预测可以更好应用于现实网络;与基于网络拓扑的动态链路预测算法相比,DTA-LP可以聚集高阶拓扑特征,有效挖掘网络邻域信息;与基于属性网络的动态链路预测算法相比,DTA-LP可以加权融合网络拓扑属性,提高预测精度。在4种真实数据上的实验结果表明,该方法能结合网络已有先验知识,以较高的MAP值来预测未来网络中的边,验证了模型的有效性。     

自注意力机制的属性异构信息网络嵌入的商品推荐

基于异构信息网络嵌入的推荐技术能够有效地捕捉网络中的结构信息,从而提升推荐性能.然而现有的基于异构信息网络嵌入的推荐技术不仅忽略了节点的属性信息与节点间多种类型的边关系,还忽略了节点不同的属性信息对推荐结果不同的影响.为了解决上述问题,提出一个自注意力机制的属性异构信息网络嵌入的商品推荐(attributed heterogeneous information network embedding with self-attention mechanism for product recommendation, AHNER)框架.该框架利用属性异构信息网络嵌入学习用户与商品统一、低维的嵌入表示,并在学习节点嵌入表示时,考虑到不同属性信息对推荐结果的影响不同和不同边关系反映用户对商品不同程度的偏好,引入自注意力机制挖掘节点属性信息与不同边类型所蕴含的潜在信息并学习属性嵌入表示.与此同时,为了克服传统点积方法作为匹配函数的局限性,该框架还利用深度神经网络学习更有效的匹配函数解决推荐问题.AHNER在3个公开数据集上进行大量的实验评估性能,实验结果表明AHNER的可行性与有效性.     

基于多头注意力机制的社交网络符号预测

传统符号预测方法缺少处理二阶邻居信息的能力,难以有效提取社交网络用户的低维特征。为了有效融合节点用户邻居信息,提出了一种利用多头注意力机制学习一阶、二阶邻居信息的网络表示学习方法(signed multi-head graph attention network,SMGAT),从而改善社交网络符号预测的效果。首先融合平衡理论和状态理论采样一阶邻居、二阶邻居;然后利用多头注意力机制融合邻居的符号和结构信息,学习节点的低维特征;最后通过逻辑回归分类器实现符号预测。通过在四个真实的符号网络数据集上进行实验,结果证明SMGAT方法能够有效挖掘邻居节点的符号和结构信息,提高社交网络符号预测效果。     

Text-enhanced network representation learning

Network representation learning called NRL for short aims at embedding various networks into lowdimensional continuous distributed vector spaces. Most existing representation learning methods focus on learning representations purely based on the network topology, i.e., the linkage relationships between network nodes, but the nodes in lots of networks may contain rich text features, which are beneficial to network analysis tasks, such as node classification, link prediction and so on. In this paper, we propose a novel network representation learning model, which is named as Text-Enhanced Network Representation Learning called TENR for short, by introducing text features of the nodes to learn more discriminative network representations, which come from joint learning of both the network topology and text features, and include common influencing factors of both parties. In the experiments, we evaluate our proposed method and other baseline methods on the task of node classification. The experimental results demonstrate that our method outperforms other baseline methods on three real-world datasets.     

基于轻量图卷积和注意力增强的多行为推荐模型

近年来,图卷积网络被广泛应用于多行为推荐中,以进一步缓解数据稀疏问题。但目前许多方法都是直接使用图卷积网络,使得模型时间复杂度较高,还忽略了邻域的不同聚合权重和各行为对用户偏好的不同贡献。为此,提出一种基于轻量图卷积和注意力增强的多行为推荐模型(MB-LGCA)。首先根据多行为数据构建用户—项目二部图,采用一种轻量图卷积网络聚合邻域特征获得高阶协同信息,同时利用注意力机制融入邻域权重,增强节点嵌入表示;利用k-阶用户嵌入传播来获取各行为对用户偏好的不同重要性,使模型具有更好的可解释性;最后合并不同层的嵌入表示进行预测。两个真实数据集上的实验结果表明,该模型具有较好的性能。     

融合用户社交关系的自适应图卷积推荐算法

为了缓解推荐系统中不同用户社交空间与兴趣空间的内在信息差异和忽视高阶邻居的问题,提出了一种融合用户社交关系的自适应图卷积推荐算法（adaptive graph convolutional recommendation algorithm integrating user social relationships,AGCRSR）。首先,模型在嵌入层使用映射矩阵将初始特征向量转换为自适应嵌入;其次,引入注意力机制聚合不同方面的用户嵌入,通过图卷积网络来线性学习用户和项目的潜在表示;最后,通过自适应模块聚合用户表示并利用内积函数预测用户对项目的最终推荐结果。在数据集LastFM和Ciao上与其他基线算法进行了对比实验,实验结果表明AGCRSR的推荐效果较其他算法有显著提升。     

异质信息网络高阶层次化嵌入学习与推荐预测

异质信息网络是一种异质数据表示形式,如何融合异质数据复杂语义信息,是推荐系统面临的挑战之一.利用弱关系具有的丰富语义和信息传递能力,构建一种面向推荐系统的异质信息网络高阶嵌入学习框架,主要包括:初始化信息嵌入、高阶信息嵌入聚合与推荐预测3个模块.初始化信息嵌入模块首先采用基于弱关系的异质信息网络最佳信任路径筛选算法,有效地避免在全关系异质信息网络中,采样固定数量邻居造成的信息损失,其次利用新定义的基于多头图注意力的多任务共享特征重要性度量因子,筛选出节点的语义信息,并结合交互结构,有效地表征网络节点;高阶信息嵌入聚合模块通过融入弱关系及网络嵌入对知识良好的表征能力,实现高阶信息表达,并利用异质信息网络的层级传播机制,将被采样节点的特征聚合到待预测节点;推荐预测模块利用高阶信息的影响力推荐方法,实现了推荐任务.该框架具有嵌入节点类型丰富、融合共享属性和隐式交互信息等特点.最后,实验验证UI-HEHo学习框架可有效地改善评级预测的准确性,以及推荐生成的针对性、新颖性和多样性,尤其是在数据稀疏的应用场景中,具有良好的推荐效果.     

一种基于节点嵌入表示学习的社区搜索算法

针对已有社区搜索算法采用高维稀疏向量表示节点时间复杂度高的问题,提出一种基于节点嵌入表示学习的社区搜索算法CSNERL.节点嵌入技术能够直接从网络结构中学习节点的低维实值向量表示,为社区搜索提供了新思路.首先,针对已有节点嵌入算法存在较高概率在最亲近邻居间来回游走的问题,提出基于最亲近邻居但不立即回访随机游走的节点嵌入模型NECRWNR,采用NECRWNR模型学习节点的特征向量表示;然后,采用社区内所有节点的向量均值作为社区的向量表示,通过选择与当前社区距离最近的节点加入社区的方法实现一种新的社区搜索算法.在真实网络和模拟网络数据集上分别与相关的社区搜索算法进行实验对比,结果表明所提出社区搜索算法CSNERL具有更高的准确性.     

基于异构图卷积网络的小样本短文本分类方法

针对小样本短文本分类过程中出现的语义稀疏与过拟合问题,在异构图卷积网络中利用双重注意力机制学习不同相邻节点的重要性和不同节点类型对当前节点的重要性,构建小样本短文本分类模型HGCN-RN。利用BTM主题模型在短文本数据集中提取主题信息,构造一个集成实体和主题信息的短文本异构信息网络,用于解决短文本语义稀疏问题。在此基础上,构造基于随机去邻法和双重注意力机制的异构图卷积网络,提取短文本异构信息网络中的语义信息,同时利用随机去邻法进行数据增强,用于缓解过拟合问题。在3个短文本数据集上的实验结果表明,与LSTM、Text GCN、HGAT等基准模型相比,该模型在每个类别只有10个标记样本的情况下仍能达到最优性能。