基于全局注意力机制的属性网络表示学习

属性网络不仅具有复杂的拓扑结构,其节点还包含丰富的属性信息.属性网络表示学习方法同时提取网络拓扑结构和节点的属性信息来学习大型属性网络的低维向量表示,在节点分类、链路预测和社区识别等网络分析技术方面具有非常重要和广泛的应用.文中首先根据属性网络的拓扑结构得到网络的结构嵌入向量;接着通过全局注意力机制来学习相邻节点的属性信息,先用卷积神经网络对节点的属性信息作卷积操作得到隐藏向量,再对卷积的隐藏向量生成全局注意力的权重向量和相关性矩阵,进而得到节点的属性嵌入向量;最后将结构嵌入向量和属性嵌入向量连接得到同时反映网络结构和节点属性的联合嵌入向量.在3个真实数据集上,将提出的新算法与当前的8种知名网络表示学习模型在链路预测和节点分类等任务上进行比较,实验结果表明新算法具有良好的属性网络表示效果.     

基于自我中心网络结构特征和网络表示学习的链路预测算法

链路预测是网络分析与挖掘领域中备受关注的研究方向.链路预测算法所预测的网络中的缺失连接实际上是一种数据挖掘的过程,而推断的将来可能产生的连接则与网络的发展演化相关.因此,如何提高链路预测的精确度是一项有意义且具有挑战性的研究.基于自我中心网络分解和社区聚类的最新研究,提出一种基于自我中心网络结构特征和网络表示学习的链路预测算法(Ego-Embedding).Ego-Embedding将原网络转换成角色图,再结合网络的微观结构信息和上下文信息重构嵌入过程,为每一个节点学习一个或多个向量表示,使向量表示更准确地描述网络节点信息,从而提高链路预测的精确度.在3个公开数据集(Facebook,PPI-Yeast和ca-HepTh)上进行实验仿真,并使用AUC作为评价指标,仿真结果表明,算法Ego-Embed-ding的表现均优于5个实验对比方法(CN,AA,Node2vec,M-NMF和Splitter),且最高将链路预测的错误率减少了约47％.     

融合模体图神经网络和自编码器的链路预测

链路预测是网络数据挖掘的一项基本任务,已有很多相关的研究成果。由于图神经网络研究的深入发展,使得相关的模型可以更加有效学习网络的重要特征,在链路预测等任务中取得了很好的预测效果。然而,不同于深度学习中CNN模型,已有的图神经网络模型中仅聚合了节点的一阶邻居信息,未充分考虑邻居节点之间的拓扑结构特性。在此基础上,提出了基于模体的图神经网络链路预测模型。该模型采用自编码器结构,在编码过程中,通过模体构建节点的邻接矩阵,进而得到节点的模体邻域,依照每一类模体的邻域聚合邻居信息,通过非线性变换得到节点的表示,最后拼接每一类模体下节点的表示。然而由于不同的模体结构在网络中重要度有所不同,利用注意力网络给出表达不同模体的注意力权重,连接注意力网络给出节点的向量表示。在解码过程中,通过计算节点间的相似性重构网络。在几个引文合作者网络上的实验结果表明,该方法在两个指标上优于大多数基准算法,有效地提高了网络链路预测的准确度。     

基于半监督网络表示学习方法的基因功能预测

直接定义在网络邻接矩阵上运行的特征提取方法存在着结构信息提取不充分的问题。基于此，提出一种融合多网络表示学习特征的基因功能预测方法。利用随机游走模型捕捉基因网络的拓扑结构特征，基于此特征使用一个半监督自编码器学习基因节点的低维表示。应用卷积神经网络融合多网络基因节点的低维表示信息预测基因功能。实验结果表明，在人类和酵母菌数据集上该方法能够提高基因功能预测的效果。     

基于矩阵分解的DeepWalk链路预测算法

现有的链路预测方法的数据来源主要是基于邻居、路径和随机游走的方法,使用的是节点相似性假设或者最大似然估计,尚缺少基于神经网络的链路预测研究。基于神经网络的一些研究表明,基于神经网络的DeepWalk网络表示学习算法可以更加有效地挖掘到网络中的结构特征,已有研究证明DeepWalk等同于分解目标矩阵。因此,提出了一种基于矩阵分解的DeepWalk链路预测算法（LPMF）。该算法首先基于矩阵分解的DeepWalk算法分解得到网络的表示向量;然后通过余弦相似度计算每对节点之间的相似度,构建目标网络的相似度矩阵;最后利用相似度矩阵,在三个真实的引文网络中进行链路预测实验。实验结果表明,提出的链路预测算法性能优于现存的20余种链路预测算法。这充分表明了LPMF能够有效地挖掘网络中节点之间的结构关联性,而且在实际网络的链路预测中能够发挥出较为优异的性能。     

基于改进随机游走的网络表示学习算法

现有的基于Word2vec的网络表示学习（NRL）算法使用随机游走（RW）来生成节点序列,针对随机游走倾向于选择具有较大度的节点,生成的节点序列不能很好地反映网络结构信息,从而影响表示学习性能的问题,提出了基于改进随机游走的网络表示学习算法。首先,使用RLP-MHRW算法生成节点序列,它在生成节点序列时不会偏向大度节点,得到的节点序列能更好地反映网络结构信息;然后,将节点序列投入到Skip-gram模型得到节点表示向量;最后,利用链路预测任务来测度表示学习性能。在4个真实网络数据集上进行了实验。在论文合作网络arXiv ASTRO-PH上与LINE和node2vec算法相比,链路预测的AUC值分别提升了8.9%和3.5%,其他数据集上也均有提升。实验结果表明,RLP-MHRW能有效提高基于Word2vec的网络表示学习算法的性能。     

基于网络节点文本增强的链路预测算法

已有的链路预测算法主要是基于目标网络结构信息的,没有考虑到与目标网络相关的文本信息。针对此问题,提出一种基于网络节点文本增强的链路预测算法。将网络节点的文本内容融入到网络表示学习过程中,使学习得到的网络表示向量中含有节点的文本属性。通过余弦相似性算法构建出目标网络的相似度矩阵。在3个真实的数据集上做链路预测仿真实验。实验结果显示,相比于现存的多种链路预测算法,该算法预测结果的精确度有明显提升,同时能够有效且准确地挖掘网络中节点间的结构关联性和内部相关性。     

基于共同邻居邻域拓扑稠密性加权的链路预测方法

链路预测旨在利用已知的网络节点和拓扑结构信息,预测网络中未连接的两个节点之间存在连边的可能性。基于网络拓扑相似性的链路预测方法计算复杂度低且预测效果好,但现有的相似性指标对共同邻居的邻域拓扑信息考虑较少。针对此问题,提出一种基于共同邻居邻域拓扑稠密性加权的链路预测方法。首先,基于邻域拓扑相对稠密指数量化节点的邻域拓扑结构;然后,利用共同邻居的节点度和邻域拓扑相对稠密指数刻画共同邻居及其邻域拓扑的相似性贡献;最后,提出基于共同邻居邻域拓扑稠密性加权的节点相似性指标。在多个实际网络数据上的实验结果表明,与现有相似性指标相比,该方法能够取得更高的预测精度。     

基于高阶近似的链路预测算法

目前大部分链路预测算法只研究了节点与邻居节点之间的一阶相似性，没有考虑节点与邻居的邻居节点之间的高阶相似性关系。针对此问题，提出一种基于高阶近似的链路预测算法（LP-HOPA）。首先，求出网络的归一化邻接矩阵和相似度矩阵；其次，利用矩阵分解的方法将相似度矩阵进行分解，得到网络节点的表示向量以及其上下文的表示向量；然后，通过高阶网络表示学习的网络嵌入更新（NEU）算法对原始相似度矩阵进行高阶优化，并利用归一化的邻接矩阵计算出更高阶的相似度矩阵表示；最后，在四个真实的数据集上进行大量的实验。实验结果表明，与原始链路预测算法相比，大部分利用LP-HOPA优化后的链路预测算法准确率提升了4%到50%。此外，LP-HOPA算法能够将基于低阶网络局部结构信息的链路预测算法转换为基于节点高阶特征的链路预测算法，在一定程度上肯定了基于高阶近似链路预测算法的有效性和可行性。     

基于网络表示学习与随机游走的链路预测算法

现有的基于随机游走链路预测指标在无权网络上的转移过程存在较强随机性,没有考虑在网络结构上不同邻居节点间的相似性对转移概率的作用。针对此问题,提出一种基于网络表示学习与随机游走的链路预测算法。首先,通过基于深度学习的网络表示学习算法——DeepWalk学习网络节点的潜在结构特征,将网络中的各节点表征到低维向量空间;然后,在重启随机游走（RWR）和局部随机游走（LRW）算法的随机游走过程中融合各邻居节点在向量空间上的相似性,重新定义出邻居节点间的转移概率;最后,在5个真实数据集上进行大量实验验证。实验结果表明：相比8种具有代表性的基于网络结构的链路预测基准算法,所提算法链路预测结果的AUC值均有提升,最高达3.34%。     

集成时空轨迹的动态属性网络表征学习

网络表征学习是当前信息网络数据表示的研究热点,相比于传统网络分析技术已显示出它的有效性和高效性.目前绝大多数研究仅将网络视为静态来处理,即网络结构不随时间演化而变化,而且很少考虑网络中丰富的节点属性信息,难以适应现实信息网络时刻变化的动态特性.同时考虑网络的动态性和节点属性,提出基于时空路径的动态属性网络表征学习(DAWalk),将结构特征与属性特征聚合为节点的嵌入表示.游走时空轨迹序列以捕获网络的结构特征以及动态演化趋势规律.在模型学习方面使用改进的自编码器模型,最小化序列中成对节点的距离损失,学习出序列节点对隐藏的高度非线性规律,使得学到的节点表示更具健壮性.实验表明,在可视化、链接预测、节点分类任务上,提出的DAWalk在3个数据集上的性能均优于其他基准算法.     

基于多视图集成的网络表示学习算法

现有的网络表示学习算法主要为基于浅层神经网络的网络表示学习和基于神经矩阵分解的网络表示学习。基于浅层神经网络的网络表示学习又被证实是分解网络结构的特征矩阵。另外,现有的大多数网络表示学习仅仅从网络的结构学习特征,即单视图的表示学习;然而,网络本身蕴含有多种视图。因此,文中提出了一种基于多视图集成的网络表示学习算法(MVENR)。该算法摈弃了神经网络的训练过程,将矩阵的信息融合和分解思想融入到网络表示学习中。另外,将网络的结构视图、连边权重视图和节点属性视图进行了有效的融合,弥补了现有网络表示学习中忽略了网络连边权重的不足,解决了基于单一视图训练时网络特征稀疏的问题。实验结果表明,所提MVENR算法的性能优于网络表示学习中部分常用的联合学习算法和基于结构的网络表示学习算法,是一种简单且高效的网络表示学习算法。     

基于深度神经网络和门控循环单元的动态图表示学习方法

学习图中节点的潜在向量表示是一项重要且普遍存在的任务,旨在捕捉图中节点的各种属性。大量工作证明静态图表示已经能够学习到节点的部分信息,然而,真实世界的图是随着时间的推移而演变的。为了解决多数动态网络算法不能有效保留节点邻域结构和时态信息的问题,提出了基于深度神经网络（DNN）和门控循环单元（GRU）的动态网络表示学习方法DynAEGRU。该方法以自编码器作为框架,其中的编码器首先用DNN聚集邻域信息以得到低维特征向量,然后使用GRU网络提取节点时态信息,最后用解码器重构邻接矩阵并将其与真实图对比来构建损失。通过与几种静态图和动态图表示学习算法在3个数据集上进行实验分析,结果表明DynAEGRU具有较好的性能增益。     

半监督属性网络表示学习方法

网络表示学习是一个重要的研究课题,其目的是将高维的属性网络表示为低维稠密的向量,为下一步任务提供有效特征表示。最近提出的属性网络表示学习模型SNE（Social Network Embedding）同时使用网络结构与属性信息学习网络节点表示,但该模型属于无监督模型,不能充分利用一些容易获取的先验信息来提高所学特征表示的质量。基于上述考虑提出了一种半监督属性网络表示学习方法SSNE（Semi-supervised Social Network Embedding）,该方法以属性网络和少量节点先验作为前馈神经网络输入,经过多个隐层非线性变换,在输出层通过保持网络链接结构和少量节点先验,学习最优化的节点表示。在四个真实属性网络和两个人工属性网络上,同现有主流方法进行对比,结果表明本方法学到的表示,在聚类和分类任务上具有较好的性能。     

动态连续时间网络表示学习

随着时间的推移,网络会随着节点和连边的变化不断发展。针对传统网络表示学习算法不能正确处理动态网络的问题,提出一种基于随机游走的动态连续时间网络表示学习算法（DCTNE）。通过定义一个灵活的节点时序邻居概念,设计一个有偏的随机游走过程。根据时间信息,有效地探索节点的不同时序邻居并建模不同邻居的影响,学习网络表示。实验证明了DCTNE动态网络时序信息的有效性。在链接预测任务上,DCTNE的AUC值与其他算法相比最高获得了50%的增益;在节点分类任务上,DCTNE相较于其他算法在效果上有明显提升。结果表明,对网络中时间依赖关系进行建模有助于后续的网络分析任务。     

网络表示学习的研究与发展

网络表示学习旨在将网络中的节点表示成低维稠密且具有一定推理能力的向量,以运用于节点分类、社区发现和链路预测等社交网络应用任务中,是连接网络原始数据和网络应用任务的桥梁。传统的网络表示学习方法都是针对网络中节点和连边只有一种类型的同质信息网络的表示学习方法,而现实世界中的网络往往是具有多种节点和连边类型的异质信息网络。而且,从时间维度上来看,网络是不断变化的。因此,网络表示学习的研究方法随着网络数据的复杂化而不断变化。对近年来针对不同网络的网络表示学习方法进行了分类介绍,并阐述了网络表示学习的应用场景。     

Text-enhanced network representation learning

Network representation learning called NRL for short aims at embedding various networks into lowdimensional continuous distributed vector spaces. Most existing representation learning methods focus on learning representations purely based on the network topology, i.e., the linkage relationships between network nodes, but the nodes in lots of networks may contain rich text features, which are beneficial to network analysis tasks, such as node classification, link prediction and so on. In this paper, we propose a novel network representation learning model, which is named as Text-Enhanced Network Representation Learning called TENR for short, by introducing text features of the nodes to learn more discriminative network representations, which come from joint learning of both the network topology and text features, and include common influencing factors of both parties. In the experiments, we evaluate our proposed method and other baseline methods on the task of node classification. The experimental results demonstrate that our method outperforms other baseline methods on three real-world datasets.     

基于社区优化的深度网络嵌入方法

随着现代网络通信和社会媒体等技术的飞速发展,网络化的大数据由于缺少高效可用的节点表示而难以应用。将高维稀疏难于应用的网络数据转化为低维、紧凑、易于应用的节点表示的网络嵌入方法受到广泛关注。然而已有网络嵌入方法得到节点低维特征向量后,再将其作为其他应用（节点分类、社区发现、链接预测、可视化等）的输入来作进一步分析,没有针对具体应用构建模型,难以取得满意的结果。针对网络社区发现这一具体应用,提出结合社区结构优化进行节点低维特征表示的深度自编码聚类模型CADNE。首先基于深度自编码模型,通过保持网络局部及全局链接的拓扑特性来学习节点的低维表示,然后利用网络聚类结构对节点低维表示进一步优化。该方法同时学习节点的低维表示和节点所属社区的指示向量,使节点的低维表示不仅能保持原始网络结构中的拓扑结构特性,而且能保持节点的聚类特性。与已有的经典网络嵌入方法进行对比,结果显示CADNE模型在Citeseer和Cora上取得最优聚类结果,在20NewsGroup上准确率提升最高达0.525;分类性能在Blogcatalog、Citeseer数据集上取得最好结果,在Blogcatalog上训练比例20%时比基线方法提升最高达0.512;并且CADNE模型在可视化对比中能够得到类边界更加清晰的节点低维表示,验证了所提方法具有较好的节点低维表示能力。     

基于节点表示和子图结构的动态网络链接预测

动态链接预测的关键是建模网络动态性和抽取局部结构特征.为此,文中提出基于节点表示和子图结构的动态链接预测方法.为了建模节点的动态演化特性,引入节点向量模型,按序拼接各个历史快照的节点表示.为了建模链接的局部子图结构信息,引入图同构算法,编码局部子图的拓扑结构.最终目标链接的特征表示融合每个历史快照中目标节点对的向量表征和局部子图的拓扑结构.实验表明文中方法性能较优.