基于深度自编码的局部增强属性网络表示学习

基于深度自编码器的网络表示,可以捕获高度非线性的网络结构,但当链接稀疏时学到的表示不够准确。针对这一问题,提出一种基于深度自编码的局部增强属性网络表示学习模型,以提高表示学习的准确度。该模型首先利用链接与属性特征,采用多个深度自编码器,学习保持网络拓扑结构及属性特征的低维网络表示。之后,基于节点间近邻结构及属性相似性,对学出的低维网络表示进行节点约束,实现网络局部结构增强,达到最大程度保持原始结构信息及属性特征的目的。在五个真实属性网络上的实验结果表明,提出的模型在聚类与分类任务中,效果均优于目前流行的表示学习方法。     

保持聚类结构的属性网络表示学习

在线社交平台产生大量可建模为属性网络的数据,SNE（social network embedding）表示学习模型可学到属性网络的潜在低维表示,为进一步的实际应用提供有效特征。但是SNE未考虑保持网络的潜在聚类结构,导致学到的特征对聚类效果不佳。针对上述问题进行研究,提出了一种保持聚类结构的属性网络表示学习模型（attributed network embedding with self cluster,ANESC）,其使用前馈神经网络建模,以属性网络节点的one-hot表示和属性信息作为输入,经过多隐层学习节点的低维表示,使其在输出层保持节点的邻居拓扑结构和潜在聚类结构。在五个真实属性网络上的实验结果表明,相比SNE,ANESC学到的表示在聚类任务上NMI值提高5%~11%,在分类任务上准确率提高0.3%~7%。     

结合图自编码器与聚类的半监督表示学习方法

节点标签是复杂网络中广泛存在的监督信息,对网络表示学习具有重要作用。基于此,提出了一种结合图自编码器与聚类的半监督表示学习方法（GAECSRL）。首先,以图卷积网络（GCN）和内积函数分别作为编码器和解码器,并构建图自编码器以形成信息传播框架;然后,在编码器生成的低维表示基础上增加k-means聚类模块,从而使图自编码器的训练过程和节点的类别分布划分形成自监督机制;最后,利用节点标签的判别信息对网络低维表示的类别划分进行指导,将网络表示生成、类别划分以及图自编码器的训练构建在一个统一的优化模型中,并获得融合节点标签信息的有效网络表示结果。在仿真实验中,将GAECSRL用于节点分类和链接预测任务。实验结果表明,相比DeepWalk、node2vec、全局结构信息图表示学习（GraRep）、结构化深度网络嵌入（SDNE）和用数据的转导式或归纳式嵌入预测标签和邻居（Planetoid）,在节点分类任务中GAECSRL的Micro?F1指标提高了0.9~24.46个百分点,Macro?F1指标提高了0.76~24.20个百分点;在链接预测任务中,GAECSRL的AUC指标提高了0.33~9.06个百分点,说明GAECSRL获得的网络表示结果能有效提高节点分类和链接预测任务的性能。     

面向异质信息网络的双通道协同聚类算法

网络聚类广泛应用于现实世界的各个领域，受到了越来越多的关注.由于保留了节点和链接关系的异质性，异质信息网络聚类相较于同质网络聚类具有更优的性能.然而，现有基于图神经网络的异质信息网络聚类忽略了节点属性以及拓扑结构对聚类的权重不同的问题.此外，这些方法仅对单一类型的目标节点聚类，而没有考虑其余类型节点的辅助作用.为此，提出了面向异质信息网络的双通道协同聚类算法（B3C），其能够有效地融合节点属性和拓扑结构，并挖掘异质节点间的潜在相关性，从而提高聚类性能.首先，设计了一个简单有效的双通道编码器以聚合拓扑结构及相似矩阵的邻域信息；接着，应用自训练聚类的同时学习异质信息网络表示以及优化聚类分配，并采用协同聚类机制，以对不同类型节点同时聚类；最后，利用三元中心损失（Triplet-Center Loss）学习具有区分度的节点表示，以凝聚相似节点，分离不相似节点.在公开数据集上进行了大量实验，验证了本文提出的双通道编码器性能相较于广泛使用的图神经网络编码器有显著提升，并且B3C精度优于现有的基于学习的异质信息网络聚类方法.     

双路自编码器的属性网络表示学习

属性网络表示学习的目的是在保证网络中节点性质的前提下,结合结构和属性信息学习节点的低维稠密向量表示。目前属性网络表示学习方法忽略了网络中属性信息的学习,且这些方法中的属性信息与网络拓扑结构的交互性不足,不能高效融合网络结构和属性信息。针对以上问题,提出一种双路自编码器的属性网络表示学习（DENRL）算法。首先,通过多跳注意力机制捕获节点的高阶邻域信息;其次,设计低通拉普拉斯滤波器去除高频信号,并迭代获取重要邻居节点的属性信息;最后,构建自适应融合模块,通过结构和属性信息的一致性及差异性约束来增加对重要信息的获取,并通过监督两个自编码器的联合重构损失函数训练编码器。在Cora、Citeseer、Pubmed和Wiki数据集上的实验结果表明,与DeepWalk、ANRL(Attributed Network Representation Learning)等算法相比,DENRL算法在3个引文网络数据集上聚类准确率最高、算法运行时间最少,在Cora数据集上聚类准确率为0.775和运行时间为0.460 2 s;且DENRL算法在Cora和Citeseer数据集上链路预测精确率最高,分别达到了0...     

基于多通道图卷积自编码器的图表示学习

针对基于图卷积的自编码器模型对原始图属性和拓扑信息的保留能力有限、无法学习结构和属性之间深度关联信息等问题,提出基于多通道图卷积自编码器的图表示学习模型。设计拓扑和属性信息保留能力实验,验证了基于图卷积的自编码器模型具备保留节点属性和拓扑结构信息的能力。构建特定信息卷积编码器和一致信息卷积编码器,提取图的属性空间特征、拓扑空间特征以及两者关联特征,生成属性嵌入、拓扑嵌入和一致性嵌入,同时建立与编码器对称的卷积解码器,还原编码器过程。使用重构损失、局部约束和一致性约束,优化各编码器生成的低维嵌入表示。最终将蕴含不同图信息的多种嵌入进行融合,生成各节点的嵌入表示。实验结果表明,该模型在BlogCatalog和Flickr数据集上节点分类的Micro-F1和Macro-F1明显高于基线模型,在Citeseer数据集上节点聚类的精度和归一化互信息相比于表现最优的基线模型提升了11.84%和34.03%。上述实验结果证明了该模型采用的多通道方式能够在低维嵌入中保留更丰富的图信息,提升图机器学习任务的性能表现。     

半监督属性网络表示学习方法

网络表示学习是一个重要的研究课题,其目的是将高维的属性网络表示为低维稠密的向量,为下一步任务提供有效特征表示。最近提出的属性网络表示学习模型SNE（Social Network Embedding）同时使用网络结构与属性信息学习网络节点表示,但该模型属于无监督模型,不能充分利用一些容易获取的先验信息来提高所学特征表示的质量。基于上述考虑提出了一种半监督属性网络表示学习方法SSNE（Semi-supervised Social Network Embedding）,该方法以属性网络和少量节点先验作为前馈神经网络输入,经过多个隐层非线性变换,在输出层通过保持网络链接结构和少量节点先验,学习最优化的节点表示。在四个真实属性网络和两个人工属性网络上,同现有主流方法进行对比,结果表明本方法学到的表示,在聚类和分类任务上具有较好的性能。     

基于社区优化的深度网络嵌入方法

随着现代网络通信和社会媒体等技术的飞速发展,网络化的大数据由于缺少高效可用的节点表示而难以应用。将高维稀疏难于应用的网络数据转化为低维、紧凑、易于应用的节点表示的网络嵌入方法受到广泛关注。然而已有网络嵌入方法得到节点低维特征向量后,再将其作为其他应用（节点分类、社区发现、链接预测、可视化等）的输入来作进一步分析,没有针对具体应用构建模型,难以取得满意的结果。针对网络社区发现这一具体应用,提出结合社区结构优化进行节点低维特征表示的深度自编码聚类模型CADNE。首先基于深度自编码模型,通过保持网络局部及全局链接的拓扑特性来学习节点的低维表示,然后利用网络聚类结构对节点低维表示进一步优化。该方法同时学习节点的低维表示和节点所属社区的指示向量,使节点的低维表示不仅能保持原始网络结构中的拓扑结构特性,而且能保持节点的聚类特性。与已有的经典网络嵌入方法进行对比,结果显示CADNE模型在Citeseer和Cora上取得最优聚类结果,在20NewsGroup上准确率提升最高达0.525;分类性能在Blogcatalog、Citeseer数据集上取得最好结果,在Blogcatalog上训练比例20%时比基线方法提升最高达0.512;并且CADNE模型在可视化对比中能够得到类边界更加清晰的节点低维表示,验证了所提方法具有较好的节点低维表示能力。     

利用变分自编码器进行网络表示学习

网络表示学习的目标是将网络节点映射到一个低维的向量空间中,然后利用已有的机器学习方法解决诸如节点分类、链接预测、社团挖掘和推荐等下游应用任务。通常网络中的节点携有属性信息,与结构信息具有一定的相关性,将这些信息融入到网络表示学习过程中,有助于提升下游任务的性能。但是针对不同的应用场景,结构和属性信息并不总是线性相关,而且它们都是高度非线性的数据。提出一种基于变分自编码器的网络表示学习方法VANRL。变分自编码器是一种深度神经网络,它不仅可以捕获结构和属性非线性相似性,还可以学习到数据的分布。针对不同的应用任务,灵活地组合结构信息和属性信息,使学习到的网络节点表示达到令人满意的性能。在四个网络(包括两个社交网络,两个引用网络)上的实验结果表明,VANRL可以在节点分类和链路预测任务中获得相对显著的效果。     

基于改进随机游走的网络表示学习算法

现有的基于Word2vec的网络表示学习（NRL）算法使用随机游走（RW）来生成节点序列,针对随机游走倾向于选择具有较大度的节点,生成的节点序列不能很好地反映网络结构信息,从而影响表示学习性能的问题,提出了基于改进随机游走的网络表示学习算法。首先,使用RLP-MHRW算法生成节点序列,它在生成节点序列时不会偏向大度节点,得到的节点序列能更好地反映网络结构信息;然后,将节点序列投入到Skip-gram模型得到节点表示向量;最后,利用链路预测任务来测度表示学习性能。在4个真实网络数据集上进行了实验。在论文合作网络arXiv ASTRO-PH上与LINE和node2vec算法相比,链路预测的AUC值分别提升了8.9%和3.5%,其他数据集上也均有提升。实验结果表明,RLP-MHRW能有效提高基于Word2vec的网络表示学习算法的性能。     

结构增强的属性网络表示学习

属性网络表示学习旨在结合结构信息与属性信息为网络中的节点学习统一的向量表示。现有的属性网络表示学习方法在学习属性信息时与其互补的结构信息增强不足,从而影响最终表示。针对这一问题,提出一种结构增强的属性网络表示学习方法,以提高表示质量。该方法基于网络归一化邻接矩阵和属性矩阵通过自动编码器提取增强网络全局结构特性的属性信息,使用skip-gram模型捕捉局部结构信息,引入一个联合损失函数使结构信息与属性信息在同一向量空间中得以表示。在三个真实属性网络数据上进行节点分类和链路预测实验,效果较目前流行的网络表示学习方法优势明显。     

集成时空轨迹的动态属性网络表征学习

网络表征学习是当前信息网络数据表示的研究热点,相比于传统网络分析技术已显示出它的有效性和高效性.目前绝大多数研究仅将网络视为静态来处理,即网络结构不随时间演化而变化,而且很少考虑网络中丰富的节点属性信息,难以适应现实信息网络时刻变化的动态特性.同时考虑网络的动态性和节点属性,提出基于时空路径的动态属性网络表征学习(DAWalk),将结构特征与属性特征聚合为节点的嵌入表示.游走时空轨迹序列以捕获网络的结构特征以及动态演化趋势规律.在模型学习方面使用改进的自编码器模型,最小化序列中成对节点的距离损失,学习出序列节点对隐藏的高度非线性规律,使得学到的节点表示更具健壮性.实验表明,在可视化、链接预测、节点分类任务上,提出的DAWalk在3个数据集上的性能均优于其他基准算法.     

基于节点-属性二部图的网络表示学习模型

在图结构数据上开展推理计算是一项重大的任务,该任务的主要挑战是如何表示图结构知识使机器可以快速理解并利用图数据。对比现有表示学习模型发现,基于随机游走方法的表示学习模型容易忽略属性对节点关联关系的特殊作用,因此提出一种基于节点邻接关系与属性关联关系的混合随机游走方法。首先通过邻接节点间的共同属性分布计算属性权重,并获取节点到每个属性的采样概率;然后分别从邻接节点与含有共有属性的非邻接节点中提取网络信息;最后构建基于节点-属性二部图的网络表示学习模型,并通过上述采样序列学习得到节点向量表达。在Flickr、BlogCatalog、Cora公开数据集上,用所提模型得到的节点向量表达进行节点分类的Micro-F1平均准确率为89.38%,比GraphRNA（Graph Recurrent Networks with Attributed random walks）高出了2.02个百分点,比经典工作DeepWalk高出了21.12个百分点;同时,对比不同随机游走方法发现,提高对节点关联有促进作用的属性的采样概率可以增加采样序列所含信息。     

保持聚类结构的异质网络表示学习

Metapath2vec和Metapath2vec++异质网络表示学习方法只保持了网络原有的拓扑结构,没有考虑异质网络自身存在的聚类结构,从而降低网络中节点表示的准确性。针对此问题,基于元路径随机游走策略提出两种保持聚类结构的异质网络表示学习模型：HINSC和HINSC++。模型将网络中节点的one-hot表示作为前馈神经网络的输入,经过隐层的非线性变换,使其在输出层保持网络中节点的近邻拓扑结构和聚类结构,利用随机梯度下降算法学习异质网络节点的低维表示。在两个真实异质网络上的实验结果表明：相比Metapath2vec和Metapath2vec++,HINSC和HINSC++学到的表示在聚类任务上NMI值提高12.46%~26.22%,在分类任务上Macro-F1、Micro-F1值提高9.32%~17.24%。     

融合节点描述属性信息的网络表示学习算法

为融合节点描述信息提升网络表示学习质量，针对社会网络中节点描述属性信息存在的语义信息分散和不完备性问题，提出一种融合节点描述属性的网络表示（NPA-NRL）学习算法。首先，对属性信息进行独热编码，并引入随机扰动的数据集增强策略解决属性信息不完备问题；然后，将属性编码和结构编码拼接作为深度神经网络输入，实现两方面信息的相互补充制约；最后，设计了基于网络同质性的属性相似性度量函数和基于SkipGram模型的结构相似性度量函数，通过联合训练实现融合语义信息挖掘。在GPLUS、OKLAHOMA和UNC三个真实网络数据集上的实验结果表明，和经典的DeepWalk、TADW（Text-Associated DeepWalk）、UPP-SNE（User Profile Preserving Social Network Embedding）和SNE（Social Network Embedding）算法相比，NPA-NRL算法的链路预测AUC（Area Under Curve of ROC）值平均提升2.75%，节点分类F1值平均提升7.10%。     

基于密集连接卷积神经网络的链路预测模型

现有的基于网络表示学习的链路预测算法主要通过捕获网络节点的邻域拓扑信息构造特征向量来进行链路预测，该类算法通常只注重从网络节点的单一邻域拓扑结构中学习信息，而对多个网络节点在链路结构上的相似性方面研究不足。针对此问题，提出一种基于密集连接卷积神经网络（DenseNet）的链路预测模型（DenseNet-LP）。首先，利用基于网络表示学习算法node2vec生成节点表示向量，并利用该表示向量将网络节点的结构信息映射为三维特征数据；然后，利用密集连接卷积神经网络来捕捉链路结构的特征，并建立二分类模型实现链路预测。在四个公开的数据集上的实验结果表明，相较于网络表示学习算法，所提模型链路预测结果的ROC曲线下方面积（AUC）值最大提高了18个百分点。     

一种基于GAN的异构信息网络表示学习方法

异构信息网络中包含丰富的结构和语义信息,通过网络表示学习保留异构信息网络的结构和语义信息是当前研究的热点。传统的异构信息网络表示学习方法局限于利用元路径的形式保留异构信息网络中的语义信息,缺乏考虑网络中所有节点的分布情况,保留的信息不够充分。因此,本文提出一种基于生成式对抗网络（Generative Adversarial Networks, GAN）的异构信息网络表示学习方法（HINGAN）,其能更好地保留网络中的结构信息和语义信息。HINGAN中通过生成模型和判别模型的对抗学习,提高表示学习的鲁棒性。基于2个真实数据集的实验结果表明,本文提出的模型与传统的异构信息网络方法相比,在节点分类和链接预测任务中的结果都有明显提升。     

网络表示学习的研究与发展

网络表示学习旨在将网络中的节点表示成低维稠密且具有一定推理能力的向量,以运用于节点分类、社区发现和链路预测等社交网络应用任务中,是连接网络原始数据和网络应用任务的桥梁。传统的网络表示学习方法都是针对网络中节点和连边只有一种类型的同质信息网络的表示学习方法,而现实世界中的网络往往是具有多种节点和连边类型的异质信息网络。而且,从时间维度上来看,网络是不断变化的。因此,网络表示学习的研究方法随着网络数据的复杂化而不断变化。对近年来针对不同网络的网络表示学习方法进行了分类介绍,并阐述了网络表示学习的应用场景。