基于对比学习的全局增强动态异质图神经网络

图神经网络由于其对图结构数据的强大表征能力近年来受到广泛关注.现有图神经网络方法主要建模静态同质图数据，然而现实世界复杂系统往往包含多类型动态演化的实体及关系，此类复杂系统更适合建模为动态异质图.目前，动态异质图表示学习方法主要集中于半监督学习范式，其存在监督信息昂贵和泛化性较差等问题.针对以上问题，提出了一种基于对比学习的全局增强动态异质图神经网络.具体地，所提网络首先通过异质层次化注意力机制根据历史信息来生成未来的邻近性保持的节点表示，然后通过对比学习最大化局部节点表示和全局图表示的互信息来丰富节点表示中的全局语义信息.实验结果表明，提出的自监督动态异质图表示学习方法在多个真实世界数据集的链路预测任务上的AUC指标平均提升了3.95%.     

基于门控图注意力网络的归纳式文本分类

为了有效地整合文本中的复杂特征和提取不同的上下文信息, 提出了基于门控图注意力网络的归纳式文本分类方法(TextIGAT). 该方法首先为语料库中的每个文档进行单独构图, 并将其中所有的单词作为图中的节点, 以此保留完整的文本序列. 文本图中设计单向连接的文档节点, 使词节点能与全局信息交互, 并合并不同的上下文关系连接词节点, 从而在单个文本图中引入更多的文本信息. 然后, 方法基于图注意力网络(GAT)和门控循环单元(GRU)来更新词节点的表示, 并根据图中保留的文本序列应用双向门控循环单元(Bi-GRU)来增强节点的顺序表示. TextIGAT能灵活地整合来自文本本身的信息, 因此能对包含新词和关系的文本进行归纳式学习. 在4个基准数据集(MR、Ohsumed、R8、R52)上的大量实验和详细分析表明了所提出的方法在文本分类任务上的有效性.     

基于双重视图耦合的自监督图表示学习模型

针对现有的图表示学习在自监督对比学习方法中存在视图差异较大,且依赖于负样本防止模型坍塌,导致节点表示能力弱及空间复杂度加大的问题,提出一种基于双重视图耦合的自监督图表示学习模型(self-supervised graph representation learning model with dual view coupling, DVCGRL),用于学习图数据表示。采用特征空间增广和结构空间扩充相结合生成双重视图,将双重视图作为正样本对输入孪生神经网络;利用图编码器提取图数据特征,通过多层感知器获得映射后的特征向量;采用耦合网络拉近双重视图的特征向量距离,提升节点表示能力,防止模型坍塌。在公开数据集上进行的节点分类实验结果表明,与当前主流图表示学习模型相比,该模型降低了空间复杂度,节点分类精度得到明显提高。     

互信息与多条元路径融合的异质网络表示学习方法

异质信息网络能够对真实世界的诸多复杂应用场景进行建模,其表示学习研究也得到了众多学者的广泛关注.现有的异质网络表示学习方法大多基于元路径来捕获网络中的结构和语义信息,已经在后续的网络分析任务中取得很好的效果.然而,此类方法忽略了元路径的内部节点信息和不同元路径实例的重要性;仅能捕捉到节点的局部信息.因此,提出互信息与多条元路径融合的异质网络表示学习方法.首先,利用一种称为关系旋转编码的元路径内部编码方式,基于相邻节点和元路径上下文节点捕获异质信息网络的结构和语义信息,采用注意力机制来建模各元路径实例的重要性;然后,提出一种互信息最大化与多条元路径融合的无监督异质网络表示学习方法,使用互信息捕获全局信息以及全局信息和局部信息之间的联系.最后,在两个真实数据集上进行实验,并与当前主流的算法进行比较分析.结果表明,所提方法在节点分类和聚类任务上性能都有提升,甚至和一些半监督算法相比也表现出强劲性能.     

基于概率分布的图卷积文本分类模型

近年来,图神经网络模型因其对非欧氏数据的建模和对全局依赖关系的捕获能力而广泛应用于文本分类任务。现有的基于图卷积网络的分类模型中的构图方法存在消耗内存过大、难以适应新文本等问题。此外,现有研究中用于描述图节点间的全局依赖关系的方法并不完全适用于分类任务。为解决上述问题,该文设计并提出了基于概率分布的文本分类网络模型,以语料库中的词和标签为节点构建标签-词异构关系图,利用词语在各标签上的概率分布描述节点间的全局依赖关系,并通过图卷积操作进行文本表示学习。在5个公开的文本分类数据集上的实验表明,该文提出的模型在有效缩减图尺寸的同时,相比于其他文本分类网络模型取得了较为先进的结果。     

基于K阶互信息估计的位置感知网络表征学习

随着网络结构数据持续、快速的增长,各种复杂网络数据分析与应用层出不穷.近年来,网络表征学习已经成为各类网络分析任务的主流方法.网络表征学习的主要目标是依据节点间连接关系,学习高质量的节点表征向量,从而辅助分析下游任务.然而,现有的表征学习方法未考虑节点在网络中的位置信息.为了解决这一问题,提出了一种位置感知网络表征学习模型PMI,该模型通过最大化每个中心节点与各阶邻居之间的互信息,从而将节点的位置信息学入表征向量中.在表征训练过程中,PMI模型激励每个中心节点记住并识别其每阶的邻居节点,从而间接记录其位置信息.在4个不同领域的真实数据集上进行了多标签分类、网络重构、链接预测等多个代表性网络分析任务实验,实验结果表明提出的PMI模型可以学到高质量的节点表征向量,与现有的表征学习模型相比,PMI模型能够在多个下游任务上有较大幅度提升.此外,还设计邻居对齐任务对PMI模型进行进一步的分析,结果表明PMI模型学到的节点表征能够有效识别不同阶的邻居节点并捕获自身的位置信息,从而为各种下游任务生成合理有效的表征.     

STCTN：一种基于时域偏倚校正与空域因果传递的时空因果表示学习方法

从时空数据中有效地提取特征表示是时空数据挖掘的基础.现有时空表示学习方法过于关注时空序列中的统计相关性，易受虚假相关性的影响，难以提取无偏、鲁棒的特征表示.本文基于结构因果模型建模时空数据的生成过程，分析观测数据中虚假相关性的成因，提出了一种基于时域偏倚校正与空域因果传递的时空因果表示学习方法 .首先基于后门调整消除时域的虚假相关性，然后构建因果传递网络消除空域的虚假相关性，最后利用下游特征解码器将因果特征表示应用于下游任务中.在两个真实数据集上的实验表明，本文所提时空表示学习方法有效避免了虚假相关性的干扰，增强了模型的稳定性，使其在两个下游预测任务中对数据稀疏节点的预测误差分别降低了3%和10%.     

一种融合节点先验信息的图表示学习方法

图表示学习是实现各类图挖掘任务的基础。现实当中的图数据,不仅包含复杂的网络结构,还包括多样化的节点信息。如何将网络结构和节点信息更加有效地融入图的表示学习中,是一个重要的问题。为了解决这一问题,本文基于深度学习提出了融合节点先验信息的图表示学习方法。该方法将节点特征作为先验知识,要求学习到的表示向量同时保持图数据中的网络结构相似性和节点特征相似性。该方法的时间复杂度为O（|V|）,其中|V|为图节点数量,表明该方法适用于大规模图数据分析。同时,在多个数据集上的实验结果表明,所提出的方法相比目前流行的几种基线方法,在分类任务上能够获得良好而稳定的优势。     

基于边采样的网络表示学习模型

近年来,以微博、微信、Facebook为代表的社交网络不断发展,网络表示学习引起了学术界和工业界的广泛关注。传统的网络表示学习模型利用图矩阵表示的谱特性,由于其效率低下、效果不佳,难以应用到真实网络中。近几年,基于神经网络的表示学习方法因算法效率高、能较好保存网络结构信息,逐渐成为网络表示学习的主流算法。网络中的节点因为不同类型的关系而相互连接,这些关系里隐藏了非常丰富的信息（如兴趣、家人）,但所有现存方法都没有区分节点之间边的关系类型。本文提出一个能够编码这种关系信息的无监督网络表示学习模型NEES,首先通过边采样得到能够反映边关系类型信息的边向量,其次利用边向量为图中每个节点学习到一个低维表示。我们分别在几个真实网络数据上进行了多标签分类、边预测等任务,实验结果表明NEES方法能取得超过现存最好算法的优异效果,且其是可规模化的,可以很好地应用于大型网络的表示与计算。     

基于RoBERTa的全局图神经网络文档级中文金融事件抽取

当前基于图神经网络的事件抽取模型无法很好解决长距离依赖问题,并且图的构造中没有考虑实体之间的关系,实体也需要结合文档中的多个句子进行推理。为解决这些问题,该文首先使用预训练模型RoBERTa对文档进行编码并输出所有句子的特征表示和文档的上下文信息嵌入表示,能更好地学习中文金融数据的语义特征。其次,构建一个包含文档节点和实体节点的全局图神经网络使不同节点和边的交互有更丰富的表示,加强了文档和实体信息之间的联系。最后,应用图卷积网络捕获了它们之间的全局交互得到实体级图,在此基础上通过改进的路径推理机制来推断实体之间的关系,更好地解决了长距离文档上下文感知表示和跨句子论元分散问题。在CFA数据集上进行了模型验证,实验结果表明,该文所提模型F₁值优于对比模型,综合性能得到有效提升。     

结合图自编码器与聚类的半监督表示学习方法

节点标签是复杂网络中广泛存在的监督信息,对网络表示学习具有重要作用。基于此,提出了一种结合图自编码器与聚类的半监督表示学习方法（GAECSRL）。首先,以图卷积网络（GCN）和内积函数分别作为编码器和解码器,并构建图自编码器以形成信息传播框架;然后,在编码器生成的低维表示基础上增加k-means聚类模块,从而使图自编码器的训练过程和节点的类别分布划分形成自监督机制;最后,利用节点标签的判别信息对网络低维表示的类别划分进行指导,将网络表示生成、类别划分以及图自编码器的训练构建在一个统一的优化模型中,并获得融合节点标签信息的有效网络表示结果。在仿真实验中,将GAECSRL用于节点分类和链接预测任务。实验结果表明,相比DeepWalk、node2vec、全局结构信息图表示学习（GraRep）、结构化深度网络嵌入（SDNE）和用数据的转导式或归纳式嵌入预测标签和邻居（Planetoid）,在节点分类任务中GAECSRL的Micro?F1指标提高了0.9~24.46个百分点,Macro?F1指标提高了0.76~24.20个百分点;在链接预测任务中,GAECSRL的AUC指标提高了0.33~9.06个百分点,说明GAECSRL获得的网络表示结果能有效提高节点分类和链接预测任务的性能。     

结合全局信息的深度图解耦协同过滤

基于GCN的协同过滤模型通过用户物品交互二部图上的信息聚合过程生成用户节点和物品节点的表示，预测用户对物品的偏好。然而，这些模型大多没有考虑用户不同的交互意图，无法充分挖掘用户与物品之间的关系。已有的图解耦协同过滤模型建模了用户的交互意图，却忽略了图全局信息，没有考虑用户节点和物品节点的本质特征，造成表示语义不完整；并且由于受到模型迭代结构的影响，意图解耦学习的过程并不高效。针对上述问题，设计了结合全局信息的深度图解耦协同过滤模型G2DCF(Global Graph Disentangled Collaborative Filtering)。该模型构建了图全局通道和图解耦通道，分别学习节点的本质特征和意图特征；通过引入正交约束和表示独立性约束，使用户-物品的交互意图尽可能唯一防止意图退化，同时提高不同意图下表示的独立性，提升模型的解耦效果。对比已有的图协同过滤模型，G2DCF能更综合地刻画用户特征和物品特征。在3个公开数据集上进行了实验，结果表明G2DCF在多个评价指标上优于对比方法；分析了表示分布的表示独立性和表示均匀性，验证了模型的解耦效果；同时从收敛速度上进行了对比，验证了模型的...     

一种改进的图卷积网络半监督节点分类

目前大多数图卷积(GC N)关注于提取局部特征信息,忽略了全局特征,使得标签不能有效地传播到整个图上.对此,设计一种可以用于半监督节点分类任务的深度池化对偶图神经网络(DPDNN).该网络引入池化机制,将结构相似的节点聚合为超节点,扩大节点的接收域.通过随机游走得到图全局信息的潜在表示,使用随机游走模型与GC N进行协同训练,从而补充GC N模型在获取整个图拓扑结构信息上的能力.实验结果表明,该网络模型与现有方法相比提高了分类精度,在少量数据标记时效果更为明显.     

基于篇章结构图网络的话题分割

话题分割是自然语言处理领域的经典任务之一,其目标是将输入的篇章分割成语义连续的段落。先前的工作使用基于词频、隐式、序列以及Transformer的方法来编码句子,忽略了对篇章整体语义信息的建模。因此,该文采用篇章结构图网络编码句子,获得具有篇章全局信息的句子表示用于话题分割。具体地,该模型首先为每一个篇章单独建图,其中包含篇章的所有句子和单词节点以及它们之间的邻接信息。然后,模型使用门控图神经网络对图进行迭代,得到包含篇章全局信息的句子表示。它们被进一步送入Bi-LSTM层以预测话题分割点。实验结果表明,与其他基准系统相比,该模型能够获得更适合话题分割任务的句子表示,在多个流行的数据集上性能最好。     

基于图划分抽样算法的图表示学习

在基于神经网络的图表示算法中,当节点属性维度过高、图的规模过大时,从内存到显存的数据传输会成为训练性能的瓶颈。针对这类问题,该方法将图划分算法应用于图表示学习中,降低了内存访问的I/O开销。该方法根据图节点的度数,将图划分成若干个块,使用显存缓存池存储若干个特征矩阵块。每一轮训练,使用缓存池中的特征矩阵块,以此来减少内存到显存的数据拷贝。针对这一思想,该方法使用基于图划分的抽样算法,设计显存的缓存池来降低内存的访问,运用多级负采样算法,降低训练中负样本采样的时间复杂度。在多个数据集上,与现有方法对比发现,该方法的下游机器学习准确率与原算法基本一致,训练效率可以提高2~ 7倍。实验结果表明,基于图划分的图表示学习能高效训练模型,同时保证节点表示向量的测试效果。今后的课题可以使用严谨的理论证明,阐明图划分模型与原模型的理论误差。     

基于元路径的图Transformer神经网络

图神经网络作为一种新的深度学习模型, 被广泛运用在图数据中, 并极大地推动了推荐系统、社交网络、知识图谱等应用的发展. 现有的异构图神经网络通常事先定义了多条元路径来学习异构图中的复合关系. 然而, 这些模型通常在特征聚合步骤中只考虑单条元路径, 导致模型只关注了元路径的局部结构, 忽略了元路径之间的全局相关性; 还有一些模型则是忽略掉了元路径的中间节点和边信息, 导致模型无法学习到元路径内部的语义信息. 针对以上问题, 本文提出一种基于元路径的图Transformer神经网络(MaGTNN). 该模型首先将异构图采样为基于元路径的多关系子图, 利用提出的位置编码和边编码的方法来获取元路径中的语义信息. 随后使用改进的图Transformer层计算出目标节点与其元邻居的相似度, 并利用该相似度来聚合其所有的元邻居信息. 在3个公开数据集的节点分类和节点聚类任务中, MaGTNN均高于最新的基准模型.     

基于自注意力机制的局部与全局特征融合的评分预测算法

为了完全挖掘异质信息网络中节点的特征并且更好地融合这些特征,提高推荐算法的性能,提出一种基于自注意力机制的局部与全局特征融合的评分预测算法（rating prediction algorithm based on self-attention mechanism and fusion of local & global features,AMFL&GRec）。首先基于LeaderRank算法提取目标节点的全局序列,基于元路径带偏置的随机游走算法提取节点的局部序列,通过skip-gram模型分别学习节点的全局特征与局部特征;通过自注意力机制学习目标节点对局部与全局特征的偏好,从而得到在单一元路径下节点的特征表示;再通过自注意力机制融合不同元路径下同一节点的表示,从而得到节点在不同元路径下的最终的特征表示;最后基于多层感知器实现评分预测任务。在两个真实数据集进行了大量实验,实验结果验证了AMFL&GRec算法不仅能够捕获具有密集连通节点的微观（局部）结构,而且还能够捕获该节点在网络中的全局结构,从而使其得到的节点特征得以体现节点的整体（局部+全局）特征。同时,实验结果也证明了AMFL&GRec算法评分预测性能优于对比算法,从而证明利用自注意力机制考虑异质信息网络中节点对于局部、全局特征以及元路径的偏好能够提高评分预测的准确性。     

基于不完全信息的深度网络表示学习方法

网络表示学习的目标是将网络中的节点嵌入到低维的向量空间,为下游任务提供有效特征表示.在现实场景中,大规模网络通常具有不完整的链路,而现有的大多数网络表示学习模型都是在网络是完整的假设下设计的,因此其性能很容易受到链路缺失的影响.针对该问题,文中提出了一种基于不完全信息的深度网络表示学习方法DNRL(Deep Network Representa-tion Learning).首先采用转移概率矩阵将结构信息和属性信息进行动态融合,弥补了结构信息不完整带来的过大损失,然后采用一种具有强大特征提取能力的深度生成模型(变分自编码器)来学习节点的低维表示,并捕获网络数据中潜在的高非线性特征.在3个真实属性网络上的实验结果表明,与当前常用的网络表示学习模型相比,所提模型在不同程度链路缺失的节点分类任务中都明显地改善了分类效果,在可视化任务中更清晰地反映了节点的团簇关系.     

基于社区优化的深度网络嵌入方法

随着现代网络通信和社会媒体等技术的飞速发展,网络化的大数据由于缺少高效可用的节点表示而难以应用。将高维稀疏难于应用的网络数据转化为低维、紧凑、易于应用的节点表示的网络嵌入方法受到广泛关注。然而已有网络嵌入方法得到节点低维特征向量后,再将其作为其他应用（节点分类、社区发现、链接预测、可视化等）的输入来作进一步分析,没有针对具体应用构建模型,难以取得满意的结果。针对网络社区发现这一具体应用,提出结合社区结构优化进行节点低维特征表示的深度自编码聚类模型CADNE。首先基于深度自编码模型,通过保持网络局部及全局链接的拓扑特性来学习节点的低维表示,然后利用网络聚类结构对节点低维表示进一步优化。该方法同时学习节点的低维表示和节点所属社区的指示向量,使节点的低维表示不仅能保持原始网络结构中的拓扑结构特性,而且能保持节点的聚类特性。与已有的经典网络嵌入方法进行对比,结果显示CADNE模型在Citeseer和Cora上取得最优聚类结果,在20NewsGroup上准确率提升最高达0.525;分类性能在Blogcatalog、Citeseer数据集上取得最好结果,在Blogcatalog上训练比例20%时比基线方法提升最高达0.512;并且CADNE模型在可视化对比中能够得到类边界更加清晰的节点低维表示,验证了所提方法具有较好的节点低维表示能力。     

半监督属性网络表示学习方法

网络表示学习是一个重要的研究课题,其目的是将高维的属性网络表示为低维稠密的向量,为下一步任务提供有效特征表示。最近提出的属性网络表示学习模型SNE（Social Network Embedding）同时使用网络结构与属性信息学习网络节点表示,但该模型属于无监督模型,不能充分利用一些容易获取的先验信息来提高所学特征表示的质量。基于上述考虑提出了一种半监督属性网络表示学习方法SSNE（Semi-supervised Social Network Embedding）,该方法以属性网络和少量节点先验作为前馈神经网络输入,经过多个隐层非线性变换,在输出层通过保持网络链接结构和少量节点先验,学习最优化的节点表示。在四个真实属性网络和两个人工属性网络上,同现有主流方法进行对比,结果表明本方法学到的表示,在聚类和分类任务上具有较好的性能。