图卷积神经网络在自然语言处理中的应用研究

图神经网络构架的出现,给深度学习带来了新的研究方向,图结构能聚合节点的邻居节点以及边的信息来更新该节点的向量表征,捕捉到文本中更丰富和细致的特征,有效帮助文本理解。本文旨在采用近年来前沿的图卷积神经网络模型,在少量标注的训练样本下,针对自然语言处理任务进行研究。通过使用图卷积神经网络模型挖掘文本之间的关系信息来提升自然语言处理相关任务的效果。     

基于混合采样的图对比学习推荐算法

在推荐系统领域中,图卷积网络具有对于图结构数据更强的信息抽取能力。然而,现有的图卷积网络推荐算法主要关注改进模型结构,忽视了提高原始样本采样质量与挖掘用户—项目间隐式关系的重要性。针对上述问题,提出一种基于混合采样的图对比学习推荐算法。首先使用混合采样方法,提取出正样本中部分信息并将其注入负样本,从而生成全新的富含信息的难负样本;其次,通过轻量图卷积网络对难负样本进行特征提取,得到用户和项目的节点表征,采用邻域对比学习方法挖掘样本隐式关系;最后,利用多任务策略对推荐监督任务和对比学习任务进行联合优化。在真实数据集Yelp2018和Amazon-book上进行实验,采用recall和NDCG指标进行评估,实验结果表明,提出的模型相较其他基准模型取得了更好的效果。     

结合图卷积的深层神经网络用于文本分类

随着图卷积网络的发展,图卷积网络已经应用到很多任务中,其中就包含文本分类任务。通过将文本数据表示成图数据,进而在图上应用图卷积,从而捕获文本的结构信息和单词间的长距离依赖关系获得了良好的分类效果。但将文本建模成图模型后,图卷积网络面临着文本上下文语义信息和局部特征信息表示不充分的问题。提出一种新的模型,利用双向长短时记忆网络（Bi_LSTM）和卷积神经网络（CNN）混合提取文本的上下文语义信息和局部特征信息去丰富图卷积网络（GCN）的文本表示,从而弥补图卷积网络的不足,同时使用图池化层筛选出重要节点帮助卷积神经网络捕获文本深层局部特征信息,使得模型能更好的表示文本信息。通过在3个英文数据集上的实验结果表明,该模型相比于基线模型有较好的分类效果。     

一种改进的图卷积网络半监督节点分类

目前大多数图卷积(GC N)关注于提取局部特征信息,忽略了全局特征,使得标签不能有效地传播到整个图上.对此,设计一种可以用于半监督节点分类任务的深度池化对偶图神经网络(DPDNN).该网络引入池化机制,将结构相似的节点聚合为超节点,扩大节点的接收域.通过随机游走得到图全局信息的潜在表示,使用随机游走模型与GC N进行协同训练,从而补充GC N模型在获取整个图拓扑结构信息上的能力.实验结果表明,该网络模型与现有方法相比提高了分类精度,在少量数据标记时效果更为明显.     

基于非鲁棒特征的图卷积神经网络对抗训练方法

图卷积神经网络可以通过图卷积提取图数据的有效信息,但容易受到对抗攻击的影响导致模型性能下降。对抗训练能够用于提升神经网络鲁棒性,但由于图的结构及节点特征通常是离散的,无法直接基于梯度构造对抗扰动,而在模型的嵌入空间中提取图数据的特征作为对抗训练的样本,能够降低构造复杂度。借鉴集成学习思想,提出一种基于非鲁棒特征的图卷积神经网络对抗训练方法VDERG,分别针对拓扑结构和节点属性两类特征,构建两个图卷积神经网络子模型,通过嵌入空间提取非鲁棒特征,并基于非鲁棒特征完成对抗训练,最后集成两个子模型输出的嵌入向量作为模型节点表示。实验结果表明,提出的对抗训练方法在干净数据上的准确率平均提升了0.8%,在对抗攻击下最多提升了6.91%的准确率。     

基于深度BiLSTM和图卷积网络的方面级情感分析

现有方面级情感分析方法,存在无法获取最优文本表示和使用普通图卷积网络不能提取依存图中深层结构信息的问题。为此,提出了一种基于深度BiLSTM（DBiLSTM）和紧密连接的图卷积网络（DDGCN）模型。首先,通过DBiLSTM获取方面词与上下文单词间的深层语义信息;其次,在原始图卷积网络中加入紧密连接,以生成能提取深层结构信息的紧密图卷积网络;然后,利用改进后的图卷积网络捕获依存图上的结构信息;最终,将融合2种深层信息的文本表示用于情感分类。3个数据集上的实验结果表明,DDGCN模型相比对比模型在准确度和F1上均有提升。     

一种基于增强图卷积神经网络的协同推荐模型

图卷积神经网络是一种针对图结构数据的深度学习模型,由于具有强大的特征提取和表示学习能力,它也成为当前推荐系统研究的热门方法.以推荐系统中的评分预测为研究对象,通过分析指出了现有的基于图卷积神经网络的推荐模型存在2个方面的不足:图卷积层仅仅利用了1阶协同信号和未考虑用户观点的差异.为此,提出一种端到端的、基于增强图卷积神经网络的协同推荐模型.它采用一种增强的图卷积层,不仅聚合了2阶协同信号而且融合用户观点的影响,从而更合理地利用协同信号学习实体节点的嵌入表示,并通过堆叠多个图卷积层对其进行精化;最后,采用了非线性的多层感知机实现评分预测.基于5种推荐数据集上的实验结果表明:新模型的预测误差相比于几种主流的推荐模型具有明显的降低.     

融合图卷积网络模型的无监督社区检测算法

图卷积神经网络（Graph Convolutional Neural Network）能有效地提取非欧式距离数据中的特征信息。提出一种基于图卷积网络模型的无监督社区检测算法。选择图中某些节点添加人工标签来模拟在图上的信号输入,使其满足图卷积网络的传播特征的要求,通过修改后的图卷积网络传播规则将节点本身的标签传递至其相邻节点,通过对同一节点获得的不同标签进行比较后将节点归类,之后优化归类结果并输出社区划分矩阵。使用现实世界的数据集进行测试,并与一些其他社区检测算法进行对比评估。实验结果表明算法在不同类型的数据集中都能得到很好的社区划分效果。     

图卷积神经网络基础图结构影响研究

为进一步提高基于图卷积神经网络的半监督图节点分类的准确率,本文研究了基础图结构对图卷积神经网络的影响.通过对数据集(Cora、Citeseer及Pubmed)的图结构进行可视化,发现数据集(Cora、Citeseer)的图结构均为非连通图.通过研究非连通图中图拉普拉斯矩阵的"0"特征值和特征向量的特性,提出了通过对图拉普拉斯矩阵的"0"特征值对应的特征向量进行相关运算处理,获取非连通图最大连通分量的方法.该方法有效获取了数据集(Cora、Citeseer)图结构的最大连通分量,去除了非连通小分量.在该最大连通分量上利用3种先进的图卷积神经网络模型(GCN、GAT和GMNN)进行了实验验证,结果表明分类准确率提升了1%-4%,为其它包含小连通分量噪声的数据集更有效地利用图卷积神经网络模型训练提供了参考.     

图神经网络在自然语言处理中的应用

近几年,神经网络因其强大的表征能力逐渐取代传统的机器学习成为自然语言处理任务的基本模型。然而经典的神经网络模型只能处理欧氏空间中的数据,自然语言处理领域中,篇章结构,句法甚至句子本身都以图数据的形式存在。因此,图神经网络引起学界广泛关注,并在自然语言处理的多个领域成功应用。该文对图神经网络在自然语言处理领域中的应用进行了系统性的综述,首先介绍了图神经网络的核心思想并梳理了三种经典方法: 图循环网络,图卷积网络和图注意力网络;然后在具体任务中,详细描述了如何根据任务特性构建合适的图结构以及如何合理运用图结构表示模型。该文认为,相比专注于探索图神经网络的不同结构,探索如何以图的方式建模不同任务中的关键信息,是图神经网络未来工作中更具普遍性和学术价值的一个研究方向。     

Self-attention Hypergraph Pooling Network

Recently, Graph Convolutional neural Networks (GCNs) have attracted much attention by generalizing convolutional neural networks to graph data, which includes redefining convolution and pooling operations on graphs. Due to the limitation that graph data can only focus on dyadic relations, it cannot perform well in real practice. In contrast, a hypergraph can capture high-order data interaction and is easy to deal with complex data representation using its flexible hyperedges. However, the existing methods for hypergraph convolutional networks are still not mature, and there is no effective operation for hypergraph pooling currently. Therefore, a hypergraph pooling network with a self-attention mechanism is proposed. Using a hypergraph structure for data modeling, this model can learn node hidden features with high-order data information through hypergraph convolution operation which introduces a self-attention mechanism, select important nodes both on structure and content through hypergraph pooling operation, and then obtain more accurate hypergraph representation. Experiments on text classification, dish classification, and protein classification tasks show that the proposed method outperforms recent state-of-the-art methods.     

自注意力超图池化网络

近年来,将卷积神经网络推广到图数据上的图卷积神经网络引起了广泛关注,主要包括重新定义图的卷积和池化操作.由于图数据只能表达二元关系的局限性,使其在实际应用中表现欠佳.相比之下,超图能够捕获数据的高阶相关性,利用其灵活的超边易于处理复杂的数据表示.然而,现有的超图卷积神经网络还不够成熟,目前尚无有效的超图池化操作.因此,提出了带有自注意机制的超图池化网络,使用超图结构建模,通过引入自注意力的超图卷积操作学习带有高阶数据信息的节点隐藏层特征,再经过超图池化操作选择并保留在结构和内容上的重要节点,进而得到更准确的超图表示.在文本分类、菜肴分类和蛋白质分类任务上的实验结果表明:与目前多种主流方法相比,该方法均取得了更好的效果.     

单时序特征图卷积网络融合预测方法

近年来,图神经网络逐渐成为深度学习领域广泛讨论的话题和研究的重点,但大多数研究都是基于图节点,在存在多维属性的前提下进行分类和回归预测,对单时序特征的图节点预测并不能产生理想的效果。本文提出一种时序图卷积网络算法,可以在复杂图网络中,只根据节点单一特征的时序序列,实现对该特征的预测。算法通过在传统图卷积网络中对邻接矩阵参数化,解决单一特征条件下的参数退化问题,并结合长短时记忆网络的序列学习方法,将时序信息融入到训练过程中,提高训练精度。在交通流量数据集PeMS和Los上的实验表明,其预测精度要优于GCN、T-GCN、GRU、LSTM等主流算法。     

基于时空图卷积循环神经网络的交通流预测

针对交通流预测模型中路网空间结构刻画和交通流时空特性挖掘不充分的问题,构建一种新型的有向时空图,通过定义节点相对临近度来表征路网结构关系,通过学习邻域节点对预测节点的影响权重来表征节点间时空维度的作用关系,从而能更好表达交通流的时空特性.将时空图作为预测模型的输入,采用图卷积获取交通流数据空间依赖关系,采用门控循环神经...     

基于数据关联感知的无监督深度融合指针网络模型

为了提高组合优化问题可行解集合的收敛性和泛化性,根据不同无监督学习策略的特点,提出一种基于数据关联感知的深度融合指针网络模型(DMAG-PN),模型通过指针网络框架将Mogrifier LSTM、多头注意力机制与图卷积神经网络三者融合.首先,编码器模块中的嵌入层对输入序列进行编码,引入多头注意力机制获取编码矩阵中的特征信息;然后构建数据关联模型探索序列节点间的关联性,采用图卷积神经网络获取其多维度关联特征信息并融合互补,旨在生成多个嵌入有效捕捉序列深层的节点特征和边缘特征;最后,基于多头注意力机制的解码器模块以节点嵌入数据和融合图嵌入数据作为输入,生成选择下一个未访问节点的全局概率分布.采用对称旅行商问题作为测试问题,与当前先进算法进行对比,实验结果表明,所提出DMAG-PN模型在泛化性和求解精确性方面获得较大的改进与提高,预训练好的DMAG-PN模型能够直接对大规模实例进行端到端的求解,避免传统算法迭代搜索的过程,具有较高的求解效率.     

医学图像深度学习技术:从卷积到图卷积的发展

以卷积神经网络为代表的深度学习技术推动神经网络在医学图像研究领域不断实现新突破。然而,平移不变性等理论假设限制了卷积神经网络在非欧氏空间数据中的表达能力,是医学图像深度学习技术亟待突破的瓶颈。图卷积技术不仅能够解决非欧氏空间数据的拓扑建模难题,还实现了空间特征提取,是深度学习技术全新的研究方向。本文对图卷积网络在医学图像领域的相关理论及其应用进行综述,旨在系统归纳和全面总结医学图像领域最新的图卷积理论、方法和实践,包括图结构视角下医学图像的专业采集、数据结构的剪枝转换以及特征聚类重构方法;图卷积网络的理论溯源,重要的网络架构和发展脉络;图卷积网络的优化方向和衍生出的跳跃连接、inception、图注意力等重要机制;图卷积网络在医学图像分割、疾病检测和图像重建等方面的实践应用。最后,提出了图卷积网络在医学图像分析领域仍亟待突破的瓶颈问题：1）多模态医学图像学习中,异构图的构建与学习任务的优化;2）特征重构和池化过程中,如何通过构图算法设计与神经架构搜索算法结合,以实现最优图结构的可学习过程转换;3）高质量图结构医学标注数据的大规模低成本生成与生成对抗网络的算法设计。随着人工智能技术的不断发展和医学影像规模的不断扩大,以图卷积为代表的深度学习方法必将在医疗辅助诊断领域取得更大的突破。     

基于图卷积神经网络的自注意力的融合节点分类框架

图神经网络因其强大的建模能力引起广泛关注, 常常被用来解决图上的节点分类任务. 现阶段常用的以图卷积神经网络 (graph convolutional network, GCN)为内核的模型解决此类问题, 但往往因为出现过拟合与过平滑而导致深层的节点嵌入表示效果并不好. 因此, 本文提出了一种基于GCN内核的结合残差连接与自注意力方法——GCNRN模型, 以提升GCN的泛化能力. 同时, 为了整合更深入的信息, 本文引入融合机制, 采用模糊积分融合多个分类器, 最终提高模型测试精度. 为了验证所提出方法的优越性, 本文采用ogbn-arxiv与常用的引文数据集进行了对比实验. GCNRN模型与多个以GCN为内核的现有模型相比, 节点分类准确率平均提高了2%, 且避免了传统的过拟合和过平滑现象. 此外, 实验结果表明, 增加了基于模糊积分的融合模块的多分类器模型比传统融合方法具有更好的分类效果.     

RA-GCN：抑制过平滑现象的文本分类算法

现有大多数利用图神经网络的算法进行文本分类时,忽略了图神经网络的过度平滑问题和由于文本图拓扑差异引入的误差,导致文本分类的性能不佳。针对这一问题,提出了衡量多个文本图表示的平滑度方法WACD以及抑制过平滑现象的正则项RWACD。随后提出了基于注意力和残差的网络结构ARS,用于弥补由于图拓扑差异引起的文本信息的损失。最后,提出了图卷积神经网络文本分类算法RA-GCN。RA-GCN在图表示学习层使用ARS融合文本表示,在读出层使用RWACD抑制过平滑现象。在六个中英文数据集上进行实验,实验结果证明了RA-GCN的分类性能,并通过多个对比实验验证了RWACD和ARS的作用。