基于路径签名的改进时空图卷积网络

针对时空图卷积网络ST-GCN中GCN的关节邻接图不易学习远端关节之间的语义信息和TCN在描述时间信息方面存在不足的问题,引入了数字签名预处理来增强数据,提出了基于路径签名的改进时空图卷积网络SSIT-GCN。首先将关节位置坐标的时间序列输入签名层进行数据预处理,在该层时间序列通过嵌入算法被转换为多维路径,将其划分为多条路径并计算每条路径的签名特征;其次重新设计GCN的关节邻接矩阵,并用反卷积来代替补零,以保持TCN的尺寸不变,还引入1×1的卷积核增加非线性来改进ST-GCN,得到改进时空图卷积网络SIT-GCN;最后用签名特征代替原始数据输入SIT-GCN,得到最终的输出结果。实验结果表明,基于路径签名的改进时空图卷积网络大大提高了训练精度,缩短了训练时间,对动态手势识别有较好的识别能力和识别速度。     

基于双向时间深度卷积网络的中文文本情感分类

普通时间卷积网络对文本进行单向特征提取不能充分捕捉文本特征,对文本的分析能力较弱。提出一种基于双向时间卷积网络(Bi-TCN)的情感分析模型。模型使用单向多层空洞因果卷积结构分别对文本进行前向和后向特征提取,将两个方向的序列特征融合后进行情感分类。研究并分析模型中卷积层数、卷积核大小和空洞因子三个参数对情感分类结果的影响。实验证明,与单向时间卷积网络情感分析模型相比,双向时间卷积网络模型在四个中文情感分析数据集上的准确率分别提高了2.5%、0.25%、2.33%和2.5%。     

基于注意力机制的CNN-GCN模型及其应用

现有多变量时间序列(multivariate time series,MTS)预测方法模型主要采用循环神经网络和注意力机制提取MTS的复杂时空特征,这些方法对MTS变量之间的空间依赖关系的捕获能力不足。图卷积网络对复杂数据的空间特征提取能力较强。为此提出一种融入图卷积网络、注意力机制和深度学习中的卷积神经网络的三通道网络框架模型,将该框架模型用于多变量时间序列预测任务。实验结果表明,该模型在国际汇率这一多变量时间序列数据集上的性能表现要优于目前较先进的几个基线模型。     

融合注意力和多尺度时空图网络的人体行为识别

提取一种融合注意力和多尺度时空图网络的人体行为识别算法,在时空图网络卷积层融入通道-空间级联注意力机制以及在时间图卷积中增加多尺度卷积,利用改进的算法通过嵌入式平台在NTU RGB+D数据集的两个评估基准X-Sub和X-View上的准确率达到了89.1%和92.5%。实验结果表明,该方法具有可靠的精度,可以应用于嵌入式平台完成人体行为识别任务。     

基于混合网络模型的多维时间序列预测

为捕捉时间序列中潜在的特征依赖关系并实现高维时序数据的快速模糊预测,构建基于时间卷积网络（TCN）与自注意力机制的两种混合网络模型：TSANet和TSANet-MF。TSANet模型通过全局和局部两个并行卷积分量结构提取特征后,利用自注意力机制增强特征点关联程度,并结合并行的TCN增大卷积的感受野范围,最大程度地捕捉多维时序数据的周期性特征。TSANet-MF模型将TSANet作为矩阵分解算法的正则化项,使高维数据转化为具有更多时序特征的低维数据,减少计算复杂度,实现高维数据的快速模糊预测。在4种不同领域的时间序列数据集上的实验结果表明,TSANet模型在3种数据集上的预测性能均优于基准模型,尤其在高维Traffic数据集上相对平方根误差降低了19.52%~56.37%,TSANet-MF模型在Electricity和Traffic高维数据集上的训练时间相比于基准模型明显减少。上述实验结果验证了两种混合网络模型均具有较好的多维时间序列预测性能。     

融合时空图卷积网络与非自回归模型的三维人体运动预测

当前人体运动预测的方法大多采用基于图卷积网络的自回归模型,没有充分考虑关节间的特有关系和自回归网络性能的限制,从而产生平均姿态和误差累积等问题。为解决以上问题,提出融合时空图卷积网络和非自回归的模型对人体运动进行预测。一方面利用时空图卷积的网络提取人体运动序列的局部特征,可以有效减少三维人体运动预测场景中的平均姿态问题和过度堆叠图卷积层引起的过平滑问题的发生;另一方面将非自回归模型与时空图卷积网络进行结合,减少误差累计问题的发生。利用Human3.6M的数据集进行80 ms、160 ms、320 ms和400 ms的人体运动预测实验。结果表明,NAS-GCN模型与现有方法相比,能预测出更精确的结果。     

基于并行双向时间卷积网络和双向长短期记忆网络的轴承剩余使用寿命预测方法

在基于深度学习的轴承剩余使用寿命(RUL)预测方法中,时间卷积网络(TCN)忽略了振动数据中未来时间信息的重要性,长短期记忆网络(LSTM)难以有效地学习振动数据的长时间序列特征.针对以上问题,提出一种基于并行双向时间卷积网络(Bi-TCN)和双向长短期记忆网络(Bi-LSTM)的轴承RUL预测方法.首先,对多传感器数据进行归一化处理,并将每个传感器数据进行通道合并,实现多传感器数据的高效融合;然后,采用Bi-TCN和Bi-LSTM构建并行的双分支特征学习网络,其中Bi-TCN提取数据的双向长时间序列特征, Bi-LSTM提取数据的时间相关特征;同时,设计一种特征融合注意力机制,该机制分别计算Bi-TCN和Bi-LSTM的输出权重,以实现两种网络输出特征的自适应加权融合;最后,融合特征通过全连接层并输出轴承RUL的预测结果.利用西安交通大学轴承数据集和PHM 2012轴承数据集进行RUL预测实验,实验结果表明,与其他先进的预测方法相比,所提出方法可以准确预测更多类型轴承的RUL,同时具有更低的预测误差.     

基于循环时间卷积网络的序列流推荐算法

针对循环神经网络(Recurrent Neural Network,RNN)模型在序列流推荐中只能从宏观上捕捉序列的演变模式,忽略了物品(Item)间内部的微观联系,无法长程建模序列数据的变化规律的问题,提出了多维度序列建模算法循环时间卷积网络(Recurrent Temporal Convolutional Network,RTCN)。首先,将每个物品表示成定长向量,采用多层因果卷积和扩张卷积操作扩大感受野范围,建立序列元素间的长程依赖关系。利用残差连接网络提取不同层次的特征信息,解决反向传播中梯度衰减甚至消失的问题。综合设计时间卷积网络(Temporal Convolutional Network,TCN)提取序列流中前后物品间的局部特征,将物品信息映射到隐藏空间,得到细粒度的特征向量。为进一步建立元素间的宏观联系,将特征向量依次输入门限循环单元(Gated Recurrent Unit,GRU),迭代更新现有隐藏状态并预测下一时刻的输出。RTCN通过时间卷积网络,从输入序列流提取出长时间、多维度、细粒度的局部关联特征;经过门限循环网络,建模序列间的长距离依赖关系,捕捉序列元素的演变模式,并预测下一个出现的物品。利用网站、手机应用和音乐3个不同场景中的数据对模型进行了实验。实验结果显示,RTCN模型在召回率(Recall)和平均排序倒数(MRR)两个指标上比RNN模型高出6%~13%,比传统推荐算法高出9%~59%。通过对比不同的损失函数,模型在交叉熵损失函数下表现最优。此外,由于TCN中的卷积层具有多通道的结构,当数据维度丰富时,该模型对物品和用户的上下文信息具有很强的综合能力。     

基于图注意力时空神经网络的在线内容流行度预测

现有在线内容流行度预测方法忽略对传播级联演化过程中的结构和时序特征的捕获.针对此问题,文中提出基于图注意力时空神经网络的在线内容流行度预测模型.利用图注意力机制学习在线内容的级联结构表示,利用时序卷积网络捕获传播级联的时序特征,通过全卷积层映射在线内容的流行度.在新浪微博和美国物理学会引文两个不同场景的数据集上的实验表明,文中方法的流行度预测性能较优.     

基于改进时空图卷积网络的人员交互行为识别

针对人员交互行为识别存在的多模态数据融合方法导致的识别准确率与模型性能无法同时满足的问题,提出一种基于改进时空图卷积网络的人员交互行为识别方法。将单模态骨架数据引入级联的密集时空图卷积块网络中获得丰富的时空特征信息,提高特征复用率;设计一种增强时空图卷积网络(EST-GCN)单元提高网络对关节点之间的信息表征能力;引入一种运动特征因子衡量肢体不同关节的重要程度,提高模型识别效果。在Kinetics数据集和办案区场景数据集上的实验结果表明,所提出方法在识别效果上具有一定优势,且该方法在模型复杂度及运行效率上具有很好的竞争力。     

基于混合采样的图对比学习推荐算法

在推荐系统领域中,图卷积网络具有对于图结构数据更强的信息抽取能力。然而,现有的图卷积网络推荐算法主要关注改进模型结构,忽视了提高原始样本采样质量与挖掘用户—项目间隐式关系的重要性。针对上述问题,提出一种基于混合采样的图对比学习推荐算法。首先使用混合采样方法,提取出正样本中部分信息并将其注入负样本,从而生成全新的富含信息的难负样本;其次,通过轻量图卷积网络对难负样本进行特征提取,得到用户和项目的节点表征,采用邻域对比学习方法挖掘样本隐式关系;最后,利用多任务策略对推荐监督任务和对比学习任务进行联合优化。在真实数据集Yelp2018和Amazon-book上进行实验,采用recall和NDCG指标进行评估,实验结果表明,提出的模型相较其他基准模型取得了更好的效果。     

医学图像图深度学习分割算法综述

精准分割医学图像中的器官或病灶,是医学图像智能分析领域的重要难题,其在临床上对于疾病的辅助诊疗有着重要应用价值。在解决医学图像信息表征及对非欧空间生理组织结构准确建模等挑战性问题方面,基于图深度学习的医学图像分割技术取得了重要突破,展现出显著的信息特征提取及表征优势,可获得更为精准的分割结果,已成为该领域新兴研究热点。为更好促进医学图像图深度学习分割算法的研究发展,对该领域的技术进展及应用现状做了系统的梳理总结。介绍了图的定义及图卷积网络的基本结构,详细阐述了谱图卷积和空域图卷积操作。根据GCN结合残差模块、注意力机制模块及学习模块三种技术结构模式,归纳并总结了其在医学图像分割中的研究进展。对图深度学习算法在医学图像分割领域的应用和发展做了概要总结和展望,为该领域的技术发展提供参考和新的研究思路。     

融合超图注意力机制与图卷积网络的信息扩散预测

针对传统的信息预测缺乏对用户全局性依赖挖掘进行研究,提出了一种融合超图注意力机制与图卷积网络的信息扩散预测模型(HGACN)。首先构建用户社交关系子图,采样获得子级联序列,输入图卷积神经网络学习用户社交关系结构特征;其次,综合考虑用户间和级联间的全局依赖,采用超图注意机制(HGAT)学习用户不同时间间隔的交互特征;最后,将学习到的用户表示捕获到嵌入模块,利用门控机制将其融合获得更具表现力的用户表示,利用带掩码的多头注意力机制进行信息预测。在Twitter等五个数据集上的实验结果表明,提出的HGACN模型在hits@N提高了4.4%,map@N提高了2.2%,都显著优于已有的MS-HGAT等扩散预测模型,证明HGACN模型是合理、有效的。这对谣言监测以及恶意账户的检测有非常重大的意义。     

面向COVID-19疫情预测的图卷积神经网络时空数据学习

目的 当前的疾病传播研究主要集中于时序数据和传染病模型,缺乏运用空间信息提升预测精度的探索和解释。在处理时空数据时需要分别提取时间特征和空间特征,再进行特征融合得到较为可靠的预测结果。本文提出一种基于图卷积神经网络（graph convolutional neural network,GCN）的时空数据学习方法,能够运用空间模型端对端地学习时空数据,代替此前由多模块单元相集成的模式。方法 依据数据可视化阶段呈现出的地理空间、高铁线路、飞机航线与感染人数之间的正相关关系,将中国各城市之间的空间分布关系和交通连接关系映射成网络图并编码成地理邻接矩阵、高铁线路直达矩阵、飞机航线直达矩阵以及飞机航线或高铁线路直达矩阵。按滑动时间窗口对疫情数据进行切片后形成张量,依次分批输入到图深度学习模型中参与卷积运算,通过信息传递、反向传播和梯度下降更新可训练参数。结果 在新型冠状病毒肺炎疫情数据集上的实验结果显示,采用GCN学习这一时空数据的分布特征相较于循环神经网络模型,在训练过程中表现出了更强的拟合能力,在训练时间层面节约75%以上的运算成本,在两类损失函数下的平均测试集损失能够下降80%左右。结论 本文所采用的时空数据学习方法具有较低的运算成本和较高的预测精度,尤其在空间特征强于时间特征的时空数据中有着更好的性能,并且为流行病传播范围和感染人数的预测提供了新的方法和思路,有助于相关部门在公共卫生事件中制定应对措施和疾病防控决策。     

基于非鲁棒特征的图卷积神经网络对抗训练方法

图卷积神经网络可以通过图卷积提取图数据的有效信息,但容易受到对抗攻击的影响导致模型性能下降。对抗训练能够用于提升神经网络鲁棒性,但由于图的结构及节点特征通常是离散的,无法直接基于梯度构造对抗扰动,而在模型的嵌入空间中提取图数据的特征作为对抗训练的样本,能够降低构造复杂度。借鉴集成学习思想,提出一种基于非鲁棒特征的图卷积神经网络对抗训练方法VDERG,分别针对拓扑结构和节点属性两类特征,构建两个图卷积神经网络子模型,通过嵌入空间提取非鲁棒特征,并基于非鲁棒特征完成对抗训练,最后集成两个子模型输出的嵌入向量作为模型节点表示。实验结果表明,提出的对抗训练方法在干净数据上的准确率平均提升了0.8%,在对抗攻击下最多提升了6.91%的准确率。     

基于多时空图卷积网络的交通流预测

交通流预测在交通管理和城市规划的应用中具有重要意义,然而现有的预测方法无法充分挖掘其潜在的复杂时空相关性,为进一步挖掘路网道路网络数据的时空特性以提高预测精度,提出一种多时空图卷积网络(multi-spatial-temporal graph convolutional network,MST-GCN)模型。首先,利用切比雪夫图卷积(ChebNet)结合门控循环单元(GRU)构建时空组件以深度挖掘节点的时空相关性;其次,分别提取周相关、日相关、邻近时间的序列数据,输入三个时空组件以深度挖掘不同时间窗口间的时间相关性;最后,将时空组件与编码器—解码器网络结构(encoder-decoder)融合组建MST-GCN模型。利用加利福尼亚州交通局(Caltrans)性能评估系统中高速公路数据集PEMS04和PEMS08进行实验,结果表明新模型的性能明显优于门控循环单元模型和最近提出的扩散卷积循环神经网络(DCRNN)、时间图卷积网络(T-GCN)、基于注意力机制的时空图卷积神经网络(ASTGCN)和时空同步图卷积网络(STSGCN)模型。     

Multivariate time series prediction of complex systems based on graph neural networks with location embedding graph structure learning

Graph convolutional neural networks (GNNs) have an excellent expression ability for complex systems. However, the smoothing hypothesis based GNNs have certain limitations for complex process industrial systems with high dynamics and noisy environment. In addition, it is difficult to obtain an accurate information about the interconnections of sensor networks in manufacturing systems, which brings challenges to the application of GNNs. This paper introduces a graph convolution filter with a serial alternating structure of low-pass filter and high-pass filter to alleviate the problem of node feature loss. Furthermore, we propose a simple and effective method to learn graph structure information during training. This method combines the advantages of graph structure learning based on metric method and direct optimization method. Finally, a spatiotemporal parallel feature extraction framework for multivariate time series prediction is constructed. Experiments are carried out on real industrial datasets, and the results demonstrate the effectiveness of the model.     

结合图卷积的深层神经网络用于文本分类

随着图卷积网络的发展,图卷积网络已经应用到很多任务中,其中就包含文本分类任务.通过将文本数据表示成图数据,进而在图上应用图卷积,从而捕获文本的结构信息和单词间的长距离依赖关系获得了良好的分类效果.但将文本建模成图模型后,图卷积网络面临着文本上下文语义信息和局部特征信息表示不充分的问题.提出一种新的模型,利用双向长短时记...     

基于门控循环图卷积网络的交通流预测

交通流预测在智能交通系统的建设中起着关键性的作用,然而现有预测方法无法准确地挖掘其潜在的时空相关性,而且大都采用全连接网络进行单步预测。为了进一步挖掘数据的时空特性以及提升长短期预测的精度,提出了一种门控循环图卷积网络（GR-GCN）模型。首先,利用频域上的图卷积结合门控循环单元（GRU）构建一个时空组件（STC）以同时捕获节点的时空相关性,充分地提取数据的时空特征;然后,利用该时空组件构成编码器单元,并将时间序列数据和路网结构数据输入其中;最后,使用门控循环单元作为解码器单元,并按照时间顺序将两者组成一个编码器—解码器（encoder-decoder）结构,依次解码出每个时刻的预测结果。在加利福尼亚交通局（Caltrans）性能评估系统中高速公路数据集PeMSD4和PeMSD8进行了实验。结果表明,所提模型GR-GCN在预测未来15 min、30 min、45 min和60 min的交通流量方面优于大多数现有基准模型,尤其是在长期预测方面。