基于多头软注意力图卷积网络的行人轨迹预测

行人间交互作用的复杂性给行人轨迹预测带来了挑战,且现有算法难以捕获行人间有意义的交互信息,不能直观地建模行人间的交互作用。针对以上问题,提出多头软注意力图卷积网络。首先利用多头软注意力（MS ATT）结合内卷网络Involution分别从空间图和时间图输入中提取稀疏空间和稀疏时间邻接矩阵,生成稀疏空间和稀疏时间有向图;然后,利用图卷积网络（GCN）从稀疏空间和稀疏时间有向图中学习交互作用与运动趋势特征;最后,将学习到的轨迹特征输入时间卷积网络（TCN）以预测双高斯分布参数,生成行人预测轨迹。在ETH和UCY数据集上的实验结果表明：相较于空时社交关系池化行人轨迹预测模型（SOPM）,所提算法的平均位移误差（ADE）降低了2.78%;相较于稀疏图卷积网络（SGCN）,所提算法的最终位移误差（FDE）降低了16.92%。     

基于轻量图卷积和注意力增强的多行为推荐模型

近年来,图卷积网络被广泛应用于多行为推荐中,以进一步缓解数据稀疏问题。但目前许多方法都是直接使用图卷积网络,使得模型时间复杂度较高;还忽略了邻域的不同聚合权重和各行为对用户偏好的不同贡献。为此,提出一种基于轻量图卷积和注意力增强的多行为推荐模型（MB-LGCA）。首先根据多行为数据构建用户—项目二部图,采用一种轻量图卷积网络聚合邻域特征获得高阶协同信息,同时利用注意力机制融入邻域权重,增强节点嵌入表示;利用k-阶用户嵌入传播来获取各行为对用户偏好的不同重要性,使模型具有更好的可解释性;最后合并不同层的嵌入表示进行预测。两个真实数据集上的实验结果表明,该模型具有较好的性能。     

联合MOD11A1和地面气象站点数据的多站点温度预测深度学习模型

针对地面气象站点分布稀疏影响站点间关系以及站点间的关系强度推理难的问题,提出一种基于联合MOD11A1和地面气象站点数据的多站点温度预测深度学习模型（GDM）。GDM包括时空注意力（TSA）、双向图神经长短期记忆（DG-LSTM）网络编码和边-点转换双向门控循环网络解码（EN-GRU）模块。首先使用TSA模块提取MOD11A1图像特征并形成多个虚拟气象站点的温度时间序列,缓解地面气象站点分布稀疏对站点间关系的影响;然后用DG-LSTM编码器通过融合两组温度时间序列来计算地面气象站点间和虚拟气象站点间的关系强度;最后用ENGRU解码器通过结合站点间的关系强度对地面气象站点的温度时间序列关系进行建模。实验结果表明,相较于二维卷积神经网络（2D-CNN）、长短期记忆全连接网络（LSTM-FC）、长短期记忆神经网络扩展网络（LSTME）和长短记忆与自适应提升集成网络（LSTM-AdaBoost）,GDM在10个地面气象站点24 h内温度预测的平均绝对误差（MAE）分别减小0.383℃、0.184℃、0.178℃和0.164℃,能提高未来24 h多个气象站点温度的预测精度。     

基于自适应层级图卷积的多站点空气质量预测模型

时空预测任务在污染治理、交通、能源、气象等领域应用广泛. PM_2.5浓度预测作为典型的时空预测任务, 需要对空气质量数据中的时空依赖关系进行分析和利用. 现有时空图神经网络(ST-GNNs)研究所使用的邻接矩阵使用启发式规则预定义, 无法准确表示站点之间的真实关系. 本文提出了一种自适应分层图卷积神经网络(AHGCNN)用于PM_2.5预测. 首先, 引入了一种分层映射图卷积架构, 在不同层级上使用不同的自学习邻接矩阵, 以有效挖掘不同站点之间独特的时空依赖. 其次, 以基于注意力的聚合机制连接上下层邻接矩阵, 加速收敛过程. 最后, 将隐藏的空间状态与门控循环单元相结合, 形成一个统一的预测架构, 同时捕捉多层次的空间依赖关系和时间依赖关系, 提供最终的预测结果. 实验中, 我们与7种主流预测模型进行对比, 结果表明该模型可以有效获取空气监测站点之间的时空依赖, 提高预测精确度.     

基于图注意力网络与双阶注意力机制的径流预报模型

为了提高流域径流量预报的准确率,考虑数据驱动水文模型缺乏模型透明度与物理可解释性的问题,提出了一种使用图注意力网络与基于长短期记忆网络（LSTM）的双阶注意力机制（GAT-DALSTM）模型来进行径流预报。首先,以流域站点的水文资料为基础,引入图神经网络提取流域站点的拓扑结构并生成特征向量;其次,针对水文时间序列数据的特点,建立了基于双阶注意力机制的径流预报模型对流域径流量进行预测,并通过基于注意力系数热点图的模型评估方法验证所提模型的可靠性与透明度。在屯溪流域数据集上,将所提模型与图卷积神经网络（GCN）和长短期记忆网络（LSTM）在各个预测步长下进行比较,实验结果表明,所提模型的纳什效率系数分别平均提高了3.7%和4.9%,验证了GAT-DALSTM径流预报模型的准确性。从水文与应用角度对注意力系数热点图进行分析,验证了模型的可靠性与实用性。所提模型能为提高流域径流量的预测精度与模型透明度提供技术支撑。     

基于注意力机制的CNN-GCN模型及其应用

现有多变量时间序列(multivariate time series,MTS)预测方法模型主要采用循环神经网络和注意力机制提取MTS的复杂时空特征,这些方法对MTS变量之间的空间依赖关系的捕获能力不足。图卷积网络对复杂数据的空间特征提取能力较强。为此提出一种融入图卷积网络、注意力机制和深度学习中的卷积神经网络的三通道网络框架模型,将该框架模型用于多变量时间序列预测任务。实验结果表明,该模型在国际汇率这一多变量时间序列数据集上的性能表现要优于目前较先进的几个基线模型。     

基于图注意力网络与双阶注意力机制的径流预报模型

为了提高流域径流量预报的准确率,考虑数据驱动水文模型缺乏模型透明度与物理可解释性的问题,提出了一种使用图注意力网络与基于长短期记忆网络（LSTM）的双阶注意力机制（GAT-DALSTM）模型来进行径流预报。首先,以流域站点的水文资料为基础,引入图神经网络提取流域站点的拓扑结构并生成特征向量;其次,针对水文时间序列数据的特点,建立了基于双阶注意力机制的径流预报模型对流域径流量进行预测,并通过基于注意力系数热点图的模型评估方法验证所提模型的可靠性与透明度。在屯溪流域数据集上,将所提模型与图卷积神经网络（GCN）和长短期记忆网络（LSTM）在各个预测步长下进行比较,实验结果表明,所提模型的纳什效率系数分别平均提高了3.7%和4.9%,验证了GAT-DALSTM径流预报模型的准确性。从水文与应用角度对注意力系数热点图进行分析,验证了模型的可靠性与实用性。所提模型能为提高流域径流量的预测精度与模型透明度提供技术支撑。     

基于无采样协作知识图网络的推荐系统

知识图谱（KG）可以通过高效组织海量数据实现信息的有效抽取,因而基于知识图谱的推荐方法得到了广泛的研究和应用。针对图神经网络在知识图谱建模中的采样误差问题,提出了一种无采样协作知识图网络（NCKN）的方法。首先,设计了无采样知识传播模块,通过在单个卷积层使用不同大小的线性聚合器来捕捉深层次的信息,实现高效的无采样预计算;然后,为了区分邻居节点贡献度,在传播过程中引入注意力机制;最后,协作传播模块将知识嵌入同用户交互中的协作信号相结合,以更好地描述用户偏好。基于三个真实数据集,评估了NCKN在CTR预测和Top-k预测中的性能。实验结果表明,与主流算法RippleNet、知识图卷积神经网络（KGCN）相比,NCKN在CTR预测中的准确率平均分别提升了2.71%、4.60%;Top-k预测中,NCKN的准确率平均分别提升了5.26%、3.91%。所提方法不仅解决了图神经网络在知识图谱建模中的采样误差问题,且提升了推荐模型的准确率。     

用于骨架行为识别的多维特征嵌合注意力机制

目的 在行为识别任务中,妥善利用时空建模与通道之间的相关性对于捕获丰富的动作信息至关重要。尽管图卷积网络在基于骨架信息的行为识别方面取得了稳步进展,但以往的注意力机制应用于图卷积网络时,其分类效果并未获得明显提升。基于兼顾时空交互与通道依赖关系的重要性,提出了多维特征嵌合注意力机制(multi-dimensional feature fusion attention mechanism,M2FA)。方法 不同于现今广泛应用的行为识别框架研究理念,如卷积块注意力模块(convolutional block attention module,CBAM)、双流自适应图卷积网络(two-stream adaptive graph convolutional network,2s-AGCN)等,M2FA通过嵌入在注意力机制框架中的特征融合模块显式地获取综合依赖信息。对于给定的特征图,M2FA沿着空间、时间和通道维度使用全局平均池化操作推断相应维度的特征描述符。特征图使用多维特征描述符的融合结果进行过滤学习以达到细化自适应特征的目的,并通过压缩全局动态信息的全局特征分支与仅使用逐点卷积层的局部特征分支相互嵌合获取多尺度动态信息。结果 实验在骨架行为识别数据集NTU-RGBD和Kinetics-Skeleton中进行,分析了M2FA与其基线方法2s-AGCN及最新提出的图卷积模型之间的识别准确率对比结果。在Kinetics-Skeleton验证集中,相比于基线方法2s-AGCN,M2FA分类准确率提高了1.8%;在NTU-RGBD的两个不同基准分支中,M2FA的分类准确率比基线方法2s-AGCN分别提高了1.6%和1.0%。同时,消融实验验证了多维特征嵌合机制的有效性。实验结果表明,提出的M2FA改善了图卷积骨架行为识别方法的分类效果。结论 通过与基线方法2s-AGCN及目前主流图卷积模型比较,多维特征嵌合注意力机制获得了最高的识别精度,可以集成至基于骨架信息的体系结构中进行端到端的训练,使分类结果更加准确。     

基于图卷积网络和门控循环单元的多站点气温预测模型

时空预测任务在神经科学、交通、气象等领域应用广泛.气温预测作为典型的时空预测任务,需要挖掘气温数据中固有的时空特征.针对现有气温预测算法存在预测误差大、空间特征提取不充分的问题,提出一种基于图卷积网络和门控循环单元的气温预测(GCN-GRU)模型.首先,使用重新分配权重和多阶近邻连接方式修正图卷积网络(GCN),以有效...     

基于方面感知注意力增强的方面情感三元组抽取

在自然语言处理（NLP）的细粒度情感分析问题中,为探索携带结构偏差的预训练语言模型（PLM）对端到端式情感三元组抽取任务的影响,解决方面语义特征依赖容错率低的问题,结合方面感知注意力机制和图卷积网络（GCN）,提出用于方面情感三元组抽取任务的方面感知注意力增强图卷积网络（AE-GCN）模型。首先,在方面情感三元组抽取任务中引入多种类型的关系;其次,采用双仿射注意力机制将这些关系嵌入句子中单词之间的相邻张量,并引入方面感知注意力机制以获取句子注意力评分矩阵,深入挖掘与方面相关的语义特征;再次,GCN通过将单词和关系相邻张量分别视为边和节点,将句子转换为多通道图以学习关系感知节点表示;最后,使用一种有效的词对表示细化策略确定词对是否匹配,以考虑方面和意见抽取的隐含结果。在ASTE-D1基准数据集上的实验结果表明,所提模型在14res、14lap、15res和16res子数据集上的F1值相较于增强型多通道图卷积网络（EMC-GCN）模型提升了0.20、0.21、1.25和0.26个百分点;在ASTE-D2基准数据集上,所提模型在14lap、15res和16res子数据集上的F1值相较于EMC...     

基于ASTG-CRNN模型的多步长交通流预测

针对交通流预测模型中路网表征结构难以进行刻画和交通流数据中动态时空相关性难以进行建模以及其中时间特征捕获不充分的问题,提出一种基于注意力机制和时空图卷积循环神经网络的交通流预测模型(ASTG-CRNN)。首先,通过定义节点相对邻近度来确定路网表征结构的关系权重;其次,通过在时空维度上引入注意力机制对动态时空相关性进行建模,再采用图卷积捕获交通流数据中的空间特征;最后,采用卷积神经网络和双向门控循环神经单元的组合模块共同捕捉时间特征,从而能更好地表达交通流的时空特性。在两个公开交通流数据集PeMS04和PeMS08上对模型预测效果进行验证,其结果表明,ASTG-CRNN模型的预测结果均优于其它模型,与时空同步图卷积网络模型(STSGCN)相比,在未来1h内预测结果的MAE、RMSE和MAPE在数据集PeMS08上分别降低了2.71、2.69和0.87%。     

自适应融合邻域聚合和邻域交互的图卷积网络

图表示学习是在保持图中节点性质不变的前提下,获取节点的低维表示向量,为下游任务提供有效的数据支持。现有图表示学习算法大多关注于聚合邻域特征,对于挖掘其他非线性信息关注不足。针对这一问题,提出了自适应融合邻域聚合和邻域交互的图卷积网络AFAI-GCN。首先,采用双通道图卷积网络建模邻域聚合,并利用生成的嵌入表示计算邻域交互项来补充算法学习的信息;然后,结合注意力机制构建自适应融合模块,增加对重要信息的关注,提高融合信息项的任务相关性;最后,通过信息一致性约束和差异性约束增强节点特征一致性和嵌入表示差异性。在三个公共引文数据集上进行了节点分类和可视化任务,结果显示,AFAI-GCN与图卷积网络（GCN）、邻域聚合和交互图卷积网络（AIR-GCN）等算法相比,在Cora、Citeseer、Pubmed数据集上分类准确率分别提高了1.0～1.6个百分点、1.1～2.4个百分点和0.3～0.9个百分点;在可视化任务中团簇内聚合程度更高,不同的团簇边界更清晰;算法学习过程中收敛速度更快,准确率曲线更平滑。实验结果表明该框架较好地提升了基准算法的性能。     

基于时间图注意力的交通流量预测模型

交通状况预测是智能交通系统的一个重要组成部分,而车流量是交通状况最直接的体现,因而对交通流量进行预测具有重要的应用价值。一方面,城市中的道路本身带有空间拓扑性质,另一方面车流量随时间动态变化。因此交通流量预测问题的关键在于对数据中存在的时间和空间依赖进行建模。针对这一特性,使用神经网络模型和注意力机制来探索交通流量数据中的时空依赖关系,提出基于时间图注意力的交通流量预测模型。空间依赖方面,使用图卷积网络与注意力结合的学习算法对不同影响程度节点分配不同的权重,加入节点自适应学习,有效提取空间特征;时间依赖方面,使用时序卷积网络对时间特征进行提取,通过扩张卷积扩大感受域从而捕获较长时间序列数据的特征。由图注意力网络和时间卷积网络构成一个时空网络层,最终连接到输出层输出预测结果。该模型使用图卷积神经网络和注意力机制结合的方式提取空间特征,充分考虑了道路间的空间关系,利用时序卷积网络捕获时间特征。在两个真实的数据集上进行实验后发现,在未来15 min、30 min、60 min的时间段内该模型都有良好表现,结果优于现有基准模型。     

基于混合特征建模的图卷积网络方法

对于网络中拥有的复杂信息,需要更多的方式抽取其中的有用信息,但现有的单特征图神经网络（GNN）无法完整地刻画网络中的相关特性。针对该问题,提出基于混合特征的图卷积网络（HDGCN）方法。首先,通过图卷积网络（GCN）得到节点的结构特征向量和语义特征向量;然后,通过改进基于注意力机制或门控机制的聚合函数选择性地聚合语义网络节点的特征,增强节点的特征表达能力;最后,通过一种基于双通道图卷积网络的融合机制得到节点的混合特征向量,将节点的结构特征和语义特征联合建模,使特征之间互相补充,提升该方法在后续各种机器学习任务上的表现。在CiteSeer、DBLP和SDBLP三个数据集上进行实验的结果表明,与基于结构特征训练的GCN相比,HDGCN在训练集比例为20%、40%、60%、80%时的Micro?F1值平均分别提升了2.43、2.14、1.86和2.13个百分点,Macro?F1值平均分别提升了1.38、0.33、1.06和0.86个百分点。用拼接或平均值作为融合策略时,准确率相差不超过0.5个百分点,可见拼接和平均值均可作为融合策略。HDGCN在节点分类和聚类任务上的准确率高于单纯使用结构或语义网络训练的模型,并且在输出维度为64、学习率为0.001、2层图卷积层和128维注意力向量时的效果最好。     

面向高速公路通行时间分布预测的时空混合密度神经网络

准确的通行时间分布预测可以全面地反映高速公路路网中各个路段在未来的通行状况,辅助实现高速公路中的路径规划,事故事件预警等精细化管理目标.为此,本文提出一种面向高速公路通行时间分布预测的时空混合密度神经网络.具体地,本文利用自适应图卷积通过数据驱动的方式提取路网中的空间特征,有效解决了基于预定义图难以捕获路网信息中完整空间相关性的问题.在时间维度上,不同时间的路网信息存在显著的相关性,因此,本文基于注意力机制自适应建模路网信息的时间相关性,并通过卷积层进一步聚合相邻时间步之间的信息.最后,基于自适应时空相关性建模得到的路段嵌入表示,通过混合密度网络建模通行时间的分布,以实现高速公路中各个路段的通行时间分布预测.     

基于图卷积与长短期记忆网络的动态网络表示学习模型

针对动态网络节点之间链路预测的准确率低和运行时间长的情况,提出了一种以降噪自编码器（dAE）为框架,结合图卷积网络（GCN）和长短期记忆（LSTM）网络的动态网络表示学习模型dynGAELSTM。首先,该模型的前端采用GCN捕获动态图节点的高阶图邻域的特征信息;其次,将提取到的信息输入dAE的编码层以获取低维特征向量,并在LSTM网络上获取动态网络的时空依赖特征;最后,经dAE的解码层重建预测图,并与真实图对比来构建损失函数,从而优化模型完成链路预测。理论分析和仿真实验表明,dynGAELSTM模型相较于预测性能第二的模型在三个数据集上的预测性能分别提升了0.79、1.19和3.13个百分点,模型的运行时间降低了0.92%和1.73%。可见dynGAELSTM模型在链路预测任务中相较于现有模型精度提升,复杂度降低。     

基于时空多图卷积网络的交通站点流量预测

交通流量预测是智能交通系统中的重要组成部分,但由于交通流量受交通状况、地理位置、时间等多种因素影响,使其具有高度非线性与复杂性,实现精准预测的难度较大。针对交通站点的出入流量预测问题,提出一种基于上下文门控的时空多图卷积网络(CG-STMGCN)模型。根据站点间的相邻关系与流通流量关系构造邻居图与流通流量图表示站点流量之间的邻近相关性与流量依赖性,在两图上分别建立基于上下文门控的时空卷积模块捕获站点流量的时空特征,并使用哈达玛乘积融合两图的输出作为最终预测结果。在真实交通站点数据集上的实验结果表明,CG-STMGCN模型的预测准确性优于同类预测方法,且稳定性更强。     

基于门控图卷积神经网络的有机化学反应预测

随着现代医药技术和计算机技术的发展,采用人工智能技术来加速药物的研发进度成为了研究热点,而对有机化学反应产物的高效预测是药物逆合成路线设计中的关键问题。针对样本数据集中化学反应类型分布不均匀的问题,提出了一种主动采样训练下的门控图卷积神经网络（ASGGCN）模型。首先,输入化学反应物的简化分子线性输入规范（SMILES）编码,通过门控图卷积神经网络（GGCN）以及注意力机制预测反应中心所在位置;然后,根据化学约束条件和候选反应中心枚举出可能的化学键组合来生成候选产物,再通过门控图卷积差分网络对候选产物进行筛选;最终,得到反应产物。门控图卷积神经网络拥有三个权重参数矩阵并通过门控对信息加以融合,与传统的图卷积神经网络相比,它能获取更加丰富的原子隐藏特征信息。通过主动采样的方式进行训练,使得该模型能够兼顾较差样本和普通样本的分析能力。实验结果表明,所提模型对化学反应产物的Top-1预测准确率可达87.2%,对比Weisfeiler-Lehman差分网络（WLDN）模型提高了1.6个百分点,可见模型能够更准确地预测有机化学反应产物。     

基于深度残差长短记忆网络交通流量预测算法

针对多步交通流量预测任务中时间空间特征提取效果不佳和预测未来时间交通流量精度低的问题,提出一种基于长短时记忆（LSTM）网络、卷积残差网络和注意力机制的融合模型。首先,利用一种基于编解码器的架构,通过在编解码器中加入LSTM网络来挖掘不同尺度的时间域特征;其次,构建基于注意力机制挤压激励（SE）模块的卷积残差网络嵌入到LSTM网络结构中,从而挖掘交通流量数据中的空间域特征;最后,将编码器中获得的隐状态下的信息输入到解码器中,实现高精度多步交通流量的预测。基于真实交通数据进行实验测试和分析,实验结果表明,相较于原始的基于图卷积的模型,所提模型在北京和纽约两个交通流量公开数据集上的均方根误差（RMSE）分别获得了1.622和0.08的下降。所提模型能够高效且精确地对交通流量作出预测。