图卷积神经网络结合注意力机制的机器翻译方法研究

目前一般基于RNN (Recurrent Neural Network)框架下的编码器-解码器翻译模型不能有效挖掘翻译文章中句子的语义以及文本序列等为,因此,研究将图卷积神经网络结合注意力机制对机器翻译,提高翻译准确度的同时保证文章整体性与语义连贯性。实验结果表示,研究模型改变传统编码方式后可以减少维度与参数,在保留源语言文本的整体特征之外,强调了局部特征的强弱关联。通过数据集实证分析后模型的各项指标表现良好,进行长句翻译时,研究模型的Bleu得分提高2.5分,进行篇幅文章翻译时的语义表达准确度达到96%以上,源语句翻译效果优秀,凸显出整体语篇翻译的能力。     

基于注意力与图卷积网络的关系抽取模型

针对关系抽取任务中句子依存树的信息利用率低和特征提取效果不佳的问题,提出了一种基于注意力引导的门控感知图卷积网络(Att-Gate-GCN)模型.首先,利用一种基于注意力机制的软剪枝策略,通过注意力机制为依存树中的边分配权重,以挖掘依存树中的有效信息,同时过滤无用信息;其次,构建一种门控感知图卷积网络(GCN)结构,通...     

基于图卷积网络的文本分割模型

文本分割的主要任务是将文本按照主题相关的原则划分为若干个相对独立的文本块。针对现有文本分割模型提取文本段落结构信息、语义相关性及上下文交互等细粒度特征的不足,提出了一种基于图卷积网络（GCN）的文本分割模型TS-GCN。首先,基于文本段落的结构信息与语义逻辑构建出文本图;然后,引入语义相似性注意力来捕获文本段落节点间的细粒度相关性,并借助GCN实现文本段落节点高阶邻域间的信息传递,以此增强模型多粒度提取文本段落主题特征表达的能力。将所提模型与目前常用作文本分割任务基准的代表模型CATS及其基础模型TLT-TS进行对比。实验结果表明在Wikicities数据集上,TS-GCN在未增加任何辅助模块的情况下比TLT-TS的评价指标Pk值下降了0.08个百分点;在Wikielements数据集上,相较于CATS和TLT-TS,所提模型的Pk值分别下降了0.38个百分点和2.30个百分点,可见TLT-TS取得了较好的分割效果。     

基于注意力引导空域图卷积SRU的动态手势识别

基于手部骨骼的动态手势识别是计算机视觉和人机交互领域的一个研究热点.手势涉及的关节在空间上分布更紧密,相关性更强.针对目前基于骨骼的动态手势识别存在空间特征复杂、识别计算速率缓慢等问题,提出一种注意力引导空域图卷积简单循环单元(ASGC-SRU)网络.首先,将空域图卷积嵌入至SRU的门结构中,使得具有高速并行计算能力的SRU能够对复杂手势的时域和空域信息进行建模;然后,引入一种指关节注意力引导模块,使得更重要的指关节具有更高的关注度;最后,引入一种注意力增强空域图丢弃(ASD)的正则化方法,缓解网络过拟合的弊端.为验证所提出方法的有效性,在公认的动态手势数据集SHREC’17和DHG 14/28上进行大量实验,实验结果表明,所提出方法取得了较高的识别准确率,同时保持优良的计算效率.     

结合轻量Openpose和注意力引导图卷积的动作识别

现有人体姿态动作识别方法忽视前期姿态估计算法的作用,没有充分提取动作特征,提出一种结合轻量级Openpose和注意力引导图卷积网络的动作识别方法。该方法包含基于shufflenet的Openpose算法和基于不同尺度邻接矩阵注意力的图卷积算法。输入视频由轻量Openpose处理得到18个人体关键点信息,表达为基础时空图数据形式。节点的不同尺度邻居信息对应的邻接矩阵通过自注意力机制计算影响力,将各尺度邻接矩阵加权合并输入图卷积网络提取特征。提取到的鉴别特征通过全局平均池化和softmax分类器输出动作类别。在Le2i Fall Detection数据集和自定义的UR-KTH数据集上的实验表明,动作识别的准确率分别为95.52%和95.07%,达到了预期效果。     

基于多头软注意力图卷积网络的行人轨迹预测

行人间交互作用的复杂性给行人轨迹预测带来了挑战,且现有算法难以捕获行人间有意义的交互信息,不能直观地建模行人间的交互作用。针对以上问题,提出多头软注意力图卷积网络。首先利用多头软注意力（MS ATT）结合内卷网络Involution分别从空间图和时间图输入中提取稀疏空间和稀疏时间邻接矩阵,生成稀疏空间和稀疏时间有向图;然后,利用图卷积网络（GCN）从稀疏空间和稀疏时间有向图中学习交互作用与运动趋势特征;最后,将学习到的轨迹特征输入时间卷积网络（TCN）以预测双高斯分布参数,生成行人预测轨迹。在ETH和UCY数据集上的实验结果表明：相较于空时社交关系池化行人轨迹预测模型（SOPM）,所提算法的平均位移误差（ADE）降低了2.78%;相较于稀疏图卷积网络（SGCN）,所提算法的最终位移误差（FDE）降低了16.92%。     

基于图卷积编码器的蒙汉神经机器翻译

基于神经网络模型的蒙汉机器翻译严格采用编码器-解码器的序列建模方式,不能有效利用句法信息以及语言的层次结构信息。为将句法结构信息融入蒙汉机器翻译以提高其翻译性能,提出在源语言端采用双编码器,同时对源句和由源句解析而来的句法依存树进行编码;由于蒙汉机器翻译中经常会出现未登录词问题,因此将使用字节对编码技术预处理蒙古语。为解决机器翻译中的过度矫正问题,在训练阶段,模型以一定的概率从正确标注的序列中和预测生成的序列中采样上下文单词。在120万蒙汉平行语料的实验中证明,该方法相较于传统的BiRNN和CNN,BLEU值分别提高了2.69和2.09。     

基于轻量图卷积和注意力增强的多行为推荐模型

近年来,图卷积网络被广泛应用于多行为推荐中,以进一步缓解数据稀疏问题。但目前许多方法都是直接使用图卷积网络,使得模型时间复杂度较高,还忽略了邻域的不同聚合权重和各行为对用户偏好的不同贡献。为此,提出一种基于轻量图卷积和注意力增强的多行为推荐模型(MB-LGCA)。首先根据多行为数据构建用户—项目二部图,采用一种轻量图卷积网络聚合邻域特征获得高阶协同信息,同时利用注意力机制融入邻域权重,增强节点嵌入表示;利用k-阶用户嵌入传播来获取各行为对用户偏好的不同重要性,使模型具有更好的可解释性;最后合并不同层的嵌入表示进行预测。两个真实数据集上的实验结果表明,该模型具有较好的性能。     

基于门控图卷积网络和协同注意力的视觉问答

经典的视觉注意力模型缺乏视觉对象间空间关系的推理能力,忽略了图像和问题文本之间的密集语义交互,导致在预测答案过程中对噪声的处理能力不足。针对上述问题,提出了一种基于门控图卷积网络和协同注意力的视觉问答模型。该模型基于图像中视觉对象之间的相对空间位置构建空间关系图;同时以问题为引导,在图卷积网络的基础上增加门控机制,能够动态控制具有不同空间关系的邻居对节点的贡献程度;然后将问题的词特征和带有空间关系感知能力的视觉特征输入双向引导的协同注意力模块,共同学习它们之间的密集语义交互。在VQA2.0数据集进行实验,结果表明：该模型具有较强的显式关系推理能力,在test-std测试集的总体准确率为70.90%,优于该数据集上的经典模型,有效地提升了视觉问答的准确率。     

联合轻量图卷积网络和注意力机制的推荐方法

图卷积网络如今越来越多地被应用于推荐系统任务中,由于该模型可以有效捕获多跳邻居的信息,因此可以一定程度上缓解数据稀疏性问题,有效提升推荐任务的准确性.但是目前大部分工作都是直接使用图卷积网络,在推荐任务上算法复杂度较高.本文提出了一个融合轻量图卷积网络和注意力机制的模型.该模型通过嵌入传播获得更多邻域的协同信息,同时利用注意力网络对不同的邻域进行区分,最后用于推荐.从而在降低算法复杂度的基础上进一步提升了模型的准确性.通过在Gow alla、Yelp2018和Amazon-book 3个不同领域的真实数据集上的实验结果表明,该方法的性能有较好的表现.     

基于对抗图卷积网络的链接预测模型

大部分的链接预测模型在挖掘节点相似性时过于依赖已知的链接信息,但在真实世界中,已知的观测链接数量通常较少.因此,为了提高模型的鲁棒性,需要提高解耦模型对链接信息的依赖并挖掘节点的潜在特征.文中考虑节点特征和链接之间的潜在关系,提出基于对抗图卷积网络的链接预测模型.首先利用节点间的相似性度量填充邻接矩阵中部分未知链接,缓解链接稀疏对图卷积模型的影响.再利用对抗网络深度挖掘节点特征和链接之间的潜在联系,降低模型对链接的依赖.在真实数据集上的实验表明,文中模型在链接预测问题上具有较好的表现力,在链接稀疏的情况下性能依旧较稳定,同时适用于大规模数据集.     

改进图卷积网络的协同过滤推荐模型

图卷积网络（GCN）已应用于各领域并取得巨大成功,其中包括推荐系统。推荐系统的核心目标是推测用户偏好从而主动为用户提供有价值有针对性的消息,协同过滤是经典且广泛应用的一种推荐方法。但基于GCN的推荐方法仍存在诸多问题,如GCN递归地合并来自不同阶邻域的消息,难以区分地混合不同的节点消息导致训练困难,以及过平滑等问题对推荐模型产生了很大的约束。与目前基于GCN的方法不同,针对以上问题,提出使用简单GCN模型分别汇总不同顺序的邻域消息用于协同过滤,然后以分层方式将它们聚合,无需引入其他模型参数。之后,将Dropout思想迁移至模型中,通过在每一层随机丢弃邻居消息来减轻过平滑的影响,很好地防止了过拟合并提升了模型性能。在三个数据集上进行的实验结果证明了所提模型的有效性。     

基于改进编码/解码模型的中英机器翻译方法

针对基于编码/解码的中英文机器翻译收敛速度慢和准确率不高的问题,提出了一种改进的机器翻译模型.该模型采用长短时记忆循环神经网络实现词向量生成,然后在编码阶段利用组嵌入方法提高模型训练效率,最后在解码阶段加入权值衰减因子提高模型翻译准确性.实验结果表明,改进模型能够有效降低机器翻译训练的迭代次数,且具有较高的翻译准确率.     

基于图卷积神经网络的网络节点补全算法

网状数据结构通常获取的网络数据不完整,存在缺失节点.对此,文中提出基于图卷积神经网络的网络节点补全算法.首先对可观测网络进行成对采样,构造目标节点对的封闭子图和特征矩阵.然后利用图卷积神经网络提取子图及特征矩阵的表征向量,用于推断子图中的目标节点对之间是否存在缺失节点,同时判断不同目标节点对间的缺失节点是否为同一节点.最后,在真实网络数据集及人工生成的网络数据集上的实验表明,文中算法可较好解决网络补全问题,在缺失节点比例较大时仍能有效补全网络.     

基于自适应图卷积网络的心电图多标签分类模型

心电图分析是一种被广泛应用的心脏疾病诊断方法。传统的心电图分析严重依赖医生个人水平,容易出现误诊、漏诊现象,效率较低,且不能有效利用高频信号提供的有价值信息。基于卷积神经网络（CNN）的心电图自动分类方法在一定程度上提高了诊断效率,但依然存在对高频信息利用不充分的问题,且单一的卷积神经网络由于受感受野的限制和权重共享的影响,导致无法充分利用全局信息,分类准确率有待提高。提出一种基于注意力机制与图卷积网络的心电图多标签分类模型MLECG-AGCN,通过设计基于注意力机制的CNN网络,提高网络对高频信号的利用率。引入图卷积网络,以有效利用全局信息和特征空间邻域样本信息,从而协助样本进行分类,提高分类结果的准确率。基于注意力机制的CNN网络通过高通滤波器突出原始信号的高频位置,生成注意力图,并将注意力图嵌入到原始信号中,增强网络关注高频信号的能力。在PTB-XL数据集上的实验结果表明,基于注意力机制的CNN网络与自适应图卷积网络的结合有效提高了心电图分类精度,与Multi-ECGNet、ResNet18、ResNet101等模型相比,MLECG-AGCN模型取得了较高的AUROC值,为0.943 639。     

一种基于增强图卷积神经网络的协同推荐模型

图卷积神经网络是一种针对图结构数据的深度学习模型,由于具有强大的特征提取和表示学习能力,它也成为当前推荐系统研究的热门方法.以推荐系统中的评分预测为研究对象,通过分析指出了现有的基于图卷积神经网络的推荐模型存在2个方面的不足：图卷积层仅仅利用了1阶协同信号和未考虑用户观点的差异.为此,提出一种端到端的、基于增强图卷积神经网络的协同推荐模型.它采用一种增强的图卷积层,不仅聚合了2阶协同信号而且融合用户观点的影响,从而更合理地利用协同信号学习实体节点的嵌入表示,并通过堆叠多个图卷积层对其进行精化;最后,采用了非线性的多层感知机实现评分预测.基于5种推荐数据集上的实验结果表明：新模型的预测误差相比于几种主流的推荐模型具有明显的降低.     

基于双路信息时空图卷积网络的交通预测模型

随着深度学习的发展,神经网络在各个领域都有着大量的应用,智慧交通系统也不例外.交通流预测是智慧交通系统的基石,是整个交通预测的核心所在.近年来,图卷积神经网络的利用有效地提高了交通预测的性能,如何进一步提高对图的时空特征进行捕获的能力,将会成为热点.为了提升交通预测的精度,提出了一种基于双路信息时空图卷积网络的交通预测模型.首先,针对图卷积网络的交通预测模型在长距离依赖上建模有所不足,并且没有完全挖掘时空图信息之间的隐藏关系以及在时空图结构上还有信息缺失,提出了一种三重池化注意力机制来建模全局上下文信息.通过对图卷积层和时间卷积层各增加并行的三重池化注意力路径,构造了一个双路信息时空卷积层,提升了卷积层的泛化能力及模型捕获长距离依赖的能力,同时让时空卷积层能够很好地捕获时空图结构上的空间和时间特征,从而有效地提升了交通预测性能.在两个公共交通数据集(METR-LA和PEMS-BAY)上的实验结果表明,该模型具有较好的性能.     

基于知信图卷积神经网络的开放域知识图谱自动构建模型

解决多源知识对齐和知识冗余问题是在开放数据域自动构建知识图谱的关键。建立一种融合知信学习与深度学习的知识图谱自动构建模型。分析图卷积神经网络（GCN）模型与知信学习之间的理论联系,以先验知识与深度学习相结合的方式构建实体语义联合空间,将先验知识对模型的干预形式化,并利用自动编码器实现一个细粒度的实体对齐和关系抽取模型。同时,采用GCN与多头注意力相结合的方式,缓解因结构数据中多跳推理造成实体依赖信息丢失的影响。在开源数据集SemEval、FB15k和收集整理的MD数据集上的实验结果表明,该模型针对关系抽取、实体对齐和三元组抽取任务的F1值分别达到89.5%、86.6%和84.2%,较BERT-Softmax模型分别提升了0.3、2.4和0.3个百分点,具有更好的信息学习能力。     

基于图卷积神经网络的SDN网络流量预测

精确和实时的网络流量预测在SDN网络中扮演着重要角色,同时对流量工程、网络控制起到重要作用.由于网络拓补的约束和时间的动态变化,即空间和时间特征,使得网络流量预测问题已经成为一个公认的科学问题.为了有效提取空间和时间特征,提出一种基于神经网络的预测模型,即结合了图卷积和门控循环单元的模型.图卷积网络可以有针对性地提取到复杂拓补的空间特征,同时门控循环单元能提取到流量的时间特征,两者的结合可以有效地预测软定义网络中的流量.在模型性能比较方面,将提出的GCGRU与经典方法进行了比较.评估指标包括MSE,RMSE,MAE.实验结果表明,GCGRU能够更有效地进行流量预测.     

基于图卷积神经网络的函数自动命名

函数自动命名技术旨在为输入的源代码自动生成目标函数名,增强程序代码的可读性以及加速软件开发进程,是软件工程领域中一项重要的研究任务.现有基于机器学习的技术主要是通过序列模型对源代码进行编码,进而自动生成函数名,但存在长程依赖问题和代码结构编码问题.为了更好的提取程序中的结构信息和语义信息,本文提出了一个基于图卷积(Gr...