用户评论方面级情感分析研究

方面级情感分析是自然语言处理的热门研究方向之一,相比于传统的情感分析技术,基于方面的情感分析是细粒度的,能够判断句子中多个目标的情感倾向,能更加准确地挖掘用户对目标的情感极性。针对以往研究忽略目标单独建模的问题,提出了一种基于双向长短期记忆神经网络(BiLSTM)的交互注意力神经网络模型(Bi-IAN)。该模型通过BiLSTM对目标和上下文分别进行建模,获得目标和上下文的隐藏表示,提取其中的语义信息。接下来利用交互注意模块学习上下文和目标之间的注意力,分别生成目标和上下文的表示,捕捉目标和上下文之内和之间的相关性,并重构评价对象和上下文的表示,最终通过非线性层得到分类结果。在数据集SemEval 2014任务4和Chinese review datasets上的实验训练显示,在正确率和F1-score上,比现有的基准情感分析模型有更好的效果。     

基于RNN的中文二分结构句法分析

为了构建一个简单易扩展的中文句法分析器,我们依据朱德熙和陆俭明先生的中文二分结构的层次分析句法理论,手工构建了一个3万句的二分结构的中文句法树库,并使用哈夫曼编码方式来简化表示完全二叉树的层次结构。该文将中文句法分析转换为迭代二分的序列标注问题,并根据该任务的特点,提出了在词的间隔上进行标记的序列标注模型(RNN-Interval,RNN-INT),与常用的循环神经网络模型(RNN,LSTM)和条件随机场模型(CRF)进行对比实验,使用mx2交叉验证序贯t-检验来比较模型。实验结果表明,RNN-INT模型在窗口为1的词特征就可达到最好的性能,并好于其他窗口大小和其他序列标注模型(RNN,LSTM,CRF)。最后,在测试集上,在人工分词下,RNN-INT在短语级别的F₁值(块F₁) 达到71.25%,在句子级别的准确率达到约43%。     

图对抗防御研究进展

图神经网络(GNN)在多个领域的复杂任务中已经得到成功的应用,但研究表明其易受到对抗攻击而导致性能严重下降,这种脆弱性影响了包含节点分类、链路预测和社团探测在内的所有应用.图对抗攻击已经可以高效地实施,这带来了严重的安全隐患和隐私问题,图对抗防御致力于提高GNN的鲁棒性和泛化能力以抵御对抗攻击.综述了图对抗防御算法研究进展,首先,介绍了图对抗防御的背景和相关概念,并对图对抗防御研究发展脉络进行梳理和分析.然后,根据防御算法的不同防御策略将算法分为四类,包括攻击检测、对抗训练、可认证鲁棒性以及免疫防御,对每类防御算法原理进行分析总结.在此基础上,分析了每种防御算法的原理和实现,并从防御策略、目标任务、优缺点和实验数据等方面对典型算法进行全面的比较.最后,通过对现有图对抗防御算法全面、系统的分析,对防御算法当前存在的问题及未来发展方向进行了总结和探讨,为图对抗防御进一步的发展提供帮助.     

图神经网络及其在图像处理领域的研究进展

图神经网络（graph neural network,GNN）是一种基于深度学习的图结构数据处理模型,因良好的可解释性和对图结构数据强大的非线性拟合能力而受到研究者广泛关注。随着GNN的逐步优化,GNN与图像处理技术实现融合发展,在图像分类、人体解析和视觉问答等方面取得重大突破。对图像处理技术和传统神经网络理论进行介绍,并对五类GNN的原理、特点和不足进行分析与总结;同时从数据集和性能评估指标两个角度对文中所述的常用模型进行对比与总结,并补充介绍了九种常见的图像处理领域公共数据集;最后深入分析了GNN在图像处理领域中有待改进的方面,并对其应用前景进行展望。     

互联网用户行为分析系统的设计和实现

本文设计和实现了一种互联网用户行为分析系统,设计了系统的总体框架,系统由捕获模块、数据分析模块、数据图表生成模块和系统界面框架模块组成,并采用Java语言进行了编程实现,本系统产生的网络用户行为分析结果可以为互联网用户管理提供科学的依据。     

口语理解中改进循环神经网络的应用

口语理解性能的提升对于口语对话系统的研究具有重要作用。为了提高口语理解性能,应用循环神经网络（RNN）及其变体（LSTM,GRU）方法。在此基础上,提出一种改进的循环神经网络（Modified-RNN）方法,该方法通过添加存储历史状态信息,能够存储更长时的信息,含有更少的参数,根据获取的更多信息提取特征信息增加获取信息的有效性,提高了口语理解的精准率和[F1],缩短了实验时间。在航空旅行信息数据库（ATIS）上的实验结果验证了该算法的有效性和可靠性。     

在分析用户访问行为基础上实现代理缓存

文中提出一个描述ＷＷＷ结构的网站图Ｓｉｔｅ－Ｇｒａｐｈ模型,在此基础上进行用户访问行为分析,从而提出了一个考虑实际请问请求模式的代理缓存系统ＵＲＡＣ．文中详细描述了ＵＲＡＣ的工作原理,对代理缓存设计时所要解决的命中率,一致性和替换算法等主要问题进行了讨论,并给出了性能分析,得到ＵＲＡＣ以提高命中率和降低访问延迟为目标是一个更加实用的代理缓存系统的结论。     

基于深度卷积神经网络和循环神经网络的睡眠分期模型

针对传统机器学习模型过于依赖特征工程、多导睡眠图（Polysomnography,PSG）数据获取难度大等问题,提出一种基于深度卷积神经网络（ConvolutionalNeuralNetworks,CNN）和循环神经网络（RecurrentNeural Network,RNN）的自动睡眠分期模型。该模型不需要烦琐的特征提取过程,仅使用单通道脑电信号即可在较高水准下完成自动睡眠分期,在公开数据集Sleep-EDF的Fpz-CZ通道脑电数据上实现了85.2%的分类准确率。     

电子商务网站用户行为分析与网络营销优化措施

对用户行为运用正确的分析可提高电子商务网站的转化率和用户黏性,给网站带来巨大收益,同时也改善用户体验.本文在介绍用户行为分析一般方法的基础上,针对转化率较低、用户黏性较低、推送不精准等电子商务网站网络营销中出现的问题提出对应的优化措施,为网站制定运营策略提供理论支持和参考依据,并利用用户行为分析的数据推荐更具有个性化的服务.     

基于图神经网络的多维度池化图分类

目前很多处理图数据的图神经网络方法被提出,然而大多数研究侧重于对特征聚合的卷积层的研究而不是进行下采样的池化层.此外,形成聚类簇的池化方式需要额外计算分配矩阵;节点得分的池化方式排名方式单一.为解决上述问题,提高图分类任务的准确性,本文提出了一种新的基于多维度信息的图池化算子MDPool.该模型使用节点特征信息以及图拓扑结构信息,获取不同维度下的节点得分.使用注意力机制归纳不同维度下的得分权重,生成更为健壮的节点排名,基于节点排名自适应选择节点集合生成诱导子图.提出的MDPool可以集成到多种的图神经网络结构,将MDPool池化算子与图神经网络卷积层堆叠形成编码解码模型EDMDPool.在4个公开数据集的图分类任务中, EDMDPool均高于现有基线模型.     

图知识蒸馏综述：算法分类与应用分析

图数据, 如引文网络, 社交网络和交通网络, 广泛地存在现实生活中. 图神经网络凭借强大的表现力受到广泛关注, 在各种各样的图分析应用中表现卓越. 然而, 图神经网络的卓越性能得益于标签数据和复杂的网络模型, 而标签数据获取困难且计算资源代价高昂. 为了解决数据标签的稀疏性和模型计算的高复杂性问题, 知识蒸馏被引入到图神经网络中. 知识蒸馏是一种利用性能更好的大模型(教师模型)的软标签监督信息来训练构建的小模型(学生模型), 以期达到更好的性能和精度. 因此, 如何面向图数据应用知识蒸馏技术成为重大研究挑战, 但目前尚缺乏对于图知识蒸馏研究的综述. 旨在对面向图的知识蒸馏进行全面综述, 首次系统地梳理现有工作, 弥补该领域缺乏综述的空白. 具体而言, 首先介绍图和知识蒸馏背景知识; 然后, 全面梳理3类图知识蒸馏方法, 面向深度神经网络的图知识蒸馏、面向图神经网络的图知识蒸馏和基于图知识的模型自蒸馏方法, 并对每类方法进一步划分为基于输出层、基于中间层和基于构造图知识方法; 随后, 分析比较各类图知识蒸馏算法的设计思路, 结合实验结果总结各类算法的优缺点; 此外, 还列举图知识蒸馏在计算机视觉、自然语言处理、推荐系统等领域的应用; 最后对图知识蒸馏的发展进行总结和展望. 还将整理的图知识蒸馏相关文献公开在GitHub平台上, 具体参见: https://github.com/liujing1023/Graph-based-Knowledge-Distillation.     

基于输入特征稀疏化的图神经网络训练加速

图神经网络(graph neural network, GNN)是处理图数据的重要方法. 由于计算复杂、图数据容量大, 在大规模图上训练图神经网络依赖于CPU-GPU协作和图采样训练方法, 其中图结构和特征数据存储在CPU内存中, 而采样得到的子图及其特征则传输至GPU进行训练. 然而, 这种方法面临着严重的图特征数据加载瓶颈, 显著降低了端到端训练性能, 且图特征占用过多内存, 严重限制了可训练的图规模. 为了解决这些问题, 我们提出了基于输入特征稀疏化的数据加载方法, 显著减少CPU内存占用和跨PCIe总线传输的数据量, 大幅缩短数据加载时间, 加速GNN的训练, 使其可以充分利用GPU计算资源. 针对图特征和GNN计算特性, 我们提出了适用于图特征数据的稀疏化方法, 在压缩比和模型准确度之间达到平衡. 我们在3个常见GNN模型和3个不同规模的数据集上进行了实验评估, 包括最大的公开数据集之一MAG240M. 结果表明, 此方法将特征尺寸减小了一个数量级以上, 并实现1.6–6.7倍的端到端训练加速, 而模型准确度的降低不超过1%. 此外, 在仅使用4个GPU的情况下, 仅需40 min就可以在MAG240M上完成GraphSAGE模型的训练并达到目标准确度.     

基于梯度结构的图神经网络对抗攻击

图神经网络在半监督节点分类任务中取得了显著的性能. 研究表明, 图神经网络容易受到干扰, 因此目前已有研究涉及图神经网络的对抗鲁棒性. 然而, 基于梯度的攻击不能保证最优的扰动. 提出了一种基于梯度和结构的对抗性攻击方法, 增强了基于梯度的扰动. 该方法首先利用训练损失的一阶优化生成候选扰动集, 然后对候选集进行相似性评估, 根据评估结果排序并选择固定预算的修改以实现攻击. 通过在5个数据集上进行半监督节点分类任务来评估所提出的攻击方法. 实验结果表明, 在仅执行少量扰动的情况下, 节点分类精度显著下降, 明显优于现有攻击方法.     

面向多GPU的图神经网络训练加速

图神经网络由于其强大的表示能力和灵活性最近取得了广泛的关注. 随着图数据规模的增长和显存容量的限制, 基于传统的通用深度学习系统进行图神经网络训练已经难以满足要求, 无法充分发挥GPU设备的性能. 如何高效利用GPU硬件进行图神经网络的训练已经成为该领域重要的研究问题之一. 传统做法是基于稀疏矩阵乘法, 完成图神经网络中的计算过程, 当面对GPU显存容量限制时, 通过分布式矩阵乘法, 把计算任务分发到每个设备上, 这类方法的主要不足有: (1)稀疏矩阵乘法忽视了图数据本身的稀疏分布特性, 计算效率不高; (2)忽视了GPU本身的计算和访存特性, 无法充分利用GPU硬件. 为了提高训练效率, 现有一些研究通过图采样方法, 减少每轮迭代的计算带价和存储需求, 同时也可以支持灵活的分布式拓展, 但是由于采样随机性和方差, 它们往往会影响训练的模型精度. 为此, 提出了一套面向多GPU的高性能图神经网络训练框架, 为了保证模型精度, 基于全量图进行训练, 探索了不同的多GPU图神经网络切分方案, 研究了GPU上不同的图数据排布对图神经网络计算过程中GPU性能的影响, 并提出了稀疏块感知的GPU访存优化技术. 基于C++和CuDNN实现了该原型系统, 在4个不同的大规模GNN数据集上的实验表明: (1)通过图重排优化, 提高了GPU约40%的缓存命中率, 计算加速比可达2倍; (2)相比于现有系统DGL, 取得了5.8倍的整体加速比.     

面向鲁棒图结构防御的过参数化图神经网络

图数据在现实应用中普遍存在, 图神经网络(GNN)被广泛应用于分析图数据, 然而 GNN的性能会被图结构上的对抗攻击剧烈影响. 应对图结构上的对抗攻击, 现有的防御方法一般基于图内聚先验进行低秩图结构重构. 但是现有的图结构对抗防御方法无法自适应秩真值进行低秩图结构重构, 同时低秩图结构与下游任务语义存在错配. 为了解决以上问题, 基于过参数化的隐式正则效应提出过参数化图神经网络(OPGNN)方法, 并形式化证明所提方法可以自适应求解低秩图结构, 同时证明节点深层表征上的过参数化残差链接可以有效解决语义错配. 在真实数据集上的实验结果表明, OPGNN方法相对于现有基线方法具有更好的鲁棒性, 同时, OPGNN 方法框架在不同的图神经网络骨干上如 GCN、APPNP 和 GPRGNN 上显著有效.     

KENN: 线性结构熵的图核神经网络

图神经网络(graph neural network, GNN)是一种利用深度学习直接对图结构数据进行表征的框架,近年来受到人们越来越多的关注.然而传统的基于消息传递聚合的图神经网络(messaging passing GNN, MP-GNN)忽略了不同节点的平滑速度,无差别地聚合了邻居信息,易造成过平滑现象.为此,研究并提出一种线性结构熵的图核神经网络分类方法,即KENN.它首先利用图核方法对节点子图进行结构编码,判断子图之间的同构性,进而利用同构系数来定义不同邻居间的平滑系数.其次基于低复杂度的线性结构熵提取图的结构信息,加深和丰富图数据的结构表达能力.通过将线性结构熵、图核和图神经网络三者进行深度融合提出了图核神经网络分类方法.它不仅可以解决生物分子数据节点特征的稀疏问题,也可以解决社交网络数据以节点度作为特征所产生的信息冗余问题,同时还使得图神经网络能够自适应调整对图结构特征的表征能力,使其超越MP-GNN的上界(WL测试).最后,在7个公开的图分类数据集上实验验证了所提出模型的性能优于其他的基准模型.     

关系敏感型多子图图神经网络的多模态实体对齐

作为融合多源异构知识图谱的主要手段, 实体对齐一般首先编码实体等图结构信息, 而后通过计算实体间相似度来获取对齐实体. 然而, 现存的多模态对齐方法往往直接引入预训练方法表达模态特征, 忽略了模态间的融合以及模态特征与图结构间的融合. 因此, 本文提出一种关系敏感型的多子图图神经网络(RAMS)方法. 通过多子图图神经网络编码方法对模态信息与图结构进行结合并获得实体表征, 通过跨域相似度计算得到对齐结果. 广泛且多角度的实验证明了本文所提出的模型在准确率、效率、鲁棒性方面均超过了基线模型.     

基于图卷积神经网络的在线社区行为预测

在线知识社区中,问题的回答可以看作多个回答者用户(领域专家)之间的协作行为.协作行为在知识社区中通常是大规模地发生,协作行为预测对在线社交中领域专家的推荐有重要意义.基于在线知识社区中回答者用户之间的协作行为,构建以领域专家为节点,以他们之间的协作回答关系为边的协作网络.由于协作行为网络的构建与社交关系网络的构建上结构...