基于XLnet嵌入的中文命名实体识别方法

命名实体识别是自然语言处理的核心任务。在基于深度学习的中文命名实体识别方法中,静态字向量无法表征字的多义性。针对该问题,提出了基于XLnet嵌入的中文命名实体识别方法。该方法首先通过XLnet(Generalized Autoregressive Pretraining for Language Understanding,XLnet)模型获取字级别的上下文表示。其次,利用BiLSTM-CRF模型获取文本依赖信息和标签信息。实验结果表明,该方法在人民日报、MSRA、Boson等3种数据集上分别达到91.9%、89.8%、74%的F1值,均高于其他主流的中文命名实体识别方法。     

基于改进的Transformer编码器的中文命名实体识别

为了提高中文命名实体识别的效果,提出了基于 XLNET-Transformer_P-CRF 模型的方法,该方法使用了 Transformer_P 编码器,改进了传统 Transformer 编码器不能获取相对位置信息的缺点。实验结果表明,XLNET-Transformer_P-CRF模型在MSRA、OntoNotes4.0、Resume、微博数据集4类数据集上分别达到95.11%、80.54%、96.70%、71.46%的F1值,均高于中文命名实体识别的主流模型。     

基于改进Transformer的社交媒体谣言检测

随着互联网的快速发展,社交媒体日益广泛而深刻地融入人们日常生活的各个方面。社交媒体逐渐成为人们彼此之间用来分享意见、见解、经验和观点的工具和平台,是人们获取分享信息、表达交流观点的主要途径。社交媒体在互联网的沃土上蓬勃发展,爆发出令人眩目的能量。由于社交媒体的开放性,用户规模庞大且来源复杂众多,容易产生各种各样的谣言虚假信息。社交媒体谣言左右着网民对事件的认识、动摇着社会的稳定。因此,如何准确高效地检测谣言成为当下亟待解决的问题。现有基于 Transformer的社交媒体谣言检测模型忽略了文本位置信息。为有效提取文本位置信息,充分利用文本潜在信息,提出了一种基于改进 Transformer 的社交媒体谣言检测模型。该模型从相对位置和绝对位置两方面对传统Transformer 进行改进：一方面采用可学习的相对位置编码捕捉文本的方向信息和距离信息;另一方面采用绝对位置编码将不同位置词语映射到不同特征空间。实验结果表明,与其他基准模型相比,所提模型在Twitter15、Twitter16和Weibo 3种数据集上的准确率分别提高了0.9%、0.6%和1.4%。实验结果验证了所提的位置编码改进有效,基于位置编码改进的Transformer模型可显著提升社交媒体谣言检测效果。     

基于深度学习的中文命名实体识别综述

命名实体识别作为信息抽取的核心任务,能够从文本中识别出各类命名实体。近年来,深度学习技术在字词表示、特征提取等方面上的应用,使中文命名实体识别任务取得了较为丰富的研究成果。目前,基于深度学习的中文命名实体识别技术,在特征提取的深度和模型的精确度上已逐渐超过了传统的基于规则的方法、基于特征工程的有监督方法和基于无监督的方法。围绕深度学习的识别框架,将现有基于深度学习的中文命名实体识别方法分嵌入层、编码层和标签解码层三部分进行介绍,并对未来可能的研究方向进行探讨和展望。     

改进的基于奇异值分解的图卷积网络防御方法

图神经网络（GNN）容易受到对抗性攻击而导致性能下降，影响节点分类、链路预测和社区检测等下游任务，因此GNN的防御方法具有重要研究价值。针对GNN在面对对抗性攻击时鲁棒性差的问题，以图卷积网络（GCN）为模型，提出一种改进的基于奇异值分解（SVD）的投毒攻击防御方法 ISVDatt。在投毒攻击场景下，该方法可对扰动图进行净化处理。GCN遭受投毒攻击后，首先筛选并删除特征差异较大的连边使图保持特征光滑性；然后进行SVD和低秩近似操作使扰动图保持低秩性，并完成对它的净化处理；最后将净化后的扰动图用于GCN模型训练，从而实现对投毒攻击的有效防御。在开源的Citeseer、Cora和Pubmed数据集上针对Metattack和DICE(Delete Internally,Connect Externally)攻击进行实验，并与基于SVD、Pro＿GNN和鲁棒图卷积网络（RGCN）的防御方法进行了对比，结果显示ISVDatt的防御效果相对较优，虽然分类准确率比Pro＿GNN低，但复杂度低，时间开销可以忽略不计。实验结果表明ISVDatt能有效抵御投毒攻击，兼顾算法的复杂度和通用性，具有较高的实用...