基于深度学习的命名实体识别研究综述

命名实体识别是自然语言处理领域的一项关键任务,其目的在于从自然语言文本中识别出具有特定含义的实体,如人名、地名、机构名和专有名词等。在命名实体识别任务中,研究人员提出过多种方法,包括基于知识和有监督的机器学习方法。近年来,随着互联网文本数据规模的快速扩大和深度学习技术的快速发展,深度学习模型已成为命名实体识别的研究热点,并在该领域取得显著进展。文中全面回顾现有的命名实体识别深度学习技术,主要分为四类：基于卷积神经网络模型、基于循环神经网络模型、基于Transformer模型和基于图神经网络模型的命名实体识别。此外,对深度学习的命名实体识别架构进行了介绍。最后,探讨命名实体识别所面临的挑战以及未来可能的研究方向,以期推动命名实体识别领域的进一步发展。     

实体识别技术研究进展综述

实体识别技术作为知识图谱构建的重要步骤,已广泛用于语义网络、机器翻译、问答系统等自然语言处理中,在推动自然语言处理技术落地实践的过程中起着非常关键的作用。本文根据实体识别技术的发展历程调研了现有的实体识别方法,主要为早期基于规则和词典的实体识别方法、基于机器学习的以及基于深度学习的命名实体识别方法;整理了每种实体识别方法的关键思路、优缺点和具有代表性的模型,特别对目前使用较多的基于双向长短期记忆网络(BiLSTM)模型和基于Transformer模型的实体识别方法进行了概述;介绍了目前主流的数据集以及评价标准。最后,面向未来机器类通信的语义需求,总结了实体识别技术面临的挑战,并对其未来在物联网业务数据方面的发展进行了展望。     

增强实体边界检测的医学命名实体识别

针对中文电子病历报告中专业词汇较多导致的边界识别困难问题,文章提出了一种增强实体边界检测方法来更好地识别医学命名实体,即以实体边界预测为辅助任务,增强模型对实体边界的检测能力,提高模型性能。该文从两个方面增强了实体边界,一是通过在BERT与训练语言模型底层添加自制医学词典,增强模型对词汇边界信息的学习;二是以实体头尾预测作为辅助任务,进一步增强模型对实体边界的识别能力。在1个医学领域的公共数据集上进行了实验,相较于基线模型,F1值得到了1.96%的提升,说明该方法能有效检测实体边界,提升模型性能,验证了该模型的在医学领域的适用性。     

实体链接技术研究

实体链接技术可以将文本中每个实体提及与知识库中的候选实体进行比较从而获取相应的目标实体,消除实体的歧义,是帮助计算机完成自然语言处理任务的核心技术之一。按照实体链接系统的模块对实体链接任务的相关技术进行总结,首先介绍实体链接的任务定义以及实体链接系统的构成;其次对实体链接系统的三大模块：候选实体生成、候选实体排序以及不可链接提及的相关技术做系统性的梳理;然后介绍实体链接相关数据集以及测评方法;最后对实体链接的未来进行展望。     

中文命名实体识别的傅立叶卷积网络

针对transformer编码器架构在中文命名实体识别任务上表现不佳的问题,提出使用无参数化的傅立叶子层替换编码器中自注意力子层,使用卷积神经网络替代前馈神经网络.实验表明,采用结合傅立叶变换和卷积神经网络的transformer encoder架构的算法,可以在较小的字符嵌入和参数量下实现性能提升,且训练过程更快.     

基于预训练模型的医疗命名实体识别

文中针对生物医学实体识别中存在的边界识别不准确和鲁棒性差的问题,提出了一种融合了预训练语言模型BERT与跨度标签网络的命名实体识别模型。该模型利用BERT获取文本的上下文信息,并结合跨度标签网络进行实体分类及边界判定,显著提升了实体识别的准确性。为增强模型的鲁棒性,引入对抗训练策略,通过迭代训练正常样本与对抗样本,以优化模型参数。基于CCKS2019评测数据集的实验表明,应用对抗训练方法后,其精准率、召回率及F1值均有所提升,验证了对抗训练能对提高模型的预测能力和鲁棒性的有效性。     

解决嵌套问题的中文命名实体识别

作为众多任务的子任务,命名实体识别的发展较为迅速,但在中文命名实体识别领域,还存在不少问题,嵌套实体就是其中一个难点。文中根据结点的传入和传出,使用了图卷积神经网络提取图特征,改善了嵌套实体的准确度,并通过使用图神经网络处理中文命名实体识别的问题,更好地融合了词典信息。另外,文中分别对两类数据集进行了实验验证,结果显示,相比其他模型,该模型有所提高。     

基于层叠隐马尔可夫模型的中文命名实体识别

提出了一种基于层叠隐马尔可夫模型的中文命名实体一体化识别方法,旨在将人名识别、地名识别以及机构名识别等命名实体识别融合到一个相对统一的理论模型中。首先在词语粗切分的结果集上采用底层隐马尔可夫模型识别出普通无嵌套的人名、地名和机构名等,然后依次采取高层隐马尔可夫模型识别出嵌套了人名、地名的复杂地名和机构名。在对大规模真实语料库的封闭测试中,人名、地名和机构识别的F-1值分别达到92.55%、94.53%、86.51%。采用该方法的系统ICTCLAS在2003年5月SIGHAN举办的第一届汉语分词大赛中名列前茅。     

基于小规模尾字特征的中文命名实体识别研究

 本文针对难度最大的两类命名实体(地名和机构名)在条件随机场框架下首次引入了小规模的常用尾字特征.实验表明,该特征与词类特征具有一定的互补性,联合使用可以以较小的训练代价显著提高专有名词的识别性能,特别是机构名的识别精度.该系统在我国863简体命名实体识别评测语料上专名(人名、地名和机构名)总体F1值达88.76%,超过当年最佳系统8.63个百分点.在SIGHAN 2006命名实体识别语料上的结果也居于前列.     

一种基于混合神经网络的命名实体识别与共指消解联合模型

命名实体识别与共指消解均依赖于对实体相邻文本信息的学习,本文提出一种基于混合神经网络的命名实体识别与共指消解联合模型,共用双向长短时记忆模型LSTM编码层对输入序列中每个词前后方向上下文信息进行编码,并通过训练学习得到上下文信息传递到前馈神经网络FFNN模型以提高共指消解精度,通过将领域文档及篇章语义向量加入FFNN,改进共指消解算法并优化共指消解模型.基于领域文本数据集进行联合模型训练,实验结果表明该联合模型可以有效地提高共指消解精度.     

基于深度学习的法律文书识别方法研究

为了提升数字化法律文书知识库的建设效率,文中提出了基于深度学习理论的法律文书识别方法。该方法基于长短期记忆(LSTM)网元结构构建深度神经网络,引入遗忘门进行网元的状态更新,使用Softmax函数作为非线性传播函数,实现自然语言中的实体识别。经测试,该方法可以有效的提取法律文书中的当事人姓名、案由和审判机构等;在文中所采用的测试集上,相较于CRFs算法,该方法在准确率、召回率和F上均可以取得约10%的提升。     

一种基于主动学习的中文新词识别算法

分词是中文自然语言处理的重要基础,新词的不断涌现是分词的最大难题。针对新词识别定义不清、语料缺乏的实际问题,提出了一种以大规模神经网络预训练模型为基础,并结合主动学习和人工规则的新词识别算法。利用预训练模型高效识别候选新词,使用基于不确定性和代表性样本选择的主动学习策略辅助标注新词,利用热度规则、突发性规则和合成性规则识别和过滤新词发现结果。针对新词识别评价标准不一致的问题,给出了一般性准确率和受限制准确率两条规范测试指标。与现有最优算法进行实验对比,所提算法两项指标分别提高了16%和4%。     

基于深度学习的不良信息治理新技术研究

5G新消息将大力加强多媒体消息的通信能力。基于5G新消息的不良信息风险将日趋加剧。现有的不良信息治理手段无法完全的应对。为了提高现有不良信息识别能力,需要引入人工智能领域最新的研究成果对现有不良信息治理技术手段进行升级。本文详细总结分析了人工智能领域中对不良多媒体识别存在价值的各种技术,并对其原理和具体应用场景进行了全面分析。基于这些技术可以大幅提高不良多媒体消息的识别能力,为未来的5G新消息提供足够的内容安全保障。     

Deep recurrent neural networks with word embeddings for Urdu named entity recognition

Named entity recognition (NER) continues to be an important task in natural language processing because it is featured as a subtask and/or subproblem in information extraction and machine translation. In Urdu language processing, it is a very difficult task. This paper proposes various deep recurrent neural network (DRNN) learning models with word embedding. Experimental results demonstrate that they improve upon current state‐of‐the‐art NER approaches for Urdu. The DRRN models evaluated include forward and bidirectional extensions of the long short‐term memory and back propagation through time approaches. The proposed models consider both language‐dependent features, such as part‐of‐speech tags, and language‐independent features, such as the “context windows” of words. The effectiveness of the DRNN models with word embedding for NER in Urdu is demonstrated using three datasets. The results reveal that the proposed approach significantly outperforms previous conditional random field and artificial neural network approaches. The best f‐measure values achieved on the three benchmark datasets using the proposed deep learning approaches are 81.1%, 79.94%, and 63.21%, respectively.     

基于AI的无线网络感知技术研究综述

在无线通信网络中使用感知技术,可以从海量网络数据中提取所需特征信息,以便实现网络的智能管理。传统感知技术往往与感知对象密切相关,依赖使用者的经验与知识,有很大的局限性。未来无线通信网络结构将会日益庞杂异构,海量数据、快速变化的业务使得传统信息感知技术无法有效实现感知需求,而人工智能(Artificial Intelligence, AI)技术兴起后也逐渐应用于无线通信领域,因具有高效、灵活等优势,所以利用AI技术在无线网络中实现感知需求成为可能。综述了无线通信中的AI感知技术的概念、机制、关键技术,对比分析了不同算法的性能,并探讨了AI感知技术未来可能面临的挑战。     

变体垃圾短信翻译技术研究

变体垃圾短信被赌博类垃圾信息广泛使用。其使用同音字替换、形近字替换绕过垃圾短信监控系统的关键字审查。本文对变体垃圾短信的特点进行了深入研究,并结合人工智能技术,提出了有效翻译变体垃圾短信技术方法,并给出了应用于现网的识别方案。实验证明,本文提出的变体垃圾短信翻译方法能够对很多敏感关键词进行完整恢复,便于监控系统对内容进行关键字审查。     

基于深度学习方面自然语言处理技术(NLP)的研究

深度学习方面自然语言处理技术目前已经成为主要研究热点。从深度学习和自然语言处理的概念出发,深入研究基于深度学习方面自然语言处理技术的优势以及面临的挑战,并在此基础之上对其发展进行了展望。     

基于深度学习和智能规划的行为识别

现有行为识别方法在未能持续覆盖造成视频监控盲区所引起行为数据缺失的情况,难以有效实施特征分析、行为分类补全,无法准确识别出智能体完整的行为动作序列.为此,本文提出一种基于深度学习和智能规划的行为识别方法.首先,利用深度残差网络对图像进行分类训练,然后使用递归神经网络对图像特征进行提取深度信息以增强分类效果;其次,运用智能规划的STRIPS （Stanford Research Institute Problem Solver）模型,将深度学习提取的图像特征命题信息转化为规划领域的模型描述文档,并使用前向状态空间搜索规划器推导出完整的行为动作序列.在HMDB51等行为识别公共数据集中,本方法与生成式对抗网络、深度卷积逆向图网络、深度信念网络、支持向量机等同类先进方法相比展现出更好的性能.