基于深度学习的命名实体识别研究综述

命名实体识别是自然语言处理领域的一项关键任务,其目的在于从自然语言文本中识别出具有特定含义的实体,如人名、地名、机构名和专有名词等。在命名实体识别任务中,研究人员提出过多种方法,包括基于知识和有监督的机器学习方法。近年来,随着互联网文本数据规模的快速扩大和深度学习技术的快速发展,深度学习模型已成为命名实体识别的研究热点,并在该领域取得显著进展。文中全面回顾现有的命名实体识别深度学习技术,主要分为四类：基于卷积神经网络模型、基于循环神经网络模型、基于Transformer模型和基于图神经网络模型的命名实体识别。此外,对深度学习的命名实体识别架构进行了介绍。最后,探讨命名实体识别所面临的挑战以及未来可能的研究方向,以期推动命名实体识别领域的进一步发展。     

融合注意力机制的RoBERTa-BiLSTM-CRF语音对话文本命名实体识别

<正>本文基于国网客服中心95598语音转文本数据，采用Ro BERTa语言模型对语句进行向量表示与特征提取，通过添加机制，模型可以关注与当前输出相关的信息，并获得文本中的潜在语义信息。通过对照组实验，本文构造的模型能够有效提高实体识别精准程度，且该模型在文本数据集上的抽取效果明显优于其他模型。命名实体识别(Named Entity Recognition,NER)获取有关子任务的信息，搜索分配给文本的对象，并将其分类到预定义的类别中。命名实体识别是自然语言处理中的热点研究方向之一，用于识别和分类文本中的相关实体的类别。命名实体识别的准确度，     

基于双向量模型的话题跟踪

针对话题跟踪任务及话题自身的特点,研究了面向该任务的文本表示技术,通过对文本表示技术的研究来提高话题跟踪系统的跟踪性能。通过分析报道文本的内容特点,提出了采用双向量来表示报道文本,将文本中的命名实体进行了单独处理。对命名实体识别技术进行了简要介绍,详细描述了基于双向量模型的话题跟踪系统的构建。实验结果表明,在话题跟踪中,双向量的文本示方法比单向量的文本表示方法更准确。     

解决嵌套问题的中文命名实体识别

作为众多任务的子任务，命名实体识别的发展较为迅速，但在中文命名实体识别领域，还存在不少问题，嵌套实体就是其中一个难点。文中根据结点的传入和传出，使用了图卷积神经网络提取图特征，改善了嵌套实体的准确度，并通过使用图神经网络处理中文命名实体识别的问题，更好地融合了词典信息。另外，文中分别对两类数据集进行了实验验证，结果显示，相比其他模型，该模型有所提高。     

中英命名实体识别及对齐中的中文分词优化

中文分词结果对中英命名实体识别及对齐有着直接的影响,本文提出了一种命名实体识别及对齐中的中文分词优化方法.该方法利用实体词汇的对齐信息,首先修正命名实体识别结果,然后根据实体对齐结果调整分词粒度、修正错误分词.分词优化后的结果使得双语命名实体尽可能多地实现一一对应,进而提高中英命名实体翻译抽取和统计机器翻译的效果.实验结果表明了本文优化方法的有效性.     

基于n元词组表示的去噪方法及其在跨语言映射中的应用

具有结构化输出的学习任务（结构化学习）在自然语言处理领域广泛存在。近年来研究人员们从理论上证明了数据标记的噪声对于结构化学习的巨大影响，因此为适应结构化学习任务的去噪算法提出了需求。受到近年来表示学习发展的启发，本文提出将自然语言的子结构低维表示引入结构化学习任务的样本去噪算法中。这一新的去噪算法通过n元词组的表示为序列标注问题中每个节点寻找近邻，并根据节点标记与其近邻标记的一致性实现去噪。本文在命名实体识别和词性标注任务的跨语言映射上对上述去噪方法进行了验证，证明了这一方法的有效性。     

基于Bi-LSTM-CRF网络的语义槽识别

自然语言理解任务的主要目标是运用自然语言处理的相关方法,对用户发出的语句进行解析,转化成结构化的语义表示.本文重点研究了基于语义槽抽取的自然语言理解方法.在基于语义槽抽取的自然语言理解任务中,任务的输入是用户的指令型语句,输出为指令的语义槽实体标注序列,如出发日期、出发地点等,故可将语义槽抽取任务看作类似于命名实体识别任务,以序列标注任务的方法解决.本文研究提出了基于Bi-LSTM-CRF模型的语义槽抽取方法,在英文语料ATIS上进行了实验.实验结果表明,基于Bi-LSTM-CRF网络的方法相比于传统机器学习的基准方法,结果得到了大幅度的提升.对于模型识别的结果,研究中采用F1值进行评价.     

基于Tri-Training算法的中文电子病历实体识别研究

半监督学习是一种结合监督学习与无监督学习的学习方法,通过利用未标记数据,提高标记数据所建立模型的效果,目的是减少传统的机器学习任务中对大量标注数据的需求、降低人工成本.在中文电子病历实体识别领域,由于缺少足够的标注数据,且医学文本专业性较强、人工标注成本高,可以利用半监督学习方法,提升少量标注数据的训练效果.本文介绍了中文电子病历实体识别的研究背景和半监督学习的相关研究,并应用改进后的Tri-Training算法,提升中文电子病历实体识别模型的效果.     

一种基于混合神经网络的命名实体识别与共指消解联合模型

命名实体识别与共指消解均依赖于对实体相邻文本信息的学习,本文提出一种基于混合神经网络的命名实体识别与共指消解联合模型,共用双向长短时记忆模型LSTM编码层对输入序列中每个词前后方向上下文信息进行编码,并通过训练学习得到上下文信息传递到前馈神经网络FFNN模型以提高共指消解精度,通过将领域文档及篇章语义向量加入FFNN,改进共指消解算法并优化共指消解模型.基于领域文本数据集进行联合模型训练,实验结果表明该联合模型可以有效地提高共指消解精度.     

InsunKBQA:一个基于知识库的问答系统

针对大规模知识库问答的特点,构建了1个包含3个主要步骤的问答系统:问句中的命名实体识别、问句与属性的映射和答案选择.使用基于别名词典的排序方法进行命名实体识别,使用结合注意力机制的双向LSTM进行属性映射,最后综合前2步的结果从知识库中选择答案.该系统在NLPCC-ICCPOL 2016 KBQA任务提供的测试数据集上的平均F1值为0.8097,接近已发表的最好水平.     

基于可视数据的可信身份识别和认证方法

近年来,深度学习技术在基于视频和图像等可视数据的身份识别和认证任务（如人脸、行人识别等）中得到了广泛应用。然而,机器学习（特别是深度学习模型）容易受到特定的对抗攻击干扰,从而误导身份识别系统做出错误的判断。因此,针对身份识别系统的可信认证技术研究逐渐成为当前的研究热点。分别从基于信息空间和物理空间的可视数据身份识别和认证攻击方法展开介绍,分析了针对人脸检测与识别系统、行人重识别系统的攻击技术及进展,以及基于人脸活体伪造和可打印对抗图案的物理空间攻击方法,进而讨论了可视数据身份匿名化和隐私保护技术。最后,在简要介绍现有研究中采用的数据库、实验设置与性能分析的基础上,探讨了可能的未来研究方向。     

情感识别中的迁移学习问题综述

情感识别是实现自然人机交互的必要过程。然而,情感数据高昂的采集和标注成本成为了限制情感识别研究发展的一大瓶颈。在无标注或有限标注的场景下,利用知识的跨领域或跨任务迁移提升情感识别效果的问题值得探索。本文对情感识别中的迁移学习问题进行了梳理和分析。首先,将迁移学习问题划分为针对领域差异和针对任务差异的两大部分,并进一步将每部分问题细分为多种不同的情况。随后,基于情感识别领域的研究现状,分别总结不同情况下的现有工作。在目标领域训练资源匮乏的情况下,可以利用其他带标注的数据集作为源领域训练模型,并对齐不同领域下的特征分布,或将特征映射到域间共享的空间。考虑到情感标签所提供的监督信息往往较为有限,为了进一步提升模型的识别效果,可以引入其他相关任务进行联合训练,或将预训练模型、外部知识库提供的先验语义知识迁移到情感识别任务中。最后,讨论了情感识别领域中未来需要得到更多关注和探索的迁移学习问题,旨在为研究者带来新的启发。     

基于深度学习的图像去雾算法研究进展

图像是信息的重要承载形式。雾霾的出现降低了图像采集设备采集到的图像质量,容易出现色彩暗淡、对比度和饱和度降低、细节信息丢失等问题,直接影响了有用信息的表达和利用。目前对图像去雾的研究多采用深度学习的方法,卷积神经网络代替了人工特征提取方式,取得了优于传统算法的去雾效果,但普遍存在着对真实世界雾霾图像和清晰图像对的依赖。无监督学习的方法带来了新的解决思路。从监督学习和无监督学习的角度对有代表性的深度学习图像去雾算法进行分类,归纳了常用的数据集、评价指标,概括分析了有影响力的去雾模型的核心思想,总结了各算法的优缺点和适用场景。针对目前工作存在的不足,探索了下一步研究的方向。     

红外与可见光图像深度学习融合方法综述

红外与可见光图像融合技术充分利用不同传感器的优势,在融合图像中保留了原图像的互补信息以及冗余信息,提高了图像质量。近些年,随着深度学习方法的发展,许多研究者开始将该方法引入图像融合领域,并取得了丰硕的成果。根据不同的融合框架对基于深度学习的红外与可见光图像融合方法进行归类、分析、总结,并综述常用的评价指标以及数据集。另外,选择了一些不同类别且具有代表性的算法模型对不同场景图像进行融合,利用评价指标对比分析各算法的优缺点。最后,对基于深度学习的红外与可见光图像融合技术研究方向进行展望,总结红外与可见光融合技术,为未来研究工作奠定基础。     

基于深度学习的视频中人体动作识别进展综述

视频中的人体动作识别是计算机视觉领域内一个充满挑战的课题.不论是在视频信息检索、日常生活安全、公共视频监控,还是人机交互、科学认知等领域都有广泛的应用.本文首先简单介绍了动作识别的研究背景、意义及其难点,接着从模型输入信号的类型和数量、是否结合了传统特征提取方法、模型预训练三个维度详细综述了基于深度学习的动作识别方法,及比较分析了它们在UCF101和HMDB51这两个数据集上的识别效果.最后分别从视频预处理、视频中人体运动信息表征、模型学习训练这三个角度对未来动作识别可能的发展方向进行了论述.     

基于低秩表示的鲁棒判别特征子空间学习模型

特征子空间学习是图像识别及分类任务的关键技术之一,传统的特征子空间学习模型面临两个主要的问题。一方面是如何使样本在投影到特征空间后有效地保持其局部结构和判别性。另一方面是当样本含噪时传统学习模型所发生的失效问题。针对上述两个问题,该文提出一种基于低秩表示(LRR)的判别特征子空间学习模型,该模型的主要贡献包括:通过低秩表示探究样本的局部结构,并利用表示系数作为样本在投影空间的相似性约束,使投影子空间能够更好地保持样本的局部近邻关系;为提高模型的抗噪能力,构造了一种利用低秩重构样本的判别特征学习约束项,同时增强模型的判别性和鲁棒性;设计了一种基于交替优化技术的迭代数值求解方案来保证算法的收敛性。该文在多个视觉数据集上进行分类任务的对比实验,实验结果表明所提算法在分类准确度和鲁棒性方面均优于传统特征学习方法。     

Deep learning and RGB-D based human action,human–human and human–object interaction recognition: A survey

Human activity recognition is one of the most studied topics in the field of computer vision. In recent years, with the availability of RGB-D sensors and powerful deep learning techniques, research on human activity recognition has gained momentum. From simple human atomic actions, the research has advanced towards recognizing more complex human activities using RGB-D data. This paper presents a comprehensive survey of the advanced deep learning based recognition methods and categorizes them in human atomic action, human–human interaction, human–object interaction. The reviewed methods are further classified based on the individual modality used for recognition i.e. RGB based, depth based, skeleton based, and hybrid. We also review and categorize recent challenging RGB-D datasets for the same. In addition, the paper also briefly reviews RGB-D datasets and methods for online activity recognition. The paper concludes with a discussion on limitations, challenges, and recent trends for promising future directions.     

基于语音的抑郁检测研究综述

抑郁症作为一种常见的心理健康问题,严重影响人们的日常生活甚至是生命安全,对抑郁症及抑郁情绪的检测具有重要意义。抑郁检测的常用模态包括脑电、图像、文本和语音等,其中语音信号具有易获取和使用限制少的优势,基于语音的抑郁检测研究也因此成为当前的研究热点。本文对近几年基于语音的抑郁检测的最新进展进行综述。首先介绍了目前研究中所常用的抑郁语音数据集,对其中数据不平衡问题的处理方法进行了概括分析。然后对抑郁检测中常用的韵律特征、音质特征、基于谱的特征等语音特征进行了概述,并对特征的特点展开分析。另一方面,针对抑郁检测研究中所遇到的数据量少的问题,从数据增强、度量学习、元学习和迁移学习四个方面,简述了目前主流的小样本学习方法。考虑到抑郁语音数据的隐私性问题,介绍了基于联邦学习的语音抑郁检测研究,从数据安全性和边缘设备部署两方面做了具体陈述。最后,针对基于语音的抑郁检测研究现状和难点问题进行了总结与展望。