基于多神经网络协同训练的命名实体识别

为了提高命名实体识别模型的系统实用性,有效利用互联网中海量未经标注的数据,提出了一种基于多神经网络协同训练的命名实体识别模型.该模型融合了循环神经网络和协同训练的优势,首先利用少量的有标记数据训练3种不同的神经网络获得初始识别模型,然后在大量无标注数据上对3种神经网络模型进行协同训练以优化模型.实验结果表明,本文模型能...     

基于预训练模型的医疗命名实体识别

文中针对生物医学实体识别中存在的边界识别不准确和鲁棒性差的问题,提出了一种融合了预训练语言模型BERT与跨度标签网络的命名实体识别模型。该模型利用BERT获取文本的上下文信息,并结合跨度标签网络进行实体分类及边界判定,显著提升了实体识别的准确性。为增强模型的鲁棒性,引入对抗训练策略,通过迭代训练正常样本与对抗样本,以优化模型参数。基于CCKS2019评测数据集的实验表明,应用对抗训练方法后,其精准率、召回率及F1值均有所提升,验证了对抗训练能对提高模型的预测能力和鲁棒性的有效性。     

基于图神经网络的法律文本共指消解模型

共指消解是确定上下文中的代词或名词短语所指的具体对象或实体,是自然语言处理(Natural Language Processing, NLP)的基本任务之一,对理解文本语义具有重要意义。现有的方法主要集中在一般领域的代词、所有格和名词短语的解析上,针对法律领域的研究较少。为了更好地学习法律文本中的知识,并消除共同指代现象,提出一种基于图神经网络的法律文本共指消解模型(Graph Neural Network for Coreference Resolution, CR-GNN)。所提CR-GNN可以促进法律文本挖掘中的一系列后续任务。利用预训练语言模型和双向门控循环单元(Bidirectional Gate Recurrent Unit, BiGRU)对法律文本进行编码;使用基于元任务的动态图卷积网络(Meta Dynamic Graph Convolutional Network, MDGCN)整合实体之间的引用关系;使用前馈神经网络(Feed-Forward Neural Network, FFNN)和Biaffine模型为候选对进行加权评估。CR-GNN可以有效识别实体之间的引用关系,并对实体依赖关系进行建模。在法庭记录文件数据集上进行大量实验,结果表明所提CR-GNN模型达到89.76%的F1分数,均高于现有基准模型。     

基于层叠隐马尔可夫模型的中文命名实体识别

提出了一种基于层叠隐马尔可夫模型的中文命名实体一体化识别方法,旨在将人名识别、地名识别以及机构名识别等命名实体识别融合到一个相对统一的理论模型中。首先在词语粗切分的结果集上采用底层隐马尔可夫模型识别出普通无嵌套的人名、地名和机构名等,然后依次采取高层隐马尔可夫模型识别出嵌套了人名、地名的复杂地名和机构名。在对大规模真实语料库的封闭测试中,人名、地名和机构识别的F-1值分别达到92.55%、94.53%、86.51%。采用该方法的系统ICTCLAS在2003年5月SIGHAN举办的第一届汉语分词大赛中名列前茅。     

一种面向自然语言问题的命名实体识别模型

在诸如电力客户问题等此类专业技术领域的自然语言问题命名实体识别任务中,由于专业性及用语的地域性导致难以实现大规模标注数据。而采用传统基于有监督学习模型的命名实体识别方法,则较易陷入过拟合。针对上述问题,文中对关系网络中的嵌入模块和关系模块及样本采样、元训练集构建等方面进行了面向命名实体识别任务特点的设计,提出了一种基于关系网络小样本学习方法的实体识别模型。在电力客户问题实体识别数据集上的实验结果表明,该模型的F1等重要指标比常用的有监督识别模型提高了大约10%～40%。     

命名实体识别技术综述

命名实体识别是自然语言处理中的热点研究方向之一,目的是识别文本中的命名实体并将其归纳到相应的实体类型中。首先阐述了命名实体识别任务的定义、目标和意义,分析提出了命名实体识别的主要难点在于领域命名实体识别局限性、命名实体表述多样性和歧义性、命名实体的复杂性和开放性;然后介绍了命名实体识别研究的发展进程,从最初的规则和字典方法到传统的统计学习方法再到现在的深度学习方法,不断地将新技术应用到命名实体识别研究中以提高性能;接着系统梳理了当下命名实体识别任务中的若干热门研究点,分别是匮乏资源下的命名实体识别、细粒度命名实体识别、嵌套命名实体识别以及命名实体链接;最后针对评判命名实体识别模型的好坏,总结了常用的若干数据集和实验测评指标,并给出了未来的研究建议。     

基于BiGRU＿CRF模型的医疗领域命名实体识别

本文针对传统的机器学习在进行命名实体识别时,需人工构造规则模板或特征工程等问题,提出一种基于Word2Vec训练的字向量的Bi-GRU-CRF（Bi-directional Gated Recurrent Unit Conditional Random Field）的命名实体识别模型,使用BiGRU对上下文语义依赖进行建模,学习文本特征;CRF对隐含状态建模,学习状态序列,对预测结果进行约束。实验结果表明,在医疗领域数据集的命名实体识别中,基于字向量的模型较基于词向量的模型取得了更好的识别效果,该模型的识别效果较传统深度学习模型有一定的提升。     

基于门控CNN-CRF的中文命名实体识别

在已有的命名实体识别研究的基础上,提出了一种新型的混合神经网络模型——门控CNN-CRF用于命名实体识别.该模型结合了门控线性单元,卷积神经网络,以及条件随机场.作为对比,同时还介绍了其他较为成熟的命名实体识别模型,例如Bi-LSTM-CRF.分别对以上模型在中文数据集上进行了命名实体识别测试.实验表明,所有结果的准确...     

增强实体边界检测的医学命名实体识别

针对中文电子病历报告中专业词汇较多导致的边界识别困难问题,文章提出了一种增强实体边界检测方法来更好地识别医学命名实体,即以实体边界预测为辅助任务,增强模型对实体边界的检测能力,提高模型性能。该文从两个方面增强了实体边界,一是通过在BERT与训练语言模型底层添加自制医学词典,增强模型对词汇边界信息的学习;二是以实体头尾预测作为辅助任务,进一步增强模型对实体边界的识别能力。在1个医学领域的公共数据集上进行了实验,相较于基线模型,F1值得到了1.96%的提升,说明该方法能有效检测实体边界,提升模型性能,验证了该模型的在医学领域的适用性。     

基于条件随机场的维吾尔语音乐实体识别

命名实体识别在自然语言处理实践中具有高度重要的作用,而且也是信息提取等各种自然语言方式的基础工具.本文采用条件随机场模型(Conditional Random Fields,CRF)对维吾尔语音乐实体识别进行初步的探讨.首先维吾尔语网站上收集数据,进行一系列预处理后得到纯文本,然后制定语料标注规则对实体进行人工标注,再利用上下文、关键字、词典等一系列特征进行训练,制定一个适合的模板来进行音乐实体的识别.实验结果证明,此方法在维吾尔语音乐领域不仅可行、而且有效.     

基于规则的维吾尔地名识别

总结了维吾尔地名结构及其特点,并结合维吾尔地名内部结构特征,手动建立了基于新疆维吾尔自治区的地名词典库、首词库、中间词库和特征词库,研究了基于规则的维吾尔语地名识别方法和技术。以包含地名的较大规模维吾尔文本作为测试样本,利用地名内部结构和相邻词信息,通过匹配算法进行了地名识别,并用Visual C＋＋编程工具实现了维吾尔语地名识别算法。最后,给出了实验结果,并分析了出错原因及相应的对策。     

基于层叠条件随机场模型的中文机构名自动识别

中文机构名的自动识别是自然语言处理中的一个比较困难的问题.本文提出了一种新的基于层叠条件随机场模型的中文机构名自动识别算法.该算法在低层条件随机场模型中解决对人名、地名等简单命名实体的识别,将识别结果传递到高层模型,为高层的机构名条件随机场模型实现对复杂机构名的识别提供决策支持.文中为机构名条件随机场模型设计了有效的特征模板和特征自动选择算法.对大规模真实语料的开放测试中,召回率达到90.05%,准确率达到88.12%,性能优于其它中文机构名识别算法.     

基于语谱图提取深度空间注意特征的语音情感识别算法

从语音情感特征的提取和分类建模出发,以混合卷积神经网络模型为基础,改进特征提取中的 Itti模型,包括：增加通过局部二值模式提取的纹理特征;结合听觉敏感度权重提取情感强相关特征。然后提出通过特征约束条件提取标定权重特征的约束挤压和激励网络结构;最后形成以 VGGnet 和长短时记忆网络混合网络为基础的微调模型,进一步提升了情感表征能力。通过在自然情感数据库和柏林德语数据库上进行验证,该模型在情感识别率上有明显的上升,相较于基准模型提升了 8. 43%,同时对比了本模型在自然数据库（FAU-AEC）和柏林数据库（EMO-DB）上的识别效果,实验结果证明模型具有良好的泛化性。     

基于混合神经网络的车牌字符识别技术

车牌识别是智能交通系统的重要组成部分,其关键是车牌字符识别技术。单一的神经网络难以识别模糊的车牌字符,文中提出了一种混合神经网络实现车牌字符识别技术。该混合神经网络结合联想记忆与BP神经网络,对输入的字符进行两次判别,经过训练、特征提取得到检测结果。通过在不同的噪声和不同的角度实验表明,采用混合神经网络具有更高的识别精度。