基于实体对注意力机制的实体关系联合抽取模型

实体关系抽取是实现海量文本数据知识化、自动构建大规模知识图谱的关键技术。考虑到头尾实体信息对关系抽取有重要影响,该文采用注意力机制将实体对信息融合到关系抽取过程中,提出了基于实体对注意力机制的实体关系联合抽取模型(EPSA)。首先,使用双向长短时记忆网络(Bi-LSTM)结合条件随机场(CRF)完成实体的识别;其次,将抽取的实体配对,信息融合成统一的嵌入式表示形式,用于计算句子中各词的注意力值;然后,使用基于实体对注意力机制的句子编码模块得到句子表示,再利用显式融合实体对的信息得到增强型句子表示;最后,通过分类方式完成实体关系的抽取。在公开数据集NYT和WebNLG上对提出的EPSA模型进行评估,实现结果表明,与目前主流联合抽取模型相比,EPSA模型在F₁值上均得到提升,分别达到84.5%和88.5%,并解决了单一实体重叠问题。     

融合自注意力和实体类型知识的实体关系联合抽取模型

从非结构化文本中抽取实体关系三元组是自然语言处理中的主要任务形式之一。目前主流的方法是采用联合式抽取,能够在训练过程中自动捕捉到实体与关系间的依赖知识,提高了实体和关系的抽取效果。但这些方法忽略了实体的类型知识,导致大量的冗余计算和错误结果的产生。鉴于此,文中提出一种融合注意力和实体类型知识的实体关系联合抽取方法。首先,采用预训练模型BERT作为编码器得到句子中各字符的向量表示,再经双向LSTM层处理得到最终的语义表示;其次,基于表示层的结果完成头、尾实体的识别;接着,通过融合不同头实体的语义信息到句子表示中,实现头实体类型约束下的潜在语义关系发现;最后,将头实体和关系分别输入自注意力模块识别出对应尾实体,得到实体关系三元组。通过在公开数据集NYT和WebNLG上的大量实验表明：文中所提模型在实体关系联合抽取任务中的F1值达到了93.2%和93.3%,与当前主流模型相比提升显著。     

面向武器装备领域的实体及关系抽取方法研究

实体及关系抽取是实现海量数据知识化的关键,而现有实体及关系抽取方法应用于垂直领域时,表现出的效果很难达到实装应用水平。针对武器装备领域,文中在分析该领域文本数据特征的基础上,提出基于预训练模型与规则知识结合的武器装备实体及关系抽取方法,由实体抽取和关系抽取两个阶段组成。在实体抽取阶段,首先,利用BERT+BiLSTM+CRF模型完成武器装备实体的识别;然后,通过规则知识对领域性实体补充抽取。在关系抽取阶段,首先,利用BERT+BiGRU+CNN模型抽取武器装备实体间关系;然后,经过滤调模块对实体间关系抽取结果过滤和调整;最后,设计强领域性的关系抽取规则,用于实体间关系的补充抽取。在仿真数据集上对本文方法评测,结果表明在实体识别和关系抽取上的F1值分别为96.4%和95.1%,与基线相比均提升了约10%。同时,文中提出的实体及关系抽取方法可作为一种通用解决方案,推广至其他垂直领域。     

SparkCRF：一种基于Spark的并行CRFs算法实现

条件随机场(condition random fields, CRFs)可用于解决各种文本分析问题,如自然语言处理(natural language processing, NLP)中的序列标记、中文分词、命名实体识别、实体间关系抽取等.传统的运行在单节点上的条件随机场在处理大规模文本时,面临一系列挑战.一方面,个人计算机遇到处理的瓶颈从而难以胜任;另一方面,服务器执行效率较低.而通过升级服务器的硬件配置来提高其计算能力的方法,在处理大规模的文本分析任务时,终究不能从根本上解决问题.为此,采用“分而治之”的思想,基于Apache Spark的大数据处理框架设计并实现了运行在集群环境下的分布式CRFs——SparkCRF.实验表明,SparkCRF在文本分析任务中,具有高效的计算能力和较好的扩展性,并且具有与传统的单节点CRF++相同水平的准确率.