基于网格LSTM混合算法的地质领域用户意图识别

针对传统基于模板匹配、关键词共现、人工特征集合等方法的问答机器人存在用户意图识别耗时、费力且扩展性不强的问题,本文结合地质领域文献中结构化知识问答的复杂特点,使用了基于网格记忆网络（LSTM+CRF+Lattice）与基于卷积神经网络（CNN）融合的优化模型.该模型将用户询问意图识别看作分类问题,首先使用网格记忆网络进行文本信息的命名实体识别及关系抽取,然后使用卷积神经网络将用户输入的其他文本信息进行属性分类,接着将分类结果转化为满足知识图谱查询的结构化方式,最终实现地质知识属性映射的用户询问意图识别.实验证明,在考虑地质知识特征的处理中,对于准确率的提升起到了极大帮助.     

BERT辅助金融领域人物关系图谱构建

现有的人员简历信息抽取方法无法针对金融公告中非结构化人员简历进行人员属性以及事件的抽取,无法发现金融公告中跨文档的人员之间关系。针对以上问题,将非结构化的人员简历抽取成结构化的人员信息模板,提出一种金融领域人物关系图谱构建方法。通过对BERT预训练语言模型进行训练,抽取出非结构化人员简历文本中的人员属性实体,利用训练好的BERT预训练模型获取事件实例向量,对事件实例向量进行准确的分类,填充层次化的人员信息模板,准确地关联人员属性。进一步地,通过填充好的人员信息模板,提取人员关系,构建人物关系图谱。通过构建人工标注的数据集,进行实验验证。实验表明所提出的方法可以有效解决非结构化金融人员简历文本信息提取问题,有效地构建金融领域人物关系图谱。     

基于 Deep Belief Nets 的中文名实体关系抽取

关系抽取是信息抽取的一项子任务,用以识别文本中实体之间的语义关系.提出一种利用DBN(deepbelief nets)模型进行基于特征的实体关系抽取方法,该模型是由多层无监督的RBM(restricted Boltzmann machine)网络和一层有监督的BP(back-propagation)网络组成的神经网络分类器.RBM网络以确保特征向量映射达到最优,最后一层BP网络分类RBM网络的输出特征向量,从而训练实体关系分类器.在ACE04语料上进行的相关测试,一方面证明了字特征比词特征更适用于中文关系抽取任务;另一方面设计了3组不同的实验,分别使用正确的实体类别信息、通过实体类型分类器得到实体类型信息和不使用实体类型信息,用以比较实体类型信息对关系抽取效果的影响.实验结果表明,DBN非常适用于基于高维空间特征的信息抽取任务,获得的效果比SVM和反向传播网络更好.     

面向法律文本的三元组抽取模型

在中国裁判文书网上的开源刑事判决文档中蕴藏着重要的法律信息,但刑事判决书文档通常以自然语言的形式进行记录,而机器难以直接理解文档中的内容。为使由自然语言记录的非结构化刑事判决书文本转化为结构化三元组形式,构建一种面向法律文本的司法三元组抽取模型。将三元组抽取过程看作二阶段流水线结构,利用预训练的基于Transformer的双向编码器表示模型先进行命名实体识别,再将识别结果应用于关系抽取阶段得到相应的三元组表示,从而实现对非结构化刑事判决书文本的信息提取。实验结果表明,在经过人工标注的刑事判决书数据集上,该模型相比基于循环神经网络的组合模型的F1值提高了28.1个百分点,具有更优的三元组抽取性能。     

宠物知识图谱的半自动化构建方法

提出一种宠物知识图谱的构建框架。通过自顶向下的方式设计并构建了schema（概念）层,从半结构化和非结构化数据中进行知识抽取构建了数据层。在对非结构化数据的实体抽取方面,提出了一种条件随机场（CRF）与宠物症状词典相结合的症状命名实体识别方法。该方法利用症状词典对文本进行识别,获取语义类别信息,CRF结合语义信息实现对症状实体的识别抽取。实验结果表明了该方法的有效性。在知识表示方面,选用OrientDB数据库支持的属性图模型来表示。知识图谱采用OrientDB图数据库来完成知识的存储,并实例展示了构建的宠物知识图谱。     

利用提示调优实现两阶段模型复用的关系实体抽取方法

关系实体抽取旨在从非结构化文本中识别命名实体并抽取实体间语义关系,现有的两阶段关系实体抽取方法存在模型无法复用、调优参数量大等问题,不便于工程实现。利用提示调优对已有方法进行改进,提出两阶段模型复用的关系实体抽取方法REPT（a model-reused method of two-staged relations and entities extraction with prompt tuning）。首先微调预训练语言模型进行关系分类,而后利用提示调优并复用前一阶段微调的预训练语言模型抽取实体。实验结果表明,该方法在调优参数只占基线模型约50%的情况下,达到与SOTA模型相媲美的性能。     

机场不正常事件实体检测与识别方法研究

民航安全自愿报告系统收集的海量故障报告以非结构化文本形式存储,不便于相关人员针对大量不正常事件加以分析并采取控制措施；命名实体识别技术可以将海量非结构化文本中的关键要素进行检测和识别,抽取成类别分明的结构化信息,作为进一步分析不正常事件并加以控制的基础工作；将机场不正常事件报告作为研究对象,提出了一种基于神经网络的中文命名实体识别模型,对文本进行了结构化处理；针对随机选用的训练样本一些实体类别分布比较稀疏和人工标注费时费力的问题,提出了基于模型预测分数的样本选择策略,实现了预标注样本的高效筛选；经过实验验证,该模型与BiLSTM_CRF模型、BiLSTM_self-attention_CRF模型相比F1值均提高了约6个百分点,该样本选择策略明显提高了人工标注效率,筛选出足够多的含有稀疏实体的样本。     

结合全局特征的命名实体属性值抽取

关注非结构化文本中命名实体属性值的抽取问题.当前主流有监督属性值抽取方法仅使用局部特征,抽取效果有限,开展了利用文本全局特征改善属性值抽取的研究.通过适用于中文属性值抽取的全局特征,用局部特征以外的有价值信息提高抽取效果.据此,提出结合全局特征的感知机学习算法,该算法能够方便地融合文本全局特征,并将全局特征和局部特征统一结合到模型学习过程中,使模型具有更好的特征表示能力.实验结果表明,所提出方法的整体抽取效果高于仅使用局部特征的CRF模型和平均感知机模型.该方法适用于开放领域的属性值获取,具有较好的泛化能力.     

融合多特征的基于远程监督的中文领域实体关系抽取

针对从未标记的文本中抽取中文领域实体关系的问题,文中提出基于远程监督的领域实体属性关系抽取的混合方法,利用知识库中已有结构化的关系三元组,从自然语言文本中自动获取训练语料.针对远程监督方法标注数据存在大量噪声的问题,采用隐含狄利克雷分布主题模型抽取主题关键词,再与关系类型进行相似度计算和对关键词模式匹配进行去噪.最后提取词性特征、依存关系特征和短语句法树特征,并进行融合,训练关系抽取模型.实验表明,3种特征融合的F值较高,抽取性能较好.     

煤矿巷道支护领域知识图谱构建

针对煤矿巷道支护专家系统知识内容有限、知识难以融合共享、无法从非结构化数据中挖掘相关知识等问题,构建了煤矿巷道支护领域知识图谱。首先通过设计领域概念、关系及属性对煤矿巷道支护领域知识建模;然后从煤矿巷道支护领域结构化、半结构化、非结构化数据源获取知识,并基于深度学习模型BILSTM-CRF进行实体识别;最后利用图数据库Neo4j存储煤矿巷道支护领域知识,形成煤矿巷道支护领域知识图谱。煤矿巷道支护领域知识图谱可进一步提升煤矿巷道支护设计和管理效率,为煤矿巷道支护智能化管理提供知识支持。     

基于膨胀卷积迭代与注意力机制的实体名识别方法

针对传统实体名识别方法无法兼顾文本序列提取特征的有效性和神经网络模型训练速度的问题,提出一种基于迭代膨胀卷积神经网络(IDCNN)与注意力机制(ATT)的实体名识别方法。IDCNN可利用GPU并行计算的优化能力,保留长短期记忆神经网络的特性,即用简单的结构记录尽可能多的输入信息,并在准确提取文本序列特征的同时加快神经网络模型的训练速度。通过引入ATT运用文本语法信息和单词词性信息,从众多文本特征中选择对实体名识别更关键的特征,从而提高文本特征提取的准确性。在新闻数据集和微博数据集上的实验结果表明,神经网络模型的训练速度比传统的双向长短期记忆神经网络有显著提升,基于注意力的实体名识别方法的评价指标比传统的无注意力机制方法提高2%左右。     

人身保险知识图谱的构建与应用

辅助投保人了解保险产品的条款是保险应用关注的热点问题之一, 借助知识图谱技术辅助人身保险业务开展是一种可行的方法. 本文首先从多源数据中提取并构建人身保险知识图谱LIKG. 具体而言, 构建BERT-IDCNN-BiLSTM-CRF模型提取非结构化文本数据的实体, 通过多种短文本相似度算法以及集成排序算法完成实体对齐; 设计并使用Bootstrapping和分类预测两阶段抽取方法对保险产品进行属性填充. 然后, 根据构建的LIKG, 设计开发原型系统, 该系统使用实体抽取和属性抽取算法提供知识获取功能、设计CF-IIF指标提供属性推荐功能以及实现可视化界面帮助用户快速掌握人身保险产品的信息, 展示LIKG的应用价值.     

基于BP神经网络的说话人识别技术的实现

说话人识别就是从说话人的一段语音中提取出说话人的个性特征,通过对这些个人特征的分析和识别,从而达到对说话人进行辨认或者确认的目的。神经网络是一种基于非线性理论的分布式并行处理网络模型,具有很强的模式分类能力及对不完全信息的鲁棒性,为说话人识别技术提供了一种独特的方法。BP（Back-propagation Neural Network）是一种非循环多级网络训练算法,有输入层,输出层和N个隐含层组成。首先概述了语音识别技术,介绍了BP神经网络训练过程的7个步骤及其模型,如何建立BP神经网络模型。同时介绍了与其相关的特征参数的提取,神经网络的训练和识别过程,最后,通过编程在Linux系统下实现说话人身份的识别。     

GA-BP神经网络在下肢运动步态识别中的应用研究

为了提高下肢表面肌电信号步态识别的准确性,提出了一种基于遗传算法（GA）优化的BP神经网络分类器设计方法。首先,对采集的下肢表面肌电信号进行小波滤波及特征值提取,其次,构造基于GA优化的BP神经网络分类器,然后,以提取的表面肌电信号特征作为输入对分类器进行训练,最后利用训练好的分类器进行测试。实验结果表明,基于GA优化的BP神经网络分类器能成功识别下肢正常行走的五个步态,平均识别率达到98%以上,效果明显优于BP神经网络分类器的识别效果。     

基于BP神经网络的Deep Web实体识别方法

针对现有实体识别方法自动化水平不高、适应性差等不足,提出一种基于反向传播(BP)神经网络的Deep Web实体识别方法。该方法将实体分块后利用反向传播神经网络的自主学习特性,将语义块相似度值作为反向传播神经网络的输入,通过训练得到正确的实体识别模型,从而实现对异构数据源的自动化实体识别。实验结果表明,所提方法的应用不仅能够减少实体识别中的人工干预,而且能够提高实体识别的效率和准确率。     

基于深度学习的步态识别算法优化研究

基于深度学习的神经网络,对步态识别算法进行了优化研究。利用粒子群优化BP神经网络阈值、权值,在神经网络中代入优化后的初始值进行训练,避免陷入局部最优。通过Vicon MX系统对角度特征值进行采集,利用基于粒子群优化BP神经网络进行识别,验证其识别步态的可行性;筛选出传感器系统特征值,在对其优化改进时选取粒子群优化BP神经网络。与传统神经网络法、粒子群优化法相比,基于粒子群优化BP神经网络法的识别方式,识别时间短且识别率高。     

Robust graph neural network method for target entity type recognition in a battlefield environment北大核心CSCD

With the rise of new combat styles, such as information and algorithmic warfare, target entity recognition in battlefield data analysis plays an important role in decision making. Battlefield situation data are typical battlefield data containing many dynamic entities with close interactions. However, such data often contain strong noise due to hostile interference or concealment; hence, they require higher robustness than general time-series data. This paper proposes a new method based on graph neural networks to represent and process the unstructured data and mine the category information of hostile combat entities. First, the dynamic time warping algorithm was used to establish a new graph structure between combat entities based on their trajectory. Then, a robust graph neural network method was proposed and applied for the type identification of combat entities beyond the radar identification range according to the node attribute information of combat entities. Test results on the simulation data set obtained from the military simulation platform reveal that the proposed method maximizes the temporal characteristics of the entity data and associated attribute information of each node. Compared with the graph neural network and multilayer perceptron methods that rely on singletime relation, the proposed method has advantages in identification accuracy and robustness, expanding the radius of operational entity identification to a certain extent. © 2023, Editorial Department of CAAI Transactions on Intelligent Systems. All rights reserved.     

基于深度学习的中文生物医学实体关系抽取系统

在生物医学文本挖掘领域,生物医学的命名实体和关系抽取具有重要意义.然而目前中文生物医学实体关系标注语料十分稀缺,这给中文生物医学领域的信息抽取任务带来许多挑战.该文基于深度学习技术搭建了中文生物医学实体关系抽取系统.首先利用公开的英文生物医学标注语料,结合翻译技术和人工标注方法构建了中文生物医学实体关系语料.然后在结合...     

利用单形进化优化的BP神经网络学习算法

在BP神经网络训练算法中,针对权值的优化学习容易陷入局部极值点、收敛速度慢等问题,很多研究引入智能优化算法对其进行改进,但传统的智能优化算法通常有多个控制参数,若不能正确选取参数,或者没有适当选择初始点位置,则很难搜索到最优的神经网络权值。为了解决这些问题,提出一种基于单形进化的BP神经网络学习算法,它通过全随机搜索减少算法的控制参数,利用群体的多角色态保持粒子的多样性,避免算法陷入局部的极值点,减少了对初始值的依赖。在应用中,将该算法应用于神经网络的训练算法中,通过对UCI数据集和人脸图像的测试,实验结果表明,上校算法训练的神经网络有效提高了识别率与训练效率。     

一种轻量化中文指路标志的文本识别算法

针对中文交通指路标志中多方向、多角度的文本提取与识别困难的问题,提出了一种融合了卷积神经网络与传统机器学习方法的轻量化中文交通指路标志文本提取与识别算法。首先,对YOLOv5l目标检测网络进行轻量改进,提出了YOLOv5t网络用以提取指路标志牌中的文本区域;然后,结合投影直方图法与多项式拟合法的M-split算法,对提取到的文本区域进行字符分割;最后,使用MobileNetV3轻量化网络对文本进行识别。提出的算法在自制数据集TS-Detect上进行近景文本识别,精度达到了901%,检测速度达到了40 fps,且权重文件大小仅有24.45 MB。实验结果表明,提出的算法具有轻量化、高精度的特性,能够完成复杂拍摄条件下的实时中文指路标志文本提取与识别任务。