基于Bert和BiLSTM-CRF的APT攻击实体识别及对齐研究

针对高级可持续威胁（APT）分析报告未被有效利用,缺乏自动化方法生成结构化知识并形成黑客组织特征画像问题,提出一种融合实体识别和实体对齐的APT攻击知识自动抽取方法。首先,结合APT攻击特点设计12种实体类别;其次,构建融合Bert、双向长短期记忆（BiLSTM）网络和条件随机场（CRF）的APT攻击实体识别模型,利用Bert预训练标注语料,BiLSTM学习上下文语义信息,注意力机制突出关键特征,再由CRF识别实体;最后,结合实体对齐方法来生成不同APT组织的结构化知识。实验结果表明,所提方法能有效识别APT攻击实体,其精确率、召回率和F1值分别为0.929 6、0.873 3和0.900 6,均优于现有模型。此外,所提方法能在少量样本标注的情况下自动抽取高级可持续威胁知识,通过实体对齐能生成常见APT组织的结构化特征画像,从而为后续APT攻击知识图谱构建和攻击溯源提供支撑。     

高校教师论文成果数据实体对齐方法的探索与实践

实体对齐是知识图谱的关键技术,通过发现不同数据源中的等价实体,实现异构数据的有效融合与利用。在高校论文统计中,由于教师论文题录信息复杂多样,现有主要依靠教师自行申报的方式很难准确统计。论文统计的核心在于正确进行教师个体的实体对齐。当前实体对齐技术发展迅速,但存在模型实施成本高、缺乏业务场景应用、纠错能力弱等问题。为解决高校论文统计中实体对齐问题,构建一种新的实体对齐模型。该模型考虑高校内部的学术社交关系,实现教师论文题录信息的有效对齐,并建立数据纠错回流机制,以提高论文统计的准确性。本模型具有良好的适用性,可基于高校现有数据资源实现,对完善高校论文统计与评价具有重要意义。     

基于实体集合扩展的旅游领域知识图谱扩展

在旅游领域,互联网的发展催生了海量的信息,可以应用知识图谱组织起来。但对于知识图谱里的知识,需要不断补充现实世界里的知识,以维护知识图谱的完整性。本文利用实体集合扩展的技术,从互联网数据中扩展实体集合,实现对知识图谱的扩展。     

中英命名实体识别及对齐中的中文分词优化

中文分词结果对中英命名实体识别及对齐有着直接的影响,本文提出了一种命名实体识别及对齐中的中文分词优化方法.该方法利用实体词汇的对齐信息,首先修正命名实体识别结果,然后根据实体对齐结果调整分词粒度、修正错误分词.分词优化后的结果使得双语命名实体尽可能多地实现一一对应,进而提高中英命名实体翻译抽取和统计机器翻译的效果.实验结果表明了本文优化方法的有效性.     

融合知识的中文医疗实体识别模型

从医疗文本中抽取知识对构建医疗辅助诊断系统等应用具有重要意义.实体识别是其中的核心步骤.现有的实体识别模型大都是基于标注数据的深度学习模型,非常依赖高质量大规模的标注数据.为了充分利用已有的医疗领域词典和预训练语言模型,本文提出了融合知识的中文医疗实体识别模型.一方面基于领域词典提取领域知识,另一方面,引入预训练语言模型BERT作为通用知识,然后将领域知识和通用知识融入到模型中.此外,本文引入了卷积神经网络来提高模型的上下文建模能力.本文在多个数据集上进行实验,实验结果表明,将知识融合到模型中能够有效提高中文医疗实体识别的效果.     

增强实体边界检测的医学命名实体识别

针对中文电子病历报告中专业词汇较多导致的边界识别困难问题,文章提出了一种增强实体边界检测方法来更好地识别医学命名实体,即以实体边界预测为辅助任务,增强模型对实体边界的检测能力,提高模型性能。该文从两个方面增强了实体边界,一是通过在BERT与训练语言模型底层添加自制医学词典,增强模型对词汇边界信息的学习;二是以实体头尾预测作为辅助任务,进一步增强模型对实体边界的识别能力。在1个医学领域的公共数据集上进行了实验,相较于基线模型,F1值得到了1.96%的提升,说明该方法能有效检测实体边界,提升模型性能,验证了该模型的在医学领域的适用性。     

基于预训练模型的医疗命名实体识别

文中针对生物医学实体识别中存在的边界识别不准确和鲁棒性差的问题,提出了一种融合了预训练语言模型BERT与跨度标签网络的命名实体识别模型。该模型利用BERT获取文本的上下文信息,并结合跨度标签网络进行实体分类及边界判定,显著提升了实体识别的准确性。为增强模型的鲁棒性,引入对抗训练策略,通过迭代训练正常样本与对抗样本,以优化模型参数。基于CCKS2019评测数据集的实验表明,应用对抗训练方法后,其精准率、召回率及F1值均有所提升,验证了对抗训练能对提高模型的预测能力和鲁棒性的有效性。     

基于Tri-Training算法的中文电子病历实体识别研究

半监督学习是一种结合监督学习与无监督学习的学习方法,通过利用未标记数据,提高标记数据所建立模型的效果,目的是减少传统的机器学习任务中对大量标注数据的需求、降低人工成本.在中文电子病历实体识别领域,由于缺少足够的标注数据,且医学文本专业性较强、人工标注成本高,可以利用半监督学习方法,提升少量标注数据的训练效果.本文介绍了中文电子病历实体识别的研究背景和半监督学习的相关研究,并应用改进后的Tri-Training算法,提升中文电子病历实体识别模型的效果.     

基于结构对齐的统计机器翻译模型

从图同构角度给出树同构的性质,并阐述了结构异构与结构对齐之间的关系.在此基础上为建立结构映射关系,以及在翻译过程中融入句法结构信息,提出元结构、互译结构组概念及多层次结构对齐的体系.最后利用对数线性模型,给出基于元结构对齐的统计机器翻译模型.模型的翻译过程中,源语言句法树以元结构为单位进行分解,利用互译结构组映射知识,转换为目标语言句法树结构序列,从而根据结构模型信息对目标语实施调序和译文的生成.实验结果表明,本模型在对于翻译知识的泛化能力和翻译结果方面都优于基于短语的统计机器翻译模型.     

一种基于混合神经网络的命名实体识别与共指消解联合模型

命名实体识别与共指消解均依赖于对实体相邻文本信息的学习,本文提出一种基于混合神经网络的命名实体识别与共指消解联合模型,共用双向长短时记忆模型LSTM编码层对输入序列中每个词前后方向上下文信息进行编码,并通过训练学习得到上下文信息传递到前馈神经网络FFNN模型以提高共指消解精度,通过将领域文档及篇章语义向量加入FFNN,改进共指消解算法并优化共指消解模型.基于领域文本数据集进行联合模型训练,实验结果表明该联合模型可以有效地提高共指消解精度.     

基于改进注意力机制的实体关系抽取方法

实体关系抽取是知识库构建中至关重要的一个环节.在众多的实体关系抽取方法中,远程监督结合神经网络模型的方法在准确率等性能上是比较令人满意的,但远程监督获取的标注语料中往往存在大量的噪声数据,给实体关系抽取模型的训练带来了很大的影响.本文提出一种基于改进注意力机制的卷积神经网络实体关系抽取模型.该模型针对包含同一实体对的句子集合,从中尽可能地找出所有体现该实体对关系的正实例,构建组合句子向量,抛弃可能的噪声句子,从而最大程度地降低噪声句子的影响又能充分利用正实例的语义信息.实验证明,本文提出的关系抽取模型在准确率上优于对比的关系抽取模型.     

基于知识图谱共同邻居排序采样的推荐模型

知识图谱作为辅助信息可以有效缓解传统推荐模型的冷启动问题。但在提取结构化信息时,现有模型都忽略了图谱中实体之间的邻居关系。针对这一问题,该文提出一种基于共同邻居排序采样的知识图谱卷积网络(KGCN-PN)推荐模型,该模型首先基于共同邻居数目对知识图谱中的每个实体邻域进行排序采样;其次利用图卷积神经网络沿着图谱中的关系路径将实体自身信息与接收域信息逐层融合;最后将用户特征向量与融合得到的实体特征向量送入预测函数中预测用户与实体项目交互的概率。实验结果表明该模型在数据稀疏场景下相较其他基线模型性能均获得了相应提升。     

Using spanning graphs for efficient image registration.

We provide a detailed analysis of the use of minimal spanning graphs as an alignment method for registering multimodal images. This yields an efficient graph theoretic algorithm that, for the first time, jointly estimates both an alignment measure and a viable descent direction with respect to a parameterized class of spatial transformations. We also show how prior information about the interimage modality relationship from prealigned image pairs can be incorporated into the graph-based algorithm. A comparison of the graph theoretic alignment measure is provided with more traditional measures based on plug-in entropy estimators. This highlights previously unrecognized similarities between these two registration methods. Our analysis gives additional insight into the tradeoffs the graph-based algorithm is making and how these will manifest themselves in the registration algorithm's performance.     

基于双曲图注意力网络的知识图谱链路预测方法

现有的大多数知识表示学习模型孤立地看待每个知识三元组,未能发现和利用实体周围邻域特征信息,并且将树状层级结构的知识图谱嵌入到欧式空间,会带来嵌入式向量高度失真的问题。为解决上述问题,该文提出了一种基于双曲图注意力网络的知识图谱链路预测方法(HyGAT-LP)。首先将知识图谱嵌入到负常数曲率的双曲空间中,从而更契合知识图谱的树状层级结构;然后在所给实体领域内基于实体和关系两种层面的注意力机制聚合邻域特征信息,将实体嵌入到低维的双曲空间;最后利用得分函数计算每个三元组的得分值,并以此作为判定该三元组成立的依据完成知识图谱上的链路预测任务。实验结果表明,与基准模型相比,所提方法可显著提高知识图谱链路预测性能。     

Matching images based on consistency graph and region adjacency graphs

The image matching methods based on regions have many advantages over the point matching techniques, and the most charming one is that once region being matched, all pixels are matched in theory. It would benefit many applications, such as object retrieval, stereo corresponding, semantic understanding a scene, object tracking. This paper proposes a new region matching algorithm based on consistency graph and region adjacency graphs. Firstly, the segmented images are transformed into region adjacency graphs, and the potential region pairs and the potential edge segment pairs are packaged in a consistency graph. Since the rightly matched pair always is accompanied by harmonious neighbourhoods, the right correspondences tend to cluster together, and the error corresponding relationship should have few chances to connect to any compatible neighbourhood. Thus, the solution space is greatly reduced and the corresponding relationship can be found in a polynomial computational complexity just by a simple method, such as seed-growth method. To the best of our knowledge, the method is the first one to match two images by region adjacency graphs and find the corresponding relationship in a polynomial computational complexity. Experiments on the existing benchmark show that the proposed method could quickly find the right corresponding relationship between images with illumination, rotation and affine transformation.     

基于双词主题模型的半监督实体消歧方法研究

针对实体上下文信息主题漂移的问题,提出一种基于双词主题模型的实体消歧方法.方法考虑到实体在一定语义环境下具有不同的主题,且在同一文档中同时出现的其他实体在一定程度上能够帮助待消歧实体确定所指代内容,利用命名实体构建双词的思想,将协同实体关系融合到主题模型中,并在此基础上利用维基百科知识库,进行半监督消歧.本文最后在网络文本数据上进行了相关的实验,验证了所提算法的有效性.实验表明该方法有效的提高了实体消歧精度.     

A Novel Dual Pointer Approach for Entity Mention Extraction

The named entity extraction task aims to extract entity mentions from the unstructured text, including names of people, places, institutions and so on. It plays an important role in many Natural language processing (NLP) tasks, such as knowledge bases construction, automatic question answering system and information extraction. Most of the existing entity extraction studies are based on the long text data, which are easier to annotate due to the sufficient contextual information. Extracting entities from short texts such as search queries, conversations is still a challenging task. This paper proposes a dual pointer approach for entity mention extraction, it extracts one entities by two position pointers of the input sentence. The end-to-end deep neural networks model based on the proposed approach can extract the entities by serially generating the dual pointers. The evaluation results on the Chinese public dataset show that the model achieves the state-of-the-art results over the baseline models.