融合自注意力和实体类型知识的实体关系联合抽取模型

从非结构化文本中抽取实体关系三元组是自然语言处理中的主要任务形式之一。目前主流的方法是采用联合式抽取,能够在训练过程中自动捕捉到实体与关系间的依赖知识,提高了实体和关系的抽取效果。但这些方法忽略了实体的类型知识,导致大量的冗余计算和错误结果的产生。鉴于此,文中提出一种融合注意力和实体类型知识的实体关系联合抽取方法。首先,采用预训练模型BERT作为编码器得到句子中各字符的向量表示,再经双向LSTM层处理得到最终的语义表示;其次,基于表示层的结果完成头、尾实体的识别;接着,通过融合不同头实体的语义信息到句子表示中,实现头实体类型约束下的潜在语义关系发现;最后,将头实体和关系分别输入自注意力模块识别出对应尾实体,得到实体关系三元组。通过在公开数据集NYT和WebNLG上的大量实验表明：文中所提模型在实体关系联合抽取任务中的F1值达到了93.2%和93.3%,与当前主流模型相比提升显著。     

复杂交通环境下多层交叉融合多目标检测

针对目前复杂交通环境下还存在多目标检测精度和速度不高等问题,以特征金字塔网络(Feature Pyramid Network, FPN)为基础,提出了一种多层融合多目标检测与识别算法,以提高目标检测精度和网络泛化能力。首先,采用ResNet101的五层架构将空间分辨率上采样2倍构建自上而下的特征图,按照元素相加的方式将上采样图和自下而上的特征图合并,并构建一个融合高层语义信息与低层几何信息的特征层;然后,根据BBox回归存在训练样本不平衡问题,选择Efficient IOU Loss损失函数并结合Focal Loss提出一种改进Focal EIOU Loss;最后,充分考虑复杂交通环境下的实际情况,进行人工标注混合数据集进行训练。该模型在KITTI测试集上的平均检测精度和速度比FPN分别提升了2.4%和5 frame/s,在Cityscale测试集上平均检测精度和速度比FPN提升了1.9%和4 frame/s。     

基于SSD-MobileNetv2和FPN的人脸检测

随着人工智能技术的不断发展，人脸检测与识别技术以其广泛的应用性成为学术研究的重点。提出了SSD-MobileNetv2-FPN人脸检测模型，首先用轻量级的MobileNetv2代替SSD中的VGG-16主干网络，减少模型训练参数以提高模型的检测速度，然后引入FPN网络提取多尺度特征信息使得模型更利于小目标人脸的检测，增加检测精度。最后引入Focal loss损失函数解决模型在训练过程中出现前景和背景类分布不平衡问题，提高模型性能。实验表明上述模型在Pascal Voc 2012人脸部分数据集中准确率为92.5%，且处理速度快，满足实时需求。     

面向新闻领域的中文实体关系抽取

随着互联网技术的快速发展,人们能够及时地获取大量的新闻文本信息,如何从新闻中自动获取关键信息,把新闻中具有价值的信息转化为结构化数据,从而快速有效地获取有用的知识已是迫切需求.实体关系抽取是获取关键信息的方法之一,但目前关于中文的实体关系抽取工作较少.针对基于长短时记忆网络的中文实体识别模型难于提取长距离的依存关系特征和句法特征问题,提出利用双向树形长短时记忆神经网络提取依存句法树的结构特征.在提取的特征的基础上,使用条件随机场判断实体的类别和边界,并在实体识别模型中加入注意力机制提高模型的性能.在《人民日报》数据集和ACE 2005语料库上训练模型,验证了模型的有效性.     

基于Bert和BiLSTM-CRF的APT攻击实体识别及对齐研究

针对高级可持续威胁（APT）分析报告未被有效利用,缺乏自动化方法生成结构化知识并形成黑客组织特征画像问题,提出一种融合实体识别和实体对齐的APT攻击知识自动抽取方法。首先,结合APT攻击特点设计12种实体类别;其次,构建融合Bert、双向长短期记忆（BiLSTM）网络和条件随机场（CRF）的APT攻击实体识别模型,利用Bert预训练标注语料,BiLSTM学习上下文语义信息,注意力机制突出关键特征,再由CRF识别实体;最后,结合实体对齐方法来生成不同APT组织的结构化知识。实验结果表明,所提方法能有效识别APT攻击实体,其精确率、召回率和F1值分别为0.929 6、0.873 3和0.900 6,均优于现有模型。此外,所提方法能在少量样本标注的情况下自动抽取高级可持续威胁知识,通过实体对齐能生成常见APT组织的结构化特征画像,从而为后续APT攻击知识图谱构建和攻击溯源提供支撑。     

数据集类别不平衡性对迁移学习的影响分析

数据集类别不平衡性是机器学习领域的常见问题,对迁移学习也不例外。本文针对迁移学习下数据集类别不平衡性的影响研究不足的问题,重点研究了以下几种不平衡性处理方法对迁移学习的影响效果分析:过采样、欠采样、加权随机采样、加权交叉熵损失函数、Focal Loss函数和基于元学习的L2RW（Learning to Reweight）算法。其中,前三种方法通过随机采样消除数据集的不平衡性,加权交叉熵损失函数和Focal Loss函数通过调整传统分类算法的损失函数以适应不平衡数据集的训练,L2RW算法则采用元学习机制动态调整样本权重以实现更好的泛化能力。大量实验结果表明,在上述各种不平衡性处理方法中,过采样处理和加权随机采样处理更适合迁移学习。      

改进的DeepLabv3+人脸口罩分割方法

在进行口罩遮挡人脸图像修复时,往往需要进行人脸口罩的分割,分割的结果将会对后续的修复工作产生较大的影响。因此,为了更好地实现分割,通过改进图像分割网络DeepLabv3+,提出了一种针对人脸口罩分割的网络模型。将原始DeepLabv3+网络中的主干特征提取网络替换为轻量级网络MobileNetV2,减少模型的参数量,提升模型分割速度;采用密集连接方式将原始空洞空间金字塔池化(Atrous Spatial Pyramid Pooling, ASPP)模块中的不同特征层进行特征融合,并引入CBAM注意力机制,增强模型特征表达能力。为了使模型能够准确分割出不同形状、大小和颜色的口罩,在损失函数中引入焦点损失(Focal Loss)进行模型训练,以缓解不同类别口罩在训练样本上的不均衡问题。通过在PASCLA VOC公共数据集和自建口罩数据集上进行实验。结果表明,改进后的模型相比基准模型在模型参数、分割时间以及分割精度上取得较好的平衡。     

基于双路分段注意力神经张量网络的临床文本关系抽取

目前，生物医学领域的关系提取工作已经取得了长足的发展，但是在面对句式复杂的临床医学文本时，由于存在大量长句以及句中实体对的高密度分布，限制了当前关系抽取模型性能的进一步提升.本文提出了一种基于张量权重矩阵的双向门控循环单元网络（Tensor-based Bidirectional Gated Recurrent Unit, Tensor-BiGRU）和分段注意力机制的关系抽取模型，基于张量权重矩阵改进BiGRU网络的编码方式，提升神经网络捕获底层特征的能力，而后提出了两种分段注意力机制，以提高模型捕获长句特征的性能.此外，当句子中有多个实体对时，引入实体对的语义信息特征来克服模型的性能下降.本文进一步提出一种权重自适应的交叉熵损失函数，用于提升模型面对数据集中不同关系类别的样本分布不平衡问题的泛化性.实验结果表明，在不依赖任何特征工程和高性能运算环境的情况下，本文模型在2010 i2b2/VA临床关系抽取数据集上实现了先进的性能.     

基于深度学习的电力安全作业实体识别方法

针对电力现场作业、设备使用安全等大量文本采用非结构化的形式制定、存储,信息自动挖掘难以实现的问题,提出一种融合注意力机制与ALBERT-BiGRU-CRF的方法.首先将ALBERT作为文本的字向量语义编码层,其次多头注意力机制融合到BiGRU网络模型中作为字符实体信息标签预测层,最终CRF作为全局标签优化层.该方法能够准确捕获专业领域字符间的依赖权重、语境、上下文语义关联等全方位特征.电力安全作业文本实体识别实验结果表明,融合注意力机制与深度学习识别方法比目前常用的算法模型识别F1值高3.05％～11.62％,具有较高准确率,识别效果较好.     

一种改进的Focal Loss在语义分割上的应用

传统基于深度学习的语义分割方法使用的损失函数为交叉熵,而交叉熵并不能解决训练数据中的样本非均衡性问题。语义分割任务属于像素级分类,样本的非均衡性问题在其中体现得十分突出。文章提出了一种改进的Focal Loss作为损失函数来自动解决训练样本的非均衡性。该损失函数等同于在标准交叉熵上加上一个权重,该权重能够自动增加困难样本的交叉熵损失值,同时保持简单样本的交叉熵损失值。将Focal Loss作为DeepLabv3+的损失函数,并将DeepLabv3+的Backbone替换为ResNet-18,再使用Cityscapes数据集作为训练样本,分别使用交叉熵和Focal Loss作为损失函数来对模型进行训练。实验结果表明,改进的Focal Loss损失函数相比于交叉熵获得的语义分割精度更高,且能够有效缓解训练样本的非均衡性问题。     

基于改进YOLOv4的无人机影像路面病害检测方法

针对无人机影像下由于目标特征融合不充分导致的路面病害检测精度较低、检测模型较大,导致无法将其迁移到移动端运行,以及现有无人机路面病害检测数据集数量小且样本不均衡等问题,在YOLOv4模型的基础上做了以下改进：采用深度可分离卷积(DC)作为YOLOv4中卷积方式以减少模型计算的参数量;为了更好地利用各通道之间的有效信息引入了Squeeze-and-Excitation(SE)模块,按照每个通道的重要性分配不同的权重,有效利用通道间的信息;通过引入自适应空间特征融合(Adaptively Spatial Feature Fusian, ASFF)模块,充分学习高低层之间的特征信息,自适应地学习各尺度特征映射融合的空间权重,解决由于YOLOv4中特征金字塔网络(Feature Pyramid Network, FPN)和路径聚合网络(Path Aggregation Network, PANet)特征融合不充分问题;使用Focal Loss损失函数进行训练,解决了现有无人机路面病害检测数据集各种样本之间类别不均衡造成的部分检测结果精度较低的问题;通过自制数据集以及现场实验对所提方法进行验证。...     

融合混合嵌入与关系标签嵌入的三元组联合抽取方法

三元组抽取的目的是从非结构化的文本中获取实体与实体间的关系，并应用于下游任务。嵌入机制对三元组抽取模型的性能有很大影响，嵌入向量应包含与关系抽取任务密切相关的丰富语义信息。在中文数据集中，字词之间包含的信息有很大区别，为了改进由分词错误产生的语义信息丢失问题，设计了融合混合嵌入与关系标签嵌入的三元组联合抽取方法（HEPA），提出了采用字嵌入与词嵌入结合的混合嵌入方法，降低由分词错误产生的误差；在实体抽取层中添加关系标签嵌入机制，融合文本与关系标签，利用注意力机制来区分句子中实体与不同关系标签的相关性，由此提高匹配精度；采用指针标注的方法匹配实体，提高了对关系重叠三元组的抽取效果。在公开的Du IE数据集上进行了对比实验，相较于表现最好的基线模型（Cas Rel）,HEPA的F1值提升了2.8%。     

基于BERT的非招标采购实体关系抽取研究

提出了一种基于BERT的实体长度感知的实体关系抽取模型IL-BERT,该模型在经过BERT方法提取的实体特征向量上引入实体长度信息,以增强实体特征的表示能力。分别在公共数据集和非招标采购领域数据集上进行试验,结果表明,提出模型的数值均优于基线模型。     

面向红色文化的命名实体识别研究

针对通用领域的命名实体识别(Named Entity Recognition, NER)模型在红色文化的实体识别中难以完整准确地进行实体划分的问题，提出了一种基于双向长短期记忆(Bi-directional Long Short-Term Memory, BiLSTM)网络模型结合词汇增强和注意力机制方法的改进算法红色学习双向长短期记忆(Red Learing BiLSTM,RLBiLSTM)网络，用于红色文化的NER。对红色文化数据集中的重要词汇进行数据处理，构建一个包含红色文化特征的词表，将词表信息与BERT底层信息进行融合。使用BiLSTM网络和注意力机制考虑上下文和全局信息，并利用条件随机场进行实体识别。实验表明，将改进的算法应用于RedCulture-1数据集上取得了较好的识别效果，和传统的算法相比具有更高的准确率，有利于解决红色文化的实体识别问题。     

一种面向Deep Web数据源的重复记录识别模型

重复记录是指描述现实世界中同一实体的不同的记录信息。由于从同一个领域的不同Deep Web数据源中抽取的记录信息通常存在许多重复记录,本文针对半结构化的重复记录的识别进行研究。在已知全局模式和全局模式与各Deep Web数据源查询接口映射关系的基础上,提出了一种重复记录识别模型。 基于从Deep Web中抽取出的半结构化的数据,采用查询探测方法确定所抽取数据所匹配的属性,通过分析抽取的实例数据确定属性重要度,结合多种相似度估算器和多种算法计算记录间的相似度,进而识别重复记录。实验表明,该重复记录识别模型在Deep Web环境下是可行且有效的。     

基于改进注意力机制的实体关系抽取方法

实体关系抽取是知识库构建中至关重要的一个环节.在众多的实体关系抽取方法中,远程监督结合神经网络模型的方法在准确率等性能上是比较令人满意的,但远程监督获取的标注语料中往往存在大量的噪声数据,给实体关系抽取模型的训练带来了很大的影响.本文提出一种基于改进注意力机制的卷积神经网络实体关系抽取模型.该模型针对包含同一实体对的句子集合,从中尽可能地找出所有体现该实体对关系的正实例,构建组合句子向量,抛弃可能的噪声句子,从而最大程度地降低噪声句子的影响又能充分利用正实例的语义信息.实验证明,本文提出的关系抽取模型在准确率上优于对比的关系抽取模型.     

基于网络全流量分析技术的异常威胁检测研究

网络安全防护形势下,面对0day漏洞、木马病毒等的隐蔽信道传输攻击,通过基于网络全流量的异常检测技术,建立起异常流量行为模型,对某一攻击链的网络异常流量、威胁情报等数据信息进行获取,分类统计异常时间点的信息熵、特征项集,检测与分析不同时间的采样点流量特征、异常流量特征的攻击链模式,还原网络异常威胁的攻击过程,来有效完成异常流量、威胁情报的提取与检测。     

基于注意力机制的毫米波雷达和视觉融合目标检测算法

传统目标检测大多基于摄像头采集图像进行,虽然近些年出现了许多优秀的检测网络,但在复杂场景下,仍存在大量漏检、误检等问题。针对这些问题,提出了一种基于注意力机制的毫米波雷达和视觉融合目标检测算法。首先将毫米波雷达数据进行扇形点云柱编码（Fan-shaped Cloud Pillar Code,FCPC）,将其转换为前景伪图像;然后,再将其通过坐标关系映射到像素平面,使用卷积注意力模块（Convolutional Block Attention Module,CBAM）对两者特征数据进行融合;采用Yolov4-tiny对融合特征进行检测,并引入Focal Loss对原损失函数进行改进以解决正负样本不均的问题。在Nuscenes数据集上进行模型验证与对比,结果表明,该算法在复杂场景下相比其他单传感器检测算法如Yolov3、Efficientent以及Faster-RCNN等,无论平均检测精度(mean Average Precision,mAP) 还是每秒检测帧数(Frames Per Second,FPS)都有明显的提升。     

基于改进YOLOv8的无人机航拍图像目标检测算法

针对现存无人机航拍图像目标检测算法检测精度较低、模型较为复杂的问题,提出一种改进YOLOv8的目标检测算法。在骨干网络引入多尺度注意力EMA,捕捉细节信息,以提高模型的特征提取能力;改进C2f模块,减小模型的计算量。提出了轻量级的Bi-YOLOv8特征金字塔网络结构改进YOLOv8的颈部,增强了模型多尺度特征融合能力,改善网络对小目标的检测精度。使用WIoU Loss优化原网络损失函数,引入一种动态非单调聚焦机制,提高模型的泛化能力。在无人机航拍数据集VisDrone2019上的实验表明,提出算法的mAP50为40.7%,较YOLOv8s提升了1.5%,参数量降低了42%,同时相比于其他先进的目标检测算法在精度和速度上均有提升,证明了改进算法的有效性和先进性。     

基于生成对抗网络技术的医疗仿真数据生成方法

对结构化电子健康档案中行的概率分布进行建模并生成仿真数据非常困难，因为表格数据通常包含定类列，传统编码方式可能产生特征维数灾难的问题，从而使建模异常困难。针对这一问题，提出利用庞加莱球模型建模医疗分类特征的层级结构，并采用高斯耦合的生成对抗网络技术合成结构化的电子健康档案。实验表明，该方法生成的训练数据能够在保证隐私性的前提下，实现与原始数据仅相差2%的可用性差异。