基于改进Mask R-CNN的输电线路防外破目标检测方法研究

随着现代电力系统的不断发展,电网规模越来越大,外破原因引发的故障已经成为架空输电线路故障的主要原因之一。在架空输电线路视频监控中,使用传统的边界框式目标检测方法进行外破预警时,误报或漏报的情况时有发生。掩模实例分割神经网络(Mask-RCNN)训练时使用的像素级掩模标注数据集成本较高,限制了该算法的大规模应用。针对这些问题,将改进的Mask-RCNN网络应用到输电线路外破目标检测领域,在数据集标注过程中,使用边界框标注代替部分掩模标注。训练时,将检测分支的特征迁移到掩模分支。实验结果表明,改进后的算法能够在掩模标注样本占比80%的条件下,对常见外破类别的平均识别准确率高于91%,为输电线路外破隐患的准确识别与分割提供了一种可行的思路。     

融合注意力机制与重影特征映射的无人机交通场景目标轻量级语义分割

针对轻量语义分割算法应用于无人机高分辨率交通场景图像分割时存在边缘信息模糊、小目标特征提取准确性较差的问题,提出一种融合注意力机制与重影特征映射的轻量级语义分割算法。首先在BiSeNet V2算法语义分支8倍和16倍下采样过程嵌入混合注意力模块,重新分配深层特征图权重,增强局部关键特征提取能力;然后采用重影特征映射单元优化传统卷积层,进一步降低运算成本;最后使用动态阈值损失函数监督训练,调节高损失困难样本训练权重。利用UAVid数据集对改进后的算法进行训练并测试,发现算法平均交并比(mean intersection over union, mIoU)为52.7%,较改进前的模型提升7.8%,且当输入图像尺寸为1 280×736时推理速度达到81.6 FPS,满足实时分割要求。结果表明,该算法能较好适应复杂交通场景,有效改善边缘信息模糊和小目标分割准确性较差的问题。     

异源特征差异化融合引导的变电站场景语义分割

变电站场景图像语义分割能够为巡检机器人提供像素级的场景理解,是变电站智能化巡检、管控的关键步骤之一,但由于设备种类众多、背景环境复杂,仅依赖单一模态图像的语义分割方法准确性受限。针对该问题,提出一种基于多尺度特征差异化融合的语义分割网络,根据不同层次、不同模态特征图的特点,利用差异化的融合策略,提取红外与可见光图像在空间细节与语义信息的互补内容,从而利用融合信息引导解码过程,实现稳定的异源图像语义分割。为了验证算法的性能,利用无人机与机器人平台采集大量异源图像,手工标注并构建了数据集。实验证明本文提出的算法可以准确识别各类电力设备,对于保障电力系统安全稳定的运行具有实用价值。     

基于多模型级联的轻量级缺陷检测算法

基于深度学习技术的缺陷检测算法往往因为网络参数较多而需要大量的图像样本去训练模型,但是在工业生产过程中缺陷产品数量极少,采集大量缺陷数据图像费时又费力。针对这一难题,本文提出了一种基于多模型级联的轻量级缺陷检测算法,它采用监督学习的训练方式,通过少量缺陷样本就可以获得较好的检测效果。首先,使用CBAM注意力残差模块代替常规卷积层进行特征提取,以聚焦缺陷特征,强化网络对缺陷的表征能力;其次,设计了SE-FPN模块,促进各级特征之间有效融合,提高网络对缺陷的分割效果,尤其是对小缺陷的分割效果;最后,在训练阶段,采用监督学习方式对本文所提的多模型算法网络进行训练。实验结果表明,本文所提算法在KolektorSDD数据集上的检测准确率高达99.28%,每张图像的平均检测时间仅需10.5ms,不但充分满足了工业检测行业高精度、实时性的要求,同时,还能实现对缺陷区域精准定位。因此,本文的研究内容非常适合应用在工业产品表面质量在线检测领域。     

基于二次聚类弱监督学习的图像语义分割

针对在给定大量用户标注图像基础上,将图像分割成一系列具有单一语义的完整区域,并同时对各区域实现语义标注的问题,提出了一种基于弱监督学习的二次聚类的图像语义分割算法。将谱聚类和判别式聚类相结合,用谱聚类学到的类标指示函数来指导判别式聚类,学习特征的潜在数据结构,利用弱监督信息对聚类分配标签。该方法能够充分利用区域上下文信息,为每个类别选择判别式特征,并且输出鲁棒的多类分类器,对外来没有标签的图像也可以进行有效的区域标注。通过在公用数据集上的充分实验,证明了本方法的有效性。     

基于生成对抗网络的自动装卸目标物标注数据集生成方法

针对建立无人起重装卸目标检测深度学习标注数据耗时问题,设计了货物图像检测生成对抗网络,构成准确的含语义标注和关键点标注的数据集,该数据集可用于有监督深度学习语义分割模型的训练。通过融合StyleGAN与DatasetGAN的生成对抗网络,对实际应用中存在的语义特征变形问题进行改进,将生成器的样本归一化层进行修改,去除均值操作,修改噪声模块和样式控制因子的输入方式;对纹理特征单一的物体的空间位置编码能力弱的问题,将生成网络的常数输入替换为傅里叶特征,并提出一个融合非线性上下采样的模块;最后引入WGAN-GP对目标函数进行改进。应用实验生成标签数据集,使用Deeplab-V3作为评价网络,以DatasetGAN方法作为基线,在语义标签生成任务上,Deeplab-V3输出mIOU值提高14.83%,在关键点标签生成任务上,L2损失平均降低0.4×10^(-4),PCK值平均提高5.06%,验证了改进的生成对抗网络生成语义及关键点标注数据的可行性和先进性。     

基于深度神经网络的弱监督信息细粒度图像识别

强监督识别算法需要大量的人工标注信息,消耗较多的人力物力资源。为了解决上述问题,满足实际需求,提出了两种基于弱监督信息图像识别方法用于细粒度图像分类(FGVC)。一种是联合残差网络和Inception网络,通过优化卷积神经网络的网络结构提高捕捉细粒度特征的能力。另一种是对双线性CNN模型进行改进,特征提取器选取Google提出的Inception-v3模组和Inception-v4模组,最后把不同的局部特征汇集起来进行分类。通过在CUB200-2011鸟类公开数据集和Stanford Cars汽车类型数据集上进行测试,实验结果表明,提出的方法在两种数据集上的分类精度分别到达了88.3%和94.2%的分类精度,实现了较好的分类性能。     

基于改进YOLOv3的电力设备红外诊断方法

针对电力设备异常发热故障诊断过程中识别目标设备单一、红外数据集样本数目庞大、平均识别准确率较低和识别速率较低的问题,提出一种基于深度卷积神经网络的改进YOLOv3目标检测方法,识别和定位绝缘子、隔离开关触头、套管、线夹4类电力设备及其异常发热区域。在改进YOLOv3算法的训练过程中,网络将数据集图片裁剪为416×416像素大小,使用Yolomark工具对图像进行标注,得到的标签和样本集一起送入深度学习卷积神经网络进行训练,经历多轮迭代后得到最终模型,最后采用运检部门用红外热像仪现场采集的电气设备红外图谱数据进行效果测试。实验结果表明,训练得到的改进YOLOv3模型相比于YOLOv3和快速区域卷积神经网络(faster region convolution neural network,Faster R-CNN)算法,识别定位的准确率较高,检测速度更快,可基本实现实时检测,可有效应用于变电站电力设备的红外巡检工作。     

基于Yolo v5与Grabcut的架空线路绝缘子可见光图像自动识别与分割方法

准确识别与分割绝缘子图像是架空线路绝缘子状态感知与缺陷诊断的重要前提。针对绝缘子的可见光图像提出了结合深度学习Yolo (You only look once) v5模型与图论分割Grabcut算法的两阶段图像识别与分割方法。首先采集图像建立数据集并训练Yolo v5,实现绝缘子的识别,然后用识别框坐标确定感兴趣区域,预判前景和背景,基于Grabcut算法实现绝缘子的自适应分割。根据该方法识别与分割架空线路绝缘子的在线监测可见光图像,结果表明,该方法无需分割标注或人工交互,可以高效准确地定位复杂背景下绝缘子的边缘并分割绝缘子,极大地提高绝缘子图像的分析效率。     

基于BERT和知识蒸馏的航空维修领域命名实体识别

针对军事航空维修领域命名实体识别训练数据少，标注成本高的问题，改进提出一种基于预训练BERT的命名实体识别方法，借鉴远程监督思想，对字符融合远程标签词边界特征得到特征融合向量，送入BERT生成动态字向量表示，连接CRF模型得到序列的全局最优结果，在自建数据集上进行实验，F1值达到0.861。为压缩模型参数，使用训练好的BERT-CRF模型生成伪标签数据，结合知识蒸馏技术指导参数量较少的学生模型BiGRU-CRF进行训练。实验结果表明，与教师模型相比，学生模型以损失2%的F1值为代价，参数量减少了95.2%,运算推理时间缩短了47%。     

一种基于多模态主题模型的图像自动标注方法

大部分传统的图像自动标注方法需要训练数据中具有精准的标注词,然而这样的数据通常是需要人工标注的,因此获取成本较高,且存在一定的主观性。该文提出一种全新的图像自动标注方法,通过结合自然语言理解领域实体识别的技术,充分利用图像周边自带环绕文本,将图像视觉特征、环绕文本以及实体抽取所得到的能够描述图像中显著特征的词在概率主题模型中进行联合建模,学习到多种数据模态之间的关联关系,从而实现图像的自动标注。在UIUC Pascal Sentence数据集上的实验证明该方法比传统方法具有更好的图像标注预测以及检索性能。     

SaSnet：基于自监督学习的电力线实时分割网络

电力线分割对于实现无人机自动避障、保障无人机低空飞行安全具有重要意义。传统基于线和线段的算法只能在一些简单场景下应用，在复杂场景下极容易出现误检、漏检情况。近年来，深度学习的快速发展极大地促进了电力线分割研究，但是相关研究仍然存在3个问题：1）较少考虑实际应用；2）没有充分利用电力线特点；3）忽略了缺乏大规模电力线数据的问题。该文基于电力线分割的实际应用需求，改进了传统的F1分数评价指标，提出一种基于积分加权的电力线分割评价指标。同时从电力线特点出发，提出一个轻量级的实时语义分割网络SaSnet，包括lite和general两个深度不同的版本。针对电力线分割缺乏大规模数据的问题，提出自监督学习算法IBS，基于IBS算法的SaSnet用极少量有标签数据进行训练，在公开数据集上的精度和速度都超越了目前已有的最优方法。在嵌入式设备上的实验结果表明SaSnet已经初步具备了实际应用的能力。     

基于知识蒸馏和半监督学习的非侵入式负荷分解

非侵入式负荷监测(non-intrusive load monitoring, NILM)中的负荷分解是一种将负荷总功率分解为各类负荷功率的技术;随着深度学习理论的发展,基于神经网络的负荷分解模型的误差逐渐降低,同时也带来了模型参数量大幅增加的问题。为了降低模型分解功率的误差,提出一种基于序列到序列(sequence to sequence, seq2seq)、双向门控循环单元(bi-directional gating recurrent unit, BiGRU)、自注意力机制和残差网络的负荷分解算法;为了减少神经网络的参数并充分利用无标签数据,提出一种基于知识蒸馏和半监督学习的训练框架;无标签数据经由预训练的教师网络处理,得到时序概率分布,用于指导学生网络的训练。在开源数据集REFIT上进行的模型性能测试结果表明,学生网络参数量仅为教师网络参数量的6.7%,平均绝对误差仅增加5.8%。     

用于变电站保护压板状态识别的增强YOLO网络

为解决变电站保护压板识别环境复杂、前景与背景难以分割和小目标检测困难等问题,提出了增强YOLO算法用于变电站保护压板的状态识别。首先,提出了局部残差聚合模块,对堆叠的残差模块的局部残差特征进行聚合,加强复杂环境下的识别能力。然后,将空域注意力机制嵌入到残差模块中,利用空间信息解决前景与背景难以分割的问题。最后,提出交叉空间金字塔模块用于提取全局上下文信息。利用标注的数据集进行验证,实验结果表明,增强YOLO算法相较于改进前算法,保护压板的状态识别效果显著提高。     

基于小样本学习的X光图像违禁物品识别

自动X光安检是维护公共安全的重要手段。现有X光违禁物品识别的研究仅针对数据集包含的类别,不能直接应用于未参与训练的类别。数据集各类别的数量不平衡也会影响模型的性能。针对以上问题,提出一种基于小样本学习的X光图像违禁物品分割方法。模型首先将测试图像与标注的支持图像映射至相同的特征空间,然后度量图像间的像素级相似度与区域级相似度,最后根据特征相似度分割测试图像内违禁物品区域。针对不定数量的支持集图片,采取基于卷积化门控循环单元的操作,将测试图像与不同支持图像的相似度信息融合。实验结果表明,模型在单张标注图像支持集(1-shot)和5张标注图像支持集(5-shot)情况下的准确率相比现有最优方法分别提高2.0%和2.2%,进一步证明模型具有扩展至新类别的能力。     

基于对比学习的信息缺失手势识别新方法

针对现有深度学习模型识别信息缺失手势需要大量标注数据、更深的网络需要更多参数的问题，首先收集整理了一个信息缺失手势数据集IMG＿NUIST,然后借鉴对比学习思想，提出了一个新的信息缺失手势识别模型CLGR,该模型通过对手势类内和类间差异度的对比约束提高模型特征学习性能。在两个经典数据集(ASL Alphabet和NUS I)和新提出的IMG＿NUIST数据集上进行了广泛实验，消融实验表明对比学习思想能有效地将平均识别准确率提高至98.60%以上且收敛速度显著提升；对比实验表明本文所提模型计算复杂度比其它4个模型平均简化了41.4%,在NUS I和IMG＿NUSIT数据集上的手势识别准确率超过四个对比方法，特别是在NUS I数据集上将识别准确率平均提高了17.35%,在ASL Alphabet数据集上的识别准确度仅比最优结果低0.43%。实验结果说明所提模型对于缺失手部部分信息和杂乱背景等问题的手势识别任务有显著效果，具有收敛速度更快、计算复杂度更少的优秀性能，有很好的实用价值。     

规范透视场景的半监督目标检测及其在保护压板巡检上的应用

如何快速准确地对继电保护压板的异常状态进行识别,是变电站二次设备巡检工作中亟待解决的技术难题。基于深度学习的通用目标检测算法在向诸如继电保护屏压板检测等特殊化场景的迁移中,不能够充分利用保护屏场景中的规范透视先验特征;此外,人工标注大数据集的困难性一直以来都是通用检测模型迁移至特殊场景时的挑战。针对上述问题,提出了一种适用于保护压板规范化分布特征的半监督目标检测模型,该模型根据压板识别场景的特点对模型框架进行了一系列适应性改进。在模型的半监督训练阶段,使用一致性正则化方法生成伪标签,并基于保护屏压板图像特征,以边缘吸附和点阵行列拟合等方式,优化或剔除伪标签,从而突破了数据标注困难性带来的限制。改进后的模型达到平均精度均值为98.12%的应用级精度,并额外输出图像的逆透视变换参量。该模型被应用于便携式智能终端,辅助工作人员进行继电保护压板状态的巡检工作;模型输出的逆透视变换参量,也可为3D人机交互等下游视觉任务提供技术支撑。     

基于特征提取和多示例学习的图像区域标注

随着web2.0的不断发展,在Flickr等图像共享网站中越来越多的用户在上传图像的同时提供了标注,因此如何确定这些已有的标注在图像中的相关性区域成了一个热门的研究问题。提出了一种基于图像低层视觉特征和多示例学习方法的图像区域标注方法,文中的方法首先对图像进行分割,对分割后的图像区域提取低层视觉特征作为它的区域特征,最后通过多示例学习问题的多样性密度算法思想来对图像进行区域标注。实验中对已被标注的大量数据集进行分析,正确率达到了85%,与已有的图像区域标注方法相比,在区域标注的正确率上有着明显的改善。     

基于半监督域适应的微弱光环境下行人检测研究

为了解决可见光图像在微弱光环境下会出现检测性能下降的问题,本文提出了一种半监督域适应的行人检测算法。首先,结合均值教师模型和YOLOv8检测器搭建半监督检测网络;其次,使用图像融合算法和风格迁移算法相结合的方式生成伪图像进行伪交叉训练,减少图像之间的域差异问题;最后,将基于Transform的混合注意力机制引入主干特征提取网络,在提升图像分辨率的同时进一步提升检测精度。实验结果表明：在LLVIP数据集和KAIST数据集上,该算法的检测精度分别达到89.3%和66.8%,相比SSDA-YOLO算法分别高出7.6%和19.8%;相比Efficient Teacher算法分别高出4%和8.7%;相比全监督算法ICAFusion分别高出1.8%和17.9%。与以往的算法相比,该算法具有更高的检测精度。     

基于GAN的少样本视网膜血管分割研究

视网膜血管分割是自动筛查糖尿病视网膜病变的重要步骤,当前大部分深度学习方法都使用大样本进行网络训练,但医学领域带标签样本难以获取,且存在健康人样本与患者样本不平衡问题。提出了一种基于生成对抗网络的少样本视网膜血管分割方法,生成器部分对图像做反色等预处理后,通过旋转增扩充了数据集,网络部分使用U Net结构,判别器部分使用卷积神经网络。在实验阶段,在DRIVE数据集和HRF数据集上进行训练测试,训练时只使用训练集的6个样本,测试时使用全部测试集样本,最终在两个数据集下的ROC曲线下面积分别达到了097和095,准确率达到了095和094。与少样本情况下的U Net相比,分割性能提升很大,表明本方法针对少样本视网膜血管分割任务确实有效。