基于多尺度耦合的密集残差网络红外图像增强

为了提升非制冷红外热像仪的图像质量,满足低对比度弱小区域的观瞄与锁定的需求,提出了一种基于多尺度密集残差网络的红外图像超分辨重建模型,该模型的基本框架是通过级联多个残差特征进行学习,以粗到细的方式重建高分辨率图像。首先提出一种多尺度跨域融合模块,通过对不同感受野的分支结果进行融合,不仅可以融合不同感受野的互补信息,还可有助于提升梯度收敛和特征传输;然后叠加多个跨域融合模块,并采用残差特征学习进行优化,最终学习出高分辨率细节信息。仿真实验结果表明,所提出的超分辨模型能够较好的超分辨重建效果,在微弱结构保持和点目标保持上的性能也更加突出。所提的模型已经在海思嵌入式深度学习平台上实现了高质量的红外增强,具有较高的工程应用价值。     

基于Ghostnet轻量级人脸识别算法研究

为了提高人脸识别在嵌入式设备中的识别精度和速度,提出一种基于Ghostnet轻量级人脸识别算法—Ghostfacenet。首先,通过预设卷积生成固定数目的内在特征;针对卷积运算计算消耗大的问题,使用计算成本低廉的线性操作代替卷积运算,产生一系列与内在特征相关联的特征信息;其次,基于Ghostnet中的Ghost模块以及深度可分离卷积设计出Ghostfacenet-Bottleneck,并且由其构建出Ghostfacenet轻量级卷积神经网络;最后,联合Softmax损失函数和Arcface损失函数进一步增加人脸类内紧凑性以及类间差异,同时使得轻量级模型有更好的收敛性以及泛化能力。实验结果表明,Ghostfacenet在嵌入式设备的识别速度分别是Resnet50、Efficientnet、MobilenetV2和Mobilefacenet的11.08倍、8.57倍、2.75倍和2.82倍。在不显著降低识别性能同时能够显著提高运行效率,非常适用于资源有限的嵌入式设备中。     

基于改进U-Net的水下图像增强算法

针对水下退化图像存在颜色失真、模糊雾化、对比度低等问题,提出了一种新的基于改进U-Net的水下图像增强算法。设计一种新的残差注意力结构和边缘检测模块并将其引入到U-Net网络中,构建改进后的水下图像增强算法。实验结果表明,本文提出的算法在校正水下色偏和增强对比度方面均得到了很好的效果,IE值较原始图像平均提高了14.2%,UCIQE值较原始图像平均提高了24%。消融实验结果表明,本文提出的残差注意力结构、边缘检测模块和损失函数均对水下图像增强起到了积极的效果。     

多特征选择与双向残差融合的无监督水下图像增强

如今,利用合成的成对数据集训练的有监督模型泛化能力弱,在多变的实际水下环境中表现不佳,而无监督模型虽摆脱 了成对数据集的依赖,但生成图像可能因缺少特征信息导致图像视觉质量较差。 故以循环生成对抗网络为架构,提出多特征选 择与双向残差融合的水下图像增强方法。 一方面,设计以混合注意力为基础的多特征选择模块对水下图像的多种特征进行选 择,再由双向残差融合对传统 U 型跳跃连接进行优化,使图像特征高效表达,有效恢复水下图像的纹理与色彩。 另一方面,在 判别器中引入混合注意力并提出内容感知损失和风格感知损失,保证增强图像在全局内容、局部纹理、风格特征等方面和清晰 图像一致。 与现有的无监督和有监督模型相比较,该模型 PSNR 分别提高了 6%和 2%,SSIM 分别提高了 4%和 3%,对水下图像 有着显著的增强效果,在色彩真实度和饱和度上相比其他现有方法更加优秀。     

基于改进YOLOv4算法的玻璃杯缺陷识别方法研究

当前，玻璃杯表面缺陷检测主要依赖人力劳动来完成，存在耗时长且准确率不高等问题。提出了一种将YOLOv4与MobileNetV3结合的改进算法模型YOLO-M来解决该问题。首先，利用MobileNetv3网络替换YOLOv4原本的主干网络CSPDarknet53,并修改激活函数，在减少模型大小和参数量的基础上提升运行速度。然后，对玻璃杯缺陷样本进行拍照采样，将缺陷分为磨损、气泡、划痕三种，建立玻璃杯缺陷数据集。最后利用YOLO-M、YOLOv4以及YOLOv4-tiny三种算法对玻璃杯缺陷数据集进行训练，将不同算法下的平均精度均值、帧率等评价指标进行对比。实验结果表明，YOLO-M算法在玻璃杯缺陷检测上的帧率达到57.72 f/s,平均精度均值达到91.95%,均为最高。YOLO-M算法在玻璃杯缺陷识别的速度和精度上有明显效果，可做为后续分拣研究，以及其他玻璃制品缺陷识别的重要参考。     

用于红外与可见光图像融合的注意力残差密集融合网络

为了解决当前红外与可见光图像融合算法中易出现场景信息缺失、目标区域细节模糊、融合图像不自然等问题,提出一 种用于红外与可见光图像融合的注意力残差密集融合网络(ARDFusion)。 本文整体架构是一种自编码器网络,首先,利用存在 最大池化层的编码器对源图像进行多尺度特征提取,然后,利用注意力残差密集融合网络分别对多个尺度的特征图进行融合, 网络中的残差密集块可以连续存储特征并且最大程度地保留各层特征信息,注意力机制可以突出目标信息并获取更多与目标、 场景有关的细节信息。 最后,将融合后的特征输入到解码器中,通过上采样和卷积层对特征进行重构,得到融合图像。 本文提 出了一种用于红外与可见光图像融合的注意力残差密集融合网络,实验结果表明,较已有文献的其他典型融合算法,具有较好 的融合效果,能够更好地保留可见光图像中的光谱特性且红外目标显著,并在主观评价和客观评价方面都取得了较好的融合 性能。     

基于注意力机制和残差深度分离卷积的RUL预测方法

传统机械设备剩余使用寿命(RUL)预测方法需进行多源数据融合、建立健康指标等人工干预过程,预测精度受限于健康指标对设备退化过程的表征能力。为实现端对端的RUL预测并提升预测精度,提出了一种基于注意力机制和残差深度分离卷积网络相结合的RUL方法,并采用C MAPSS航空发动机仿真数据集检验方法的有效性。采用滑动窗从发动机多源状态参数中截取多元序列作为表征发动机状态的样本,并基于一维可分离卷积网络建立RUL预测模型,为提升模型的预测精度在网络中引入了注意力机制和残差网络。最终所提方法对C MAPSS 4个测试集的均方根误差均值分别为1128、1412、1157和1561,且对发动机在运行期间的RUL预测也具有良好的泛化能力。通过与多种RUL预测方法的结果相比较,表明所提方法对4个测试集的整体预测精度均较高,是一种有效的机械设备RUL预测方法,并可用于设备的早期故障预警。     

基于特征增强的高分辨率人体姿态估计网络

在轻量级卷积神经网络进行高分辨率人体姿态估计时存在提取特征不充分,针对该问题,提出了一种基于特征增强的高分辨率人体姿态估计网络。首先利用空洞卷积补全操作提取图像特征,以避免特征信息丢失且保持模型参数基本不变;接着利用池化增强模块进行卷积提取特征的选择,以保留重要特征且减轻传统池化模块对提取特征造成的破坏;最后利用加强通道信息交互的深度可分离卷积模块进行特征提取,以保持该模块的参数量较少且能够提高其特征提取能力。在COCO2017数据集进行性能测试,本文算法和DiteHRNet30算法的AR值分别为77.9%和77.2%;在MPII数据集进行性能测试,本文算法和DiteHRNet30算法的PCKh值分别为32.6%和31.7%。实验结果表明,本文算法在人体姿态估计精度和算法复杂度之间能够达到较好的平衡。     

基于轻量级MobileNet-SSD和MobileNetV2-DeeplabV3+的绝缘子故障识别方法

当前的深度学习算法多存在模型参数量大、对硬件要求较高等方面的问题,难以嵌入到无人机等移动设备。为了使无人机搭载轻量级模型对架空输电线路中的绝缘子进行故障识别,提出了一种轻量级MobileNet-SSD目标检测网络与轻量级MobileNetV2-DeeplabV3+图像分割网络相结合的绝缘子自爆故障识别、分割方法。该方法首先利用MobileNet-SSD对绝缘子进行精确分类及定位,再结合MobileNetV2-DeeplabV3+语义分割算法对绝缘子自爆图片进行分割。实例表明:该方法能够快速地识别出绝缘子,并可以对各种复杂背景下的自爆绝缘子进行准确分割,同时具备模型参数量小、效率高、鲁棒性强等特征,可在一定程度上满足无人机的嵌入式应用要求,提高基于无人机对架空输电线路的巡检精度和实时性。     

基于小波清晰度计算的水下图像融合增强研究

近年来,机器视觉技术在水下环境探测中得到了广泛的运用,然而由于受到水下环境和光学系统景深的限制,无法获取清晰的全景图像。鉴于此,提出了一种基于小波清晰度计算的水下图像融合增强方法。首先,对源图像进行小波变换,并利用小波系数获取图像的清晰度。其次,利用获取的清晰度对图像进行区域划分,得到图像的聚焦区域。再利用不同的融合规则分别对聚焦区域和非聚焦区域进行融合。最后,将聚焦区域和非聚焦区域进行合成,得到最终的融合图像。实验证明,所使用的融合方法对于实验环境较差的水下图像效果有这较大的提升,更加便于水下环境的检测与分析。     

基于卷积神经网络的深度图像超分辨率重建方法

为了更有效地提高深度图像的分辨率,构建了一种更深层次的深度图像超分辨率重建的卷积神经网络。该网络直接将低分辨率深度图像作为网络的初始输入,通过卷积神经网络学习图像的高阶表示,获得更具有表达能力的深层特征,同时在网络的输出层引入亚像素卷积层,针对提取到的特征学习不同上采样滤波器,实现上采样放大操作。为了实现网络更好地收敛,在网络中加入了残差网络结构。在4个常用数据集上的实验结果表明,与其他先进方法相比,该方法网络收敛速度更快,并可以有效地保护图像的边缘结构,解决伪影问题,且在定性和定量两方面均取得了很好的重建效果。     

基于OpenPose改进的轻量化人体动作识别模型

本文聚焦于自下而上的人体姿态估计网络OpenPose模型参数量大的缺点,对OpenPose模型的特征提取网络和预测网络分别进行改进,实现轻量化模型的目标。本文使用参数量更少、准确度更高的ResNet18网络替代了原模型中的VGG19网络,并且在不损失过多识别精度的前提下,以深度可分离卷积替代了预测网络中的部分卷积核,以此来降低网络结构的参数量。接着通过人工神经网络对人体动作进行分类,在传统的非线性网络中加入了线性模块提高了网络的记忆能力和泛化能力。结果表明,轻量化OpenPose模型的运行帧数比原先提高了9%至16%,动作识别网络经过3000次迭代训练后,站立、坐着、走、坐下和起立的识别精度达到了0.877、0.835、0.793、0.815和0.808。最后,将整体识别网络应用于真实场景下,根据结果表明,本文的方法可以在嵌入式设备中正常运行,且识别效果较好。     

稠密融合卷积神经网络的多模态地基云状分类

为了解决现有的地基云状分类方法对多模态信息利用不充分的问题,有效融合地基云样本的视觉特征与多模态特征,提出稠密融合卷积神经网络的多模态地基云状分类方法。稠密融合卷积神经网络采用卷积神经网络作为视觉子网络提取地基云图像的视觉特征,采用多模态子网络提取多模态特征,在网络内部加入了5个稠密融合模块,用于充分融合视觉特征与多模态特征,稠密融合模块在不改变原有网络结构的同时,能够独立地加到入子网络中,具有较大的灵活性。在多模态地基云公开数据集MGCD上的实验达到了89.14%的分类精度,验证了所提出的稠密融合卷积神经网络在地基云状分类任务中的有效性。     

基于轻量化网络和知识蒸馏的回转窑工况识别

回转窑烧成带图像蕴含丰富火焰信息,准确识别燃烧状态是回转窑优化控制的前提,基于卷积神经网络的方法可以快速识别回转窑工况,提高回转窑自动化水平,但存在网络规模大,所需计算资源多的问题,为此提出了一种基于轻量化网络和知识蒸馏的回转窑工况识别方法,在网络卷积层后引入协方差池化层改进教师模型和学生模型,以改进的轻量化网络MobilenetV2作为学生模型的主干网络,以改进的Resnet50作为教师模型的主干网络,通过构建混合蒸馏损失函数,将教师模型蕴含的丰富分类标签信息迁移到学生模型中,并将蒸馏训练得到的学生模型作为回转窑工况识别模型,以提高网络对高相似火焰图像的识别精度。实验结果表明,经蒸馏后的学生模型总体识别准确率相较于原始模型提高了3.33%,对测试集中3种工况的识别率分别达到了93%、99%、90%,准确率和模型规模均优于目前其他主流网络模型,满足实际生产中实时、低成本要求。     

结合MSRCR与多尺度融合的水下图像增强算法

为解决水下图像增强时出现的图像边缘细节模糊,亮度不均等问题,提出了一种结合带色彩恢复的多尺度视网膜增强算法(MSRCR)与多尺度融合的水下图像增强算法.首先,将获取到的水下图像基于的MSRCR算法色彩校正,并将校正后的图像转换到Lab颜色空间对亮度分量进行自适应增强.其次,对MSRCR色彩校正图像和Lab空间亮度分量增...     

基于深度神经网络的弱监督信息细粒度图像识别

强监督识别算法需要大量的人工标注信息,消耗较多的人力物力资源。为了解决上述问题,满足实际需求,提出了两种基于弱监督信息图像识别方法用于细粒度图像分类(FGVC)。一种是联合残差网络和Inception网络,通过优化卷积神经网络的网络结构提高捕捉细粒度特征的能力。另一种是对双线性CNN模型进行改进,特征提取器选取Google提出的Inception-v3模组和Inception-v4模组,最后把不同的局部特征汇集起来进行分类。通过在CUB200-2011鸟类公开数据集和Stanford Cars汽车类型数据集上进行测试,实验结果表明,提出的方法在两种数据集上的分类精度分别到达了88.3%和94.2%的分类精度,实现了较好的分类性能。