糖尿病性视网膜图像的深度学习分类方法

目的 糖尿病性视网膜病变（DR）是目前比较严重的一种致盲眼病,因此,对糖尿病性视网膜病理图像的自动分类具有重要的临床应用价值。基于人工分类视网膜图像的方法存在判别性特征提取困难、分类性能差、耗时费力且很难得到客观统一的医疗诊断等问题,为此,提出一种基于卷积神经网络和分类器的视网膜病理图像自动分类系统。方法 首先,结合现有的视网膜图像的特点,对图像进行去噪、数据扩增、归一化等预处理操作;其次,在AlexNet网络的基础上,在网络的每一个卷积层和全连接层前引入一个批归一化层,得到一个网络层次更复杂的深度卷积神经网络BNnet。BNnet网络用于视网膜图像的特征提取网络,对其训练时采用迁移学习的策略利用ILSVRC2012数据集对BNnet网络进行预训练,再将训练得到的模型迁移到视网膜图像上再学习,提取用于视网膜分类的深度特征;最后,将提取的特征输入一个由全连接层组成的深度分类器将视网膜图像分为正常的视网膜图像、轻微病变的视网膜图像、中度病变的视网膜图像等5类。结果 实验结果表明,本文方法的分类准确率可达0.93,优于传统的直接训练方法,且具有较好的鲁棒性和泛化性。结论 本文提出的视网膜病理图像分类框架有效地避免了人工特征提取和图像分类的局限性,同时也解决了样本数据不足而导致的过拟合问题。     

结合PCANet与线性判别分析的视网膜光学相干断层扫描图像分类

目的 主成分分析网络（PCANet）能提取图像的纹理特征,线性判别分析（LDA）提取的特征有类别区分性。本文结合这两种方法的优点,提出一种带线性判别分析的主成分分析网络（PCANet-LDA）,用于视网膜光学相干断层扫描（OCT）图像中的老年性黄斑变性（AMD）、糖尿病性黄斑水肿（DME）及正常（NOR）这3类的全自动分类。方法 PCANet-LDA算法是在PCANet的基础上添加了LDA监督层,该层加入了类标签对特征进行监督投影。首先,对OCT视网膜图像进行去噪、二值化及对齐裁剪等一系列预处理,获得感兴趣的视网膜区域;然后,将预处理图像送入一个两层的PCA卷积层,训练PCA滤波器组并提取图像的PCA特征;接着,将PCA特征送入一个非线性输出层,通过二值散列和块直方图等处理,得到图像的特征;之后,将带有类标签的图像特征送入一个LDA监督层,学习LDA矩阵并用其对图像特征进行投影,使特征具有类别区分性;最后,将投影的特征送入线性支持向量机（SVM）中对分类器进行训练和分类。结果 实验分别在医院临床数据集和杜克数据集上进行,先对OCT图像预处理进行前后对比实验,然后对PCANet特征提取的有效性进行分析,最后对PCANet算法、ScSPM算法以及提出的PCANet-LDA3种分类算法的分类效果进行对比实验。在临床数据集上,PCANet-LDA算法的总体分类正确率为97.20%,高出PCANet算法3.77%,且略优于ScSPM算法;在杜克数据集上,PCANet-LDA算法的总体分类正确率为99.52%,高出PCANet算法1.64%,略优于ScSPM算法。结论 PCANet-LDA算法的分类正确率明显高于PCANet,且优于目前用于2D视网膜OCT图像分类的先进的ScSPM算法。因此,提出的PCANet-LDA算法在视网膜OCT图像的分类上是有效且先进的,可作为视网膜OCT图像分类的基准算法。     

基于MLDCSAU-Net的视网膜图像血管分割算法

视网膜图像中血管的准确分割有助于对眼部病变的观察。为了提高视网膜图像血管分割精度和特征信息复用率以及精简模型,从网络框架入手,提出一种结合DCSAU-Net、多尺度信息融合模块以及Ghost模块的视网膜图像血管分割模型——MLDCSAU-Net模型。模型改进主要包括两个方面：首先在跳跃连接之后引入多尺度信息融合模块;其次编码器端使用Ghost模块替换编码器端的CSA模块。实验结果表明：多尺度信息融合模块对于模型的分割准确率有较大提升;Ghost模块有效减少了模型参数量。在STARE、CHASEDB1和HRF三个公开数据集中MLDCSAU-Net模型的准确率、查准率、查全率和F1分数均高于原模型,同时参数量更少。     

基于DBN与对象融合的遥感图像变化检测方法

在高分辨率光学遥感图像变化检测中,多数面向对象的方法只能利用简单的特征组合得到对象特征,难以进行高层特征的设计和提取。针对该问题,提出一种基于深度置信网络和对象融合的图像变化检测方法。将变化检测转化为二分类问题,并把图像像素作为分类单元,在特征学习和分类阶段设计多尺度的图像特征学习和分类方法,以充分利用图像目标的上下文信息。在此基础上设计基于对象的分类融合方法,对利用深度置信网络分类得到的结果进行融合,从而减小局部噪声的影响。在QucikBird影像数据集上的实验结果表明,该方法可有效提高图像变化检测的准确率。     

基于小样本学习融合随机深度和多尺度卷积的SDM-RNET网络

针对神经网络难以利用少量标注数据获取足够的信息来正确分类图像的问题,提出了一种融合随机深度网络和多尺度卷积的关系网络——SDM-RNET.首先在模型嵌入模块引入随机深度网络用于加深模型深度,然后在特征提取阶段采用多尺度深度可分离卷积替代普通卷积进行特征融合,经过骨干网络后再采用深浅层特征融合获取更丰富的图像特征,最终学习预测出图像的类别.在mini-ImageNet、RP2K、Omniglot这3个数据集上对比该方法与其他小样本图像分类方法,结果表明在5-way 1-shot和5-way 5-shot分类任务上该方法准确率最高.     

自适应融合多尺度特征的无锚框遥感图像目标检测算法

针对遥感图像内容丰富且复杂,具有目标种类多、密集分布和尺寸变化剧烈等特点,导致遥感图像中目标多尺度尤其是小目标难以检测的问题,提出一种基于自适应多尺度特征融合(AMFF)和注意力特征增强(AFE)的无锚框遥感图像目标检测算法.首先将主干网络提取的图像特征输入AMFF,自适应地融合多个尺度的特征,增加特征复用,提升网络的多尺度特征表达能力;然后将AMFF输出的特征输入到加入了AFE模块的检测头中,AFE通过结合多分支空洞卷积与注意力机制,在提高网络对目标尺度的泛化能力的同时增强有效特征信息;最后进行分类和回归,得到检测结果.在DIOR和NWPU VHR-10公开数据集上,与多种主流目标检测算法的实验结果表明,所提算法在2个数据集上的平均检测精度分别为72.4%和87.4%,较基线网络分别提升9.4和13.5个百分点,比次优结果分别提升6.3和1.7个百分点;平均检测精度高于主流目标检测算法,较基线网络的平均检测精度显著提高,能够更加准确地检测小尺度目标,同时有效地提升多尺度目标的检测精度.     

基于尺度注意力网络的遥感图像场景分类

针对卷积神经网络（CNN）平等地对待输入图像中潜在的对象信息和背景信息,而遥感图像场景又存在许多小对象和背景复杂的问题,提出一种基于注意力机制和多尺度特征变换的尺度注意力网络模型。首先,开发一个快速有效的注意力模块,基于最优特征选择生成注意力图;然后,在ResNet50网络结构的基础上嵌入注意力图,增加多尺度特征融合层,并重新设计全连接层,构成尺度注意力网络;其次,利用预训练模型初始化尺度注意力网络,并使用训练集对模型进行微调;最后,利用微调后的尺度注意力网络对测试集进行分类预测。该方法在实验数据集AID上的分类准确率达到95.72%,与ArcNet方法相比分类准确率提高了2.62个百分点;在实验数据集NWPU-RESISC上分类准确率达到92.25%,与IORN方法相比分类准确率提高了0.95个百分点。实验结果表明,所提方法能够有效提高遥感图像场景分类准确率。     

基于注意力神经网络的糖尿病视网膜病变识别

针对目前糖尿病视网膜病变识别主要依赖于医生的临床经验,病变特征难以用肉眼区分且识别率较低等问题,提出一种基于注意力神经网络的糖尿病视网膜病变分类方法。首先,对原始数据集中的视网膜图像进行归一化、直方图均衡化和数据增强等预处理;其次,调整经典的DenseNet,在避免梯度消失和保证分类精度的前提下,有针对性地减少连接数,提出了2-DenseNet,同时将注意力模块嵌入到2-DenseNet中,指导网络关注视网膜图像中的渗出物、厚血管和微动脉瘤等特征,使用改进后的网络对预处理后的图像进行训练并测试;最后,在公开的Kaggle数据集上对多个网络进行对比,实验结果表明,该网络对糖尿病视网膜病变的分类性能高于其他对比网络。     

改进YOLOv5s的遥感图像目标检测

针对遥感图像中感兴趣目标特征不明显、背景信息复杂、小目标居多导致的目标检测精度较低的问题,本文提出了一种改进YOLOv5s的遥感图像目标检测算法（Swin-YOLOv5s）。首先,在骨干特征提取网络的卷积块中加入轻量级通道注意力结构,抑制无关信息的干扰;其次,在多尺度特征融合的基础上进行跨尺度连接和上下文信息加权操作来加强待检测目标的特征提取,将融合后的特征图组成新的特征金字塔;最后,在特征融合的过程中引入Swin Transformer网络结构和坐标注意力机制,进一步增强小目标的语义信息和全局感知能力。将本文提出的算法在DOTA数据集和RSOD数据集上进行消融实验,结果表明,本文提出的算法能够明显提高遥感图像目标检测的平均准确率。     

多尺度融合增强的图像语义分割算法

针对现有的图像语义分割算法存在小尺度目标丢失和分割不连续的问题,提出多尺度融合增强的图像语义分割算法,该算法在DeeplabV3+网络模型的基础上,通过构建多尺度特征提取和融合增强网络提高了对小目标特征的描述能力,使网络在分割大目标的同时也能获得小目标的特征信息,从而解决了语义分割时小尺度目标丢失和分割不连续的问题。在Cityscapes数据集上实验的结果表明,改进后的算法明显提升了小目标分割精度,解决了分割不连续的问题。最后在公开数据集PASCAL VOC 2012上进一步验证了改进算法的泛化性。     

基于文本与视觉信息的细粒度图像分类

一般细粒度图像分类只关注图像局部视觉信息,但在一些问题中图像局部的文本 信息对图像分类结果有直接帮助,通过提取图像文本语义信息可以进一步提升图像细分类效果。 我们综合考虑了图像视觉信息与图像局部文本信息,提出一个端到端的分类模型来解决细粒度 图像分类问题。一方面使用深度卷积神经网络获取图像视觉特征,另一方面依据提出的端到端 文本识别网络,提取图像的文本信息,再通过相关性计算模块合并视觉特征与文本特征,送入 分类网络。最终在公共数据集 Con-Text 上测试该方法在图像细分类中的结果,同时也在 SVT 数据集上验证端到端文本识别网络的能力,均较之前方法获得更好的效果。     

预训练模型特征提取的双对抗磁共振图像融合网络研究

随着多模态医学图像在临床诊疗工作中的普及,建立在时空相关性特性基础上的融合技术得到快速发展,融合后的医学图像不仅可以保留各模态源图像的独有特征,而且能够强化互补信息、便于医生阅片.目前大多数方法采用人工定义约束的策略来实现特征提取和特征融合,这容易导致融合图像中部分有用信息丢失和细节不清晰等问题.为此,提出一种基于预训练模型特征提取的双对抗融合网络实现MR-T1/MR-T2图像的融合.该网络由一个特征提取模块、一个特征融合模块和两个鉴别网络模块组成.由于已配准的多模态医学图像数据集规模较小,无法对特征提取网络进行充分的训练,又因预训练模型具有强大的数据表征能力,故将预先训练的卷积神经网络模型嵌入到特征提取模块以生成特征图.然后,特征融合网络负责融合深度特征并输出融合图像.两个鉴别网络通过对源图像与融合图像进行准确分类,分别与特征融合网络建立对抗关系,最终激励其学习出最优的融合参数.实验结果证明了预训练技术在所提方法中的有效性,同时与现有的6种典型融合方法相比,所提方法融合结果在视觉效果和量化指标方面均取得最优表现.     

回环结构与PAM结合的双目图像超分辨率网络

双目图像第二视点为图像超分辨率重建网络提供更多的细节信息,为更充分利用双目图像的互补信息,提出一种基于深度学习的回环结构与视差注意力模块（PAM）相结合的双目图像超分辨率重建网络。该网络特征提取模块由MJR-ASPP+构成的回环结构与扩张残差块交替级联而成,回环结构中混合跳跃式残差（MJR）能聚合网络中不同深度的信息,改进空洞空间金字塔池化块（ASPP+）用于提取图像多尺度特征,扩张残差块融合多级特征的同时有效去噪;引入视差注意力模块获取双目图像中的全局对应关系,集成图像对的有用信息;通过亚像素层重建出超分辨率左（右）图,并将FReLU用于整个网络中提高捕获空间相关性效率。该网络在Middlebury、KITTI2012、KITTI2015和Flickr1024四个公开数据集中都取得了优异结果,实验结果表明该网络具有更好的超分辨率性能。     

基于三通道分离特征融合与支持向量机的混凝土 图像分类研究

混凝土的不同配合比可决定材料的性能,对于多种配比和粒径大小混凝土图像的分类研究,有 利于工业废弃混凝土的高效回收利用。为了提升分类效果,提出了一种新的特征提取模块(ITFA-DLF),该模块 在图像分离重构出的 R,G 和 B 3 个通道上,使用卷积神经网络(CNN)提取 3 通道图像的颜色特征,通过多块 局部二值模式(MB-LBP)提取 3 通道图像的纹理特征,将 2 种特征进行融合并输入到网格搜索算法(GS)优化的 支持向量机(SVM)中进行分类。采用混凝土图像进行实验,对比多种分类方法得出所提模型的效果最佳,9 类 图像识别率达到了 92%以上,在保证分类精度的同时缩短了分类时间,提高了混凝土图像的分类效率,验证了 所提方法的有效性。     

高光谱图像小样本分类的卷积神经网络方法

目的 与传统分类方法相比,基于深度学习的高光谱图像分类方法能够提取出高光谱图像更深层次的特征。针对现有深度学习的分类方法网络结构简单、特征提取不够充分的问题,提出一种堆叠像元空间变换信息的数据扩充方法,用于解决训练样本不足的问题,并提出一种基于不同尺度的双通道3维卷积神经网络的高光谱图像分类模型,来提取高光谱图像的本质空谱特征。方法 通过对高光谱图像的每一像元及其邻域像元进行旋转、行列变换等操作,丰富中心像元的潜在空间信息,达到数据集扩充的作用。将扩充之后的像素块输入到不同尺度的双通道3维卷积神经网络学习训练集的深层特征,实现更高精度的分类。结果 5次重复实验后取平均的结果表明,在随机选取了10%训练样本并通过8倍数据扩充的情况下,Indian Pines数据集实现了98.34%的总体分类精度,Pavia University数据集总体分类精度达到99.63%,同时对比了不同算法的运行时间,在保证分类精度的前提下,本文算法的运行时间短于对比算法,保证了分类模型的稳定性、高效性。结论 本文提出的基于双通道卷积神经网络的高光谱图像分类模型,既解决了训练样本不足的问题,又综合了高光谱图像的光谱特征和空间特征,提高了高光谱图像的分类精度。     

基于改进动态ReLU和注意力机制模型的中药材粉末显微图像识别研究

中药材粉末显微特征图像数据量少、样本类别分布不均衡、类间差异小,传统的图像识别方法分类效果不佳.针对以上问题提出一种基于动态ReLU和注意力机制模型的深度卷积神经网络改进方法.首先,采用对小样本数据分类效果明显的Xception作为基础网络;其次,将网络中的静态ReLU激活函数替换为改进的动态ReLU函数,让每个样本具有自己独特的ReLU参数;最后,在网络中嵌入改进的SE模块,使网络能够更好地自动学习到每个特征通道的重要程度.以上方法可以使网络更加注重于图像中的细节信息,能很好地解决样本类别分布不均衡、类间差异小的问题.实验结果表明,对56种中药材粉末导管图像进行分类识别,其准确率提升了约1.5％,达到93.8％,证明了所提研究方法相比于其他图像分类方法具有一定的优越性.     

基于分层压缩激励的ASPP网络单目深度估计

场景深度估计是场景理解的一项基本任务,其准确率反映了计算机对场景的理解程度.传统的深度估计利用金字塔池化(ASPP)模块可以在不改变图像分辨率的情况下处理不同像素特征,但该模块未考虑不同像素特征之间的关系,导致场景特征提取不准确.针对ASPP模块在深度估计中出现的弊端,提出了一种改进型的ASPP模块,解决了该模块在图像...