红外与可见光图像渐进融合深度网络

目的 红外与可见光图像融合的目标是获得具有完整场景表达能力的高质量融合图像。由于深度特征具有良好的泛化性、鲁棒性和发展潜力,很多基于深度学习的融合方法被提出,在深度特征空间进行图像融合,并取得了良好的效果。此外,受传统基于多尺度分解的融合方法的启发,不同尺度的特征有利于保留源图像的更多信息。基于此,提出了一种新颖的渐进式红外与可见光图像融合框架(progressive fusion, ProFuse)。方法 该框架以U-Net为骨干提取多尺度特征,然后逐渐融合多尺度特征,既对包含全局信息的高层特征和包含更多细节的低层特征进行融合,也在原始尺寸特征(保持更多细节)和其他更小尺寸特征(保持语义信息)上进行融合,最终逐层重建融合图像。结果 实验在TNO(Toegepast Natuurwetenschappelijk Onderzoek)和INO(Institut National D’optique)数据集上与其他6种方法进行比较,在选择的6项客观指标上,本文方法在互信息(mutual Information, MI)上相比FusionGAN(generative adversarial ...     

图像挖掘中利用类特征集成的自动学习算法研究

在图像挖掘中,自动化分类图像的一个有效的方法是利用自动学习系统.分类时要求标签数据,由于大量的图像,手工分类是不现实的;为了减少领域专家标签图像数量,类特征集成自动学习算法是一种有效的方案.     

基于深度学习的遥感影像地块分割方法

[目的]遥感影像地块分割是遥感影像解译的一项具体任务.良好的遥感影像地块分割结果可以为环境保护、农业生产、城镇建设提供指导意见.[方法]本文使用Pytorch框架搭建了DeepLabV3+网络,编码器使用ResNet101和空洞空间金字塔池化模块进行特征提取,解码器使用双线性插值的方法进行特征图尺寸还原.训练过程中,针...     

基于GhostNet的端到端红外和可见光图像融合方法

现有的基于深度学习的红外和可见光图像融合方法大多基于人工设计的融合策略,难以为复杂的源图像设计一个合适的融合策略.针对上述问题,文中提出基于GhostNet的端到端红外和可见光图像融合方法.在网络结构中使用Ghost模块代替卷积层,形成一个轻量级模型.损失函数的约束使网络学习到适应融合任务的图像特征,从而在特征提取的同时完成融合任务.此外,在损失函数中引入感知损失,将图像的深层语义信息应用到融合过程中.源图像通过级联输入深度网络,在经过带有稠密连接的编码器提取图像特征后,通过解码器的重构得到融合结果.实验表明,文中方法在主观对比和客观图像质量评价上都有较好表现.     

基于无监督学习的图像风格迁移方法

近年来,深度学习作为机器学习领域的一个分支,已经展现出强大的能力,其中基于卷积神经网络的无监督学习更是逐渐流行,之前有很多关于图像到图像翻译的工作,但都需要成对输入图片数据,这无疑增加了训练数据集获取的难度。笔者旨在实现在缺少成对数据的情况下使用生成对抗网络GAN学习从源数据域Y到目标数据域Y以实现图像到图像的翻译和风格迁移,通过学习映射G:X→Y和一个相反的映射F:Y→X,使它们成对,同时加入一个循环一致性损失函数,以确保F(G(X))≈X(反之亦然),最终实现通过输入一张具有任意风格的源图片进入网络并生成指定风格的图像,实现风格迁移。在缺少成对训练数据的情况下,本文成功实现了horse2zebra数据集和vangogh2photo数据集的风格迁移。     

基于深度学习的红外可见光图像融合综述

如何将多张图像中的互补信息保存到一张图像中用于全面表征场景是具有挑战性的课题。基于此课题,大量的图像融合方法被提出。红外可见光图像融合（IVIF）作为图像融合中一个重要分支,在语义分割、目标检测和军事侦察等实际领域都有着广泛的应用。近年来,深度学习技术引领了图像融合的发展方向,研究人员利用深度学习针对IVIF方向进行了探索。相关实验工作证明了应用深度学习方法来完成IVIF相较于传统方法有着显著优势。对基于深度学习的IVIF前沿算法进行了详细的分析论述。首先,从网络架构、方法创新以及局限性等方面报告了领域内的方法研究现状。其次,对IVIF方法中常用的数据集进行了简要介绍并给出了定量实验中常用评价指标的定义。对提到的一些具有代表性的方法进行了图像融合和语义分割的定性评估、定量评估实验以及融合效率分析实验来全方面地评估方法的性能。最后,给出了实验结论并对领域内未来可能的研究方向进行了展望。     

基于迁移学习的伤口图像分割

图像分割是计算机辅助阅片的基础,伤口图像分割的准确率直接影响伤口分析的结果.传统方法进行伤口分割步骤繁琐,准确率低.目前已有少部分人利用深度学习进行伤口图像分割,但是他们都是基于小型数据集,难以发挥深度神经网络的优势,准确率难以进一步提高.充分发挥深度学习在图像分割领域的优势需要大型数据集,目前还没有关于伤口图像的大型公共数据集,而制作大型伤口图像数据集需要人工标记,耗费大量时间和精力.本文提出基于迁移学习的伤口图像分割方法,首先利用大型公共数据集训练ResNet50网络作为特征提取器,再利用该特征提取器连接上两个并行的注意力机制后在利用小型伤口图像数据集进行再训练.实验表明本方法的分割结果在平均交并比上有较大提高,在某种程度上解决了缺乏大型伤口图像数据集而导致伤口图像分割准确率低的问题.     

图像挖掘中利用类特征集成的自动学习算法研究

在图像挖掘中,自动化分类图像的一个有效的方法是利用自动学习系统。分类时要求标签数据,由于大量的图像,手工分类是不现实的;为了减少领域专家标签图像数量,类特征集成自动学习算法是一种有效的方案。     

基于深度卷积特征提取的红外与可见光图像融合方法

目前多数红外与可见光图像融合算法在融合过程中通常需要对源图像进行分解,这样易导致融合图像细节模糊和显著性目标丢失.为解决该问题,提出一种基于深度卷积特征提取的红外与可见光图像融合方法.首先,利用迁移学习理论对EfficientNet特征提取性能进行分析,选择7个特征提取模块;然后,直接将源图像送入特征提取模块以实现显著性特征提取;接着,构造通道归一化和平均算子操作用于获取显著图,再使用Softmax与Up-sampling组合的融合规则来得到融合权重,将融合权重与源图像进行卷积,生成7幅候选融合图像;最后,将候选融合图像的像素最大值作为最终的重构融合图像.所有实验均在公共数据集上进行,并与经典的传统和深度学习方法比较,主客观实验结果均表明,所提出方法能够有效地融合红外与可见光图像中的重要信息,突显融合图像的细节纹理,具有更好的视觉效果和更少的图像伪影以及人工噪声.     

图像语义分析的多示例学习算法综述

多示例学习(MIL)作为第4种机器学习框架,已在图像语义分析中得到了广泛应用.首先介绍MIL的起源、特点、相关概念和数据集;然后以图像语义分析为应用背景,对相关MIL算法进行详细综述,按照算法采用的学习机制对其进行分类,并重点分析了各类算法提出的思路和主要特点;最后,对MIL未来的研究方向作了探讨.     

迁移学习在医学图像分类中的研究进展

医学影像作为医疗数据的主要载体,在疾病预防、诊断和治疗中发挥着重要作用。医学图像分类是医学影像分析的重要组成部分。如何提高医学图像分类效率是一个持续的研究问题。随着计算机技术进步,医学图像分类方法已经从传统方法转到深度学习,再到目前热门的迁移学习。虽然迁移学习在医学图像分类中得到较广泛应用,但存在不少问题,本文对该领域的迁移学习应用情况进行综述,从中总结经验和发现问题,为未来研究提供线索。1）对基于迁移学习的医学图像分类研究的重要文献进行梳理、分析和总结,概括出3种迁移学习策略,即迁移模型的结构调整策略、参数调整策略和从迁移模型中提取特征的策略;2）从各文献研究设计的迁移学习过程中提炼共性,总结为5种迁移学习模式,即深度卷积神经网络（deep convolution neural network,DCNN）模式、混合模式、特征组合分类模式、多分类器融合模式和二次迁移模式。阐述了迁移学习策略和迁移学习模式之间的关系。这些迁移学习策略和模式有助于从更高的抽象层次展现迁移学习应用于医学图像分类领域的情况;3）阐述这些迁移学习策略和模式在医学图像分类中的具体应用,分析这些策略及模式的优点、局限性及适用场景;4）给出迁移学习在医学图像分类应用中存在的问题并展望未来研究方向。     

双态形状重构及其在前列腺超声图像分割中的应用

前列腺超声图像在临床中的准确分割对于后续诊断具有重要的影响,而当前已有研究结论无法精确分割各个部分。提出了一种基于点分布模型和流形学习的双态形状重构的方法,并对前列腺超声图像进行分割：通过随机森林指示隐态表达进行目标初定位;改进边界算子以改善粗分割准确性;使用显态表达与噪声部分相邻的部分灰度显著点来进行插值计算,从而恢复整体形状。该分割方式不仅减少了数据计算量,还增加了分割可靠性。实验表明,该方法的DSC指标为97.38%,mIoU指标为95.24%,精度强于当前热门分割神经网络。     

基于深度学习的多模态医学图像分割综述

多模态医学图像可以为临床医生提供靶区（如肿瘤、器官或组织）的丰富信息。然而，由于多模态图像之间相互独立且仅有互补性，如何有效融合多模态图像并进行分割仍是亟待解决的问题。传统的图像融合方法难以有效解决此问题，因此基于深度学习的多模态医学图像分割算法得到了广泛的研究。从原理、技术、问题及展望等方面对基于深度学习的多模态医学图像分割任务进行了综述。首先，介绍了深度学习与多模态医学图像分割的一般理论，包括深度学习与卷积神经网络（CNN）的基本原理与发展历程，以及多模态医学图像分割任务的重要性；其次，介绍了多模态医学图像分割的关键概念，包括数据维度、预处理、数据增强、损失函数以及后处理等；接着，对基于不同融合策略的多模态分割网络进行综述，对不同方式的融合策略进行分析；最后，对医学图像分割过程中常见的几个问题进行探讨，并对今后研究作了总结与展望。     

高分辨率可见光图像引导红外图像超分辨率的Transformer网络

目的 红外图像在工业中发挥着重要的作用。但是由于技术原因,红外图像的分辨率一般较低,限制了其普遍适用性。许多低分辨率红外传感器都和高分辨率可见光传感器搭配使用,一种可行的思路是利用可见光传感器捕获的高分辨率图像,辅助红外图像进行超分辨率重建。方法 本文提出了一种使用高分辨率可见光图像引导红外图像进行超分辨率的神经网络模型,包含两个模块：引导Transformer模块和超分辨率重建模块。考虑到红外和可见光图像对一般存在一定的视差,两者之间是不完全对齐的,本文使用基于引导Transformer的信息引导与融合方法,从高分辨率可见光图像中搜索相关纹理信息,并将这些相关纹理信息与低分辨率红外图像的信息融合得到合成特征。然后这个合成特征经过后面的超分辨率重建子网络,得到最终的超分辨率红外图像。在超分辨率重建模块,本文使用通道拆分策略来消除深度模型中的冗余特征,减少计算量,提高模型性能。结果 本文方法在FLIR-aligned数据集上与其他代表性图像超分辨率方法进行对比。实验结果表明,本文方法可以取得优于对比方法的超分辨率性能。客观结果上,本文方法比其他红外图像引导超分辨率方法在峰值信噪比(pea...     

基于小样本学习融合随机深度和多尺度卷积的SDM-RNET网络

针对神经网络难以利用少量标注数据获取足够的信息来正确分类图像的问题,提出了一种融合随机深度网络和多尺度卷积的关系网络——SDM-RNET.首先在模型嵌入模块引入随机深度网络用于加深模型深度,然后在特征提取阶段采用多尺度深度可分离卷积替代普通卷积进行特征融合,经过骨干网络后再采用深浅层特征融合获取更丰富的图像特征,最终学习预测出图像的类别.在mini-ImageNet、RP2K、Omniglot这3个数据集上对比该方法与其他小样本图像分类方法,结果表明在5-way 1-shot和5-way 5-shot分类任务上该方法准确率最高.     

深度学习驱动的水下图像预处理研究进展综述

水下图像是海洋信息的重要载体,由于水下环境十分复杂,原始水下图像常常具有大量噪声,对后续的检测任务造成影响,因此水下图像预处理成为当前研究的热点。为了深入分析国内外学者对深度学习驱动的水下图像预处理研究进展,对近年来国内外相关文献进行总结分析。介绍了两类传统水下图像预处理方法,并分析其优缺点;根据是否结合物理模型,分析了深度学习驱动的水下图像预处理方法,并将相关方法进行对比总结;分析了深度学习方法的改进,主要从轻量化和提高鲁棒性和适应性两个方面论述;阐述了深度学习驱动的水下图像预处理方法目前存在的问题,并对未来的研究发展方向进行展望。     

基于时域-频域哈希编码的电网图像检索方法

电网数据信息的准确检索在保障电网系统正常运行方面起着非常重要的作用。快速准确地从电网图像数据库中查找到与目标图像相似度高的图像可以有效地提高电网工作人员的工作效率,降低设备维护成本。针对传统检索方法检索精度低的问题,提出了一种基于时域-频域的端到端哈希编码方法。最后,在2个数据集上将该方法与最新的8种方法进行了比较,实验结果表明该方法是有效的。该方法创新性地结合了频域信息,以提高预测正确率,且结合了多任务学习和距圆损失来更加清晰地约束哈希编码任务的训练过程,使图像检索结果更加准确。     

模糊降质图像恢复技术研究进展

介绍近期模糊降质图像恢复技术的研究进展。首先分析图像模糊的成因,继而对图像模糊的数学模型进行介绍,并在此基础上引入图像去模糊的经典模型。接着详细介绍图像去模糊中经典的几种方法,包括维纳滤波,RL（Richardson-Lucy）滤波,总变分,并给出了这几种经典去模糊算法的实验结果。在回顾经典算法的基础上,对近期的图像去模糊算法研究进展进行分类分析,从自然图像统计特性,图像边缘,字典学习这三个方面介绍了近期经典的图像去模糊算法研究进展,并给出了几种有代表性算法的实验结果。在对经典回顾和对近期研究进展分析的基础上展望了图像去模糊技术的发展前景。     

基于图学习的自动图像标注

自动图像标注是图像检索任务中重要而具有挑战性的工作.文中首先讨论并解释了自动图像标注问题,通过总结现有的研究工作,提出了一种基于图学习的图像标注框架.在该框架下,图像标注被分为两个阶段来完成,即基本图像标注与图像标注改善.其中,前者是通过以图像间相似性为依据的图学习过程来提供图像的初始标注,而后者是通过以词汇间语义相关性为依据的图学习过程来改善前者取得的标注结果.该框架主要涉及到图像与文本词汇两种媒体的内部和相互之间的各种关系的估计问题.基于此,作者又给出了针对上述各子问题的改进方法,并将它们综合起来实现了有效的图像标注.最后,通过Corel图像集与网络数据集上一系列实验结果,验证了该模型框架及所提出解决方案的有效性.