基于结构功能交叉神经网络的多模态医学图像融合

针对多模态医学图像融合中存在纹理细节模糊和对比度低的问题,提出了一种结构功能交叉神经网络的多模态医学图像融合方法。首先,根据医学图像的结构信息和功能信息设计了结构功能交叉神经网络模型,不仅有效地提取解剖学和功能学医学图像的结构信息和功能信息,而且能够实现这两种信息之间的交互,从而很好地提取医学图像的纹理细节信息。其次,利用交叉网络通道和空间特征变化构造了一种新的注意力机制,通过不断调整结构信息和功能信息权重来融合图像,提高了融合图像的对比度和轮廓信息。最后,设计了一个从融合图像到源图像的分解过程,由于分解图像的质量直接取决于融合结果,因此分解过程可以使融合图像包含更多的细节信息。通过与近年来提出的7种高水平方法相比,本文方法的AG,EN,SF,MI,Q^AB/F和CC客观评价指标分别平均提高了22.87%,19.64%,23.02%,12.70%,6.79%,30.35%,说明本文方法能够获得纹理细节更清晰、对比度更好的融合结果,在主观视觉和客观指标上都优于其他对比算法。     

基于快速交替引导滤波和CNN的红外与可见光图像融合

为了解决红外与可见光图像融合中出现细节信息丢失,边缘模糊以及伪影的问题,本文提出一种快速交替引导滤波,在保证融合图像质量的前提下有效提高运行效率,结合CNN（卷积神经网络）以及红外特征提取进行有效的融合。首先,对源图像利用四叉树分解和贝塞尔插值来提取红外亮度特征结合可见光图像得到初始融合图像。其次,通过快速交替引导滤波获取源图像的基础层与细节层信息,基础层通过CNN与拉普拉斯变换得到融合后的基础图像,细节层通过显著性测量的方法得到融合后的细节图像。最后,将初始融合图、基础融合图以及细节融合图进行相加得到最终融合结果。本算法涉及到的快速交替引导滤波以及特征提取性能使得最终融合结果中包含丰富的纹理细节信息,边缘清晰。经实验表明,本算法所得融合结果在视觉方面具有较好的保真度,客观评价指标较对比方法其信息熵、标准差、空间频率、小波特征互信息、视觉保真度以及平均梯度分别平均提高了9.9%,6.8%,43.6%,11.3%,32.3%,47.1%。     

基于无监督学习和注意力机制的水下偏振图像融合

针对光线在水体中传播会受到吸收和散射影响,仅使用传统的强度相机获取水下图像存在成像结果亮度偏低、图像模糊、细节丢失等问题,将深度融合网络应用于水下偏振图像,即用深度学习的方法将水下偏振度图像与光强图像融合。分析水下主动偏振成像模型,搭建实验装置获取水下偏振图像构建训练数据集,并进行适当变换以扩充数据集。构建基于无监督学习和注意力机制引导的用于融合偏振度和光强图像的端到端学习框架,并对损失函数及权重参数进行阐述。使用制作的数据集在不同的损失权重参数下进行网络训练,基于不同的图像评价指标对融合后的图像进行评估。实验结果表明,融合后的水下图像细节更为丰富,相比于光强图像信息熵提升24.48%,标准差提升139%。相比于其他传统融合算法,该方法不需要人工调节权重参数,运算速度较快,具有较强的稳定性和自适应性,对于海洋探测、水下目标识别等领域的应用研究具有重要意义。     

基于多特征的红外与可见光图像融合

针对传统图像融合方法易导致融合图像整体对比度低及细节反差小的问题,提出一种多特征加权多分辨率图像融合方法。首先,对多尺度分解后的低频系数进行边缘特征、平均梯度特征的提取,同时对高频系数进行相关信号强度比特征的提取。然后,通过边缘特征级融合指导像素级图像融合得到高频系数;针对合成模块中简单加权法易引起边缘或纹理局部模糊的问题,提出分两种情况分别合成同一位置的多尺度分解系数。最后,通过平均梯度特征自适应加权得到融合图像的低频系数,并对低频和高频系数进行多尺度逆变换得到融合图像。实验表明,本文方法的融合性能优于经典的融合方法,其融合质量评价指标中的标准差、空间频率、信息熵和平均梯度分别提高了15.12%、4.30%、6.15%和3.44%。     

基于NSST和改进PCA相结合的红外偏振图像融合

针对当前红外偏振图像融合的主流方法——多尺度几何分析法对图像表示只侧重某一方面的特点和空间域融合方法主成分分析法(PCA)易丢失小目标的缺点的问题,本文提出一种基于非下采样剪切波变换(NSST)和改进PCA相结合的红外偏振图像融合方法.该方法能充分利用NSST对图像细节表示的有效性和PCA能突出主要特征的特点,综合二者的互补性,充分保留不同源图像的目标和细节特征.首先用NSST将源红外光强和偏振图像分解为低频和不同方向的高频分量;其次,低频分量用改进的PCA进行融合,高频分量用局部能量和局部方差联合进行决策融合;最后,用NSST逆变换重构融合图像,得到最终红外偏振融合结果图.实验结果表明,本文方法在细节保留和视觉效果等方面较其它方法均有较高优势.     

基于双路回归神经网络的遥感图像超分辨率重建方法

文中提出了一种于双路回归神经网络的遥感图像超分辨率重建方法，引入减少了计算量复杂性和加速网络融合的局部残差学习机制；通过跳级连接和通道注意力机制将融合引入网络以增加特征图的数量，并促进反卷积恢复图像细节的图层；双对称模的输出对增强特性表示和选择性地强调重要性特征的总结信息可使网络架构进行分类信息和减少计算成本。该方法克服了传统方法构建图像的解决方案未有显著改进、图像非常平滑、所需细节容易丢失等问题，进一步提高了改进后组织的有效性和优越性。     

基于NSST和改进PCA相结合的红外偏振图像融合（英文）

针对当前红外偏振图像融合的主流方法——多尺度几何分析法对图像表示只侧重某一方面的特点和空间域融合方法主成分分析法(PCA)易丢失小目标的缺点的问题,本文提出一种基于非下采样剪切波变换(NSST)和改进PCA相结合的红外偏振图像融合方法。该方法能充分利用NSST对图像细节表示的有效性和PCA能突出主要特征的特点,综合二者的互补性,充分保留不同源图像的目标和细节特征。首先用NSST将源红外光强和偏振图像分解为低频和不同方向的高频分量;其次,低频分量用改进的PCA进行融合,高频分量用局部能量和局部方差联合进行决策融合;最后,用NSST逆变换重构融合图像,得到最终红外偏振融合结果图。实验结果表明,本文方法在细节保留和视觉效果等方面较其它方法均有较高优势。     

多尺度密集连接注意力的红外与可见光图像融合

针对现有红外与可见光图像融合时,融合结果存在细节信息丢失、特征提取不足等问题,提出了一种多尺度密集连接注意力的红外与可见光图像融合深度学习网络模型。首先,设计多尺度卷积提取红外与可见光图像中不同尺度信息,增大感受野特征提取范围,克服了单一尺度特征提取不足的问题。然后,通过密集连接网络增强特征提取,并在编码子网络末端采用提出的可变形卷积注意力机制,密切联系全局上下文信息,增强对红外与可见光图像中重要特征信息的聚焦能力。最后,由全卷积层构成解码网络,重构生成融合图像。本文选取了六种图像融合客观评价指标,红外与可见光图像公开数据集融合实验结果表明：与其他8种方法相比,本文算法对比实验指标均有所提高,其中结构相似性（SSIM）、空间频率（SF）指标分别平均提高了0.26倍、0.45倍。所提方法的融合结果保留了更清晰的边缘及目标信息,具有更好的对比度和清晰度,在客观评价方面均优于对比方法。     

改进多尺度结构化融合的红外与可见光图像融合

为解决弱光环境下的红外与可见光图像的融合结果存在对比度低、细节纹理不足、融合耗时长的问题,提出了一种改进多尺度结构化融合的方法。在图像融合前,采用动态范围压缩算法对弱光下的可见光图像进行增强,再通过多尺度结构化分解将增强后的可见光图像和红外图像分解成低频和高频信息;在融合过程中,提出一种基于均方根误差系数的方法对低频信息进行融合,提出一种基于信息熵自适应调整权重的策略对初步融合的高频信息进行二次优化融合,再通过多尺度结构化分解的逆变换重构出融合图像;最后,提出一种基于灰度分类的区域像素增强算法来提高融合后图像的对比度。将提出方法与9种常用的融合方法进行了定性和定量的分析比较,在TNO和CVC-14数据集上的实验结果表明,该方法在平均梯度、交叉熵、边缘强度、标准差和空间频率指标上取得了更好的客观评价结果,整体视觉效果也要优于对比方法。本方法的融合结果具有丰富的细节纹理、较高的清晰度和对比度,且融合耗时短。     

利用长波红外偏振成像与光强图像融合的实验研究

为解决红外迷彩对传统热成像系统的干扰问题,达到在战场上识别红外伪装目标的目的,进行了长波红外偏振成像与光强图像融合的实验研究。采集了典型战场背景的长波红外偏振图像,利用MATLAB编程对红外偏振图像处理得到了长波红外偏振度图像,进一步对偏振度图像和光强图像进行了融合。实验结果表明,红外偏振度图像比原始红外图像的灰度均值提高了53%,灰度标准差提高了90%,平均梯度提高了2.04倍;融合后的图像比红外偏振度图像的灰度均值提高了15%,灰度标准差提高了4%,平均梯度提高了17%。     

基于马尔科夫随机场的纹理图像分割方法研究

本文提出了一种改进的基于马尔科夫随机场(MRF)模型的纹理图像分割方法。利用分数阶微分运算对图像纹理细节和边缘轮廓信息的敏感性,将其引入图像纹理特征提取过程中,以获得完备的图像纹理信息,可以弥补传统算法中MRF特征场对图像纹理信息描述不足的缺陷。此外,为准确划分图像中不同的纹理区域,利用模糊熵准则对分割结果进行进一步优化,以降低噪声干扰、减少区域内错分点。实验证明,本文所提出的改进方法可以完善地提取图像的纹理细节和边缘轮廓信息,有效提高分割的准确性,改善分割图像的视觉效果。     

基于小波变换纹理一致性测度的遥感图像融合算法

本文提出了一种基于小波变换的遥感图像融合算法，利用多分辨小波变换的系数，采用低频图像的小波系数最小值作为融合后的低频系数，高频图像根据纹理一致性测度的纹理检测确定融合规则，调整高频小波系数大小。利用小波变换对图像相对应的低频分量及各方向细节分量进行针对性融合处理，很好地将来自不同图像的特征与细节融合在一起，并对融合图像质量进行了对比评价。实验结果表明，这种方法能够在保留图像微小细节方面获得满意的结果，这种算法有效且优于传统的图像融合方法。     

采用非采样Contourlet变换与区域分类的红外和可见光图像融合

提出基于多尺度变换和区域相结合的红外与可见光图像融合方法,用于有效保留红外图像与可见光图像中的空间信息及热目标信息,提升融合图像的可观测性和可理解性。首先,基于非采样Contourlet变换(NSCT)方法对红外和可见光图像进行初步融合,采用基于局部能量的规则融合低通子带系数,根据尺度内各方向子带的相关性原则融合带通方向子带系数。然后,计算初次融合后所得的融合图像与源图像的结构相似性(SSIM),根据源图像与初次融合图像的结构相似程度对图像进行区域分类,得到相似区域分类标识图。最后,依据区域内各自的相似度特性,分别采用不同的融合策略进行二次融合,从而得到最终的融合结果。实验结果表明:该方法能够充分提取源图像的区域特征和纹理特征,融合结果在主观和客观评价上均优于目前流行的融合方法。与仅使用NSCT法进行融合相比,实验所采用的两组图像的质量评价指标分别提高了16%、85%、54%、36%和18%、102%、84%、41%。表明该方法在主客观评价上均优于双树复杂小波变换(DTCWT)、NSCT、冗余离散小波变换(RDWT)等方法。     

结合引导滤波和卷积稀疏表示的红外与可见光图像融合

为了解决红外与可见光图像融合时信息容易相互干扰、影响融合质量的问题,将引导滤波、高斯低通滤波与非下采样方向滤波器组相结合,提出一种新的图像融合方法。利用引导滤波和高斯低通滤波,将源图像分解为低频近似部分、强边缘部分和高频细节部分,并将高频细节部分进行非下采样方向滤波,进一步得到高频方向细节部分;对低频近似部分应用基于局部区域能量的融合规则,对强边缘部分提出一种基于卷积稀疏表示的融合规则,对高频方向细节部分提出改进的脉冲耦合神经网络的融合规则,得到相应的融合部分,并通过逆变换得到最终的融合图像。对多组红外与可见光图像的实验结果表明,算法得到的融合结果的主观视觉效果和客观评价指标均优于传统的图像融合方法,其客观评价指标中的标准差、信息熵、互信息、平均梯度和空间频率相比融合效果较好的基于离散小波变换和稀疏表示的融合方法平均提高20.28%、2.24%、47.41%、5.34%、8.02%。     

结合偏微分方程增强图像纹理及对比度

针对图像获取过程中外界光照的非均匀性会使图像存在阴影区和高亮区,从而丢失图像细节的问题,本文结合偏微分理论,提出了基于直方图均衡化的偏微分图像增强方法.该方法首先将图像变换到梯度域,通过梯度场的变换得到新的梯度函数;然后应用最小二乘原理,对梯度场中变换后的图像进行重建以增强图像的纹理细节,表现原本不清楚的细节信息.另外,针对光照的不均匀特性,结合直方图均衡化,提出反均衡变换来增强图像的亮度和对比度.提出的算法采用有限差分法将图像离散化,并与热方程相结合,其计算简单,运行速度快,具有较强的灵活性和较广的应用范围.采用Visiual C++编程,对于大小为512 pixel×512 pixel的图像的处理时间为35 ms,达到了视频实时增强显示要求.     

结合分数阶显著性检测及量子烟花算法的NSST域图像融合

针对传统红外与可见光图像融合算法中存在的细节纹理信息不够清晰,边缘信息保留不够充分等问题,提出一种基于分数阶显著性及改进量子烟花算法的非下采样Shearlet变换(NSST)域图像融合方法。首先对红外与可见光图像进行NSST分解,低频分量先进行基于分数阶微分增强的显著性检测;然后按照显著图匹配度的融合规则进行融合,高频子带采用梯度变化和灰度差异加权策略进行融合;接着对量子烟花算法进行改进,并对高低频融合参数进行优化;最后输出最佳的融合图像。通过实验表明:基于分数阶微分增强的显著性检测具有较好的视觉显著效果,改进量子烟花算法的寻优能力强、收敛效率高,所提方法得到的融合图像有效地综合红外与可见光图像中的细节信息,与现有方法相比具有较好的融合效果,且自适应能力强、无需人工干预。     

非成对训练样本条件下的红外图像生成

针对实测红外图像数据集构建难度大、测试制作成本高的问题,本文提出了一种非成对训练样本条件下的生成对抗网络VTIGAN,实现不同场景下可见光到红外（Visible-to-Infrared,VTI）的高质量图像转换。VTIGAN在transformer模块基础引入了一个新的生成器学习图像内容映射关系,通过重组目标风格特性实现图像风格转换,同时使用PathGAN作为判别器强化模型的图像细节信息生成能力,最后联合对抗损失、多层对比损失、风格相似性损失、同一性损失四种损失函数对模型训练过程进行约束。将VTIGAN与其他主流算法在可见光-红外数据集上进行了广泛的对比实验,同时使用峰值信噪比、结构相似度和Frechét inception distance 3个评价指标进行定量评估和主观定性评价。实验结果表明,VTIGAN相比于次优的UGATIT算法在PSNR,SSIM和FID三个指标上分别提升了3.1%,2.8%和11.3%,有效实现了非成对训练样本条件下可见光到红外的图像转换,且对于复杂场景的抗干扰能力更强,生成的红外图像清晰度高、细节特征完整、真实感强。     

多尺度交替连接残差网络用于图像去模糊

为更好地解决由于相机抖动、物体之间相对运动等因素引起的图像模糊问题,本文设计了一种多尺度交替连接残差网络用于图像去模糊,采用"从粗到细"的多尺度方式来逐渐恢复出清晰图像。首先,提出一种多尺度残差模块来拓展网络宽度,提取并融合不同尺度之间的特征信息;其次,提出一种基于扩张卷积的交替连接残差模块来逐渐恢复模糊图像的高频信息;最后,利用一层卷积来对特征图进行重建。实验结果表明:本文所提去模糊算法的峰值信噪比以及结构相似度分别为32.313 6 dB和0.942 5,均高于目前先进的图像去模糊技术。从评价指标和主观效果上均可看出本文所提去模糊方法具有更强的图像恢复能力,纹理细节更丰富,能够有效提升图像去模糊效果,具有更强的实用价值。     

用双层重建法实现单幅图像的超分辨率重建

针对现有基于稀疏编码的单幅图像超分辨率重建算法易导致重建图像中出现不正确几何结构的现象,提出一种字典非相关性约束和稀疏系数非局部自相似性约束结合的稀疏编码方法。为解决引入这种自相似性约束造成的重建图像边缘过度平滑、模糊的问题,提出了基于平滑层和纹理层的双层重建框架。该方法运用一种全局非零梯度数目约束重建模型重建平滑层;通过提出的稀疏编码方法重建高分辨率纹理图像。最后,利用一个全局和局部优化模型进一步提升重建图像的质量。实验结果表明,与一些具有代表性的重建方法相比,该方法得到的峰值信噪比(PSNR)和结构相似度(SSIM)平均值分别提高了0.798 7~3.242 4dB和0.018 6~0.083 5,不仅主观视觉效果上取得了明显的改进,鲁棒性得到增强,而且重建出了更加准确的结构和边缘,取得了更好的重建效果。     

基于分层模型与局部复原的多聚焦图像融合方法

针对多聚焦图像融合后清晰像素信息损失较为严重的问题,提出一种分层模型与局部复原相结合的方法。首先,根据源图像模糊区域分布情况,对不同灰度特征源图像进行多尺度分解选取恰当的分层模型,并利用此模型对图像进行初步融合;在此基础上,通过计算对应区域的功率谱曲线斜率以推导图像中局部模糊区域像素值,提高图像融合算法的细节提取能力,再结合维纳滤波策略对其进行恢复,以实现图像清晰融合。最后,利用3个实例验证了该方法的有效性与可行性。