基于双通道残差密集网络的红外与可见光图像融合

为改善红外与可见光融合结果与源图像间的部分细节特征丢失问题,充分提取红外与可见光图像中的特征信息,提出了一种改进的双通道深度学习自编码网络进行红外与可见光图像融合。其中,双通道结构由密集连接和残差连接模块级联构成,并设置一种综合像素、结构相似度和梯度特征保留的损失函数,使该编码器结构可以充分提取红外与可见光图像的多层次特征,在融合层采用空间L1范数和注意力机制对级联双通道特征分别进行融合,最后设计对应的解码器对融合特征图像进行重构,获取最终的融合结果。通过与传统算法以及近年最新的深度学习算法进行实验对比,结果表明该方法在主观和客观上都具有优秀的综合性能。     

一种红外偏振图像的二次融合方法

根据红外偏振特性图像的冗余性与互补性,提出了一种基于梯度特征和支持度变换的二次融合方法。利用提出的方法先对红外偏振度与偏振角图像进行梯度特征融合,然后利用支持度变换对梯度特征融合图像和合成强度图像进行二次融合,得到了边缘突出、轮廓清晰、对比度高的的融合图像。实验结果表明:融合图像与偏振角图像、偏振度图像、合成强度图像相比局部方差分别提高23.02%、176.9%、148.2%;对比度分别提高67.84%、196.5%、49.39%;平均梯度分别提高46.09%、164.1%、214.5%。     

基于阶梯网络与交叉融合的端到端图像去雾

针对卷积神经网络类图像去雾方法存在的细节丢失、颜色失真、去雾不彻底等问题,提出一种基于阶梯网络与注意力交叉融合的端到端图像去雾算法.整体网络模型包含特征提取、特征融合、图像重建三个模块,其中特征提取包括有雾图像细节和轮廓特征的提取,由阶梯网络的不同阶梯层提取实现;特征融合模块以注意力机制的交叉融合实现,并结合自适应残差...     

一种基于特征分析的偏振图像融合方法

偏振成像探测能反映出传统光学成像所无法反映的物体的信息,为了克服计算偏振参量图像丢失细节信息的不足,在已有偏振图像融合方法的基础上,提出一种基于综合图像特征的融合方法。相较于已有算法突出图像的某一方面特征,该算法提取图像的灰度特征、纹理特征和形状特征,据此确定融合权值,对图像进行融合,能够较好地反映目标的细节信息,融合后的图像相较于普通光强图像,方差、信息熵分别提高了12.6%、17.5%,平均梯度从0.59提高到1.83。针对该方法用到的特征维数较高的问题,提供了一种简化算法,耗时从3054降至1337。     

基于GAN的半监督遥感图像场景分类

针对遥感图像背景复杂及有监督场景分类算法无法利用无标签数据的问题,提出一种基于生成对抗网络的半监督遥感图像场景分类方法.首先,引入谱归一化残差块代替传统生成对抗网络中的二维卷积,利用残差块的跳跃连接解决梯度消失问题;其次,引入特征融合思想,将浅层特征与深层特征进行融合,从而减少特征损失;最后,在生成对抗网络的判别器中加...     

红外与可见光图像交互注意力生成对抗融合方法

为了解决生成对抗融合方法获得的融合图像不能同时保留红外图像典型目标和可见光图像纹理细节的问题,提出一种红外与可见光图像交互注意力生成对抗融合方法.首先,在生成网络模型中采用权重参数共享的双路编码器架构,利用多尺度聚合卷积模块提取源图像各自的深度特征;其次,在融合层设计上,利用交互注意力融合模型建立两类图像局部特征的全局...     

基于密集卷积和域自适应的高光谱图像分类

针对常规的高光谱图像分类算法不能很好地解决不同图像中的频谱偏移的问题,提出了一种基于密集卷积和域自适应的高光谱图像分类算法,首先在源域中使用密集卷积进行深度特征学习,然后应用域自适应技术转移到目标域。目前的域自适应高光谱图像分类框架中常用卷积神经网络进行特征学习,但是当深度增加时会出现因梯度消失而导致分类精度下降的情况,因此本文通过引入密集卷积进行深度特征学习,提高域自适应高光谱图像分类的精度。在Indiana高光谱数据集和Pavia高光谱数据集上验证所提算法的有效性,整体分类精度分别为61.06%和89.63%,与其他域自适应高光谱图像分类方法对比,所提方法具有更好的分类精度。     

改进VGG网络的多聚焦图像的融合方法

为更好地保留原图像信息，提高图像融合性能，提出一种改进VGG卷积神经网络与边缘像素统计特征相结合的融合算法。首先，该算法将完整图像拆分成图像块，以图像块的预处理来获取较高的图像分类，精度达到0.985以上，以改进的VGG卷积神经网络来加快模型收敛速度，当图像块输入到网络当中，可以初步得到二分类的权值矩阵。其次，在高频细节部分，对于左聚焦图像和右聚焦图像的清晰模糊模块分别进行模糊化处理，根据像素点之间的统计特征经阈值分割后得到有明显边界的权值矩阵。最后，结合两次分割的权值矩阵，通过加权求和的融合策略，得到处处清晰的聚焦图像。为说明算法有效性，在实验部分展示其融合主观视觉效果图与信息熵等客观评价，该算法对比其他算法表现突出，可较好地保留原图像的信息。     

多尺度奇异值分解的偏振图像融合去雾算法与实验

针对现有偏振去雾算法鲁棒性不强和图像增强效果有限的问题,提出一种基于多尺度奇异值分解的图像融合去雾算法。首先,利用偏振测量信息的冗余特性,采用最小二乘法,提高了传统偏振图像去雾算法中偏振信息的准确度;然后,从传统偏振图像去雾算法的局限性出发,定性分析了偏振图像融合去雾的可行性,并提出了一种基于多尺度奇异值分解的偏振图像融合去雾算法;最后,设计了不同能见度条件下的验证实验并进行了量化评价。结果表明,与经典偏振图像去雾算法相比,该算法不需要进行人工参数调节,具有较强的自适应性和鲁棒性,能够有效改善传统算法中出现的光晕以及天空区域过曝的问题,图像信息熵与平均梯度最大可分别提高18.9%和38.4%,有效地增强了复杂光照条件下的视觉成像质量,具有较广泛的应用前景。     

基于互结构正则约束的红外偏振图像增强算法

为有效改善红外偏振图像视觉效应,提高红外偏振成像质量,提出了基于互结构正则约束的红外偏振图像增强算法。根据红外偏振特性描述,对Stokes参数Q分量与U分量进行加权邻域梯度融合,获得起偏特征图像,捕获目标边缘、轮廓的偏振特性;提出互结构正则约束模型,以梯度幅值相似算子联合正则约束融合结果与起偏特征图像的边缘结构相似性,及与辐射强度图像的灰度一致性,优化得到增强后的高质量红外偏振图像。实验结果表明,基于互结构正则约束的红外偏振图像增强算法,能有效提高红外偏振图像对比度与清晰度,同时提升复杂背景下人造目标边缘轮廓的偏振显著性,算法快速,工程实时性高.     

基于多任务卷积神经网络的红外与可见光多分辨率图像融合

红外与可见光图像融合一直是图像领域研究的热点,融合技术能弥补单一传感器的不足,为图像理解与分析提供良好的成像基础。因生产工艺以及成本的限制,红外探测器的分辨率远低于可见光探测器,并在一定程度上因源图像分辨率的差异阻碍了实际应用。针对红外与可见光图像分辨率不一致的问题,提出了用于红外图像超分辨率重建与融合的多任务卷积网络框架,应用于多分辨率图像融合。在网络结构方面,首先设计了双通道网络分别提取红外与可见光特征,使算法不受源图像分辨率的限制;其次提出了特征上采样模块,先用双线性插值方法增加像素个数,再通过多层感知器精细化拟合像素平滑空间与高频空间的映射关系,无需重新训练模型即可实现任意尺度的红外图像上采样;接着将线性注意力引入网络,学习特征空间位置间的非线性关系,抑制无关信息并增强网络对全局信息的表达。在损失函数方面,提出了梯度损失,保留红外与可见光图像中绝对值较大的滤波器响应值,并计算该值与重建的融合图像响应值的Frobenius范数,无需理想的融合图像作为真值监督网络学习就能生成融合图像;此外,在梯度损失、像素损失的共同作用下对多任务模型进行优化,可以同时重建融合图像和高分辨率红外图像...     

基于网络传输的实时图像融合系统设计

 为了实现图像融合系统远距离实时传输,提出一种基于TI公司TMS320DM642和TMS320DM365处理器平台的高速网络传输图像融合系统的设计方案。设计基于TMS320DM642融合模块和基于TMS320DM365网络传输模块,解决了图像融合模块和网络传输模块间的数据通信问题;在融合模块中实现图像配准和图像实时融合,融合图像数据在网络传输模块中进行H-264算法压缩并根据RTP(real-time transport protocol,实时传输协议)协议实现RTP封包处理,传输码率约为460 kb/s;利用线程间管道通信技术,实现了一种新的基于RTP/RTSP(real time streaming protocol,实时流传输协议)嵌入式流媒体服务器的搭建方法。实验结果表明：系统总体图像延迟为300 ms左右。     

基于改进DeepLabv3+的无人车夜间红外图像语义分割

为了增强无人车对夜间场景的理解能力，针对无人车在夜间获取的红外图像，提出了一种基于改进DeepLabv3+网络的无人车夜间红外图像语义分割算法。由于自动驾驶场景中的对象往往显示出非常大的尺度变化，该算法在DeepLabv3+网络的基础上，通过引入密集连接的空洞卷积空间金字塔模块，使网络生成的多尺度特征能覆盖更大的尺度范围。此外，该算法将编码器模块的多层结果拼接在译码器模块中，以恢复更多在降采样过程中丢失的空间信息和低级特征。通过端到端的学习和训练，可直接用于对夜间红外图像的语义分割。实验结果表明，该算法在红外数据集上的分割精度优于原DeepLabv3+算法，平均交并比达到80.42，具有良好的实时性和准确性。     

偏振光谱多维信息的重构融合算法

针对传统光学手段难以实现复杂背景下光谱伪装目标的准确识别,同时,常规的数据融合方法易导致图像信息丢失的缺点,提出了一种基于非下采样轮廓波变换的偏振光谱多维信息融合方法。该方法结合自研的新型偏振光谱多维信息探测仪器,根据其获取的目标空间、光谱、偏振等多维信息,设计了多维信息重构算法流程,提取了偏振态基础数据斯托克斯参量以及偏振度和偏振角,利用NSCT对基础偏振参量进行图像融合,提升图像的信息含量以提高伪装物的识别准确率。先对具有相同边缘信息的图像Q和U采用NSCT分解,低通子带取均值,高通子带取最大值进行初步融合,获得偏振特征S,最后对偏振特征S、强度图像I以及偏振度DoLP进行NSCT分解,对分解所得低通子带进行区域能量加权融合;对高通子带,根据偏振特征图像具有灰度值小,受光照影响大等特点,采用LBP特征进行加权融合。同时,本方法与四类融合方法进行对比,据信息熵、标准差、平均梯度、对比度以及峰值信噪比五项指标对融合结果进行客观评价,并结合普通图像,偏振融合图像,偏振高光谱图像对目标识别精度进行对比。融合后的图像信息熵为6.998 6,标准差为45.599 8,平均梯度为19.808 6...     

基于改进残差密集网络的高光谱重建

高光谱图像包含着丰富的光谱信息,单幅RGB重建高光谱图像在军事目标识别和医学诊断领域具有重要价值。传统算法无法对未知相机光谱响应的RGB图像进行重建,针对此问题,本文提出了一种基于改进残差密集网络的重建算法。首先,将改进的残差密集块作为残差密集网络的基本模块,使用自适应权重模块对特征通道进行特征重标定,使高光谱重建精度得到了提高。其次,用特征变换层替代原来网络的空间变换层,将解决图像超分辨率问题转换成解决高光谱重建问题,实现网络从空间维度到光谱维度的转变。实验结果表明:本文所提算法无论是在主观效果上还是在客观评估指标上均优于主流的传统方法和深度学习方法,与稀疏字典方法相比,本文算法的平均相对绝对误差(MRAE)和均方根误差(RMSE)分别下降了46.7%和44.8%。     

基于Swin-Transformer迭代展开的有限角CT图像重建用于PTCT成像

针对相对平行直线扫描CT(PTCT)图像重建存在的有限角伪影问题,提出一种学习局部和非局部正则项的深度迭代展开方法。该方法将具有固定迭代次数的梯度下降算法迭代展开到神经网络,利用具有坐标注意力（CA）机制的卷积模块和Swin-Transformer模块作为迭代模块交替级联部署,构成端到端的深度重建网络。卷积模块学习局部正则化,其中CA用于减少图像过平滑;Swin-Transformer模块学习非局部正则化,提高网络对图像细节的恢复能力;在相邻模块间,使用迭代连接（IC）增强模型提取深层特征的能力,提高每次迭代的效率。通过消融实验验证了网络各部分的有效性,并在两种类型的数据集上进行实验,结果证明了本文方法的效果。实验结果表明,本文方法在抑制PTCT重建图像有限角伪影的同时,能较好地保留重建图像细节,提高重建图像质量。     

基于显著性的双鉴别器GAN图像融合算法

针对红外图像与可见光图像在不同场景的特征表达不同的问题,提出一种基于显著性的双鉴别器生成对抗网络方法,将红外与可见光的特征信息相融合。区别于传统的生成对抗网络,该算法采用双鉴别器方式分别鉴别源图像与融合图像中的显著性区域,以两幅源图像的显著性区域作为鉴别器的输入,使融合图像保留更多的显著特征;并将梯度约束引入其损失函数中,使显著对比度和丰富纹理信息保留在融合图像中。实验结果表明：本文方法在熵值(entropy, EN)、平均梯度(mean gradient, MG)、空间频率(spatial frequency, SF)及边缘强度(edge intensity, EI)4个评价指标中均优于其他对比算法。该研究实现了红外图像与可见光图像高效融合,有望在目标识别等领域中获得应用。     

基于稀疏编码和卷积神经网络的地貌图像分类

提出了一种基于稀疏编码和卷积神经网络的地貌场景图像分类算法;利用非下采样Contourlet变换对训练样本进行多尺度分解;在训练样本中选择图像,利用稀疏编码学习局部特征,对特征向量进行排序;选择灰度平均梯度较大的特征向量对卷积神经网络卷积核进行初始化。结果表明:所提算法可以获得比传统底层视觉特征更好的分类结果,有效避免了网络训练陷入局部最优的问题,提高了自然场景下无人机着陆地貌的分类准确率。     

基于特征融合的遥感图像舰船目标检测方法

针对常用的目标检测算法对遥感图像中的舰船目标进行检测时存在检测精度与实时性兼顾不佳的问题,提出了基于特征融合的遥感图像舰船目标检测算法来检测复杂场景下的多尺度舰船目标.该算法以多尺度单发射击检测框架为基础,增加反卷积特征融合模块和池化特征融合模块,增强网络特征提取的能力.同时设计聚焦分类损失函数来解决训练过程中正负样本失衡的问题.在高分遥感舰船目标数据集上的实验结果表明,所提方法能够有效地增强复杂场景下舰船目标的检测精度.此外,该算法对遥感图像中的模糊舰船目标的检测效果也优于多尺度单发射击检测框架.     

基于注意力残差编解码网络的动态场景图像去模糊

动态场景下的图像去模糊技术是一个具有挑战性的计算机视觉问题。模糊图像不仅影响主观感受,还会影响后续的智能化分析的性能。提出了一种基于注意力残差编解码网络的动态场景图像去模糊方法。首先,编码阶段采用多个残差模块提取特征,加入空间注意力模块感知模糊的空间位置信息;其次,通过在网络中采用全局-局部残差连接策略融合多层卷积特征,减少信息丢失;最后,解码阶段生成具有清晰边缘结构的复原图像。实验结果显示,提出的算法在公开数据集上获得的峰值信噪比值为31.76 dB,结构相似性值为0.912。客观和主观质量评估表明,本文算法能够有效地复原包含丰富边缘轮廓信息的清晰图像,在对比算法中获得最优的性能。