基于深度多级小波变换的图像盲去模糊算法

近年来卷积神经网络广泛应用于单幅图像去模糊问题,卷积神经网络的感受野大小、网络深度等会影响图像去模糊算法性能.为了增大感受野以提高图像去模糊算法的性能,该文提出一种基于深度多级小波变换的图像盲去模糊算法.将小波变换嵌入编-解码结构中,在增大感受野的同时加强图像特征的稀疏性.为在小波域重构高质量图像,该文利用多尺度扩张稠密块提取图像的多尺度信息,同时引入特征融合块以自适应地融合编-解码之间的特征.此外,由于小波域和空间域对图像信息的表示存在差异,为融合这些不同的特征表示,该文利用空间域重建模块在空间域进一步提高重构图像的质量.实验结果表明该文方法在结构相似度(SSIM)和峰值信噪比(PSNR)上具有更好的性能,而且在真实模糊图像上具有更好的视觉效果.     

基于卷积神经网络融合编码与解码特征的降水强度识别

为高效地利用红外降雨图进行雨量强度分类，提出了一个融合编码与解码卷积特征的雨量强度识别模型。引入编码与解码卷积于深度卷积神经网络分类模型中，在减少局部信息丢失的同时提取深层次的雨纹信息特征。于编码、解码卷积模块中考虑多尺度感受野卷积，融合不同范围的局部特征，同时在解码时融合相同尺度的编码与解码卷积特征图，提高特征利用率，从而构建一种融合编码与解码卷积特征的雨量强度识别模型。所提模型的分类精度优于主流卷积神经网络框架，分类正确率最高达到了91.7%，且消融实验结果验证了编码与解码模块的有效性。     

一种改进的I-Unet网络的皮肤病图像分割算法

黑色素瘤是常见的皮肤癌,皮肤病图像分割在皮肤癌诊断过程中起到至关重要的作用。为了利用I-Unet深度神经网络强大的编码解码功能来自动分割出皮肤病病灶区域,文中提出一种改进的I-Unet网络的皮肤病图像分割算法。该方法采用空洞卷积扩大卷积感受野,利用类Inception和循环神经网络(RCNN)分别提取图像不同尺度的特征,并进行多尺度特征融合,运用全连接条件随机场(CRF)进行图像后处理。结果表明,所提算法在皮肤病图像分割中取得了良好的效果,算法的Jaccard系数达到了0.780,Dice系数稳定在0.871;与同类最佳研究结果相比,Jaccard系数及Dice系数分别提高了1.5%,2.2%,表明该方法有效提升了网络图像分割的性能。     

结合多尺度特征融合和多输入多输出编-解码器的去模糊算法

针对相机抖动、拍摄物体快速运动以及低快门速度等因素造成的图像非均匀模糊,提出一种结合多尺度特征融合和多输入多输出编-解码器的去模糊算法。首先使用多尺度特征提取模块来提取较小尺度模糊图像的初始特征,该模块使用扩张卷积来以较少的参数量获得更大的感受野。其次,通过特征注意力模块来自适应地学习不同尺度特征中的有效信息,该模块利用小尺度图像的特征来生成注意图,能够有效地减少冗余特征。最后,使用多尺度特征渐进融合模块逐步融合不同尺度的特征,使得不同尺度特征信息能够进行互补。相比以往的使用多个子网堆叠的多尺度方法,文中使用单个网络就能提取多尺度特征,从而降低了训练难度。为了评估网络的去模糊效果和泛化性能,提出的算法在基准数据集GoPro、HIDE和真实数据集RealBlur上均进行了测试。在GoPro和HIDE数据集上的峰值信噪比值分别为31.73 dB和29.39 dB,结构相似度值分别为0.951和0.923,其结果均高于目前先进的去模糊算法,并且在真实数据集RealBlur上也取得了最佳效果。实验结果表明,提出的去模糊算法相比现有算法去模糊更为彻底,能有效地复原图像的边缘轮廓和纹理细节信息,并且能够提升后续高级计算机视觉任务的鲁棒性。     

基于卷积稀疏表示的红外与可见光图像融合

稀疏表示是以块为单位进行编码的,因此破坏了图像块间的相关性。针对上述问题,提出了基于卷积稀疏表示的红外与可见光图像融合算法。该算法采用交替方向乘子算法(ADMM)求解非下采样轮廓波变换(NSCT)域强边缘子带的卷积稀疏系数,完成特征响应系数的融合。同时,采用脉冲耦合神经网络(PCNN)模型的点火图完成NSCT域高频子带的融合。实验结果表明:该算法解决了稀疏表示的“块效应”问题,同时又兼具PCNN模型的视觉特性,可以有效地捕捉源图像的特征信息。另外,在主观视觉评价和客观质量评价方面均优于现有算法。     

基于CNN-WF的高灵敏紫外成像仪中的图像配准与融合

针对现有紫外成像仪中紫外光与可见光图像配准实时性差,精度不高等问题,提出一种基于卷积神经网络(Convolutional Neural Networks,CNN)与小波融合(Wavelet Fusion,WF)的紫外光与可见光图像配准融合方法,并将其应用于高灵敏紫外成像仪中.首先,结合刚体变换和卷积神经网络对采集到的图像数据进行参数模型预训练,通过自主挖掘图像特征寻找到最优空间变换参数,实现紫外光图像与可见光图像的精确配准;其次,利用二维小波分解与重构算法实现紫外光与可见光图像的融合.实验结果表明,所提方法的紫外光图像与可见光图像配准速度快,叠加精度高,且具有良好的稳定性.     

用于场景分割的改进DeepLabV3+算法

为了提升室外场景下语义分割的精度,提出一种改进的DeepLabV3+神经网络分割算法.其主干部分采用分组的ResNest网络,使各类目标训练权重占比不同,以密集连接的方式改进空洞空间卷积金字塔池化(ASPP)模块,在不牺牲特征空间分辨率的同时扩大感受野,并且提升特征复用效率.解码端融合编码端提取的3种不同尺度的低层语义...     

一种多分辨率图像混合编码方案

本文提出一种基于小波变换与神经网络的多分辨率图像混合编码方案，利用小波分解对图像的多分辨率表示来消除图像空间域和频率域的相关性，由于小波图像相邻行之间的复杂关系难以用线性表示式来描述，使用多层神经网络（ＭＬＮＮ）来确定这种未知关系。实验证明，神经网络非线性预测器性能优于线性预测器，对非线性预测后的差值图像用自组织特征映射（ＳＯＦＭ）码书进行矢量量化（ＶＱ）编码，编码图像主观质量好，压缩比高，算法简     

基于多尺度密集连接和U-Net改进的动态场景去模糊算法

针对现有去运动模糊网络在图像恢复过程中出现的纹理细节丢失、无法抑制噪声、产生振铃伪影等问题,提出一种基于多尺度密集连接和U-Net改进的动态场景去模糊算法。首先,借助U-Net网络中空洞卷积下采样有效扩大感受野,在不增加参数量的情况下避免图片产生不可逆损伤,并利用亚像素卷积在上采样过程中以小的卷积核获得清晰的图像细节,降低运算复杂度;其次,设计多尺度密集特征提取模块(multi-scale dense feature extraction, MDFE),通过密集连接的卷积层加强深层次特征提取和复用,运用空间金字塔池化(spatial pyramid pooling, SPP)分支引导多尺度特征的传递和融合,促进图像细节纹理的有效保留;最后,采用ConvLSTM双向连通结构(bidirectional convolution LSTM unit, BCLU)以非线性方式从编码路径补偿简单级联流失的上下文特征,推动深度特征跨阶段相互作用,弱化边缘伪影和噪声干扰。与现有先进方法对比,验证了本文所提算法在性能上的优势。     

基于双密度双树复数小波变换的图像融合研究

双密度双树复数小波变换综合了双密度小波、双树小波和复数小波的优点,具有平移不变性以及良好的方向性,将其引入图像融合能够更好地提取原始图像的特征,为融合图像提供更多的信息。该文提出一种基于双密度双树复数小波变换的图像融合方法,首先将图像进行双密度双树复数小波变换,然后在相应尺度上利用融合规则将变换系数融合,最后进行重构得到融合结果。采用多组具有不同特征的源图像进行融合实验,并对融合图像进行了主客观评价。实验结果表明,该文方法的融合效果优于传统的小波变换方法。     

一种新的像素级多聚焦图像融合算法

该文在小波变换的基础上提出了一种将一维自组织特征映射(SOFM)网络和进化策略相结合的多聚焦图像融合算法。该方法对不同聚焦点的图像进行冗余小波分解,再分别将其各方向、各尺度的高频信息进行叠加,并在高频信息叠加层上提取反映图像清晰度差异的归一化特征图,依据此特征图,使用SOFM网络对原始图像像素进行分类,并利用进化策略对各类像素求出最优的融合系数。实验结果表明该算法比拉普拉斯变换法和小波变换法具有更好的融合效果。     

基于分块CNN的多尺度SAR图像目标分类算法

针对合成孔径雷达（Synthetic Aperture Radar, SAR）图像目标分辨率差异大,多尺度SAR图像目标分类准确率不高的问题,提出了一种基于迁移学习和分块卷积神经网络（Convolutional Neural Network, CNN）的SAR图像目标分类算法。首先通过大量与目标域相近的源域数据对分块CNN的参数进行训练,得到不同尺度下的CNN特征提取网络;其次将CNN的卷积和池化层迁移到新的网络结构中,实现目标特征的提取;最后用超限学习机（Extreme Learning Machine, ELM）网络对提取的特征进行分类。实验数据采用美国MSTAR数据库以及多尺度SAR图像舰船目标数据集,实验结果表明,该方法对多尺度SAR图像的分类效果优于传统CNN。     

联合多流融合和多尺度学习的卷积神经网络遥感图像融合方法

为尽可能保持原始低分辨率多光谱(LRMS)图像光谱信息的同时,显著提高融合后的多光谱图像的空间分辨率,该文提出一种联合多流融合和多尺度学习的卷积神经网络遥感图融合方法.首先将原始MS图像输入频谱特征提取子网得到其光谱特征,然后分别将通过梯度算子处理全色图像得到的梯度信息和通过卷积后的全色图像与得到的光谱特征图在通道上拼...     

融合快照集成与知识迁移的人体行为识别算法

用卷积网络进行人体行为识别是毫米波雷达的一个热门研究方向。由于卷积网络结构的缺陷性,而且目前用于人体行为识别公开的雷达领域数据样本量过少,传统深度学习算法对雷达微多普勒图像的识别率不高,且在训练过程中容易出现过拟合的现象。针对上述问题,本文提出一种融合快照集成与迁移学习的雷达人体行为识别算法。首先,针对深度卷积网络无法提取图像全局特征的问题,该算法通过搭建Vision Transformer(VIT)模型引入注意力机制。其次,通过VIT模型在公开自然数据集上进行任务迁移和特征空间的迁移,解决微多普勒图像的识别过拟合的问题。最后,利用基于快照集成的投票机制算法,提升模型对复杂雷达微多普勒图像的识别能力。试验结果表明,在目标任务数据集样本量少、背景复杂的情况下,该算法能在不增加训练成本的前提下提升微多普勒图像的识别准确率,在VIT模型下该算法识别准确率达到了89.25%,优于经典卷积神经网络。     

基于JPEG压缩编码的小波域多图像融合算法研究

为了在一定的区域内融合多幅光学图像的信息,采用了一种基于联合图像专家小组（JPEG）图像压缩编码的小波域多幅图像融合算法。其基本思想是将小波逆变换看作是信息的融合过程,先对多幅图像进行JPEG压缩编码,压缩后得到一组二进制码流,这组二进制码流可以直接作为小波变换的分解系数,经小波逆变换后得到融合信息。结果表明,该算法能够实现多幅灰度图像和彩色图像的融合,提高了单一空间内图像的信息量,有利于多图像的存储和传输。     

基于多维度特征遥感图像分类方法的研究北大核心CSCD

为了解决传统高光谱图像分类方法精度低、计算成本高及未能充分利用空-谱信息的问题,本文提出一种基于多维度并行卷积神经网络(multidimensional parallel convolutional neural network,3D-2D-1D PCNN)的高光谱图像分类方法。首先,该算法利用不同维度卷积神经网络(convolutional neural network,CNN)提取高光谱图像信息中的空-谱特征、空间特征及光谱特征;之后,采用相同并行卷积层将组合后的空-谱特征、空间特征及光谱特征进行特征融合;最后,通过线性分类器对高光谱图像信息进行精准分类。本文所提方法不仅可以提取高光谱图像中更深层次的空间特征和光谱特征信息,同时能够将光谱图像不同维度的特征进行融合,减小计算成本。在Indian Pines、Pavia Center和Pavia University数据集上对本文算法和4种传统算法进行对比实验,结果表明,本文算法均得到最优结果,分类精度分别达到了99.210%、99.755%和99.770%。     

采用卷积神经网络的红外和可见光图像块匹配

红外和可见光图像块匹配在视觉导航和目标识别等任务中有着广泛的应用。由于红外和可见光传感器有不同的成像原理,红外和可见光图像块匹配更加具有挑战。深度学习在可见光领域图像的块匹配上取得了很好的性能,但是它们很少涉及到红外和可见光的图像块。文中提出了一种基于卷积神经网络的红外和可见光的图像块匹配网络。此网络由特征提取和特征匹配两部分组成。在特征提取过程中,使用对比和三重损失函数能够最大化不同类的图像块的特征距离,缩小同一类图像块的特征距离,使得网络能够更加关注于图像块的公共特征,而忽略红外和可见光成像之间差异。在红外和可见光图像中,不同尺度的空间特征能够提供更加丰富的区域和轮廓信息。红外和可见光图像块的高层特征和底层特征融合可以有效地提升特征的表现能力。改进后的网络相比于先前卷积神经匹配网络,准确率提升了9.8%。     

基于动态感受野的自适应多尺度信息融合的图像转换

为提高图像转换模型生成图像的质量,该文针对转换模型中的生成器进行改进,同时探究多样化的图像转换,拓展转换模型的生成能力。在生成器的改进方面,利用选择性(卷积)核模块(SKBlock)的动态感受野机制获取和融合生成器中每个上采样特征的多尺度信息,借助特征的多尺度信息和动态感受野构造选择性(卷积)核的生成式对抗网络(SK-GAN)。与传统生成器相比,SK-GAN以动态感受野获取多尺度信息的生成结构提高了生成图像的质量。在多样化图像转换方面,基于SK-GAN在草图合成真实图像任务提出带引导图像的选择性(卷积)核的生成式对抗网络(GSK-GAN)。该模型利用引导图像指导源图像的转换,通过引导图像编码器提取引导图像特征,然后由参数生成器(PG)和特征转换层(FT)将引导图像特征的信息传递至生成器。此外,该文还提出双分支引导图像编码器以提高转换模型的编辑能力,以及利用引导图像的隐变量分布实现随机样式的图像生成。实验表明,改进后的生成器有助于提高生成图像质量,SK-GAN在多个数据集中获得合理的生成结果。GSK-GAN不仅保证了生成图像的质量,还能生成更多样式的图像。