基于稠密残差网络的多序列卫星图像去云

遥感影像中最常见的问题是云层污染,它会导致图像信息缺失,降低遥感数据的可用性。针对该问题,提出了一种基于稠密残差网络的多序列卫星图像去云算法。首先,该网络使用多序列的有云卫星图像作为输入,能为网络提供更多的时序特征信息,提升去云效果;其次,在网络中段使用稠密残差层,以保证卷积层之间最大程度地传递和使用特征信息,让生成的修复图像整体结构合理、边缘细节更加清晰;最后,使用像素上采样来增强空间信息的利用,提升修复效果。该方法在欧洲"哨兵-2"遥感卫星图像数据集上进行验证,峰值信噪比和结构相似度指标为27.59和0.854 0,两项指标均超过了该数据集的原处理方法STGAN,提升了遥感图像去云的效果。     

一种用于图像去雾的改进生成对抗网络

雾霾天气会使计算机视觉相关系统获取到的图像质量下降并影响系统的正常工作。传统图像去雾算法通过分析大量图像建立模型,并找出清晰图像与模型之间的映射关系,但该类算法大多存在颜色失真和图像失真的问题,且在某些特定场景下可能失效。基于卷积神经网络的去雾算法得到的图像质量相对较好,但是该类算法对数据集要求较高,普遍需要成对数据进行训练,而获取同一时刻和场景下的有雾图像与无雾图像难度较高。提出一种基于循环生成对抗网络（CycleGAN）的改进图像去雾算法,该算法无需使用成对的数据进行训练。通过优化生成器生成的无雾图像与真实无雾图像之间的颜色损失,使得生成器能够生成与无雾图像具有相同颜色分布的图像。同时,通过向2个生成器中分别添加对应目标域图像的输入并引入特征损失函数,以解决经典CycleGAN在图像转换时存在的图像失真问题,从而更好地还原原始图像的细节特征。实验结果表明,相较DCP、CycleGAN、AOD-Net、Cycle-dehaze等算法,该算法的结构相似度提高4.3%~23.0%,峰值信噪比提高2.3%~36.9%,其能取得更好的去雾效果。     

结合密集注意力的自适应特征融合图像去雾网络

目前, 大多数图像去雾算法忽视图像的局部细节信息, 无法充分利用不同层次的特征, 导致恢复的无雾图像仍存在颜色失真、对比度下降和雾霾残留现象, 针对这一问题, 提出结合密集注意力的自适应特征融合图像去雾网络. 该网络以编码器-解码器结构为基本框架, 中间嵌入特征增强部分与特征融合部分, 通过在特征增强部分叠加由密集残差网络与CS联合注意模块构成的密集特征注意块, 使网络可以关注图像的局部细节信息, 同时增强特征的重复利用, 有效防止梯度消失; 在特征融合部分构建自适应特征融合模块融合低级与高级特征, 防止因网络加深而造成浅层特征退化. 实验结果表明, 所提算法在合成有雾图像数据集和真实有雾图像数据集上均表现优异, 在SOTS室内合成数据集上的峰值信噪比和结构相似性分别达到了35.81 dB和0.9889, 在真实图像数据集O-HAZE上的峰值信噪比和结构相似性分别达到了22.75 dB和0.7788, 有效解决了颜色失真、对比度下降和雾霾残留等问题.     

一种基于生成对抗网络的图像修复算法

针对目前基于生成对抗网络(GAN)的图像修复算法存在修复效果的视觉连续性不佳、网络训练过程中模型崩溃等问题,提出一种基于双判别器的生成对抗网络的修复算法。该方法将WGAN-GP的损失函数引入全局判别器和局部判别器中,并结合改进的上下文内容损失来训练网络模型,修复破损区域。在CelebA数据集以峰值信噪比PSNR和结构相似性SSIM的标准下的实验结果证明,该算法提高了图像修复结果的质量和训练稳定性。     

一种基于对抗学习的仿真遥感图像生成方法

遥感图像数据标注耗时、成本高且需要专家知识，使得有标签的遥感数据难于获得，因此亟需生成有标签遥感数据的有效方法。由计算机视觉领域用于风格迁移的循环一致生成对抗网络出发，提出了一种基于深度学习，利用循环一致生成对抗网络生成新数据集的仿真遥感图像转换方法。将源数据与生成数据视为源域与目标域，遥感图像转换可视为仿真遥感数据集的风格迁移。生成的数据集可进一步用于分类、语义分割和域适应等适用于遥感图像的常见任务。实验结果表明该方法可有效生成风格迁移的仿真遥感数据。     

基于高频小波损失的生成对抗人脸补全方法研究

基于生成对抗网络架构设计一种新的人脸补全模型。在生成网络中使用空洞卷积以增加特征图的感受野,提升网络性能;针对生成补全图像模糊,提出基于小波分解的损失函数设计方法,将图像转换到小波空间,提取高频信息作为l_1小波损失,有效提升人脸图像补全的质量。对VGGFace2人脸数据集下半部分人脸进行遮挡,作为训练数据集,以LFW数据集遮挡,进行人脸补全测试结果分析。实验结果表明,所设计算法的网络补全后的人脸结构相似性(SSIM)达到0.803 4,峰值信噪比(PSNR)达到20.946 7,有效提升了人脸补全的效果。     

基于改进DCGAN算法的遥感数据集增广方法

遥感数据集规模是深度学习目标检测算法性能的关键,如何利用少量数据生成大量标注图像成为当前的研究热点.针对这一问题,结合二次掩模技术,提出一种基于改进DCGAN算法的遥感数据集增广方法,自定义目标个数与位置,实现图像与标签的扩增,解决了基于GAN图像增广算法中无对应标签生成的问题.同时,针对DCGAN算法生成图像质量不高的问题,提出多尺度特征融合技术,优化DCGAN算法,提升图像质量.实验表明,在MNIST和PlANE两种数据集上,改进DC-GAN算法生成的图像质量与图像多样性均优于DCGAN算法;在利用Tiny-YoloV2算法设计的验证实验中发现,所提算法增广的数据集,检测AP值高达85.45％,相对未增广算法与传统增广方法,AP值分别提高了16.05％和2.88％,验证了算法的有效性.     

基于循环生成对抗网络的图像去雾算法

大气散射模型与有雾图像及对应清晰图像间的映射模型不适配,导致使用大气散射模型进行图像去雾处理时,图像存在颜色偏差、纹理细节粗糙等问题。基于模拟生物视觉系统的反馈原理,提出一种端到端的循环生成对抗网络算法,以解决误差累积造成的去雾图像低质的问题。通过生成模块将循环神经网络的隐藏状态作为反馈信息,以指导低级模糊特征信息生成更加丰富的高级特征。循环结构能够保证先前的网络层可以使用到后面网络层的高级特征信息,从而减少误差累积。此外,该算法能够根据判别模块的损失来评估重建图像的质量。实验结果表明,与GCANet算法相比,所提算法在SOTS测试集上的平均峰值信噪比和结构相似性,在室内分别提升3.41%和0.57%,在室外分别提升3.48%和1.39%,且在真实世界的数据集上进行图像去雾后,在视觉上避免了颜色失真和光晕问题。     

深度特征融合注意力与双尺度的运动去模糊

目的 拍摄运动物体时,图像易出现运动模糊,这将影响计算机视觉任务的完成。为提升运动图像去模糊的质量,提出了基于深度特征融合注意力的双尺度去运动模糊网络。方法 首先,设计了双尺度网络,在网络结构上设计高低尺度通路,在低尺度上增加对模糊区域的注意力,在高尺度上提升网络的高频细节恢复能力,增强了模型去模糊效果。其次,设计了深度特征融合注意力模块,通过融合全尺度特征、构建通道注意力,将编码的全尺度特征与解码的同级特征进行拼接融合,进一步增强了网络的去模糊性能和细节恢复能力。最后,在双尺度的基础上,引入多尺度损失,使模型更加关注高频细节的恢复。结果 在3个数据集上,与12种去模糊方法进行了对比实验。在GoPro数据集上得到了最优结果,相比SRN （scale-recurrent network）方法,平均峰值信噪比提升了2.29 dB,能够恢复出更多的细节信息。在Kohler数据集上,得到了最高的峰值信噪比（29.91 dB）。在Lai数据集上,视觉上有最好的去模糊效果。结论 实验结果表明,本文方法可以有效去除运动模糊并恢复细节。     

基于感知去模糊的高效人脸图像修复算法EI北大核心CSCD

针对现有深度学习图像修复算法在修复区域内部产生模糊纹理或存在修复区域边界的内容不连贯性的问题,提出一种基于感知去模糊的人脸图像修复算法.首先提出一种包含PSNR损失、SSIM损失和对抗损失的生成对抗网络生成粗略的人脸结构修复信息;然后开发一种基于感知去模糊的生成对抗网络对粗略的人脸结构进行进一步的纹理细节恢复,从而生成自然清晰且内容连贯的面部纹理.在CelebAHQ公开人脸数据集上进行定量、定性和消融实验的结果表明,所提算法在峰值信噪比和结构相似性等定性评价指标方面优于所对比的前沿图像修复算法.     

基于生成对抗网络的机载遥感图像超分辨率重建

为解决机载遥感图像质量易受环境影响的问题,对其进行超分辨率重建,对现有深度学习机载遥感图像超分辨率重建方法存在的特征提取能力差、重建图像边缘平滑、模型训练困难的问题进行改进,增强图像重建效果。将生成对抗网络作为模型的整体框架,使用密集剩余残差块增强模型特征提取能力,增加跳跃连接,有效提取机载遥感图像的浅层和深层特征,引入沃瑟斯坦式生成对抗网络优化模型训练。该方法能够有效对机载遥感图像进行4倍重建,在峰值信噪比评价上较对比方法约有2 dB增益,重建出的机载遥感图像在视觉上更清晰、细节更丰富、边缘更锐利。实验结果表明,该方法有效提升了模型特征提取能力,优化了训练过程,重建的机载遥感图像效果较好。     

基于颜色空间变换的遥感图像去厚云方法

由于气候条件等因素,获取清晰无云的大面积遥感图像几乎不可能。在所获取的遥感图像中常含有大量的厚云完全遮盖了地表的实际地物情况。提出了一种基于遥感自动分类和颜色空间变换的多时相遥感图像厚云去除方法。实验结果表明,该方法不但能够去除厚云,而且能够很好地校正不同时相遥感图像间的颜色和亮度差异。     

基于全变分模型的多时相遥感影像厚云去除算法

针对多时相遥感影像厚云去除出现的亮度不一致和明显边界的问题,提出了一种结合全变分模型和泊松方程的多时相遥感影像厚云去除算法。首先,通过多时相遥感影像间共同区域的亮度信息计算亮度校正系数,对图像的亮度进行校正,降低亮度差异对去云结果的影响。然后,基于选择多源全变分模型对亮度校正后的多时相遥感影像进行重建,提高融合结果的空间平滑性及其与原始影像的相似性。最后,利用泊松方程对重建图像的局部区域进行优化。实验结果表明,该算法能够有效解决亮度不一致和边界问题。     

基于支持向量机的遥感图像厚云去除算法

厚云的存在大大降低了遥感图像的利用率,利用支持向量机超强捕获边缘点的能力和图像融合方法,提出了一种基于支持向量机遥感图像厚云去除算法。首先构造支持向量值轮廓波变换并对图像进行分解,然后进行云层检测和图像融合,最后进行支持向量值轮廓波逆变换,得到重构图像。仿真实验表明,对于有厚云覆盖但无云区重叠的遥感图像,该算法能取得满意的去云效果,不仅保留了图像边缘信息,而且有效地解决了云层残留问题。     

注意力机制改进卷积神经网络的遥感图像目标检测

目的 遥感图像目标检测是遥感图像处理的核心问题之一,旨在定位并识别遥感图像中的感兴趣目标。为解决遥感图像目标检测精度较低的问题,在公开的NWPU_VHR-10数据集上进行实验,对数据集中的低质量图像用增强深度超分辨率（EDSR）网络进行超分辨率重构,为训练卷积神经网络提供高质量数据集。方法 对原Faster-RCNN （region convolutional neural network）网络进行改进,在特征提取网络中加入注意力机制模块获取更多需要关注目标的信息,抑制其他无用信息,以适应遥感图像视野范围大导致的背景复杂和小目标问题;并使用弱化的非极大值抑制来适应遥感图像目标旋转;提出利用目标分布之间的互相关对冗余候选框进一步筛选,降低虚警率,以进一步提高检测器性能。结果 为证明本文方法的有效性,进行了两组对比实验,第1组为本文所提各模块间的消融实验,结果表明改进后算法比原始Faster-RCNN的检测结果高了12.2%,证明了本文所提各模块的有效性。第2组为本文方法与其他现有方法在NWPU_VHR-10数据集上的对比分析,本文算法平均检测精度达到79.1%,高于其他对比算法。结论 本文使用EDSR对图像进行超分辨处理,并改进Faster-RCNN,提高了算法对遥感图像目标检测中背景复杂、小目标、物体旋转等情况的适应能力,实验结果表明本文算法的平均检测精度得到了提高。     

结合曲率滤波的HTM算法去除遥感影像云雾

目的 遥感卫星幅宽较大，成像区域内的薄云和雾很难区分，云雾降低了遥感影像的解译精度和对目标地物判别的准确性。传统的云雾去除方法是通过调整图像的对比度和饱和度来提高重建图像的质量，对不均匀分布云雾的适应性不强。为此，本文以"高分二号"（GF-2）遥感数据为例，提出一种结合高斯曲率滤波的雾度图（haze thickness map，HTM）求解算法。方法 采用遥感影像的红波段进行HTM求解，首先通过不重叠的滑动窗口对整幅图像取暗像素，得到HTM估计值，利用高斯曲率滤波对其进行平滑，减少噪声干扰，保持地物边缘特征，并通过插值运算恢复到原图尺寸；然后利用改进的2维最大熵自动确定分割阈值，提取HTM中白色区域并抑制，对边缘处的像素值进行校正；最后通过HTM结果恢复出清晰影像。结果 由目视判读结合评价指标进行评价，将改进的暗原色先验法、传统的HTM算法与本文改进的方法在不同地区含云雾的遥感影像上进行对比实验。本文改进方法所得结果与传统方法相比，灰度均值降低约34.96%，平均梯度提升约18.48%，信噪比提升约34.77%，对比度提升约39.41%，对于不均匀遮挡的云雾去除具有较好效果。结论 改进的方法能够去除云雾干扰，有效改善影像数据的视觉效果，同时能够保留大量的细节信息，较传统方法更优。     

先验终端像元库支持下的GF-4多光谱影像自动云检测

高分四号卫星是我国第一颗地球同步轨道遥感卫星,以其高频、宽幅的特点,可为我国农业、林业、减灾、气象、环保和水利等应用提供快速、稳定的光学遥感影像,高效的影像自动云检测有助于进一步提高高分四号影像的利用效率。CDAG（Cloud Detection Algorithm-Generating）是一种基于像元组分光谱分析的自动云检测算法,能有效降低混合像元、复杂表面结构和大气等因素的影响。为了探索CDAG算法对于高分4号多光谱影像（GF4-PMS）的云检测应用能力,首先,从高光谱影像（AVIRIS）上选取不同的云类型和各种地表覆盖类型,建立云像元库和地物像元库;其次,基于高光谱像元库和GF4-PMS传感器光谱响应函数模拟出多光谱影像像元库;然后,根据碎云、薄云、厚云及非云像元的光谱差异性分析,将GF4-PMS影像的待检测像元与终端像元进行相似概率分析,实现基于最佳阈值自动迭代的GF4-PMS影像云检测;最后,从云像元正确率、晴空像元正确率、误判率、漏判率等多个指标进行云检测精度验证。结果表明：AVIRIS影像可以有效提取适用于GF4-PMS影像云检测的终端像元库,基于CDAG算法能较好地识别GF4-PMS影像上各种类型的云,对于不同时相、不同下垫面的碎云、薄云、厚云的检测精度可达90%以上。因此,基于先验终端像元库的云检测法对于提升GF4-PMS影像的利用效率具有较好的应用价值。     

基于深度学习的卫星遥感图像边缘检测方法

为解决卫星遥感图像边缘模糊噪点过多,导致图像清晰度过低的问题,提出基于深度学习的卫星遥感图像边缘检测方法。利用Softmax分类器结构,提取边缘图像节点处的数据信息参量,遵循深度学习算法,完成对图像信息的卷积与池化处理,实现基于深度学习的卫星遥感图像识别。根据尺度空间定义原则,确定边缘检测特征点所处位置,再联合梯度信息熵计算结果,完成对卫星遥感图像的拼接处理。分别计算一阶微分边缘算子、二阶微分边缘算子的具体数值,确定梯度幅值的取值区间,总结已知数值参量,建立完整的双阈值表达式,完成基于深度学习的卫星遥感图像边缘检测方法的设计。实验结果表明,应用所提方法后卫星遥感图像边缘节点处信噪比指标增大,可有效控制模糊噪点对图像清晰度的影响,在卫星遥感图像边缘精准检测方面具有较强的实用性。     

Automatic Cloud Detection of GF4 Multispectral Imagery Supported by the Priori Terminal Pixel Library

The GaoFen4 (GF4) satellite is China’s first geo-synchronous orbit remote sensing satellite. With the advantages of high frequency and wide width, it can provide fast and stable optical remote sensing images for agricultural, forestry, disaster reduction, meteorology, environmental protection, water conservancy and other applications in China. Efficient image automatic cloud detection helps to further improve the utilization efficiency of GaoFen4 images. CDAG（Cloud Detection Algorihtm-Generating）Cloud detection is an automatic cloud detection algorithm based on spectral analysis of pixel components, which can effectively reduce the influence of mixed pixels, complex surface structure and atmosphere. This paper aims to explore the application of CDAG algorithm in cloud detection of GaoFen4 multispectral imagery (GF4-PMS). Firstly, different cloud types and surface cover types were selected from hyperspectral images (AVIRIS) to establish cloud pixel library and clear sky pixel library. Next, the pixel library of multispectral images was simulated based on Hyperspectral pixel library and spectral response function of GF4-PMS sensor. Then, according to the spectral difference analysis of broken cloud, thin cloud, thick cloud and non-cloud pixel, the similarity probability analysis was performed on the to-be-detected pixel of the GF4-PMS image and the terminal pixel, and the GF4-PMS image cloud detection based on the optimal threshold automatic iteration was realized. Finally, cloud detection accuracy verification was carried out from multiple indicators such as cloud pixel correct rate, clear sky pixel correct rate, false positive rate and missed rate. The results show that AVIRIS images can effectively extract terminal pixel libraries for GF4-PMS image cloud detection. Clouds of Various types on GF4-PMS images can be better identified based on the CDAG algorithm. The accuracy of detection results for broken clouds, thin clouds and thick clouds with different time phases and different underlying surfaces can reach more than 90%. Therefore, the cloud detection method based on the priori terminal pixel library has a good application value for improving the utilization efficiency of GF4-PMS images.