基于字典学习和非局部相似的超分辨率重建

为提高单帧降质图像的分辨率,提出了一种基于字典学习和非局部相似性的超分辨率重建算法。该算法主要将高分辨率图像减去利用迭代反投影重建结果得到差值图像,再利用K-奇异值分解(K-SVD)算法和联合字典生成的思想形成的字典训练方法,训练差值图像块和低分辨率图像块得到对应的高、低分辨率字典用于超分辨重建。此外,引入非局部相似性的正则项约束以提高重建图像的质量。实验结果表明,所提算法重建得到的图像在主观视觉效果和客观评价上优于基于例子学习的超分辨率算法。     

基于深度学习的低分辨率无人机图像增强处理

为提升低分辨率无人机图像清晰度,扩大无人机采集图像应用范围,提出基于深度学习的低分辨率无人机图像增强处理方法。将PCANet深度网络和ScSR稀疏字典相结合,构建低分辨率无人机图像增强模型,运用滤波器预处理采集到的低分辨率无人机图像,提升低分辨率图像中高频成分的敏感性;将高分辨率图像样本和预处理后低分辨率图像作为PCANet深度网络输入,提取高、低分辨率图像深层次特征;运用ScSR稀疏字典训练提取特征得到特征字典,构建高、低分辨率特征字典对,参照高分辨率字典对各个低分辨图像进行高分辨率重构,实现无人机图像增强。实验结果表明,该方法对无人机采集到的低分辨率图像具有较好的高分辨率重构性能,增强后图像可以保留原始图像色彩、纹理等;当设置ScSR稀疏字典的区块训练尺寸为40时,低分辨率图像增强效果最佳。     

基于深度学习的单幅图像超分辨率重建综述

单幅图像超分辨率SISR重建指从单幅低分辨率图像恢复出高分辨率图像.深度学习方法越来越多地用于图像超分辨重建领域,由于深度网络模型可以自主学习低分辨率图像到高分辨率图像之间的映射关系,与传统方法相比在该领域展现出了更好的重建效果,因而基于深度学习的方法已经成为目前图像超分辨率重建领域的主流方向.围绕现有的超分辨深度网络...     

深度学习的单幅图像超分辨率重建方法综述

图像超分辨率重建即使用特定算法将同一场景中的低分辨率模糊图像恢复成高分辨率图像。近年来,随着深度学习的蓬勃发展,该技术在很多领域都得到了广泛的应用,在图像超分辨率重建领域中基于深度学习的方法被研究的越来越多。为了掌握当前基于深度学习的图像超分辨率重建算法的发展状况和研究趋势,对目前图像超分辨率的流行算法进行综述。主要从现有单幅图像超分辨算法的网络模型结构、尺度放大方法和损失函数三个方面进行详细论述,分析各类方法的缺陷和益处,同时通过实验对比分析不同网络模型、不同损失函数在主流数据集上的重建效果,最后展望基于深度学习的单幅图像超分辨重建算法未来的发展方向。     

基于倒易晶胞特征增强的图像超分辨算法

为提高单幅降质图像的分辨率,利用倒易晶胞模型改进了基于样例学习的超分辨算法。首先,在Freeman样例学习超分辨理论框架下,结合倒易晶胞滤波模型增强低分辨率图像特征;然后,将特征增强的低分辨图像与高分辨率图像进行细节对应关系训练;最后,利用训练好的对应关系实现低分辨图像的超分辨重建。该算法削弱了样例学习算法训练阶段"一对多"的病态问题,有效减小了高、低分辨率图像特征空间内在"维度差"。实验结果表明,与双三次插值、邻域嵌入、样例学习超分辨算法相比,该算法在超分辨重建图像主观视觉质量和峰值信噪比(PSNR)客观评价指标中均优于比较算法。     

基于预测稀疏编码的快速单幅图像超分辨率重建

针对经典的基于稀疏编码的图像超分辨率算法在重建过程中运算量大、计算效率低的缺点,提出一种基于预测稀疏编码的单幅图像超分辨率重建算法。训练阶段,该算法在传统的稀疏编码误差函数基础上叠加编码预测误差项构造目标函数,并采用交替优化过程最小化该目标函数;测试阶段,仅需将输入的低分辨图像块和预先训练得到的低分辨率字典相乘就能预测出重建系数,从而避免了求解稀疏回归问题。实验结果表明,与经典的基于稀疏编码的单幅图像超分辨率算法相比,该算法能够在显著减少重建阶段运算时间的同时几乎完全保留超分辨率视觉效果。     

统一最小二乘规则的单幅图像超分辨算法

基于机器学习的超分辨方法是一个很有发展前景的单幅图像超分辨方法,稀疏表达和字典学习是其中的研究热点。针对比较耗时的字典训练与恢复精度不高图像重建,从减小低分辨率(LR)和高分辨率(HR)特征空间之间差异性的角度提出了一种使用迭代最小二乘字典学习算法(ILS-DLA),并使用锚定邻域回归(ANR)进行图像重建的单幅图像超分辨算法。迭代最小二乘法的整体优化过程极大地缩短了低分辨字典/高分辨字典的训练时间,它采用了与锚定邻域回归相同的优化规则,有效地保证了字典学习和图像重建在理论上的一致性。实验结果表明,所提算法的字典学习效果比K-均值奇异值分解(K-SVD)和Beta过程联合字典学习(BPJDL)等算法更高效,图像重建的效果也优于许多优秀的超分辨算法。     

基于多字典的单幅图像超分辨率重建

对于目前图像超分辨率重建算法中的问题，忽略重建图像结构性和重建过程中丢失高频信息，提出了一种基于多字典的单幅图像超分辨率重建算法。在字典学习阶段根据每个图像块的主方向角，对所有训练图像块进行聚类并训练各类的字典。利用训练得到的字典重建训练样本并计算各类的残差图像块，然后对残差图像块再进行聚类、训练残差字典。用锚定邻域回归方法重建高分辨率图像，实验结果表明，该算法在客观评价和视觉效果上均优于许多优秀的图像超分辨算法。     

基于稀疏表示的含噪图像超分辨重建方法

传统的含噪图像超分辨方法只能将图像去噪和图像超分辨分别进行处理,基于稀疏表示与字典训练的含噪声图像超分辨重建方法将两者融合在一起。提出一种基于图像块在训练字典下稀疏表示的协同处理方法,来解决含噪图像超分辨的问题。由于图像块可以由字典下的稀疏系数来表示,所以可训练一个分别适用于含噪低分辨率图像块和清晰高分辨率图像块的字典对,使得高低分辨率图像块在该字典对下具有相同的稀疏表示。当输入含噪低分辨率图像块时,先计算出其在低分辨率字典下的稀疏表示系数,然后利用此稀疏系数在高分辨率字典下进行重建,可得到清晰高分辨率图像块,最后通过整体优化完成清晰高分辨率图像,实现图像超分辨和图像去噪的目的。实验证明,采用局部自适应插值的方法放大低分辨率图像到中间分辨率再进行特征提取,比以往采用的双三线性插值的方法在重建图像质量上有提高,并通过研究字典λ参数的设置使得超分辨重建和去噪结果同时达到最佳,即在图像的视觉和质量上都具有较为明显的优势,具有很好的鲁棒性和有效性。     

基于聚类的单帧图像超分辨率重建方法

为解决单幅图像的超分辨重建问题,提出一种基于聚类的单帧图像超分辨率重建方法.从高分辨率样本图像中学习一个结构聚类型的高分辨率字典,利用迭代收缩算法优化目标方程,求得高分辨率图像的表示系数,使用学习到的高分辨率字典对低分辨率图像进行重构.实验结果表明,与总变分方法、软切割方法和稀疏表示方法相比,该方法的单帧图像超分辨率重建效果较好.     

基于亚像素块匹配和字典学习的超分辨率算法

针对基于字典学习算法的计算效率低,且大多局限于处理单帧图像的问题,提出了一种基于亚像素块匹配和字典学习的超分辨算法,以实现对多帧图像的重构。采用亚像素块匹配方法对图像进行配准,依据配准结果构造低分辨率字典,并通过计算辅助图像块与目标图像块的相似度来选择用于重构的图像块。在Matlab平台上,将该算法用于静态图像和视频图像处理,获得了较好的重构效果。     

快速方向字典插值的中低倍率超分辨率算法

在中低倍率实时超分辨率显示系统中,为了进一步提高重建图像质量的同时降低运算复杂度,提出了一种全方向字典拟合插值的中低倍率快速超分辨率算法。对每个高分辨率图像中待插值像素,首先在对应的低分辨率插值区间中,采用金字塔纹理字典查找主纹理方向,然后根据待插值像素位置进行插值方向修正,最后通过单边拟合的插值方法得到插值结果。实验结果表明,与基于线性映射的边缘定位超分辨率算法(SREO)相比,该算法的峰值信噪比(PSNR)和结构相似度(SSIM)平均分别提高了0.73 dB和0.04,同时平均运算时间减少了40%。     

基于双稀疏度K-SVD字典学习的遥感影像超分辨率重建

为了通过软件方式增强遥感影像的空间分辨率,提出了一种基于双稀疏度K-SVD字典学习的遥感影像超分辨率重建算法。基于稀疏表示理论,利用K-SVD字典学习算法求解低分辨率字典及其稀疏系数,将稀疏系数传递至高分辨率字典学习空间,形成高、低分辨率字典对,重建得到高分辨率遥感影像,并在字典学习和稀疏重建两个阶段设置了不同的稀疏度。实验分别采用TM5影像、资源三号影像以及USC_SIPI图像库中的遥感影像进行重建,结果表明,不论重建影像有无噪声,所提算法的峰值信噪比和结构相似指标均高于Bicubic法以及Zeyde的算法。K-SVD和双稀疏度参数的引入,不仅减少了字典学习时间,且具有高的空间分辨率提升能力。     

基于超分辨率和深度神经网络的车型识别

车型识别在视频监控系统中起着关键作用,文中利用深度神经网络和超分辨率来实现交通监控中的车型识别。利用深度卷积神经网络CaffeNet,并采用先进的深度学习框架CAFFE和具有强大计算能力的GPU来完成对车辆的车型识别。在图像预处理阶段,采用一种基于深度学习和稀疏表示的图像超分辨率(SR)重构算法,来增强图像的细节信息。其中首先基于深度学习模型自编码器,提出一种改进模型非负稀疏去噪自编码器(Nonnegative Sparse Denoising Auto-Encoders,NSDAE)来实现字典的联合学习,然后基于稀疏表示实现车辆图像的超分辨率重构。经实验验证,在加入超分辨率处理之后,车型识别效果在精确度上得到了明显的提升。     

联合多任务学习的人脸超分辨率重建

目的 人脸超分辨率重建是特定应用领域的超分辨率问题,为了充分利用面部先验知识,提出一种基于多任务联合学习的深度人脸超分辨率重建算法。方法 首先使用残差学习和对称式跨层连接网络提取低分辨率人脸的多层次特征,根据不同任务的学习难易程度设置损失权重和损失阈值,对网络进行多属性联合学习训练。然后使用感知损失函数衡量HR（high-resolution）图像与SR（super-resolution）图像在语义层面的差距,并论证感知损失在提高人脸语义信息重建效果方面的有效性。最后对人脸属性数据集进行增强,在此基础上进行联合多任务学习,以获得视觉感知效果更加真实的超分辨率结果。结果 使用峰值信噪比（PSNR）和结构相似度（SSIM）两个客观评价标准对实验结果进行评价,并与其他主流方法进行对比。实验结果显示,在人脸属性数据集（CelebA）上,在放大8倍时,与通用超分辨率MemNet（persistent memory network）算法和人脸超分辨率FSRNet（end-to-end learning face super-resolution network）算法相比,本文算法的PSNR分别提升约2.15 dB和1.2 dB。结论 实验数据与效果图表明本文算法可以更好地利用人脸先验知识,产生在视觉感知上更加真实和清晰的人脸边缘和纹理细节。     

融合邻域回归和稀疏表示的图像超分辨率重构

对于图像超分辨率重建而言,通常会将图像的整体信息作为研究对象。然而图像本身含有的大量结构信息并没有得到充分利用。为了提高超分辨率重建的效果,实现对不同特征信息的利用,提出了一种融合邻域回归和稀疏表示的图像超分辨率重构算法。依据图像所具有的低秩性对高分辨率图像进行分解,获得高分辨率图像的低秩部分和稀疏部分;将对应的低分辨率图像与高分辨率图像的低秩部分和稀疏部分进行训练,学习得到对应的特征字典;基于高分辨率图像的低秩部分和稀疏部分分别基于稀疏表示和邻域嵌入进行高分辨率重构;基于低秩矩阵恢复理论,融合邻域回归和稀疏表示重构的高分辨率图像,得到最终的高分辨率图像。在测试集Set5和Set14上将提出的算法与几种经典算法进行对比实验,可视化和量化结果均表明,相比传统超分辨率算法,提出的算法在PSNR和SSIM都有很好的提升。     

最优方向耦合字典学习的遥感影像超分辨率重建

针对遥感影像超分辨率重建问题,提出了一种改进联合字典学习的超分辨率重建模型。利用最优方向字典更新算法进行耦合字典对的学习,将由低分辨率字典学习得到的稀疏系数传递至高分辨率字典学习空间,形成高、低分辨率字典对,重建得到高分辨率遥感影像。该算法通过优化,实现训练样本自动截取,通过验证实验表明：与已有的经典算法相比,提出的算法定量评价指标有明显改善,同时,在字典学习过程中所需时间远少于现有经典算法,大大提高了遥感影像重建的效率,其重建影像更加清晰,几何纹理结构更加明显,证明了该算法的高效性。     

基于深度反卷积神经网络的图像超分辨率算法

图像超分辨率一直是底层视觉领域的研究热点,现有基于卷积神经网络的方法直接利用传统网络模型,未对图像超分辨率属于回归问题这一本质进行优化,其网络学习能力较弱,训练时间较长,重建图像的质量仍有提升空间。针对这些问题,本文提出了基于深度反卷积神经网络的图像超分辨率算法,该算法利用反卷积层对低分辨率图像进行上采样处理,再经深度映射消除由反卷积层造成的噪声和伪影现象,使用残差学习降低网络复杂度,同时避免了因网络过深导致的网络退化问题。在Set5、Set14等测试集中,本文算法的PSNR、SSIM、IFC三项评价指标皆优于FSRCNN,重建图像的视觉效果同样验证了本文算法出色的性能。     

基于小样本学习的SAR图像识别

深度学习已成为图像识别领域的一个研究热点。与传统图像识别方法不同,深度学习从大量数据中自动学习特征,并且具有强大的自学习能力和高效的特征表达能力。但在小样本条件下,传统的深度学习方法如卷积神经网络难以学习到有效的特征,造成图像识别的准确率较低。因此,提出一种新的小样本条件下的图像识别算法用于解决SAR图像的分类识别。该算法以卷积神经网络为基础,结合自编码器,形成深度卷积自编码网络结构。首先对图像进行预处理,使用2D Gabor滤波增强图像,在此基础上对模型进行训练,最后构建图像分类模型。该算法设计的网络结构能自动学习并提取小样本图像中的有效特征,进而提高识别准确率。在MSTAR数据集的10类目标分类中,选择训练集数据中10%的样本作为新的训练数据,其余数据为验证数据,并且,测试数据在卷积神经网络中的识别准确率为76.38%,而在提出的卷积自编码结构中的识别准确率达到了88.09%。实验结果表明,提出的算法在小样本图像识别中比卷积神经网络模型更加有效。     

基于多字典学习和图像块映射的超分辨率重建

针对单一冗余字典在稀疏表示图像超分辨率重建结果出现不清晰、伪影以及重建过程编码效率不高、运算时间过长的问题,提出一种基于多字典学习和图像块映射的超分辨率重建方法。该方法在传统稀疏表示的框架下,首先探索局部图像块的梯度结构信息,按梯度角度将训练样本块分类;然后为每个子类样本集学习高低分辨率字典对,再结合最近邻思想应用生成的字典,为每个子类计算从低分辨率块到高分辨率块映射的函数;最后将重建过程简化为输入块和映射函数的乘积,在保证提高重建质量的同时减少了图像重建的时间。实验结果表明,所提算法在视觉效果有较大的提升,同时与锚点邻域回归算法相比,评价参数峰值信噪比(PSNR)平均提高约0.4 dB。