图像修复技术综述

图像修复技术是利用破损图像中未缺失区域信息,按照一定的修复规则,对图像中被污染或缺失的区域进行像素修补、填充。文章从目前常见的图像修复技术入手,分析比较传统的图像修复技术和基于深度学习的图像修复技术,结果认为基于深度学习的图像修复技术修复的图像在颜色和纹理等方面效果更好。     

数字图像修复技术综述

数字图像修复方法的研究是计算机图形学和计算机视觉中一个非常具有研究意义的问题,图像修复的目标是以视觉可行方式填补图像中缺损区域。文章首先对数字图像修复技术的概念进行了解读;其次分析了数字图像修复技术的应用;然后对数字图像修复方法进行了分类分析,根据不同的修复需求及破损区域的特点选取合适的修复方法;最后对数字图像修复技术的前景进行了展望。     

一种生成对抗网络用于图像修复的方法

近年来基于深度学习的图像修复方法相比于传统方法,表现出明显优势,前者能更好的生成视觉上合理的图像结构和纹理.但现有的标准卷积神经网络方法,通常会造成颜色差异过大和图像纹理缺失与失真的问题.本文提出了一种新型图像修复深度网络模型,该模型由两个相互独立的生成对抗式网络模块组成.其中,图像修复网络模块旨在解决图像缺失区域的修复问题,其生成器基于部分卷积网络;图像优化网络模块旨在解决修复后图像存在局部色差的问题,其生成器基于深度残差网络.通过两个网络模块的协同作用,图像的视觉效果与图像质量得到提高.与其他先进方法进行定性和定量比较的实验结果表明,本文提出的方法在图像修复质量上表现更好.     

图像修复方法综述

图像修复技术是目前计算机视觉领域的研究热点之一，该技术主要利用缺失区域周边或者外部辅助数据来对图片受损区域进行信息推理和修复。随着大数据时代的到来，基于深度学习的图像修复技术以其出色的性能成为了图像处理领域内的关注点。对现有的图像修复算法进行总结，对各个算法的模型结构、性能表现及在常用数据集上的指标进行讨论说明，并对该领域目前所存在的问题和难点进行分析和展望。     

一种改进的数字图像修复方法

针对既含有划痕又含有大块缺失信息的数字图像,文中提出了一种基于改进BSCB模型和改进Criminisi算法的图像修复方法。首先,采用改进的BSCB模型修复图像中的划痕,然后再用一种改进优先级的Criminisi算法进行大块缺失信息的修复,最后将文中提出的修复方法与单独使用BSCB模型和单独使用Criminisi算法的修复效果进行对比,实验结果表明文中提出的方法的修复效果更好。     

一种深度图像修复算法研究

针对Kinect传感器获取的深度图像包含大量噪声和缺失深度信息的孔洞等缺点,提出一种基于区域分割和联合双边滤波的深度图像修复算法。深度图像中不同区域具有不同的噪声特性,现有的深度图像修复算法采用单一的滤波参数对整幅深度图像进行处理具有盲目性和无法有效保持滤波后深度图像的结构信息的缺点。文中在深度图像分割的基础上,根据分割区域内的噪声属性自适应地确定该区域滤波参数,实现深度图像的去噪和孔洞修复。文中算法与联合双边滤波算法对Kinect深度图像修复的对比实验表明,文中算法能有效去除深度图像的噪声和修补缺失深度信息的孔洞,且修复后的深度图像峰值信噪比高于联合双边滤波算法处理后的深度图像峰值信噪比,并能较好的保护深度图像的区域结构。     

基于线结构光和YOLOv5的管道保温层破损检测

现有的自动破损检测忽略了深度信息，仅使用图像2D信息，难以准确检测复杂环境下的管道保温层破损。为解决该问题，针对轨道式机器人巡检场景，提出一种基于线结构光和YOLOv5的管道保温层破损检测方法。将线结构光加入视频采集装置中，对激光域进行预分割后，采用自适应阈值方法提取激光中心线，结合线结构光测量深度原理，进行主动式测距。经图像拼接由视频自动生成RGB-D图像，解决了RGB图像与深度信息配准问题。最后结合中层特征融合的YOLOv5算法进行RGB-D破损检测，对凸起和凹陷两类破损进行分类检测。实验结果表明，所提方法可以从轨道式机器人采集视频中获取RGB-D信息，检测的平均精度均值可达85.1%，能够实现对热力管道保温层破损的有效准确识别。     

以TV模型为例的西藏壁画数字图像修复技术研究

通过介绍图像修复技术中的一个主要修复模型,即基于偏微分方程的图像修复技术,具体分析了数字图像的的破损类型及对应方法,在偏微分方程的基础上,深入了解此模型中具有代表性的TV图像修复模型.分析TV模型在噪声影响下对修复方程的约束,实现对噪声图像的处理方法.分析和对比此类模型对不同破损图像的修复效果,得出了最佳修复方案.     

一种基于压缩感知的改进的缺失数据修复算法

图像缺失数据修复是对图像中缺失或者破损的部分进行恢复的过程。该文提出的基于压缩感知理论的图像修复是新颖的图像修复技术,它利用信号的稀疏性,高精度修复缺失信号。改进的图像缺失数据修复算法基于K-SVD字典,先提取出图像数据,然后利用K-SVD算法对图像稀疏表示,利用待修复图像的有效数据,设计与有效数据对应的字典对缺失图像块修复。该算法通过引入学习型K-SVD字典,增强了字典对不同图像的适应性,提高了算法的修复效果。     

连分式在图像修复中的应用

破损图像的修补一直是图像处理中一个重要的研究课题,数字图像修补技术被广泛用于各个领域包括医学图像的修复、文物的修复、犯罪现场的还原以及电影胶片上划痕、污迹的消除.在通常的图像修复技术上,对于一些规则的破损纹理图案采用Thiele型连分式这一有理插值的方法来对破损部分周围的像素点进行插值从而达到修补破损部分的目的.介绍了连分式方法及其在图像修复中的应用,实验证明,连分式插值的方法取得的结果优于一般软件处理的结果,所以使用连分式的纹理修补方法是一种简单而又有效的修补方法.     

Face completion with Hybrid Dilated Convolution

Image completion is a challenging task which aims to fill the missing or masked regions in images with plausibly synthesized contents. In this paper, we focus on face image inpainting tasks, aiming at reconstructing missing or damaged regions of an incomplete face image given the context information. We specially design the U-Net architecture to tackle the problem. The proposed U-Net based method combines Hybrid Dilated Convolution (HDC) and spectral normalization to fill in missing regions of any shape with sharp structures and fine-detailed textures. We perform both qualitative and quantitative evaluation on two challenging face datasets. Experimental results demonstrate that our method outperforms previous learning-based inpainting methods. The proposed method can generate realistic and semantically plausible images.     

Generative image inpainting via edge structure and color aware fusion

Very recently, with the widespread research of deep learning, its achievements are increasingly evident in image inpainting tasks. However, many existing methods fail to effectively reconstruct vivid contents and refine structures. In order to solve this issue, in this paper, a novel two-stage generative adversarial network based on the fusion of edge structures and color aware maps is proposed. In the first-stage network, edges with missing regions are employed to train an edge structure generator. Meanwhile, the input image with missing regions is transformed into a global color feature map after the content aware fill algorithm and a large kernel size Gaussian filtering. In the second-stage network, the image fused from the edge map and the color map is used as a label to guide the network to reconstruct the refined image. Qualitative and quantitative experiments conducted on multiple public datasets demonstrate that the method proposed in this paper has superior performance.     

基于样本和线性结构信息的大范围图像修复算法

基于纹理的图像修复算法对于修复破损区域比较大的图像效果较好,但该算法对于含有结构信息的图像修复效果很差.通过新的优先项的计算、平均值补偿及增加惩罚项提高传统的基于样本的图像修复算法的修复效果,结合图像中常出现的直线和曲线结构特征,提出了基于样本和结构信息的大范围图像修复算法.实验表明,该算法易于实现,修复结果能达到令人满意的效果,具有较高的实用价值.     

空间差异度量约束的图像修复

针对传统算法在图像修复时选取最佳块匹配准则的单一性和随机性的问题,提出了一种空间差异度量约束的图像修复方法。该算法利用等照度线确定待修复块的优先级,根据空间差异度量约束的最佳块匹配准则搜索与该待修复块最匹配的样本块,采用最佳匹配块的信息更新优先级最高的待修复块的信息以修复其缺失像素信息。实验结果表明,与传统算法相比,所提算法能有效提高图像修复的主客观质量,对三种类型的信息缺失均取得了较好的修复效果。     

基于三通道多小波紧标架的图像曲率修复模型

为解决正交小波域图像修复方法的现存小波 系数不能提供丢 失小波系数的充足信息问题,将曲率修复(CDD)模型扩展到非正交小波域,提出一种新的基 于三通道多小波 紧标架的图像CDD模型。进一步考虑到CDD模型的等照度线是按照直线连接的问 题,提出了一种新的CCD模型。新模型的修复在两个方向上进行,在法向上按照改进的曲率 函数进行修复, 在切向上实现输运机制。新模型结合了多小波紧标架分解技术和改进的CDD模型的 优势,利用标架域中 小波系数之间具有的冗余性对缺损的信息进行弥补,对现有CDD模型进行改进。给出了 有效的split Bregman 仿真算法,并采用不同的图像进行了仿真。实验结果表明,新模型对大面积缺损修复及噪声 抑制都具有良好 的修复效果,即使在大量小波系数丢失的情况下,也能保持图像的边缘结构等几何特征,大 大的改善修复质量。     

Unsupervised learning of multi-task deep variational model

We propose a general deep variational model (reduced version, full version as well as the extension) via a comprehensive fusion approach in this paper. It is able to realize various image tasks in a completely unsupervised way without learning from samples. Technically, it can properly incorporate the CNN based deep image prior (DIP) architecture into the classic variational image processing models. The minimization problem solving strategy is transformed from iteratively minimizing the sub-problem for each variable to automatically minimizing the loss function by learning the generator network parameters. The proposed deep variational (DV) model contributes to the high order image edition and applications such as image restoration, inpainting, decomposition and texture segmentation. Experiments conducted have demonstrated significant advantages of the proposed deep variational model in comparison with several powerful techniques including variational methods and deep learning approaches.     

基于改进SSD的特种车辆红外伪装检测方法

在目标检测领域,基于深度学习的SSD目标检测网络同时具有实时性好和准确性高两大优点。由于特种车辆红外图像难以获取,以小轿车和公交车红外图像为研究对象,构建了红外图像Pascal VOC数据集,训练了SSD网络,并利用训练好的网络检测了红外目标图像。结果表明,红外目标的特征信息越多,检测精度越高,但红外图像中信息残缺的车辆存在漏检的问题。针对该问题,通过添加残缺窗口模块优化数据集结构,有效解决了车辆漏检问题,同时目标整体的检测准确率也明显提升。将改进数据集后的红外目标检测结果作为评价指标,能够较准确评估复杂背景下特种车辆红外隐身伪装效果。     

FFTI: Image inpainting algorithm via features fusion and two-steps inpainting

In view of the faultiness that the existing image inpainting methods fail to make full use of the complete region to predict the missing region features when the object features are seriously missing, resulting in discontinuous features and fuzzy detail texture of the inpainting results, a fine inpainting method of incomplete image based on features fusion and two-steps inpainting (FFTI) is proposed in this paper. Firstly, the dynamic memory networks (DMN+) are used to fuse the external features and internal features of the incomplete image to generate the incomplete image optimization map. Secondly, a generation countermeasure generative network with gradient penalty constraints is constructed to guide the generator to rough repair the optimized incomplete image and obtain the rough repair map of the target to be repaired. Finally, the coarse repair graph is further optimized by the idea of coherence of relevant features to obtain the final fine repair graph. It is verified by simulation on three image data sets with different complexity, and compared with the existing dominant repair model for visual effect and objective data. The experimental results show that the results of the model repair in this paper are more reasonable in texture structure, better than other models in visual effect and objective data, and the Peak Signal-to-Noise Ratio of the proposed algorithm in the most challenging underwater targe dataset is 27.01, the highest Structural Similarity Index is 0.949.     

基于各向异性扩散方程的局部非纹理图像修整与去噪

图像修整(image inpainting)是一种图像插值的方法,它根据丢失信息区域周围的图像信息来猜测和填充这个区域,图像修整属于图像恢复的范畴。利用变分方法导出的各向异性扩散方程对于图像边缘的良好保持特性,而在图像处理中得到了广泛的应用。基于这一思想,本文提出了一种基于各向异性扩散方程的图像修整算法:在填补修整区域的同时,可有效地去除噪声,同时保持边缘信息。理论分析和实验结果表明了这一点。