基于边缘重建的多尺度壁画修复方法

中国古壁画历经千百年历史,不可避免地出现了不同程度的破损,其修复研究具有重要的历史 价值和文化价值。传统的手工修复直接作用于壁画,操作不当会造成保护性破坏,所以采用数字虚拟修复,提 出了基于边缘重建的多尺度壁画修复方法。由于现存壁画数量较少,通过收集与整理我国不同地域年代的壁画 获得了实验数据。对自由裁剪后的壁画进行滤波平滑图像细节并保留其边缘,为破损区域的图像分割提供良好 的初始化条件,经过图像聚类自动计算待修复掩膜;修复过程以边缘重建为基础,对破损壁画在多尺度空间中 提取纹理特征,充分挖掘图像已知的可用信息进行其缺失内容的填补。实验结果表明,该方法不受壁画种类和 破损程度的限制,整个重建过程更加通用和有效,能够恢复得到具有结构完整和纹理清晰的图像,并取得较好 的修复效果。     

基于对抗训练和卷积神经网络的面部图像修复

为了有效地修复大面积破损的面部图像,使用了解码器-编码器结构的卷积神经网络作为生成模型,并在其部分层之间增加skip-connection,以增强生成模型的结构信息预测能力,同时引入对抗训练策略优化生成模型。该模型首先训练一个判别模型识别真实图像,再利用其判别待修复图像输入生成模型后所得到的输出是否为真实,以此为生成模型提供优化梯度。结合了卷积神经网络的结构信息预测能力和GANs对抗策略的优化能力,提高了图像补全的效果。在CelebA人脸数据集上进行的实验结果表明,该方法在补全大面积破损的图像任务上性能明显优于其他方法。     

利用通道注意力与分层残差网络的图像修复

针对现有深度学习图像修复方法对不同尺度特征的感知和表达能力存在不足的问题,提出一种利用多尺度通道注意力与分层残差网络的图像修复模型.首先采用U-Net作为生成器的主干网络,实现对破损图像的编码与解码操作;然后通过在编码器与解码器中分别构建多尺度的分层残差结构,以增强网络提取和表达破损图像特征的能力;最后在编码器与解码器间的跳跃连接中嵌入扩张的多尺度通道注意力模块,以提高模型对编码器中图像低级特征的利用效率.实验结果表明,在人脸、街景等数据集的破损图像修复上,该模型在主观视觉感受和客观评价指标方面均优于其他经典的图像修复方法.     

基于卷积自编码生成式对抗网络的 高分辨率破损图像修复

目的 破损图像修复是一项具有挑战性的任务,其目的是根据破损图像中已知内容对破损区域进行填充。许多基于深度学习的破损图像修复方法对大面积破损的图像修复效果欠佳,且对高分辨率破损图像修复的研究也较少。对此,本文提出基于卷积自编码生成式对抗网络(convolutional auto-encoder generative adversarial network,CAE-GAN)的修复方法。方法 通过训练生成器学习从高斯噪声到低维特征矩阵的映射关系,再将生成器生成的特征矩阵升维成高分辨率图像,搜索与待修复图像完好部分相似的生成图像,并将对应部分覆盖到破损图像上,实现高分辨率破损图像的修复。结果 通过将学习难度较大的映射关系进行拆分,降低了单个映射关系的学习难度,提升了模型训练效果,在4个数据集上对不同破损程度的512×512×3高分辨率破损图像进行修复,结果表明,本文方法成功预测了大面积缺失区域的信息。与CE(context-encoders)方法相比,本文方法在破损面积大的图像上的修复效果提升显著,峰值信噪比(peak signal to noise ratio,PSNR)和结构相似性(structural similarity,SSIM)值最高分别提升了31.6% 和18.0%,与DCGAN(deep convolutional generative adversarial network)方法相比,本文方法修复的图像内容符合度更高,破损区域修复结果更加清晰,PSNR和SSIM值最高分别提升了24.4% 和50.0%。结论 本文方法更适用于大面积破损图像与高分辨率图像的修复工作。     

增强一致性生成对抗网络在壁画修复上的应用

针对古代壁画由于历史风化出现不同程度起甲、脱落等问题,提出一种增强一致性生成对抗网络的算法修补壁画缺失区域.该算法以生成对抗网络为框架,首先在卷积层提取深层的图像特征信息,经过反卷积将特征映射到原图像大小的图像空间,并输出修复的图像;然后在判别网络中使用全局判别网络和局部判别网络,增强已修复壁画图像的在整体和补全区域表现的一致性;最后在生成网络中引入空洞卷积增大卷积核感受野,增加网络层数并加入残差模块来获取更丰富的图像特征,卷积层使用批标准化加快建模周期等在细节方面对网络进一步优化,判别网络中也增加了网络的层数,使得判别模型具有了更好的泛化能力.采用的自制数据集进行实验,与现有几种壁画修复算法对比的结果表明,该算法的PSNR值平均提高2～5 dB, SSIM值增加0.02～0.07,较好地完成了在纹理结构强、缺失区域较大的壁画图像上的修复,可应用于古代壁画数字修复工作.     

基于上下文特征的渐进式图像修复方法

针对现有图像修复方法在面对大尺度缺失时生成部分易产生伪影、不符合原始图像语义等问题,提出了一种基于上下文特征的渐进式图像修复方法。首先,使用ResNet18网络对破损图像进行粗略填充。然后,将其输入具有双分支结构的细化网络：上下文特征聚合模块通过多尺度语义特征获取现存图像内部最有利于修复图像的区域;注意转移网络学习缺失区域与剩余背景区域的联系,将其以更高分辨率对缺失区域进行填充,引入CBAM(convolutional block attention module)模块作为网络注意力机制。定义全局和局部判别网络实现生成图像与背景语义一致性并计算得到对抗损失,将L₁损失与结构相似性损失相结合作为网络重建损失,再将其与对抗损失相结合作为损失函数。在Place2数据集上进行实验,平均峰值信噪比和平均结构相似性分别为27.83 dB和93.19%;与四种图像修复方法进行比较：主观感受上该方法较其他方法生成的修复图像更加清晰自然,与背景语义高度相符;客观指标上选用四种常用评价指标进行比较,在更符合人眼视觉的结构相似性上该方法分别提升11.48%、6.23%、3.24%、2....     

基于优先权改进算法的敦煌壁画复杂破损区域修复

为了修复复杂破损区域周边信息模糊不可信及数目较多的敦煌壁画,在充分考虑敦煌壁画自身信息复杂性、壁画修复视觉效果及其修复合理性易受像素修复顺序影响等因素的基础上,提出一种D-S证据理论数据融合方法对修复区域填充算法的优先权函数进行改进的图像修复算法.首先采用D-S证据理论将修复区域边缘目标块的信任因子和数据因子分别转化为基本概率赋值函数,然后对其进行数据融合得到一个新的优先权函数,最后对图像进行修复,得到修复效果较好的壁画.从视觉心理学角度对复杂破损敦煌壁画进行实验的结果表明,该算法是有效的,其克服了Criminisi算法及其改进算法不能很好地修复敦煌壁画的缺点,修复效果较其他改进算法有了显著提高.     

基于生成对抗网络的图像修复

针对现有图像修复算法存在受损区域的形状和大小受限以及修复痕迹明显、修复边缘不连续的问题,文中提出一种基于生成对抗网络的图像修复方法。该方法采用生成对抗网络(Generative Adversarial Networks,GAN)这种新的生成模型作为基本架构,结合Wasserstein距离,同时融入条件对抗网络(CGAN)的思想;以破损图像作为附加条件信息,采用对抗损失与内容损失相结合的方式来训练网络模型,以修复破损区域。此方法能够修复大多数破损情况下的图像。在CelebA和LFW两个数据集上的实验结果表明,所提方法能够取得很好的修复效果。     

基于新生成器结构的图像修复方法

针对目前图像修复算法存在的修复效果不连续、缺失大小受限、训练过程不稳定等缺点,提出了一种基于生成对抗网络的图像修复方法.利用卷积神经网络,我们可以真实地修复任意分辨率的图像.为了实现高分辨率的真实修复效果和对图像特征的充分学习,我们提出基于DenseNet传播源图像的细节和结构得到高分辨率的图像,实现图像缺失生成;由于Iizuka等人提出的基于双判别器方法中膨胀卷积部分所产生的巨大运算量,我们提出使用JPU (Joint Pyramid Upsampling,联合金字塔上采样)来加速计算.在CelebA和ImageNet上的实验表明,所提方法能真实地修复大多数的破损图像.     

MCA分解的唐墓室壁画修复算法

壁画数字化修复工作极大降低了手工修复时带来的不可逆的风险。根据唐墓室壁画人工修复时先整体结构、后局部纹理的思路,提出一种基于形态学成分分析(morphological component analysis,MCA)分解的唐墓室壁画修复算法。首先结合唐墓室壁画的特点,采用改进的MCA方法进行图像分解,得到结构部分和纹理部分;然后根据图像分解后纹理和结构的复杂程度与稀疏程度,分别采用简化的全变分(total variation,TV)算法和K奇异值分解(K-singular value decomposition,K-SVD)算法进行修复。实验结果表明,该算法可兼顾纹理与结构的修复效果,唐墓室壁画中的裂缝现象的破损修复精度得到提高。     

基于类比的壁画色彩虚拟复原

文中以敦煌莫高窟为应用背景,介绍了基于类比的计算机辅助古代壁画色彩方法,将色彩保持相对完好的壁画图像以及描述壁画属性的特征参数作为壁画色彩恢复的类比源存入数据库,根据决定和影响壁画色彩的不同因素,特征参数分为３个层次,以便于图像数据库的类比检索,为了在处理图像过程中与人的视觉保持一致,除ＲＧＢ颜色空间外,又选择了ＳＨＩ颜色空间,结合图像色彩区域提取,基于直方图的色彩转换等技术实现了壁画图像的色彩复     

Using hybrid knowledge engineering and image processing in color virtual restoration of ancient murals

This paper proposes a novel scheme to virtually restore the colors of ancient murals. Our approach integrates artificial intelligence techniques with digital image processing methods. The knowledge related to the mural colors is first categorized into four types. A hybrid frame and rule-based approach is then developed to represent knowledge and to inter colors. An algorithm that takes into account color similarity and spatial proximity is developed to segment mural images. A novel color transformation method based on color histograms is finally proposed to restore the colors of murals. A number of experiments based on real images have demonstrated the validity of the proposed scheme for color restoration.     

基于尺度空间的小波纹理描述算法的壁画修复

近年来,壁画的数字化修复技术得到了很大的发展,但是其主要算法在图像纹理方向的修复效果一般。为了解决这些问题,还原壁画的原有样貌,提出了一种简单快速的壁画修复算法。该算法在改进的Telea算法的基础上,根据图像纹理的多尺度特征性,利用小波纹理描述算法对壁画的纹理结构进行了修复处理,运用非局部梯度算子,通过计算待修复区域的像素点的非局部梯度值并依据曲率选取的全局最优方向进行扩散,达到壁画纹理修复的目的。实验结果表明了该算法的有效性。     

适应性增强胶囊网络的古壁画朝代识别算法

针对壁画图像自身存在多义性、不同朝代的壁画绘画风格存在差异性和传统的人工直接参考壁 画文本或历史文献识别壁画朝代存在费时、费力等问题,提出了适应性增强胶囊网络(AEC)的古壁画朝代识别 算法,对莫高窟壁画自动进行朝代识别。在原生胶囊网络基础上,首先引入预先卷积结构对壁画图像进行高层 特征提取;其次增加均层激活增强模型的拟合性能;最后对胶囊网络进行适应性增强,在提高梯度平滑度的基 础上利用自适应学习率进行优化提高模型的分类精度。实验结果表明在所构造的 DH1926 壁画数据集上,AEC 模型准确率为 84.44%、平均精确度(MAP)为 82.36%、平均召回率(MAR)为 83.75%、综合评价指标为 83.96%。 与改进的卷积神经网络(CNN)和原生胶囊网络等其他网络结构相比,各项评价指标均有 3%以上的提升,有较 强的拟合性能,能够多层次提取壁画的丰富特征,表达图像更细节的语义信息,在莫高窟壁画朝代识别中具有 更高的准确度和更好的鲁棒性,有一定的应用价值与研究意义。     

基于多通道可分离网络的古代壁画分类方法

古代壁画艺术价值高、内容丰富,对壁画种类进行准确分类是研究者的难题之一.传统的壁画分类任务繁重且需要有经验的研究者完成;现有的图像分类算法已不适于分类含有较强背景噪声的壁画图像.针对以上问题提出了一种新的多通道可分离网络模型(multi-channel separable network model,MCSN)的解决方案.以GoogLeNet网络模型为基本框架,用小卷积核对壁画背景特征进行浅层提取,然后将7×7、3×3等较大卷积核十字分离成7×1、1×7和3×1、1×3等较小的卷积核提取壁画重要的深层次特征信息;使用软阈值化激活缩放策略(activation scaling)增加网络训练时的稳定性,最后通过softmax对壁画分类;使用小批量随机梯度下降(min-batch SGD)算法更新参数.精确率、召回率和F1值分别为88.16％、90.01％和90.38％.与主流分类算法相比,分类准确率、泛化能力、稳定性有了一定的提升,提高了壁画分类效率.     

数字壁画病害提取与修复算法研究

数字图像修复为古代石窟壁画的科学保护与修复提供了重要依据,目前数字壁画病害信息的完整提取与合理化修复是文物虚拟修复的重要课题.以麦积山数字壁画为研究对象,分析风化裂隙伴随点状剥落的病害特征与形成机理,病害信息的完整提取以文物修复的最小干预为原则,采用以加权平均为相似性度量的局域最优层次聚类进行提取,并形成病害信息掩膜.以此掩膜图像为对象,其合理化修复利用增加了有效像素估计的曲率驱动扩散模型实现图像修复.该方法使得麦积山石窟壁画病害的虚拟修复更精确,达到了文物修复最小干预原则的效果.     

融合迁移学习的Inception-v3模型在古壁画朝代识别中的应用

针对古代壁画图像数量少、质量差、特征提取困难和存在壁画文本与绘画风格相似等问题,提出了一种融合迁移学习的Inception-v3模型来对古代壁画的朝代进行识别与分类。首先,将Inception-v3模型在ImageNet数据集上进行预训练以得到迁移模型;然后,将迁移模型在小型壁画数据集上进行参数微调后对壁画图像提取高层特征;其次,增加两个全连接层来增强特征表达能力,并用颜色直方图与局部二值模式（LBP）纹理直方图提取壁画的艺术特征;最后,将高层特征与艺术特征相融合,用Softmax分类器进行壁画的朝代分类。实验结果表明,所提出的模型训练过程稳定,在构造的小型壁画数据集上,其最终准确率为88.70%,召回率为88.62%,F1值为88.58%,以上各评价指标均优于AlexNet、VGGNet等经典网络模型;与LeNet-5、AlexNet-S6等改进的卷积神经网络模型相比,该模型对各朝代类别准确率平均提升了至少7个百分点。可见,该模型泛化能力强,不易出现过拟合现象,能有效识别壁画所属朝代。     

基于颜色聚类分割及改进的FMM算法的壁画修复

近年来,由于受各种环境及人为因素的影响,壁画在一定程度上受到了破坏。为了使人们欣赏到原作的风貌,并对其进行研究和开发,还原壁画的原有样貌,提出了一种针对褪色及划痕的壁画修复算法。该算法在Lαβ空间的基础上,首次提出使用颜色聚类及掩模算法对受损壁画的破损区域进行分割提取,然后针对FMM算法中传输方向并没有完全覆盖要修复的区域的缺陷,提出了利用梯度直方图的一些特性对其传输方向进行优化。实验表明,该算法对于破损的壁画修复有很好的效果。