基于空间相关性与特征级插值改进的快速图像翻译模型

近年来，深度学习算法的流行使图像翻译任务取得了显著的效果。其中，很多研究工作致力于在缩短模型运行时间的同时保持图像的生成质量，ASAPNet模型就是一个典型的代表。但该模型的特征级损失函数无法完全解耦图像特征和外观，又由于其大多数计算在极低的分辨率下执行，导致生成的图像质量不够理想。针对上述问题，提出了一种基于空间相关性和特征级插值的ASAPNet改进模型——SRFIT。具体来说，根据自相似性原理，使用空间相关性损失替换原模型中的特征匹配损失，以缓解图像翻译时的场景结构差异的问题，从而提高图像翻译的准确性。此外，受ReMix中数据增强方法的启发，通过线性插值在图像特征级上增加了数据量，解决了生成器过拟合的问题。最后，在两个公开数据集CMP Facades和Cityscapes上进行对比实验，结果均表明，相比当前的主流模型，所提出的改进模型SRFIT展现了更好的性能，可以在有效改善图像生成质量的同时，保持较快的运行速度。