多层次特征融合与超图卷积的生成对抗壁画修复

针对现有深度学习图像修复方法在修复壁画时,存在特征利用率低及对上下文信息关注不足等问题,提出了一种多层次特征融合与超图卷积的生成对抗壁画修复模型。首先,设计金字塔特征提取层结构,利用金字塔特征分层对壁画进行多尺度层次特征提取,并采用混合空洞卷积单元扩大多层特征提取感受野,克服了单尺度卷积操作对于壁画特征提取能力不足的问题。然后,提出多分支短链融合层及门控机制融合多分支特征,将相邻分支间的特征信息进行融合,使融合后的壁画特征图中既有同分支的特征,又有相邻分支的特征,提高特征信息的利用率,并引入门控机制对特征进行选择融合,减少细节信息的丢失。接着,将融合特征通过ConvLSTM特征注意力,增强对壁画上下文信息的关注。最后,设计超图卷积壁画长程特征增强模块,通过在编码器和解码器的跳跃连接之间建立超图卷积层,利用超图卷积来捕获编码器的空间特征信息,将其迁移到解码器中,有助于解码器更好地生成壁画图像,加强特征的长程依赖关系,并与SN-PatchGAN判别网络对抗完成壁画修复。通过对人为添加破损和真实破损壁画图像进行数字化修复实验,结果可以发现：所提方法在PSNR和SSIM等客观评价指标均优于对比算法。多组实验结果表明：所提方法的对于破损壁画修复结果更加清晰自然。     

基于生成对抗网络的文本两阶段生成高质量图像方法

为了解决传统文本生成图像方法生成图像质量差和文本描述与生成图像不一致问题,以多种损失函数为约束,提出深度融合注意力的生成对抗网络方法（DFA-GAN）.采用两阶段图像生成,以单级生成对抗网络（GAN）为主干,将第一阶段生成的初始模糊图像输入第二阶段,对初始图像进行高质量再生成,以提升图像的生成质量.在图像生成的第一阶段,设计视觉文本融合模块,深度融合文本特征与图像特征,将文本信息充分融合在不同尺度的图像采样过程中.在图像生成的第二阶段,为了充分融合图像特征与文本描述词特征,提出以改进后的Vision Transformer为编码器的图像生成器.定量与定性实验结果表明,对比其他主流模型,所提方法提高了生成图像的质量,与文本描述更加符合.     

基于融合逆透射率图的水下图像增强算法

针对水下图像质量退化严重的问题，提出一种端到端的基于融合逆透射率图的水下图像增强算法.将原始RGB图像和基于传统方法得到的逆透射率图分别输入到双流卷积神经网络的2个编码器中；通过跨模态特征融合模块使得2种图像信息充分融合互补，让网络更好地学习到水下光学成像的特点；通过特征增强模块，增强特征的表达能力；通过残差解码模块连接解码器和编码器，以补充和丰富RGB特征.通过逆透射率图的水下图像增强算法以及跨模态跨尺度的信息融合，由粗到细地进行逐级处理，最终输出增强后的RGB图像.实验结果表明，所提算法能够有效地提升水下图像视觉质量.综合主观评价和客观评价，所提算法优于所对比的白平衡WB、直方图均衡化HE、Water-Net、UGAN、UWCNN、Ucolor 6种算法.     

基于细节增强的多能DR图像融合网络

针对单能X射线无法对复杂工件各部位同时曝光成像的问题,提出一种基于细节增强的多能DR融合网络-双编码巢式连接融合网络。该网络以Inception模块作为基础卷积层,在双编码器的辅支路设计了可训练的LOG卷积模块,用来提取多尺度边缘特征,并将其补充到主支路以增强全局特征。在训练阶段,提出一种基于图像块的局部能量一致性损失函数,以减少输入、输出的局部性误差。融合时,采用通道和空间注意力机制作为融合策略,对双编码提取的多尺度增强特征进行融合,并将融合后的多尺度特征输入嵌套连接的解码器进行重构。结果表明,该融合网络具有细节增强效果,能够完整清晰地再现复杂工件的内部结构及缺陷。     

基于注意力机制和多层次特征融合的目标检测算法

为了提高目标检测的准确率,提出一种基于注意力机制和多层次特征融合的图像目标检测算法。该算法在Cascade R-CNN模型的基础上,以RseNet50为主干网络,通过嵌入简单的注意力模块（SAM）来提高网络的判别能力;其次,利用深度可分离卷积改进特征金字塔网络（FPN）,设计了多层次特征融合模块（MFFM）,对多尺度特征进行融合,以丰富特征图的信息量,并对不同层次的特征图赋予相应的权重以平衡不同尺度的特征信息;最后,结合目标检测方法中的区域建议网络（RPN）结构获取目标的候选区域进行分类和回归处理,确定检测目标的位置和类别。实验结果表明,相较于Cascade R-CNN目标检测算法,该算法的检测精度提升了约2.0%。     

基于多尺度融合的遥感图像变化检测模型

为精准识别双时相遥感图像的变化区域,提出了一种基于多尺度融合的遥感图像变化检测模型。该模型在源图像特征提取阶段构造多尺度输入金字塔,接受多层次的感受野,增强对特征信息的感知;并通过对深层差异特征进行多尺度计算,实现精准定位变化区域与充分挖掘细节信息间的平衡;同时融合网络不同层级的差异特征检测结果,极大程度识别并保留语义变化信息。实验结果表明：本文模型在主观评价与客观指标上都具有良好的表现效果。     

一种注意力机制的多尺度特征融合MRI重建

针对深度卷积神经网络重建磁共振图像存在的高频细节纹理丢失问题，本文提出一种注意力机制的多尺度特征融合磁共振成像(magnetic resonance imaging, MRI)重建。在U-Net模型基础上，采用参考图像的特征，约束低分辨磁共振图像的重建，并引入多尺度特征挤压注意力(multi-scale feature squeeze attention, MFSA)模块，建立跨通道信息交互，在通道维度上对多尺度特征层进行特征提取并融合，强化高频细节纹理的特征信息，提高磁共振图像重建的分辨率。同时，为验证所提注意力模块的有效性，保持其他参数不变，在测试集上分别对网络加入的注意力模块前后进行对比实验。实验结果表明，本文所提出的MFSA,能提高图像的重建质量，使图像获得更丰富的信息，各项指标均达到最优，重建结果纹理清晰，接近于真实图像，更能满足人类的视觉感受，而且网络在峰值信噪比和结构相似性等质量评价指标方面均得到较大改善，在定量评估上明显优于其他网络，而且通过不同尺度注意力相融合，使网络在小数据集上就可明显提升图像的感知质量。该研究具有较大的应用价值。     

基于Transformer和MLP的眼底血管分割算法

为了解决眼底血管分割中存在的分割效果不佳、数据过拟合和正负样本不均衡等问题,提出了一种转换器(Transformer)和多层感知机(MLP)结合的眼底血管分割算法。首先,为预防数据过拟合问题,训练图像在输入模型前会执行多种数据增强操作;其次,设计一个融合了卷积模块的Transformer组成多尺度编码器对图像进行特征提取,以此获得鲁棒的多级特征信息;最后,使用MLP结构的解码器对特征图完成像素级的分类。为解决正负样本不均衡的问题,引入了Tversky损失和二进制交叉熵损失的组合损失函数。所提算法在多个数据集上都取得了良好的实验结果,优于现有的其他网络模型算法。     

嵌入卷积块注意力模块的人像自动抠图算法

针对常用人像抠图算法需要输入人工标注三分图及抠图精度不高的问题,提出一种嵌入卷积块注意力模块的人像自动抠图算法。该算法使用三分支网络进行学习：首先预分割分支网络将MobileNetV2与Unet相结合,减少网络参数,引入h-swish激活函数,保留更多有效特征,获取三分图;然后在Alpha抠图分支网络嵌入卷积块注意力模块(CBAM),更好地获取图像多尺度信息,实现Alpha图的初步预测;最后通过细节融合分支网络将以上两个分支的输出进行特征融合,得到Alpha图。实验对比本文算法与现有深度图像抠图(DIM)算法,结果表明,本文算法的绝对误差和(SAD)降低了7.5%、均方误差(MSE)降低了19.4%,实现了人像自动抠图,并获得了良好的抠图效果。     

面向水下场景的轻量级图像语义分割网络

提出面向水下场景的图像语义分割网络，考虑到速度和准确度之间的权衡问题，网络采用轻量且高效的编解码器结构.在编码器部分，设计倒置瓶颈层和金字塔池化模块，高效地提取特征.在解码器部分，构建特征融合模块融合多水平特征，提升了分割的准确度.针对水下图像边缘模糊的问题，使用辅助的边缘损失函数来更好地训练网络，通过语义边界的监督细化分割的边缘.在水下语义分割数据集SUIM上的实验数据表明，对于320像素×256像素的输入图像，该网络在NVIDIA GeForce GTX 1080Ti显卡上的推理速度达到258.94帧/s,mIoU达到53.55%，能够在保证高准确度的同时，达到实时的处理速度.     

适用于目标检测的上下文感知知识蒸馏网络

针对现有应用于目标检测的知识蒸馏方法难以利用目标周围上下文区域的特征信息,提出适用于目标检测的上下文感知知识蒸馏网络（CAKD Net）方法.该方法能充分利用被检测目标的上下文信息,同时沿空间域和通道域进行信息感知,消除教师网络和学生网络的差异. 该方法包括基于上下文感知的区域提纯模块（CARM）和自适应通道注意力模块（ACAM）. CARM利用上下文信息,自适应生成显著性区域的细粒度掩膜,准确消除教师网络和学生网络各自特征响应在该区域的差异;ACAM引入空间?通道注意力机制,进一步优化目标函数,提高学生网络的性能. 实验结果表明,所提方法对模型检测精确率提升超过2.9%.     

基于多层级特征自适应融合的图像分割算法

为了解决传统算法对医学图像分割时精度较低的问题,提出基于多层级特征自适应融合的新型FR-Unet图像分割算法. 在编码器阶段,设计采样加权模块替代传统卷积层,对图像空间信息进行逐层提取和特征融合,获得相邻像素之间的相关性和不同层次的语义信息. 在解码器阶段,设计多层级自适应融合模块,通过非线性跳跃连接逐层提取图像通道信息,自适应地融合邻近连接层的上下文信息,使各层专注不同特征信息的提取. FR-Unet在模型参数量上大幅度减少,让网络在场景部署上得到更好的支持. 实验结果表明,该网络在动物细胞分割、肝脏器官分割、皮肤病变分割等众多任务中均表现突出.     

一种改进DeeplabV3网络的烟雾分割算法

由于现有的烟雾检测方法大多依靠手工选取特征,往往不能准确地分割出视频图像中的烟雾区域。基于此,提出了改进的DeeplabV3烟雾分割算法。改进的算法在基础编码器网络后添加了特征细化模块来削弱空洞卷积带来的网格效应;针对烟雾这类尺度和姿态多变的非刚性目标,在带有空洞卷积的空间金字塔模块中引入可变形卷积来更好地学习烟雾的形变;为了进一步恢复烟雾的空间细节,提出了通道注意力解码器模块。在烟雾图片数据集的测试下,改进后的模型平均每张图片的预测时间约达到71.73ms,平均像素精确度约达到97.78%,平均交并比约达到91.21%,精度与DeeplabV3模型相比分别提高了0.56%及2.17%,更加适用于烟雾分割。公开的烟雾视频测试结果表明,该模型的检测率高于现有的视频烟雾检测算法,具有一定的实用价值。     

Method for inpainting blind images using the game and L0 constraint

Image inpainting is the process of restoring the original image from the observed image with missing pixels using the prior information on the original image.Most image inpainting models assume that the missing areas of the image are known.However,inpractical applications,the information on these missing areas is difficult to obtain directly.In order to solve this problem,a new image inpainting model is established by using the sparse priori of L₀ norm and game theory.The new model is suitable for the two cases of known and unknown image missing areas.According to the structure of the objective function,an effective proximal alternating direction method of multipliers and a game-based alternating framework are proposed to solve the corresponding minimization problem,and the convergence of the model under certain conditions is analyzed.Compared with the existing inpainting models,numerical experiments show that the models and algorithms proposed can lead to better results and robustness insubjective and objective quality evaluation than the image inpainting methods available.     

多尺度语义学习的人脸图像修复

针对卷积神经网络在图像修复过程中难以兼顾修复结果的局部细节和全局语义一致性问题,以生成对抗网络为基础,提出一种多尺度语义学习的编解码人脸图像修复模型.首先,将人脸图像用门控卷积分解为具有不同大小的感受野和特征分辨率的分量,用不同尺寸的卷积核提取多尺度特征,通过提取合适的局部特征来提升修复结果的细节;其次,将提取的多尺度特征输入至语义学习模块,从通道和空间两个角度学习特征之间的语义关系,从而增强修复结果的全局一致性;最后,引入跳跃连接将编码端的特征补充到解码端中减少采样造成的细节信息损失,改善修复结果的纹理细节.在CelebA-HQ人脸数据集上进行实验,结果表明提出的模型在峰值信噪比、结构相似性、l₁三个性能指标上均有显著提升,修复的结果在视觉上局部细节和全局语义更合理.     

一种基于多模态特征融合的骨质疏松评估方法

针对现有骨质疏松评估中诊断依据单一、准确率低的问题,综合考虑骨骼图像数据和问卷数据,首先提出一种基于深度神经网络的多模态特征融合骨质疏松评估方法;然后,针对骨骼图像特征较浅、结构固定的特点,使用Unet进行图像分割预处理,去除冗余信息以提升分类准确性;最后,针对普通卷积操作在把握全局信息方面的不足,提出采用基于non-local模块的卷积神经网络来进一步丰富特征信息.交叉验证结果表明,提出的多模态特征融合方法与仅单独使用图像数据或问卷数据的机器学习方法相比具有明显的优势,分类准确率分别提升了3.2%和22.3%.     

Method for multi-band image feature-level fusion based on the attention mechanism

Aiming at the low definition and poor details of synchronous multi-band image fusion, a novel method based on attention generative adversarial networks is proposed. First, the attention weight map is constructed using the difference between the multi-band feature map and its mean, then the feature enhancement map is obtained by the point multiplication and addition of the feature map and the attention weight map to construct the feature enhancement module. Second, the feature-level fusion module is designed, which connects the multi-band feature enhancement map and reconstructs the fused image through normalization, upsampling, convolution, etc. Finally, the feature enhancement module and the feature-level fusion module are cascaded to build the generator, and the VGG-16 is used as a discriminator to establish a Generative Adversarial Network, thereby implementing multi-band image end-to-end fusion. Experimental results show that the proposed fusion method can lead to the most prominent average gradient compared with classical fusion methods, and that the effectiveness of the proposed method is verified.     

针对匹配块不存在的Criminisi算法改进研究

该文针对Criminisi算法在已知区域中不存在合适匹配块而造成的修复效果失真问题,探讨了一种利用匹配块相似度大小,对修复失真区域进行定位和修复的改进算法.算法首先对Criminisi算法在修复过程中所产生的修复失真区域进行定位,然后将该区域分解为结构和纹理两部分,最后分别利用TV模型和纹理合成技术完成对结构、纹理的修复.实验证明,改进算法较好地克服了Criminisi原算法所存在的缺点,有较好的视觉效果.     

注意力机制的SAR图像车辆目标检测网络

在SAR图像车辆目标检测过程中,车辆轮廓定位不仅能够提供车辆位置信息,而且还能够为车辆状态分析提供依据,是SAR图像理解的关键步骤。但SAR图像中乘性斑点噪声会对轮廓定位造成干扰,增加车辆目标检测的难度。针对这一问题,提出了一种注意力机制的SAR图像像素级车辆目标检测网络。该网络由目标筛选、目标定位和轮廓细化三个模块构成。目标筛选在一个轻量级的特征提取网络中采用通道注意力和自注意力机制,在抑制噪声影响的同时对包含目标图像进行快速筛选,并提供稳定的定位热力图;目标定位利用掩码交叉注意力机制根据定位热力图优化粗尺度特征细化目标定位,并融入细尺度信息改善目标轮廓细节;轮廓细化通过轮廓点筛选消除上采样及噪声带来的轮廓不确定点获取准确的轮廓像素点置信度。对MSTAR数据集进行车辆像素级标注,建立SAR图像车辆数据集及大场景图像数据集用于网络测试。实验结果表明,该网络具有良好的像素级检测性能,可实现大场景SAR图像中车辆目标的快速精确检测。