数字图像盲取证对样本合成修复应用的篡改区域检测算法

提出了一种图像盲取证算法, 用于检测利用样本合成修复技术制作的伪造图像. 该算法采用零连通特征来描述修复技术导致的图像块之间异常的相似性, 然后构建升半梯形隶属函数将该相似性特征转换成块属于篡改块的模糊隶属度, 通过截集划分并结合高隶属度块的位置信息, 进行伪造图像的检测和篡改区域的定位. 实验结果表明该算法能够有效区分自然图像和修复伪造图像, 并可进一步定位图像的篡改区域.     

离散小波变换耦合静电场理论的图像快速伪造检测算法

为了解决当前图像伪造检测算法主要是在图像空域中定位伪造区域,难以降低图像维数,使其复杂度大;且不能有效检测几何变换篡改形式的伪造区域,导致其鲁棒性不佳的不足,提出了离散小波变换耦合静电场理论的图像伪造检测算法;首先,引入离散小波变换,提取伪造图像的低频子带,降低图像空间;再基于静电场理论,将提取子带映射到虚拟电场中,提取鲁棒性较强的特征,利用Radix排序算法对特征完成重组,形成特征矩阵;最后,定义相同仿射变换,并用其处理排序矩阵,完成伪造区域检测;实验测试结果显示:与当前的移动复制伪造检测技术相比,所提算法具有更高的定位效率与检测精度;同时拥有较强的鲁棒性,有效抗击几何变换篡改;该算法能够高效精确检测几何变换伪造形式的图像内容。     

基于深度可分离卷积和宽残差网络的医学影像超分辨率重建

为提高医学影像超分辨率的重建质量,提出了一种基于深度可分离卷积的宽残差超分辨率神经网络算法。首先,利用深度可分离卷积改进网络的残差块,扩宽残差块中卷积层的通道,将更多的特征信息传入了激活函数,使得网络中浅层低级图像特征更容易地传播到高层,提高了医学影像超分辨率的重建质量;然后,采用组归一化的方法训练网络,将卷积层的通道维度划分为组,在每个组内计算归一化的均值和方差,使得网络训练过程更快地收敛,解决了深度可分离卷积扩宽通道数导致网络训练难度增加的问题,同时网络表现出更好的性能。实验结果表明,对比传统的最近邻插值、双三次插值超分辨率算法,以及基于稀疏表达的超分辨率算法,所提算法重建出的医学影像纹理细节更加丰富、视觉效果更加逼真。对比基于卷积神经网络的超分辨率算法,基于宽残差超分辨率神经网络算法和生成对抗网络超分辨率算法,所提算法在峰值信噪比（PSNR）和结构相似性（SSIM）上有显著的提升。     

基于重采样痕迹的图像伪造检测

检测重采样痕迹是数字取证中判断图像是否被篡改的有效途径之一。针对现有重采样检测方法大多只考虑单次重采样情况,对再次经历重采样的伪造图像不能有效区分定位篡改区域这一问题,提出一种基于重采样痕迹的图像伪造检测算法。首先定义出能够描述并区分不同重采样痕迹的两个特征量,将待测图像重叠分块,计算每块的特征量,然后利用特征量的不一致性检测定位篡改区域。实验结果表明,该方法能够区分旋转与缩放的操作历史痕迹,进行篡改伪造图像的自动判断与篡改区域定位;并且当伪造图像再次经历重采样操作后,仍能区分出图像中的不同插值区域,即对再次重采样操作具有一定的鲁棒性。     

结合图像块比较与残差图估计的人脸伪造检测

目的 由于不同伪造类型样本的数据分布差距较大,现有人脸伪造检测方法的准确度不够高,而且泛化性能差。为此,本文引入“图像块归属纯净性”和“残差图估计可靠性”的概念,提出了基于图像块比较和残差图估计的人脸伪造检测方法。方法 除了骨干网络,本文的人脸伪造检测神经网络主要由纯净图像块比较模块和可靠残差图估计模块两部分组成。为了避免在同时包含人脸和背景像素的图像块上提取的混杂特征对于图像块比较的干扰,纯净图像块比较模块中选择只包含人脸像素的纯净人脸图像块和只包含背景像素的纯净背景图像块,通过比较两种图像块纯净特征之间的差异来检测伪造图像,图像块的纯净性保障了特征提取的纯净性,从而提高了特征比较的鲁棒性。考虑到靠近伪造边缘的像素比远离伪造边缘的像素具有较高的残差估计准确度,本文在可靠残差图估计模块中根据像素到伪造边缘的距离设计了一个距离场加权的残差损失来引导网络的训练过程,使网络重点关注输入图像与对应真实图像在伪造边缘附近的差异,对于可靠信息的关注进一步增强了伪造检测的鲁棒性。结果 在FF++(FaceForensics++)数据集上的测试结果显示:与对比算法中性能最好的F2Trans-B相比,本文方法的准确率和AUC(area under the ROC curve)指标分别提高了2.49%和3.31%,在FS(FaceSwap)与F2F(Face2Face)两种伪造数据上的准确率指标分别提高了6.01%和3.99%。在泛化性能方面,与11种已有方法在交叉数据集上的测试结果显示:本文方法与其中性能最好的方法相比,在CDF(Celeb-DF)数据集上的视频AUC指标和图像AUC指标分别提高了1.85%和1.03%。结论 与对比方法相比,由于提高了特征信息的纯净性和可靠性,本文提出的人脸图像伪造检测模型的泛化能力和准确率优于对比方法。     

生成对抗残差网络的医学图像融合算法

针对传统医学图像融合中需要依靠先验知识手动设置融合规则和参数,导致融合效果存在不确定性、细节表现力不足的问题,提出了一种基于改进生成对抗网络（GAN）的脑部计算机断层扫描（CT）/磁共振（MR）图像融合算法。首先,对生成器和判别器两个部分的网络结构进行改进,在生成器网络的设计中采用残差块和快捷连接以加深网络结构,更好地捕获深层次的图像信息;然后,去掉常规网络中的下采样层,以减少图像传输过程中的信息损失,并将批量归一化改为层归一化,以更好地保留源图像信息,增加判别器网络的深度以提高网络性能;最后,连接CT图像和MR图像,将其输入到生成器网络中得到融合图像,通过损失函数不断优化网络参数,训练出最适合医学图像融合的模型来生成高质量的图像。实验结果表明,与当前表现优良的基于离散小波变换（DWT）算法、基于非下采样剪切波变换（NSCT）算法、基于稀疏表示（SR）算法和基于图像分类块稀疏表示（PSR）算法对比,所提算法在互信息（MI）、信息熵（IE）、结构相似性（SSIM）上均表现良好,最终的融合图像纹理和细节丰富,同时避免了人为因素对融合效果稳定性的影响。     

人脸伪造检测泛化性方法综述

深度学习技术的快速发展为深度伪造的研究提供了强有力的工具,人眼越来越难区分伪造视频图像的真假。伪造的视频图像会对社会生活造成巨大的负面影响,如:金融欺诈、假新闻传播、人身欺凌等。目前,基于深度学习的假脸检测技术在多个基准数据库(如FaceForensics++)上已经达到了较高的准确率,但在跨数据库上的检测精度远低于源数据库内的检测精度,即许多检测方法难以推广到不同的或未知的伪造类型上。专注于基于深度学习的人脸伪造检测方法泛化性研究,首先对伪造检测常用的数据库进行简单介绍和比较;其次从数据、特征和学习策略3个方面对视频图像篡改检测方法的泛化性进行分类总结和分析;最后讨论未来人脸篡改检测泛化性的发展方向和挑战。     

残差卷积注意网络的图像超分辨率重建

针对极深神经网络图像超分辨率重建过程中,存在图像特征提取少、信息利用率低,平等处理高、低频信息通道的问题,提出了残差卷积注意网络的图像超分辨率重建算法。构造多尺度残差注意块,最大限度地提高网络提取到多尺寸特征信息,引入通道注意力机制,增强高频信息通道的表征能力。引入卷积注意块的特征提取结构,减少高频图像细节信息的丢失。在网络的重建层,引入全局跳远连接结构,进一步丰富重建的高分辨率图像信息的流动。实验结果表明,所提算法在Set5等基准数据集上的PSNR、SSIM比其他基于深度卷积神经网络的方法均明显提升,验证了提出方法的有效性与先进性。     

基于多尺度和注意力机制的红外与可见光图像融合

现有的红外与可见光图像融合算法通常从单一尺度提取图像特征,导致融合图像无法全面保留原始特征信息.针对上述问题,提出一种基于多尺度和注意力机制的自编码网络结构实现红外与可见光图像融合.首先,采用密集连接和多尺度注意力模块构建编码器网络,并引入自注意力机制增强像素间的依赖关系,充分提取红外图像的显著目标和可见光图像的细节纹理;然后,特征融合阶段采用基于通道与空间的联合注意融合网络,进一步融合图像典型特征;接着,设计基于像素、结构相似性和色彩的混合损失函数指导网络训练,进一步约束融合图像与源图像的相似性;最后,通过对比实验的主观和客观评价结果,验证所提出算法相比于其他代表性融合算法具有更优异的图像融合能力.     

基于Shamir秘密共享方案的文件图像篡改检测和修复方法

提出了一种新的基于Shamir秘密共享方案的文件图像篡改检测和修复方法,该方法包含篡改保护生成和篡改检测修复2个过程.在篡改保护生成过程中,为了提高已有文件图像篡改检测和修复方法的篡改检测正确率和修复效果,首先提出了基于权重的篡改检测信号生成方法,对每个非重叠2×3图像块提取图像块特征,再利用Shamir秘密共享方案将块特征和块内容序列值生成用于块篡改检测和修复的共享信息,最后将块共享信息构成的α通道与原始图像组成可移植网络图形格式(portable network graphic format, PNG)的文件图像.在篡改检测过程中,α通道提取的共享信号可以判断图像块是否被篡改,并可以通过Shamir秘密共享方案反向操作修复篡改图像块的内容.实验表明所提方法不仅具有良好的篡改检测和修复效果,同时具有良好的鲁棒性,能抵抗图像裁剪、噪声攻击.     

多级特征全局一致性的伪造人脸检测

目的 随着深度伪造技术的快速发展,人脸伪造图像越来越难以鉴别,对人们的日常生活和社会稳定造成了潜在的安全威胁。尽管当前很多方法在域内测试中取得了令人满意的性能表现,但在检测未知伪造类型时效果不佳。鉴于伪造人脸图像的伪造区域和非伪造区域具有不一致的源域特征,提出一种基于多级特征全局一致性的人脸深度伪造检测方法。方法 使用人脸结构破除模块加强模型对局部细节和轻微异常信息的关注。采用多级特征融合模块使主干网络不同层级的特征进行交互学习,充分挖掘每个层级特征蕴含的伪造信息。使用全局一致性模块引导模型更好地提取伪造区域的特征表示,最终实现对人脸图像的精确分类。结果 在两个数据集上进行实验。在域内实验中,本文方法的各项指标均优于目前先进的检测方法,在高质量和低质量FaceForensics++数据集上,AUC(area under the curve)分别达到99.02%和90.06%。在泛化实验中,本文的多项评价指标相比目前主流的伪造检测方法均占优。此外,消融实验进一步验证了模型的每个模块的有效性。结论 本文方法可以较准确地对深度伪造人脸进行检测,具有优越的泛化性能,能够作为应对当前人脸伪造威胁的一种有效检测手段。     

CNN结合Transformer的深度伪造高效检测

目的 深度伪造视频检测是目前计算机视觉领域的热点研究问题。卷积神经网络和Vision Transformer(ViT)都是深度伪造检测模型中的基础结构,二者虽各有优势,但都面临训练和测试阶段耗时较长、跨压缩场景精度显著下降问题。针对这两类模型各自的优缺点,以及不同域特征在检测场景下的适用性,提出了一种高效的CNN(convolutional neural network)结合Transformer的联合模型。方法 设计基于Efficient Net的空间域特征提取分支及频率域特征提取分支,以丰富单分支的特征表示。之后与Transformer的编码器结构、交叉注意力结构进行连接,对全局区域间特征相关性进行建模。针对跨压缩、跨库场景下深度伪造检测模型精度下降问题,设计注意力机制及嵌入方式,结合数据增广策略,提高模型在跨压缩率、跨库场景下的鲁棒性。结果 在Face Forensics++的4个数据集上与其他9种方法进行跨压缩率的精度比较,在交叉压缩率检测实验中,本文方法对Deepfake、Face2Face和Neural Textures伪造图像的检测准确率分别达到90.35%、71.79%...     

SSD与时空特征融合的视频目标检测

目的 视频目标检测旨在序列图像中定位运动目标,并为各个目标分配指定的类别标签。视频目标检测存在目标模糊和多目标遮挡等问题,现有的大部分视频目标检测方法是在静态图像目标检测的基础上,通过考虑时空一致性来提高运动目标检测的准确率,但由于运动目标存在遮挡、模糊等现象,目前视频目标检测的鲁棒性不高。为此,本文提出了一种单阶段多框检测（single shot multibox detector,SSD）与时空特征融合的视频目标检测模型。方法 在单阶段目标检测的SSD模型框架下,利用光流网络估计当前帧与近邻帧之间的光流场,结合多个近邻帧的特征对当前帧的特征进行运动补偿,并利用特征金字塔网络提取多尺度特征用于检测不同尺寸的目标,最后通过高低层特征融合增强低层特征的语义信息。结果 实验结果表明,本文模型在ImageNet VID （Imagelvet for video object detetion）数据集上的mAP （mean average precision）为72.0%,相对于TCN （temporal convolutional networks）模型、TPN+LSTM （tubelet proposal network and long short term memory network）模型和SSD+孪生网络模型,分别提高了24.5%、3.6%和2.5%,在不同结构网络模型上的分离实验进一步验证了本文模型的有效性。结论 本文模型利用视频特有的时间相关性和空间相关性,通过时空特征融合提高了视频目标检测的准确率,较好地解决了视频目标检测中目标漏检和误检的问题。     

深度伪造生成与检测研究综述

目前用于建立和操作多媒体信息技术已经发展到了可确保高度真实感的程度。深度伪造作为一种生成式深度学习算法,可实现音频、图像、视频的伪造生成,近些年也取得了相当巨大的进步,与之对抗的深度伪造检测技术也在不断的发展中。梳理常见深度伪造生成的技术以及相关的数据集,总结其中的原理以及最新方法成果;并对深度伪造检测相关技术和数据集进行分析总结。对深度伪造生成和检测的未来研究方向进行了总结和展望。     

低光照环境下的图像恢复与目标识别方法

现有的低光照图像目标识别方法通常将图像恢复与目标识别任务分开处理,且在图像恢复质量和计算时间上无法满足目标识别任务的要求.针对这些问题,首先,提出一种高效的图像恢复卷积神经网络架构,通过融合不同尺度的特征图来聚合多级上下文特征信息,减少卷积层的信息冗余,提高图像恢复任务的实时性.并且设计了一个局部-全局注意力模块,通过校准各特征图的局部信息和特征通道之间的关系,提高恢复网络对噪声和图像内容的区分能力.其次,提出了一种图像恢复和目标识别任务协同处理的方法.利用目标识别的高级语义信息指导图像恢复网络学习,从而突出目标的结构和纹理等特征,使恢复结果更加适应目标识别任务.实验结果表明,该方法在图像恢复质量、计算时间和目标识别率上明显优于已有方法.     

融合3D注意力和Transformer的图像去雨网络

目的 因为有雨图像中雨线存在方向、密度和大小等各方面的差异,单幅图像去雨依旧是一个充满挑战的研究问题。现有算法在某些复杂图像上仍存在过度去雨或去雨不足等问题,部分复杂图像的边缘高频信息在去雨过程中被抹除,或图像中残留雨成分。针对上述问题,本文提出三维注意力和Transformer去雨网络(three-dimension attention and Transformer deraining network,TDATDN)。方法 将三维注意力机制与残差密集块结构相结合,以解决残差密集块通道高维度特征融合问题;使用Transformer计算特征全局关联性;针对去雨过程中图像高频信息被破坏和结构信息被抹除的问题,将多尺度结构相似性损失与常用图像去雨损失函数结合参与去雨网络训练。结果 本文将提出的TDATDN网络在Rain12000雨线数据集上进行实验。其中,峰值信噪比(peak signal to noise ratio,PSNR)达到33.01 dB,结构相似性(structural similarity,SSIM)达到0.927 8。实验结果表明,本文算法对比以往基于深度学习的神经网络去雨算法,显著改善了单幅图像去雨效果。结论 本文提出的TDATDN图像去雨网络结合了3D注意力机制、Transformer和编码器—解码器架构的优点,可较好地完成单幅图像去雨工作。     

基于DWT和形态学滤波的图像伪造检测方法

针对图像中复制-移动和拼接形式的图像伪造检测,提出一种基于离散小波变换(DWT)和形态学滤波的图像伪造检测方法。首先,将图像转换为灰度图,通过应用DWT获得LH、HL和HH子带。然后,通过阈值判断来获得伪造图像区域的边缘,并通过形态学滤波来连接边缘使其清晰化。最后,提取伪造区域的SIFT特征,并通过相似性检测来寻找图像中与伪造区域相似的区域,以此来确定伪造类型。实验结果表明,该方法能够准确检测出伪造区域和伪造类型。     

基于知识蒸馏的YOLOv3算法研究

知识蒸馏作为一种模型压缩方法,将大网络（教师网络）学到的知识传递给小网络（学生网络）,使小网络获得接近大网络的精度。知识蒸馏在图像分类任务上获得不错的效果,但在目标检测上的研究较少,且有待提高。当前目标检测中主要基于特征提取层进行知识蒸馏,该类方法存在两个问题,第一,没有对教师网络传递知识的重要程度进行度量,第二,仅对特征提取层进行蒸馏,教师网络的知识未充分传递给学生网络。针对第一个问题,通过引入信息图作为蒸馏的监督信号,强化了学生网络对教师网络重点知识的学习;针对第二个问题,对特征提取层和特征融合层的输出同时进行蒸馏,使学生网络更充分地学习教师网络传递的知识。实验结果表明,以YOLOv3为检测模型,在不改变学生网络结构的基础上,平均类别精度（mAP）提升9.3个百分点。     

基于语义信息的精细化边缘检测方法

边缘检测是在图像中准确地提取视觉上显著的边缘像素,以得到图像的边缘信息,然而传统基于全卷积网络的边缘检测方法通常存在预测边缘粗糙、模糊等问题。提出一种语义信息指导的精细化边缘检测方法。通过图像分割子网络将学习到的图像语义信息传递给边缘检测子网络,同时利用图像语义信息指导边缘检测子网络,其引入具有注意力机制与残差结构的特征融合模块,以生成精细的图像边缘,增强不同尺度的特征融合。在此基础上,结合图像分割任务和图像边缘检测任务中的代价函数定义新的模型代价函数并进行训练,进一步提高网络边缘检测质量。在BSDS500数据集上的实验结果验证了该方法的有效性,结果表明,该方法的固定轮廓阈值与图像最佳阈值分别达到0.818和0.841,相比HED、RCF等主流边缘检测方法,能够预测更精细的边缘图像,且鲁棒性更优。     

基于新的空间关系特征的图像检索方法

图像与图像之间没有清晰的空间结构,这样就不能有效利用图像间空间结构上的相关性信息,针对此问题提出一种基于新的空间关系特征的图像检索方法。首先,提取待查询图像在内的全部图像的特征向量。然后,计算特征向量每两个之间的相似性,形成相似性矩阵。将相似性矩阵的列集合作为新特征向量,命名为新的空间关系特征向量,从而将原来的特征向量映射到一个欧氏空间上。最后,在新特征空间上计算相似性,特征向量之间的相似性问题就转化为新的空间关系特征向量之间的相似性问题。在新特征空间上,图像与图像之间的空间结构变得清晰了,有利于图像检索准确度的提高。在Corel数据库上进行实验,所提方法在平均检索查准率、查全率-查准率和可视化评价指标上都优于基于颜色直方图的图像检索方法。结果表明,基于新的空间关系特征的图像检索方法有效利用了图像间空间结构上的相关性信息,具有更好的检索效果。