基于帧间差异的人脸篡改视频检测方法

近几年,随着计算机硬件设备的不断更新换代和深度学习技术的不断发展,新出现的多媒体篡改工具可以让人们更容易地对视频中的人脸进行篡改。使用这些新工具制作出的人脸篡改视频几乎无法被肉眼所察觉,因此我们急需有效的手段来对这些人脸篡改视频进行检测。目前流行的视频人脸篡改技术主要包括以自编码器为基础的Deepfake技术和以计算机图形学为基础的Face2face技术。我们注意到人脸篡改视频里人脸区域的帧间差异要明显大于未被篡改的视频中人脸区域的帧间差异,因此视频相邻帧中人脸图像的差异可以作为篡改检测的重要线索。在本文中,我们提出一种新的基于帧间差异的人脸篡改视频检测框架。我们首先使用一种基于传统手工设计特征的检测方法,即基于局部二值模式（Local binary pattern,LBP）/方向梯度直方图（Histogram of oriented gradient,HOG）特征的检测方法来验证该框架的有效性。然后,我们结合一种基于深度学习的检测方法,即基于孪生网络的检测方法进一步增强人脸图像特征表示来提升检测效果。在FaceForensics++数据集上,基于LBP/HOG特征的检测方法有较高的检测准确率,而基于孪生网络的方法可以达到更高的检测准确率,且该方法有较强的鲁棒性;在这里,鲁棒性指一种检测方法可以在三种不同情况下达到较高的检测准确率,这三种情况分别是：对视频相邻帧中人脸图像差异用两种不同方式进行表示、提取三种不同间隔的帧对来计算帧间差异以及训练集与测试集压缩率不同。     

视频中多线索的人脸特征检测与跟踪

针对目前的人脸特征检测与跟踪算法存在的对环境适应能力差、缺乏自我检错能力的缺点，该文提出了一种多线索综合的新方法，多线索中包括基于深度信息的人脸区域粗分割，基于多关联模板匹配的人脸检测，利用多尺度Sobel卷积的特征提取，基于“特征眼”的人眼验证以及基于多视图的校验方法，多种线索互相补充，自我检错和纠错，对背景，光照及姿态变化具有较强的适应能力，实验表明该方法是有效的，鲁棒的。     

基于噪声注意力的伪造人脸检测方法

随着人工智能和深度神经网络的不断发展,图像生成与编辑变得越来越容易,恶意运用图像生成工具进行篡改伪造的现象层出不穷,这对多媒体安全以及社会稳定造成了极大威胁,因此研究伪造人脸的检测方法至关重要。人脸篡改伪造的方式和工具多种多样,在篡改的过程中可能留下不同程度的篡改痕迹,而这在图像噪声中都有一定程度上的反映。从图像噪声的角度出发,通过噪声去除的方式挖掘反映伪造人脸篡改痕迹的噪声成分,进一步生成噪声注意力,指导主干网络进行伪造人脸检测。使用SRM滤波监督噪声去除模块的训练,并将噪声去除模块所得到的噪声再次加入真实人脸图像中,形成一对有监督的训练样本,通过自监督的方式对噪声去除模块进行加强指导,实验结果说明噪声去除模块得到的噪声特征具有较好的区分度。在多个公开数据集上进行了实验,所提方法在Celeb-DF数据集上达到98.32%的准确率,在FaceForensics++数据集上达到94%以上的准确率,在DFDC数据集上达到92.61%的准确率,证明了所提方法的有效性。     

基于非关键掩码和注意力机制的深度伪造人脸篡改视频检测方法

自深度伪造技术(Deepfake)被提出以来,其非法应用对个人、社会、国家安全造成了恶劣影响,存在巨大隐患,因此针对人脸视频的深度伪造检测是计算机视觉领域中的热点及难点问题。针对上述问题,提出了一种基于非关键掩码和CA＿S3D模型的深度伪造视频检测方法。该方法首先将人脸图像划分为关键区域和非关键区域,通过对非关键区域掩码的处理,提高了深度神经网络对人脸图像关键区域的关注程度,减少了无关信息对深度神经网络的影响和干扰;接着在S3D网络中引入上下文注意力模块,增强了对样本数据信息长程依赖的捕获能力,提高了对关键通道和特征的关注程度。实验结果表明,该方法在DFDC数据集上得到了明显的性能提升,准确率从83.85%提升到了90.10%,AUC值从0.931提升到了0.979;同时与现有的深度伪造视频检测方法进行了对比,所提方法的表现优于现有方法,验证了该方法的有效性。     

基于3D CNNS的深度伪造视频篡改检测

近年来,Deepfake视频引起了广泛的关注.人们很难区分Deepfake视频.这些篡改的视频将给社会带来巨大的潜在威胁,如被用来制作假新闻等.因此,目前需要找到一种有效识别这些合成视频的方法.针对上述问题,提出了一种基于3D CNNS的深度伪造视频检测模型.该模型注意到Deepfake视频的时域特征和空域特征的不...     

利用运动矢量进行视频篡改检测

随着高质量的数字摄像机和功能复杂的视频编辑软件的出现,对视频进行恶意篡改已变得越来越容易;同时迅速庞大的视频数据也使得利用计算机自动检测恶意篡改的需求日益迫切.针对视频恶意篡改的特点并利用帧间内容的连续性,提出通过统计视频帧间预测的运动矢量,检测视频是否被恶意篡改.首先,提取各P帧的运动矢量幅度;然后利用滑动窗口、计算窗口中各运动矢量幅度与窗口中的幅度均值的距离.由于篡改点处运动矢量的幅度与所属窗口均值的偏移较大,从而能够有效检测出篡改及其位置.同时通过改变图像组大小进行再压缩,可以进一步降低漏检概率.实验表明所提方法能够有效地检测出视频在时间轴上的篡改.     

融合多特征的视频帧间篡改检测算法

传统的视频帧间被动取证往往依赖单一特征,而这些特征各自适用于某类视频,对其他视频的检测精度较低。针对这种情况,提出一种融合多特征的视频帧间篡改检测算法。该算法首先计算视频的空间信息和时间信息值并对视频进行分组,接着计算视频帧间连续性VQA特征,然后结合SVM–RFE特征递归消除算法对不同特征排序,最后利用顺序前向选择算法和Adaboost二元分类器对排序好的特征进行筛选与融合。实验结果表明,该算法提高了篡改检测精度。     

基于有监督注意力网络的伪造人脸视频检测

在伪造人脸视频检测中,大多数方法都以单一的卷积神经网络作为特征提取模块,提取的特征可能与人类的视觉机制不符。针对此类问题,提出基于有监督注意力网络的伪造人脸视频检测方法。基于胶囊网络检测伪造人脸视频,使用注意力分支提高对伪造人脸图像细节特征的提取能力,使用焦点损失提高模型对难检测样本的检测能力。在数据集FaceForensics++上的实验结果表明,提出方案有更优越的性能。     

基于视频感知哈希的视频篡改检测与多粒度定位

为了对被篡改过的视频进行准确快速的篡改检测与定位,引入人类视觉可计算模型,提出一种多层次、多粒度的视频篡改快速检测与定位算法.采用随机分块采样技术,提取视频结构感知特征及视频图像时域感知特征,利用哈希理论的单向摘要特性量化感知特征,获取视频摘要哈希.通过应用相似度矩阵进行多粒度、多层次篡改部位检测与定位.实验结果表明,相似度拟合图能够体现视频篡改攻击强度和攻击部位,算法表现出更好的篡改检测准确率与定位精确度.     

一种改进的视频关键帧提取算法研究

视频镜头分割和关键帧提取是基于内容的视频检索的核心问题.提出了一种改进的关键帧提取算法,其为视频检索奠定了基础,镜头分割部分采用改进直方图方法及基于像素方法的综合方法.首先,通过结合直方图交集及非均匀分块加权的改进直方图方法,根据视频内容将视频分割为镜头;然后,利用基于像素的帧差法,对得到的检测镜头进行二次检测,优化检测结果;最后,在HSV颜色空间的基础上,计算每个镜头内每帧的图像熵,从而确定关键帧序列.实验结果表明,提出的改进算法所得到的关键帧结构紧凑且分布均匀.     

基于自动编码器的深度伪造图像检测方法

基于深度学习的图像伪造方法生成的图像肉眼难辨,一旦该技术被滥用于制作虚假图像和视频,可能会对国家政治、经济、文化造成严重的负面影响,也可能会对社会生活和个人隐私构成威胁。针对上述问题,提出了一种基于自动编码器的深度伪造Deepfake图像检测方法。首先,借助高斯滤波对图像进行预处理,提取高频信息作为模型输入;然后,利用自动编码器对图像进行特征提取,并在编码器中添加注意力机制模块以获取更好的分类效果;最后,通过消融实验证明,采用所提的预处理方法和添加注意力机制模块有助于伪造图像检测。实验结果表明,与ResNet50、Xception以及InceptionV3相比,所提方法在数据集样本量较小且包含的场景丰富时,可以有效检测多种生成方法所伪造的图像,其平均准确率可达97.10%,明显优于对比方法,且其泛化性能也明显优于对比方法。     

压缩域视频处理关键帧提取技术的初步研究*

将视频序列通过关键帧提取的方式转换成静态图像,然后利用图像处理技术进行分析是视频处理的一种有效方法。首先讨论了近年来基于压缩域的关键帧提取技术,然后分析和讨论了针对敏感视频识别应用的关键帧提取方法,并给出了一种快速有效的关键帧提取方案。     

分布式视频编码中关键帧编码方式的改进

在分布式视频编码中关键帧间的时间相关性没有被利用, 据此提出一种基于频带划分的关键帧编码模式的选择方法。关键帧经过DCT后得到的系数带划分为低频带和高频带, 低频带部分采用Wyner-Ziv编解码, 然后对高频带进一步进行编码模式的选择, 分别进行Wyner-Ziv编解码和传统的帧内编解码, 且在解码端完成编码模式的选择, 通过反馈信道向编码端传送编码模式的选择。仿真结果表明, 在不增加编码端复杂度的情况下, 所提出的方法改善了解码后视频的质量, 使系统的峰值信噪比（PSNR）提高约1~5 dB。     

控制关键帧选择的H.264熵编码加密算法

目的常见的H.264熵编码加密是一种将加密方案与熵编码方式融合的视频安全算法,这种算法不仅加解密速度快且可保持数据格式不变,是一种兼容性的加密方案,但需要处理帧内所有数据。方法针对熵编码加密过程中存在的不足,提出了一种基于关键帧选择与熵编码相结合的视频加密方法,通过获取一帧中所有8×8子宏块的运动矢量,构造一个用于表示每一帧内容变化情况的向量F,然后将其欧几里德范数与阈值K比较,如果大于或等于阈值,则确定当前帧是关键帧,则在下一帧熵编码时加密其运动矢量差与残差系数值,否则不参与任何加密运算。结果通过控制阈值K的大小来决定关键帧的选择,并结合混沌序列加密关键帧数据来保证视频信息的安全性,与熵编码加密算法相比,加密数据平均减少数据量约为39.78%。结论实验结果表明该加密方法在保持编码后数据总量不变的情况下,以较小的时间代价获得了良好的加密效果,且与常规的熵编码加密算法相比大幅度减少了加密数据量。     

控制关键帧选择的H.264熵编码加密算法研究

常见的H.264熵编码加密是一种将加密方案与熵编码方式融合的视频安全算法,这种算法不仅加解密速度快且可保持数据格式不变,是一种兼容性的加密方案,但需要处理帧内所有数据。针对熵编码加密过程中存在的不足,提出了一种基于关键帧选择与熵编码相结合的视频加密方法,通过获取一帧中所有8*8子宏块的运动矢量,构造一个用于表示每一帧内容变化情况的向量F,然后将其欧几里德范数与阈值K比较,如果大于或等于阈值,则确定当前帧是关键帧,则在下一帧熵编码时加密其运动矢量差与残差系数值,否则不参与任何加密运算。通过控制阈值K的大小来决定关键帧的选择,并结合混沌序列加密关键帧数据来保证视频信息的安全性,与熵编码加密算法相比,加密数据平均减少数据量约为39.78%。实验表明该加密方法在保持编码后数据总量不变的情况下,以较小的时间代价获得了良好的加密效果,且与常规的熵编码加密算法相比大幅度减少了加密数据量     

基于帧间差分的足球球员检测算法

针对帧间差分法不能很好应用于变化场景的缺陷,提出了一种改进的帧间差分法,通过边缘提取、区域补偿等操作将该方法应用到足球视频中,对球员进行有效的检测.该方法首先利用颜色空间统计信息反投影技术得到运动场地,利用球场的主色对球场边缘进行补色,区域补偿,得到固定场景.利用帧间差分法检测球员,最后通过对球员候选区域的颜色信息与模板直方图匹配,达到对球员的队属辨别的目的.实验结果表明,该方法检测效果很好且具鲁棒性.     

建模交互关系和类别依赖的视频动作检测

目的 视频动作检测旨在检测出视频中所有人员的空间位置,并确定其对应的动作类别。现实场景中的视频动作检测主要面临两大问题,一是不同动作执行者之间可能存在交互作用,仅根据本身的区域特征进行动作识别是不准确的;二是一个动作执行者在同一时刻可能有多个动作标签,单独预测每个动作类忽视了它们的内在关联。为此,本文提出了一种建模交互关系和类别依赖的视频动作检测方法。方法 首先,特征提取部分提取出关键帧中每个动作执行者的区域特征;然后,长短期交互部分设计短期交互模块（short-term interaction module,STIM）和长期交互模块（long-term interaction module,LTIM）,分别建模动作执行者之间的短期时空交互和长期时序依赖,特别地,基于空间维度和时间维度的异质性,STIM采用解耦机制针对性地处理空间交互和短期时间交互;最后,为了解决多标签问题,分类器部分设计类别关系模块（class relationship module,CRM）计算类别之间的依赖关系以增强表征,并利用不同模块对分数预测结果的互补性,提出一种双阶段分数融合（two-stage score...     

颜色和帧间信息相结合的视频奇异段检测

提出了一种对视频序列进行段奇异性检测和等级划分的方法。该方法首先选择直方图信息来体现段内颜色变化情况,将段内所选视频帧的直方图组合成直方图矩阵。为了提高处理效率,利用主成分分析对直方图矩阵进行降维。然后选择帧间信息来体现段内的运动变化情况。最后,将两类特征的结果进行融合,得到最终的检测结果。该方法对一定数量的样本进行了实验,实验结果表明,该方法能够很好地实现视频段的奇异性检测和排序,性能也比其他方法有所提高。     

基于OpenPose-slim模型的人体骨骼关键点检测方法

相较于2017年提出的在当时检测效果近乎最优的RMPE模型与Mask R-CNN模型,原用于人体骨骼关键点检测的OpenPose模型有着在保持精度近乎不变的情况下能大幅缩短检测周期的优势,但同时该模型也存在着参数共享率低、冗余度高、耗时长、模型规模太大等问题。针对上述问题,提出了新的OpenPose-slim模型。该模型减小网络宽度,减少卷积块层数,将原并列式结构改成序列式结构并于内模块加入Dense连接机制,其处理过程主要分为3个模块：1）关键点定位模块,检测出人体骨骼关键点的位置坐标;2）关键点联系模块,把关键点位置连接成肢体;3）肢体匹配模块,进行肢体匹配得到人体轮廓。每一个处理阶段之间关联紧密。在MPII数据集、COCO数据集和AI Challenger数据集上的实验结果表明,所提模型使用4个定位模块和2个联系模块,并于每一个模块内部使用Dense连接机制是最佳结构,与OpenPose模型相比,在保持检测精度基本不变的基础上,测试周期缩短为原来的近1/6,参数量缩小了近50%,模型规模缩小为近1/27。     

融合门控自注意力机制的生成对抗网络视频异常检测

目的 视频异常行为检测是当前智能监控技术的研究热点之一,在社会安防领域具有重要应用。如何通过有效地对视频空间维度信息和时间维度信息建模来提高异常检测的精度仍是目前研究的难点。由于结构优势,生成对抗网络目前广泛应用于视频异常检测任务。针对传统生成对抗网络时空特征利用率低和检测效果差等问题,本文提出一种融合门控自注意力机制的生成对抗网络进行视频异常行为检测。方法 在生成对抗网络的生成网络U-net部分引入门控自注意力机制,逐层对采样过程中的特征图进行权重分配,融合U-net网络和门控自注意力机制的性能优势,抑制输入视频帧中与异常检测任务不相关背景区域的特征表达,突出任务中不同目标对象的相关特征表达,更有效地针对时空维度信息进行建模。采用LiteFlownet网络对视频流中的运动信息进行提取,以保证视频序列之间的连续性。同时,加入强度损失函数、梯度损失函数和运动损失函数加强模型检测的稳定性,以实现对视频异常行为的检测。结果 在CUHK(Chinese University of Hong Kong) Avenue、UCSD(University of California, San Dieg...