基于条件对抗域泛化的人脸活体检测方法

针对现存的跨场景人脸活体检测模型泛化性能差、类间重叠等问题,提出了一种基于条件对抗域泛化的人脸活体检测方法。首先,该方法使用嵌入注意力机制的U-Net网络和ResNet-18编码器提取多个源域的特征,然后将提取的特征送入辅助分类器,并将特征编码器的输出和分类器预测的结果通过多线性映射的方法进行融合,再输入到域判别器中进行对抗训练,以实现特征和类层面对齐多个源域。其次,为了减少预测不准确的难迁移样本对域泛化造成的影响,采用了熵函数来控制样本的优先级,以提高域泛化的性能。此外,通过添加人脸深度图以进一步抓取活体与假体的区别特征,通过非对称三元组损失约束作为辅助监督,进一步提高类内紧凑性和类间区分性。在公开活体检测数据集上的对比实验验证了所提方法的有效性。     

应用深度光学应变特征图的人脸活体检测

目的 随着人脸识别系统应用的日益广泛,提高身份认证的安全性,提升人脸活体检测的有效性已经成为迫切需要解决的问题。针对活体检测中真实用户的照片存在的人脸欺骗问题,提出一种新的解决照片攻击的人脸活体检测算法。方法 利用局部二值模式LBP（local binary pattern）、TV-L1（total variation regularization and the robust L1 norm）光流法、光学应变和深度网络实现的人脸活体检测方法。对原始数据进行预处理得到LBP特征图;对LBP特征图提取光流信息,提高对噪声适应的鲁棒性;计算光流的导数得到图像的光学应变图,以表征相邻两帧之间的微纹理性质的微小移动量;通过卷积神经网络模型（CNN）将每个应变图编码成特征向量,最终将特征向量传递给长短期记忆LSTM（long short term memory）模型进行分类,实现真假人脸的判别。结果 实验在两个公开的人脸活体检测数据库上进行,并将本文算法与具有代表性的活体检测算法进行对比。在南京航空航天大学（NUAA）人脸活体检测数据库中,算法精度达到99.79%;在Replay-attack数据库中,算法精度达到98.2%,对比实验的结果证明本文算法对照片攻击的识别更加准确。结论 本文提出的针对照片攻击的人脸活体检测算法,融合光学应变图像和深度学习模型的优点,使得人脸活体检测更加准确。     

基于近红外与可见光双目视觉的活体人脸检测方法

针对人脸识别系统易受伪造攻击的问题,提出了一种基于近红外与可见光双目视觉的活体人脸检测方法。首先,采用近红外与可见光双目装置同步获取人脸图像,提取两图像的人脸特征点,利用双目关系实现特征点的匹配并获取其深度信息,再利用深度信息进行三维点云重建;然后,将全部人脸特征点划分为四个区域,计算各区域内人脸特征点在深度方向的平均方差;接着,选取人脸关键特征点,以鼻尖点为参照点,计算鼻尖点到人脸关键特征点之间的空间距离;最后,利用人脸特征点的深度值方差和空间距离来构造特征向量,使用支持向量机（SVM）实现活体人脸判断。实验结果表明,所提方法能够准确检测活体人脸以及有效抵御伪造人脸的攻击,在实验测试中达到99.0%的识别率,在准确性和鲁棒性上优于利用人脸特征点深度信息进行检测的同类算法。     

基于微调策略的多线索融合人脸活体检测

为解决身份认证过程中可能会出现的打印攻击、视频重播攻击等安全问题,提出一种多线索融合人脸活体检测方法。利用金字塔LK光流追踪视频帧并将其进行剪切波变换,以获取图像质量特征,通过卷积神经网络对数据集进行网络微调,得到真假活体。在Print-attack数据库和CISIA数据库上进行实验,结果表明,与LFDNet方法相比,该方法具有较高的人脸活体检测准确率,可用于抵制欺骗攻击。     

加权的多尺度多分辨率人脸描述与识别方法

为克服人脸表情、光照变化等对图像中人脸识别结果的影响,文中提出一种加权的多尺度多分辨率人脸描述与识别方法.首先使用多分辨率分析分解图像为子带图像,并选择3个不同尺度的低频子带图像构建多尺度和多分辨率图像序列.然后针对图像序列的每幅图像编码人脸局部区域的中心像素与其邻域像素的灰度差的符号分量,体现人脸局部结构的重要性.再利用人脸局部区域中心像素与邻域像素的灰度差的幅值分量作为像素局部二值模式的权重.最后利用块Fisher线性判别降低特征描述符的维数,同时增强判别能力.在ORL和FERET人脸库上的实验表明该方法可获得明显的性能提升.     

面向不同传感器与复杂场景的人脸识别系统防伪方法综述

人脸识别技术作为一项重要的生物特征识别技术,在人们的日常生活中得到广泛应用。尽管人脸识别技术已取得明显进展,但当前的人脸识别系统仍容易受到非法用户的恶意攻击,因此人脸防伪技术成为人脸识别过程中必不可少的一个环节。在简述人脸防伪概念及常见攻击类型的基础上,分析人脸防伪方法的主要建模思路,从面向不同传感器与面向复杂场景的人脸识别系统防伪方法切入,分类阐述不同人脸防伪方法的基本原理及发展脉络。总结公开人脸防伪数据库,分析比较代表性防伪方法及其性能表现,并对人脸防伪问题的未来发展趋势进行展望。     

基于生成对抗网络的遮挡人脸图像修复的改进与实现

针对目前的遮挡人脸图像修复领域中遮挡部位与遮挡大小的限制或修复后人脸图像不够连贯等问题,提出一种改进的Wasserstein生成对抗网络(WGAN)方法来改善人脸图像的修复。将卷积神经网络作为生成器模型,并在对应层间加入跳跃连接来增强生成图像的准确性。在判别器中引入Wasserstein距离进行判别,并引入梯度惩罚来完善判别器。在CelebA人脸数据集与LFW人脸数据集上进行实验,结果表明该方法的修复效果良好。     

结合图像块比较与残差图估计的人脸伪造检测

目的 由于不同伪造类型样本的数据分布差距较大,现有人脸伪造检测方法的准确度不够高,而且泛化性能差。为此,本文引入“图像块归属纯净性”和“残差图估计可靠性”的概念,提出了基于图像块比较和残差图估计的人脸伪造检测方法。方法 除了骨干网络,本文的人脸伪造检测神经网络主要由纯净图像块比较模块和可靠残差图估计模块两部分组成。为了避免在同时包含人脸和背景像素的图像块上提取的混杂特征对于图像块比较的干扰,纯净图像块比较模块中选择只包含人脸像素的纯净人脸图像块和只包含背景像素的纯净背景图像块,通过比较两种图像块纯净特征之间的差异来检测伪造图像,图像块的纯净性保障了特征提取的纯净性,从而提高了特征比较的鲁棒性。考虑到靠近伪造边缘的像素比远离伪造边缘的像素具有较高的残差估计准确度,本文在可靠残差图估计模块中根据像素到伪造边缘的距离设计了一个距离场加权的残差损失来引导网络的训练过程,使网络重点关注输入图像与对应真实图像在伪造边缘附近的差异,对于可靠信息的关注进一步增强了伪造检测的鲁棒性。结果 在FF++(FaceForensics++)数据集上的测试结果显示:与对比算法中性能最好的F2Trans-B相比,本文方法的准确率和AUC(area under the ROC curve)指标分别提高了2.49%和3.31%,在FS(FaceSwap)与F2F(Face2Face)两种伪造数据上的准确率指标分别提高了6.01%和3.99%。在泛化性能方面,与11种已有方法在交叉数据集上的测试结果显示:本文方法与其中性能最好的方法相比,在CDF(Celeb-DF)数据集上的视频AUC指标和图像AUC指标分别提高了1.85%和1.03%。结论 与对比方法相比,由于提高了特征信息的纯净性和可靠性,本文提出的人脸图像伪造检测模型的泛化能力和准确率优于对比方法。     

光流与纹理特征融合的人脸活体检测算法

针对照片与视频重放这一常见人脸识别欺诈手段,利用人脸攻击图像的语义信息提出一种基于光流与纹理特征融合的人脸活体检测算法：采集连续两帧待检测人脸图像,通过光流法及人脸检测方法生成人脸区域光流场变化图,将其与原始RGB图像输入至2通道卷积神经网络提取并融合得到人脸动-静态特征,基于融合特征实现真实人脸与欺诈人脸分类。此外,为了更好地捕捉人脸区域的光流场变化,应用影像动作放大技术将待检测视频帧中0.04~0.4?Hz信号放大20倍。使用IDIAP的Replay Attack人脸活体检测数据集中1?300段视频数据进行模型训练、验证和测试。实验表明,提出的人脸活体检测算法在Replay Attack数据集测试表现良好并取得了1.04%半错误率,能够有效识别照片、视频攻击。     

基于条件生成对抗网络的视频显著性目标检测

针对传统的显著性检测方法存在着流程复杂,计算成本高,特征学习不足等问题,受生成对抗网络以及弹性网络的启发,提出一种基于条件生成对抗网络(c GAN)与L1,L2范式联合正则的视频显著性目标检测方法。方法需训练2个模型:生成器和判别器。生成器尽可能生成与真实值一样的显著图来迷惑判别器,使其难以辨别预测的显著图的真实性。判别器则尽可能准确地区分"假"显著图。实验表明:所提方法在两个公开视频数据集上的检测效果都超过了当前主流方法,且算法流程简单,运算效率更高。     

融合双特征图信息的图像显著性检测方法

目的 图像的显著性检测是将图像中最重要的、包含丰富信息的区域标记出来,并应用到图像分割、图像压缩、图像检索、目标识别等重要领域。针对现有研究方法显著性目标检测结果不完整以及单一依靠颜色差异检测方法的局限性,提出一种综合图像底层颜色对比特征图和图像颜色空间分布特征图的显著性检测方法,能够有效而完整地检测出图像中的显著性区域。方法 本文方法结合了SLIC超像素分割和K-means聚类算法进行图像特征的提取。首先,对图像进行SLIC（simple linear iterative clustering）分割,根据像素块之间的颜色差异求取颜色对比特征图;其次,按照颜色特征对图像进行K-means聚类,依据空间分布紧凑性和颜色分布统一性计算每个类的初步颜色空间分布特征。由于聚类结果中不包含空间信息,本文将聚类后的结果映射到超像素分割的像素块上,进一步优化颜色空间分布图;最后,通过融合颜色对比显著图和图像颜色空间分布特征图得到最终的显著图。结果 针对公开的图像测试数据库MSRA-1000,本文方法与当前几种流行的显著性检测算法进行了对比实验,实验结果表明,本文方法得到的显著性区域更准确、更完整。结论 本文提出了一种简单有效的显著性检测方法,结合颜色对比特征图和图像颜色空间分布特征图可以准确的检测出显著性区域。该结果可用于目标检测等实际问题,但该方法存在一定的不足,对于背景色彩过于丰富且与特征区域有近似颜色的图像,该方法得到的结果有待改进。今后对此算法的优化更加侧重于通用性。     

基于多模态融合的人脸反欺骗技术

在先前的人脸反欺骗方法中大多使用手工提取的特征或者仅使用单一模态上的人 脸特征,并且很少注意到多通道色度的差异,因此得到的人脸反欺骗模型的鲁棒性较差以至于 无法有效地区分真假面孔。鉴于此,卷积神经网络(CNN)被用作特征提取器来代替手工特征的 提取,并且一种有效的多输入 CNN 模型被提出,以融合多种模态上的人脸特征以实现更具有 鲁棒性的人脸反欺骗。通过对人脸图像上的 2 个不同颜色特征(即 HSV 和 YCbCr)以及时间特征 进行联合建模,探索了人脸反欺骗的最佳鲁棒表示。在 REPLAY_ATTACK 和 CASIA-FASD 2 个基准数据集上进行的大量实验表明,该方法可实现最先进的性能。且在 REPLAY_ATTACK 上获得 0.23%的错误率(ERR)与 0.49%的半错误率(HTER)和在 CASIA-FASD 数据库上获得 1.76％的错误率与 3.05%的半错误率。     

基于全局和局部特征融合的显著性提取方法

显著性提取方法在图像处理、计算机视觉领域有着广泛的应用.然而,基于全局特征和基于局部特征的显著性区域提取算法存在各自的缺点,为此本文提出了一种融合全局和局部特征的显著性提取算法.首先,对图像进行不重叠地分块,当每个图像块经过主成分分析(Principle component analysis,PCA)映射到高维空间后,根据孤立的特征点对应显著性区域的规律得到基于全局特征的显著图;其次,根据邻域内中心块与其他块的颜色不相似性得到基于局部特征的显著图;最后,按照贝叶斯理论将这两个显著图融合为最终的显著图.在公认的三个图像数据库上的仿真实验验证了所提算法在显著性提取和目标分割上比其他先进算法更有效.     

基于多视觉词典的显著性加权图像检索方法

针对视觉词典在图像表示与检索方面的应用需求,本文提出了一种基于多视觉词典与显著性加权相结合的图像检索方法,实现了图像多特征的显著性稀疏表示。该方法首先划分图像为小块,提取图像块的多种底层特征,然后将其作为输入向量,通过非负稀疏编码分别学习图像块多种特征对应的视觉词典,将得到的图 像块稀疏向量经过显著性汇总方法引入空间信息并作显著性加权处理,形成整幅图像的稀疏表示,最后采用提出的SDD距离计算方式进行图像检索。在Corel和Caltech通用图像集上进行仿真实验,与单一视觉词典的方法对比,结果表明本文方法能够有效提高图像检索的准确率。     

对象级特征引导的显著性视觉注意方法

针对已有视觉注意模型在整合对象特征方面的不足,提出一种新的结合高层对象特征和低层像素特征的视觉注意方法。首先,利用已训练的卷积神经网（CNN）对多类目标的强大理解能力,获取待处理图像中对象的高层次特征图;然后结合实际的眼动跟踪数据,训练多个对象特征图的加权系数,给出对象级突出图;紧接着提取像素级突出图,并和对象级突出图融合获得显著图;最后,在OSIE和MIT数据集上验证了该方法,并与国际上流行的视觉注意方法进行对比,结果显示该算法在OSIE数据集上获得的AUC值相对更高。实验结果表明,所提方法能够更加充分地利用图像中对象信息,提高显著性预测的准确率。     

联合多通道特征与最小二乘决策的人脸反欺诈方法

为了应对大量的欺诈攻击,如照片攻击和视频攻击,提出了一种基于多通道特征与最小二乘法决策的人脸反欺诈方法。一方面,将人脸在不同颜色空间分量上的梯度特征进行加权融合。另一方面,为了提高实验的鲁棒性,引入BSIF纹理特征与CNN的卷积特征,并用最小二乘法对分类的结果进行最优的决策判断。实验在replay-attack和CASIA两个数据集上进行测试,其中在replay-attack数据集上的EER和HTER分别降低到了3.52%与4.63%,在CASIA数据集上的EER和HTER分别降低到了6.02%和6.45%,与目前最优的算法有一定的竞争力,表明该方法对不同方式的欺诈攻击有较好的检测效果。     

结合混合池化的双流人脸活体检测网络

目的 人脸识别技术在很多领域起着重要作用,但大量的欺诈攻击对人脸识别产生了威胁,比如打印攻击和重放攻击。传统的活体检测方法是以手工方式提取特征且缺乏对时间维度的考虑,导致检测效果不佳。针对以上问题,提出一种结合混合池化的双流活体检测网络。方法 对数据集提取光流图像并进行面部检测,得到双流网络的两个输入;在双流网络末端加入空间金字塔和全局平均混合池化,利用全连接层对池化后的特征进行分类并进行分数层面的融合;对空间流网络和时间流网络进行融合得到一个最优结果,同时考虑了不同颜色空间对检测性能的影响。结果 在CASIA-FASD （CASIA face anti-spoofing database）和replay-attack两个数据集上做了多组对比实验,在CASIA-FASD数据集上,等错误率（equal error rate,EER）为1.701%;在replay-attack数据集上,等错误率和半错误率（half total error rate,HTER）分别为0.091%和0.082%。结论 结合混合池化的双流活体检测网络充分考虑时间维度,提出的空间金字塔和全局平均混合池化策略能有效地利用特征。针对包含多种攻击类型、图像质量差异较大的数据集,本文提出的网络模型均能取得较低的错误率。