基于人脸表情识别的在线课堂学生专注度分析

针对人脸表情识别在特征提取时容易丢失大量有用的特征信息, 无法提取更加全面的人脸表情特征的问题, 提出了一种多尺度特征融合网络模型(DS-EfficientNet). 该模型包括深层网络和浅层网络两部分, 浅层网络用来提取面部表情的细节纹理信息, 深层网络提取表情的全局信息. 并在浅层网络中加入注意力机制, 增强对浅层细节信息的提取能力. 最终在通道上进行特征融合, 融合之后网络可以提取更加丰富的人脸表情信息. 为了减少模型参数, 提高模型的泛化性能, 将全连接层替换为全局平均池化层, 加入批归一化. 本文提出的方法在Fer2013和CK+上进行实验, 识别准确率达到了73.47%和98.84%. 实验证明该方法可以提取人脸更加丰富的表情信息, 模型具有更强的泛化能力.     

亲缘关系约束下的青少年人脸年龄合成研究

年龄合成生成逼真的人脸图像可以有效地提高跨年龄人脸验证准确率,对寻找走失人口有着重要的意义,但是青少年颅骨复合体未发育完全,使得面向青少年的年龄合成十分困难。因此提出了一种面向青少年的端到端的年龄合成模型。通过StyleGAN保留人脸的语义信息,在人脸编码特征上添加年龄通道实现年龄的转化,引入亲缘特征匹配模块引导青少年的面部老化,将亲缘特征匹配率加入损失函数参与训练。该算法模型可以在保持个体身份信息的同时,实现平滑的年龄合成,生成逼真的人脸图像。该模型不仅提升了视觉效果,并且实验表明该模型跨年龄人脸验证准确率达到95.3%,身份召回率达到92.7%,年龄合成平均年龄误差减少4年,较现有算法有较好的提升。     

面向轻量级深度伪造检测的无数据模型压缩

目的 尽管现有的深度伪造检测方法已在各大公开数据集上展现出了极佳的真伪鉴别性能,但考虑到运行过程中耗费的巨大内存占用和计算成本,如何实现此类模型的在线部署仍是一个具有挑战性的任务。对此,本文尝试利用无数据量化的方法开发轻量级的深度伪造检测器。方法 在保证准确率损失较少的前提下,对提前训练好的高精度深度伪造检测模型进行压缩处理,不再使用32 bit浮点数表示模型的权重参数与激活值,而是将其全部转化为低位宽的整型数值。此外,由于人脸数据涉及隐私保护问题,本文中所有的量化操作都是基于无数据场景完成的,即利用合成数据作为校准集来获取正确的激活值范围。这些数据经过不断优化迭代,完美匹配了存储在预训练模型各批归一化层中的统计信息,与原始训练数据具备非常相似的分布特征。结果 在两个经典的人脸伪造数据集FaceForensics++和Celeb-DF v2上,4种预先训练好的深度伪造检测模型ResNet50、Xception、EfficientNet-b3和MobileNetV2经过所提方法的量化压缩处理后,均能保持甚至超越原有的性能指标。即使当模型的权重和激活值被压缩为6 bit时,所得轻量级模型的最低检测准确率也能达到81%。结论 通过充分利用蕴含在深度伪造检测预训练模型中的有价值信息,本文提出了一种基于无数据模型压缩的轻量级人脸伪造检测器,该检测器能够准确高效地识别出可疑人脸样本的真实性,与此同时,检测所需的资源和时间成本大幅降低。     

联合软阈值去噪和视频数据融合的低质量3维人脸识别

目的 低质量3维人脸识别是近年来模式识别领域的热点问题;区别于传统高质量3维人脸识别,低质量、高噪声是低质量3维人脸识别面对的主要问题。围绕低质量3维人脸数据噪声大、依赖单张有限深度数据提取有效特征困难的问题,提出了一种联合软阈值去噪和视频数据融合的低质量3维人脸识别方法。方法 首先,针对低质量3维人脸中存在的噪声问题,提出了一个即插即用的软阈值去噪模块,在网络提取特征的过程中对特征进行去噪处理。为了使网络提取的特征更具有判别性,结合softmax和Arcface(additive angular margin loss for deep face recognition)提出的联合渐变损失函数使网络提取更具有判别性特征。为了更好地利用多帧低质量视频数据实现人脸数据质量提升,提出了基于门控循环单元的视频数据融合模块,实现了视频帧数据间互补信息的有效融合,进一步提高了低质量3维人脸识别准确率。结果 实验在两个公开数据集上与较新方法进行比较,在Lock3DFace(low-cost kinect 3D faces)开、闭集评估协议上,相比于性能第2的方法,平均识别率分别提高了0.28%和3...     

非受限条件下双流增强浅层网络人脸年龄估计

针对非受限条件下人脸遮挡、光照不均、表情复杂、姿态各异等影响年龄估计精确率低的问题,提出一种非受限条件下双流增强浅层网络的人脸年龄估计(E²-doubleNet)算法。首先,在E²-doubleNet设计中采用了两个异构的单流浅层卷积神经网络模型以提高网络的学习能力;然后,在两个模型中采用不同的激活函数和池化层,增强网络结构的非线性;最后,在双流浅层网络的基础上,引入了CBAM注意力约束构成双重增强效应,从而克服特征提取过程中特征信息丢失的问题,使其能够捕捉到更加细微人脸面部特征以此提高分类精度。实验结果表明,该方法比最新同类型的人脸年龄估计算法提高了3.27%,证明了所提算法的有效性。     

多视角约束级联回归的视频人脸特征点跟踪

近年来,静态图像中人脸特征点检测算法得到了极大的改进,然而,由于真实视频中头部姿态、遮挡和光照等因素的变化,人脸特征点检测和跟踪仍然具有挑战性。为了解决这一问题,提出一种多视角约束级联回归的视频人脸特征点跟踪算法。首先,利用三维和二维稀疏点集建立变换关系,并估计初始形状;其次,由于人脸图像存在较大的姿态差异,使用仿射变换对人脸图像进行姿态矫正;在构造形状回归模型时,采用多视角约束级联回归模型减小形状方差,从而使学习到的回归模型对形状方差具有更强的鲁棒性;最后,采用重新初始化机制,并在特征点正确定位时使用归一化互相关（NCC）模板匹配跟踪算法建立连续帧之间的形状关系。在公共数据集上的实验结果表明：该算法的平均误差小于眼间距离的10%。     

基于区域分块和轻量级网络的人脸反欺骗方法

如何高效地辨别各种被攻击的人脸是人脸识别过程中迫切需要解决的问题。基于深度学习的人脸反欺骗方法在有着高性能的同时,也带来了庞大的参数量和计算量,使其无法部署在移动或嵌入式设备中。针对以上问题,提出了一种基于区域分块和轻量级网络的人脸反欺骗方法。首先,对训练样本进行随机区域分块;然后,设计了一种基于注意力机制的轻量级网络用于特征提取和图像分类;最后,为了提高测试准确率,对测试样本进行基于区域分块的数据扩增。实验结果表明,所提模型在CASIA-FASD和REPLAY-ATTACK数据集上达到了100%的准确率;在CASIA-SURF数据集的Depth模态上获得了99.49%的准确率和0.458 0%的平均分类错误率（ACER）,远优于ResNet、ShuffleNet等卷积神经网络,且该模型的参数量也仅有0.258 2 MB。在实际应用中,端到端的轻量级网络结构使所提模型更方便部署在移动设备上来进行实时的人脸反欺骗检测。     

基于类别注意实例归一化机制的人脸年龄合成

近年来,生成对抗网络(generativeadversarialnetwork,GAN)家族已在人脸年龄合成任务上取得了巨大的成功.然而,通过研究发现,在解决人脸年龄合成的问题时,即使是善于利用年龄先验信息的条件生成对抗网络(conditional generative adversarial network, CGAN),重要的人脸年龄相关信息在一程度上也会被丢弃.这是导致以CGAN为代表的GAN家族在人脸年龄合成上的性能到达瓶颈期的一个重要因素.为此,提出了一种类别注意实例归一化机制(class-aware instance normalization, CAIN).该机制能够灵活地嵌入到CGAN中,形成一种新的生成对抗网络模型,即CAIN-GAN.CAIN-GAN能够充分利用人脸年龄先验信息来进一步提高人脸年龄合成性能.在公开数据集上的实验结果表明,与其他几种GAN家族的方法对比, CAIN-GAN方法仅通过利用人脸年龄相关信息就能对人脸年龄合成性能进行提升.     

人脸妆容迁移研究综述

人脸妆容迁移的目标是在保持源图像面部特征的同时,将人脸妆容从参考图像迁移到源图像,具有重要的理论研究价值和巨大的市场应用价值。目前,生成对抗网络已成为解决人脸妆容迁移问题的主流技术。阐述了人脸妆容迁移面临的主要挑战,按照重点解决问题的不同系统地梳理了已有的人脸妆容迁移方法并分析了其优点和局限性,总结了人脸妆容迁移网络常用的损失函数,介绍了常用的人脸妆容迁移数据集以及模型评价方法,讨论了人脸妆容迁移领域未来的发展趋势。     

人脸伪造检测泛化性方法综述

深度学习技术的快速发展为深度伪造的研究提供了强有力的工具,人眼越来越难区分伪造视频图像的真假。伪造的视频图像会对社会生活造成巨大的负面影响,如:金融欺诈、假新闻传播、人身欺凌等。目前,基于深度学习的假脸检测技术在多个基准数据库(如FaceForensics++)上已经达到了较高的准确率,但在跨数据库上的检测精度远低于源数据库内的检测精度,即许多检测方法难以推广到不同的或未知的伪造类型上。专注于基于深度学习的人脸伪造检测方法泛化性研究,首先对伪造检测常用的数据库进行简单介绍和比较;其次从数据、特征和学习策略3个方面对视频图像篡改检测方法的泛化性进行分类总结和分析;最后讨论未来人脸篡改检测泛化性的发展方向和挑战。