一种基于MLP的高效高精度三维视线估计方法

随着卷积神经网络(CNN)在计算机视觉领域的广泛应用,以及大量三维视线数据集的公开,基于表观和深度学习相结合的三维视线估计研究受到越来越多的关注。由于CNN结构复杂,这类方法在实时性要求较高的应用场景中还有待进一步改进。近来兴起的研究表明,网络结构更为简单的多层感知机(MLP)模型能够取得与当前最佳CNN、Transformer模型相当的性能。受此启发,提出了一种基于MLP的高效高精度三维视线估计方法,利用MLP模型对双眼、人脸图像提取特征,之后融合推导出三维视线。实验结果表明,对MPIIFaceGaze数据集和EyeDiap数据集中包含的31位不同相貌的受试者,使用提出的方法UM-Net进行视线估计,视线估计精度比肩基于CNN的,并且在视线估计速度上具有明显优势,在实时性要求较高的领域也有较好的应用前景。     

基于瞳孔角膜反射技术的视线估计方法

作为信息获取与人机交互的一种新型方式,视线跟踪技术已经成为计算机视觉领域的热门研究方向。视线跟踪的核心技术是视线估计。针对现有视线估计方法标定复杂、限制头部运动等问题,提出了一种改进的基于二维瞳孔角膜反射技术的视线估计方法。在单相机单光源条件下,通过建立瞳孔角膜反射模型、补偿个体差异误差、补偿头部运动误差等步骤实现单点标定视线估计。实验结果表明,用该算法估计视线,在一定范围内,头部移动不会带来精度的明显下降。     

图像驱动的三维人脸自动生成与编辑算法

针对图像驱动的三维人脸建模这个计算机图形学中的研究热点问题,提出一种采用三维人脸形变模型的三维人脸自动生成与编辑算法.首先建立三维人脸形变模型,由三维人脸数据库统计学习得到线性混合人脸模型,用一个低维的参数向量来描述一个人脸;然后通过人脸检测、人脸对齐、边缘提取等方法从人脸图像中提取人脸的特征,根据这些特征实现三维人脸形变模型与图像的匹配,重建出与图像对应的三维人脸模型;最后,通过改变参数向量的值实现人脸的编辑.对5个输入人脸照片进行了三维人脸模型重建和编辑并且将重建的人脸模型和真实人脸模型进行了对比,实验结果表明,该算法可实现真实化的人脸重建效果.     

基于改进三维形变模型的三维人脸重建和密集人脸对齐方法

针对现在广泛使用的三维形变模型表达能力不够，导致重建出的三维人脸模型泛化性能不佳的问题，提出了一种在姿态、表情和光照未知的条件下的基于单张人脸图片的三维人脸重建和密集人脸对齐的新方法。首先，通过卷积神经网络对现有的三维形变模型进行改进，以提高三维人脸模型的表达能力；然后，基于人脸光滑性和图像相似性，在特征点和像素层面提出新的损失函数，并使用弱监督学习训练卷积神经网络模型；最后，通过训练出的网络模型进行三维人脸重建和密集人脸对齐。实验结果表明，对于三维人脸重建任务，所提模型在AFLW2000-3D上实现了2.25的归一化平均误差；对于密集人脸对齐任务，所提模型在AFLW2000-3D和AFLW-LFPA上分别实现了3.80和3.34的归一化平均误差。与原始使用三维形变模型的方法相比，所提模型在三维人脸重建和密集人脸对齐上的归一化平均误差分别降低了7.4%和7.8%。针对不同光照环境以及角度的人脸图片，该网络模型的重建准确，鲁棒性好，且具有较高的三维人脸重建和密集人脸对齐质量。     

结合多尺度融合特征和残差注意力机制的联合三维人脸重建及密集对齐算法

针对三维人脸重建和密集对齐算法精度不足的问题,引入密集连接的多尺度特征融合模块和残差注意力机制设计了一种性能强大的网络.在编码器结构前,引入密集连接的多尺度特征融合模块获得多尺度融合特征,使编码器获得更丰富的信息;在解码器模块中引入残差注意力机制,强化网络对重要特征的关注同时抑制不必要的噪声.实验结果表明,相较其他算法,该算法取得了较显著的改进;相对PRNet,该算法以更少的参数量在各项指标上取得7.7％～12.1％的性能提升.     

基于改进三维形变模型的三维人脸重建和密集人脸对齐方法

针对现在广泛使用的三维形变模型表达能力不够,导致重建出的三维人脸模型泛化性能不佳的问题,提出了一种在姿态、表情和光照未知的条件下的基于单张人脸图片的三维人脸重建和密集人脸对齐的新方法。首先,通过卷积神经网络对现有的三维形变模型进行改进,以提高三维人脸模型的表达能力;然后,基于人脸光滑性和图像相似性,在特征点和像素层面提出新的损失函数,并使用弱监督学习训练卷积神经网络模型;最后,通过训练出的网络模型进行三维人脸重建和密集人脸对齐。实验结果表明,对于三维人脸重建任务,所提模型在AFLW2000-3D上实现了2.25的归一化平均误差;对于密集人脸对齐任务,所提模型在AFLW2000-3D和AFLW-LFPA上分别实现了3.80和3.34的归一化平均误差。与原始使用三维形变模型的方法相比,所提模型在三维人脸重建和密集人脸对齐上的归一化平均误差分别降低了7.4%和7.8%。针对不同光照环境以及角度的人脸图片,该网络模型的重建准确,鲁棒性好,且具有较高的三维人脸重建和密集人脸对齐质量。     

基于透视投影的人眼视线方向估计算法

论文研究了一种利用单目图像估计人眼视线方向的算法。基于透视投影原理的人眼视线定位方法,可从双眼的虹膜轮廓中有效地估算出人眼视线方法,但其估计精度依赖于虹膜轮廓的定位精度。在此方法的基础上,引入Retmex算法以及基于椭圆匹配的迭代算法,从双眼的边缘图像中获得虹膜轮廓的精确位置,实现了人眼视线方向的准确估计。实验结果表明,所提算法对于实际拍摄的人脸图像,能准确地估计出人眼视线方向。     

基于Kriging滤波的高精度视线转率估计方法

针对空间目标拦截器拦截过程中,有高斯噪声干扰的视线转率估计问题,提出基于Kriging滤波视线角转率估计方法。该方法先进行惯性视线角的重构,再设计窗函数,通过非模型的数值方式估计出视线角转率。仿真结果表明,该方法计算量小,不受模型约束,可以有效提高视线转率的估计精度,进而提高制导精度降低脱靶量。     

基于三维模型的人脸姿态估计

提出了一种基于三维模型的人脸姿态估计方法。首先根据人脸特征点重建出稀疏的三维人脸模型,然后基于三维模型采用线性回归的方法对人脸姿态进行初步估计,确定姿态范围,再对估计结果进行修正,从而对人脸姿态进行精确估计。实验表明,该方法具有较好的估计效果,提高了姿态估计精度。     

基于标记点检测的视线跟踪注视点估计

传统的头戴式视线跟踪系统需要借助额外的头部位置跟踪器或其他辅助设备才能定位视线方向.针对该问题,提出一种基于标记点检测的注视点估计方法.该方法通过计算机视觉的方法检测标记点,建立场景图像与真实场景中计算机屏幕之间的空间关系,将场景图像中的注视点坐标映射到计算机屏幕中.实验结果表明,该方法简单易行,可以较好地估计出用户在...     

改进ShuffleNet V2的轻量级农作物病害识别方法

针对目前有关深度学习的农作物病害识别方法中存在模型较为复杂,部署在计算资源有限的边缘设备和移动终端上适应性不强,实时准确识别作物病害较差的问题,提出一种改进ShuffleNet V2的轻量级农作物病害识别方法。以ShuffleNet V2单元为基础,引入ECA（efficient channel attention）注意力模块,使用H-Swish激活函数以便减少网络结构每个Stage模块中ShuffleNet V2单元使用个数,使用轻量化网络设计组件深度可分离卷积。在PlantVillage病害数据集上进行实验。结果表明,模型的参数量约为2.95×105,计算量为3.388×107（FLOPs）和6.674×107（MAdd）,病害识别平均准确率达到了99.24%,为农作物病害识别方法在移动终端等资源受限设备上部署应用提供参考。     

基于二维Gabor小波特征的三维人脸识别算法

分析三维人脸识别技术,提出一种基于Gabor小波特征的三维人脸识别算法。该算法采用二维Gabor小波特征精确且稳定地描述人脸特征,重建三维人脸模型并对其进行模板匹配,对匹配后的三维人脸模型进行线性判别分析。对基于ORL和UMIST两个人脸数据库的实验结果表明,该算法性能优良。     

基于三维模型的人脸姿态估计方法

提出一种三维人脸姿态估计方法。该方法通过估计三维平面人脸模型到图像平面的单应矩阵来获得人脸相对于摄像机坐标系的旋转矩阵,并利用M-估计优化方法迭代求精。其主要特点是：实施简单,不需要对透视摄像机参数预先进行标定,能够在较大范围内较精确地估计人脸姿态。对模拟数据及真实人脸图像的实验均验证了该方法的有效性。     

基于三维模型和仿射对应原理的人脸姿态估计方法

该文提出了一种基于人脸三维模型和仿射对应原理从单目视频图像序列中估计人脸空间姿态的方法．其主要思想是利用人脸的三维模型生成特征点正面平行投影,并估算输入帧和该正面平行投影之间的仿射变换参数,然后根据圆一椭圆之间的仿射对应关系得到描述人脸空间姿态的6个参数(3个旋转分量,3个平移分量)的粗略估计值,最后通过基于ICP(Iterative Closest Points：反复最近点)算法的优化迭代过程得到精确值．对石膏像和真实人脸进行的实验结果表明该算法能在较大的姿态变化范围内实现精确的人脸姿态估计．     

改进的三维人体姿态估计算法

针对目前三维人体姿态由于遮挡、姿态复杂等预测不准确的问题,提出了一种改进的三维人体姿态估计算法以获得准确的三维人体姿态,提高人体姿态估计性能.本文采用时空图注意力卷积网络中的图注意力块来构建整个网络,在此基础上对全局多头图注意力部分的网络结构进行改进,使节点间更好传播和融合信息,捕获图中没有显式表示的语义信息.同时引入运动学约束,在MPJPE损失的基础上,加上骨骼长度损失.通过对局部和全局的空间节点信息建模,实现对局部运动学连接、对称性和全局姿态的人体骨骼运动学约束的学习.通过实验证明,本文改进后的模型有效地提高了人体姿态估计性能,在Human3.6M数据集上相较于原始模型,实现了1.8%的平均关节位置误差(MPJPE)提升和1.3%的预测关节与真值关节刚性对齐后的平均关节位置误差(P-MPJPE)提升.     

基于MRF和神经网络的三维运动参数估计

为解决非刚体三维运动中运动参数估计的问题,结合了马尔科夫随机场(MRF)和神经网络的方法。其中,MRF用于建立各个特征点的局部运动相关性模型,求出各个特征点的三维坐标;神经网络方法用于对特征点进行聚类,并求出运动参数;最后根据求出的运动参数修正各个特征点的邻域系,实验结果表明该算法能够正确估计出非刚体的运动参数。     

基于卷积神经网络的光流估计模型

光流信息是图像像素的运动表示,现有光流估计方法在应对图像遮挡、大位移和细节呈现等复杂情况时难以保证高精度.为了克服这些难点问题,本文建立一种新型的卷积神经网络模型,通过改进卷积形式和特征融合的方式来提高估计精度.首先,加入调整优化能力更强的可形变卷积,以便于提取相邻帧图像的大位移和细节等空间特征;然后利用基于注意力机制...     

一种基于三维骨架化的人体姿势估计方法

提出了一种基于三维2 步子迭代混合细化算法和启发式搜索的无标记三维人体姿势估计方法.其主要思想是首先通过一种新的2 步子迭代混合细化算法,对由Shape-from-Silhouette(SFS)算法从多幅二维图像中重建出的人体三维模型进行骨架化,然后通过一种启发式的方法进行模型匹配.实验结果表明,该方法不仅思想简单,而且具有较好的鲁棒性,能够很好的去除各种噪声的影响.     

基于深度学习的单幅图像三维人脸重建研究综述

在计算机视觉领域中,三维人脸重建是一个具有研究价值的方向,高质量地重建出三维人脸在人脸识别、防伪、游戏娱乐、影视动画和美容医疗等领域具有重要的意义.近二十年来,虽然基于单幅图像的三维人脸重建领域已经取得很大的进展,但使用传统算法进行重建的结果仍会受到人脸表情、遮挡、环境光的影响,并且会出现重建效果精度不佳和鲁棒性不足等...     

基于表观的归一化坐标系分类视线估计方法

视线估计能够反映人的关注焦点,对理解人类的情感、兴趣等主观意识有重要作用。但目前用于视线估计的单目眼睛图像容易因头部姿态的变化而失真,导致视线估计的准确性下降。提出一种新型分类视线估计方法,利用三维人脸模型与单目相机的内在参数,通过人脸的眼睛与嘴巴中心的三维坐标形成头部姿态坐标系,从而合成相机坐标系与头部姿态坐标系,并建立归一化坐标系,实现相机坐标系的校正。复原并放大归一化得到的灰度眼部图像,建立基于表观的卷积神经网络模型分类方法以估计视线方向,并利用黄金分割法优化搜索,进一步降低误差。在MPIIGaze数据集上的实验结果表明,相比已公开的同类算法,该方法能降低约7.4%的平均角度误差。