基于语音与人脸参数化表示的跨模态稠密深度

为了提高跨模态人脸表示与合成的性能,针对语音与人脸图像2种模态数据,提出一种基于人脸参数化表示与稠密深度网络相结合的面部生成方法。针对输入语音模态,通过对信号进行频谱变换,将一维时域信号转换到二维频率域,可提取频域上稳健的特征描述;针对输出图像模态,利用主动外观模型对不同面部区域独立建模以降低区域间的相关性,并提取紧凑的人脸参数化特征;为了获得有效的跨模态学习性能,提出采用稠密连接的深度卷积神经网络学习语音、图像2种模态的回归预测,并通过预测的人脸参数进行面部重构,所采用的深度网络模型可以加强特征传播与特征复用,有利于增强面部细节的合成。在2组音视频数据集上验证了提出方法的有效性。     

Personalized Multi-View Face Animation with Lifelike Textures

Realistic personalized face animation mainly depends on a picture-perfect appearance and natural head rotation. This paper describes a face model for generation of novel view facial textures with various realistic expressions and poses. The model is achieved from corpora of a talking person using machine learning techniques. In face modeling, the facial texture variation is expressed by a multiview facial texture space model, with the facial shape variation represented by a compact 3-D point distribution model (PDM). The facial texture space and the shape space are connected by bridging 2-D mesh structures. Levenberg-Marquardt optimization is employed for fine model fitting. Animation trajectory is trained for smooth and continuous image sequences. The test results show that this approach can achieve a vivid talking face sequence in various views. Moreover, the animation complexity is significantly reduced by the vector representation.     

一种基于MPEG-4的三维人脸表情动画算法

面向模型基人脸视频编解码领域,提出了一种基于MPEG-4的三维人脸表情动画算法.首先对编码端发送视频的首帧图像,利用Adaboost+Camshift+AAM(active appearance model算法检测人脸和定位特征点,接着特定化一个简洁人脸通用网格模型得到FDP(facial definition parameter);对于得到的FDP,解码端先用其特定化一个精细人脸通用网格模型,然后基于肌肉模型和参数模型相结合的方式来生成人脸表情动画,同时对人脸功能区进行划分.实验表明,该算法在FAP(facial animation parameter)流的驱动下可以生成真实感较强的三维人脸表情动画.     

Face Live Detection Method Based on Physiological Motion Analysis

In recent years, face recognition has often been proposed for personal identification. However, there are many difficulties with face recognition systems. For example, an imposter could login the face recognition system by stealing the facial photograph of a person registered on the facial recognition system. The security of the face recognition system requires a live detection system to prevent system login using photographs of a human face. This paper describes an effective, efficient face live detection method which uses physiological motion detected by estimating the eye blinks from a captured video sequence and an eye contour extraction algorithm. This technique uses the conventional active shape model with a random forest classifier trained to recognize the local appearance around each landmark. This local match provides more robustness for optimizing the fitting procedure. Tests show that this face live detection approach successfully discriminates a live human face from a photograph of the registered person's face to increase the face recognition system reliability.     

人脸检测与识别

人脸是人主要的身份特征之一,人脸识别在信息管理、身份验证、视频监控、机器视觉等领域有着重要的实用价值.本文以中央民族大学信息工程学院本科生人脸数据库为背景,从应用的角度出发,开发了基于人脸识别的学生身份确认系统.整个系统主要分为图像预处理、人脸检测和人脸识别三个部分.图像预处理包括图像大小归一和图像灰度均衡;人脸检测采用Harr分类器;利用PCA（主成分分析）获得投影矩阵和维数适中的能够表征人脸的特征向量;基于最近邻原则,进行人脸匹配.系统测试结果表明,该系统能够完成基于人脸识别的学生身份信息查询功能.     

脸部表情动画的实现

用计算机动画技术合成人的面部表情动画是人体动画研究的一个重点。本文分析了人脸的生理结构组成和脸部表情与表情单元形变之间的关系，研究了包括局部变形箱变形、线性局部变形和密度球收缩和舒张变形在内的三种面部肌肉变形方法，在此基础上，提出了一个基于复合多组局部变形操作的脸部表情动画的模拟算法。通过调相关整表情单元的形变因子一时间参数曲线，有效地控制了脸部表情的动画过程，从而实现了脸部表情动画。     

基于MPEG-4的细微表情转换方法

介绍了基于MPE-4标准的人脸动画工作原理,并提出了一种构造人脸动画定义表的方法。首先对照人脸定义参数（Facial Definition Parameter,FDP）选取一些特征点,然后用人脸动画参数（Facial Animation Parameter,FAP）驱动人脸动画。最后通过结合局部表情比例图（Partial Expression RatioImage,PERI）,实现了具有细微表情特征的真实感人脸动画。     

Fast Individual Facial Animation Framework Based on Motion Capture Data

Based upon motion capture,a semi-automatic technique for fast facial animation was implemented. While capturing the facial expressions from a performer,a camera was used to record her /his front face as a texture map. The radial basis function（ RBF） technique was utilized to deform a generic facial model and the texture was remapped to generate a personalized face.Partitioning the personalized face into three regions and using the captured facial expression data,the RBF and Laplacian operator,and mean-value coordinates were implemented to deform each region respectively. With shape blending,the three regions were combined together to construct the final face model. Our results show that the technique is efficient in generating realistic facial animation.     

模型基编码中的鼻子形状自动提取

介绍了一种简单而有效的模型基编码鼻子轮廓提取算法.该算法利用皮肤颜色图像分割、特征保留图像二值化、特征脸校验、脸部特征滤波和k-均值分类器定位复杂场景中的人脸及脸部各特征区域,提出了以圆形和非对称双抛物线建立的鼻子形状形变模板以及相应的能量函数,寻找的Powell能量最小化算法的初始参数加速了模板匹配过程,给模型基编码的人脸线框模型自动调整提供了准确的鼻子形状参数.实验表明,所提出的算法对不同人脸姿势的鼻子形状估计表现出良好的结果.     

单张人脸图像眼镜边框摘除方法

眼镜对人脸图像的特征提取和识别有重要的影响.本文提出了一个基于单张人脸图像的眼镜边框摘除方法.首先利用自适应双阈值Canny算法提取眼镜边框的准确边缘,以此确定待修复区域并构造修复模板,然后利用整体变分（TV）算法进行目标修复,从而得到没有眼镜边框的人脸图像.实验结果表明,本方法能够成功摘除眼镜边框,效果良好.     

基于统计形状模型的面部特征提取随机方法

针对在复杂背景和部分遮挡情况下提取面部特征轮廓的困难，提出了一种基于统计模型的随机方法．该方法将面部特征轮廓作为动态随机过程的状态序列，并应用统计方法建立人脸整体形状模型和特征形状模型，分别构造面部特征间和面部特征内控制点样本的预测方程，最后利用序列蒙特卡洛方法估计随机状态．该方法给出了面部特征提取的随机描述，打破了确定性方法对单高斯分布和轮廓形状线性变化的依赖性，实现了轮廓的准确可靠提取．对100幅正面人脸图像的实验结果表明，轮廓定位相对误差仅为2．7％．对标准人脸检测数据库中传统算法很难处理的复杂背景和部分遮挡情况，该方法能够正确定位面部特征轮廓．     

海上监控视频实时去雾算法研究

为提高船舶在雾天航行的安全性,对船舶监控视频流进行实时去雾.建立雾天退化物理模型,采用数学中不等式缩放理论估计出每帧有雾图像的透射率和全局大气光,然后根据雾天成像的物理模型恢复出每帧去雾图像.根据海上监控视频图像具有大面积天空和海水,对该算法中的参数依据航海目标细节恢复程度和图像对比度等因素进行估计.实验结果表明,该算法能够有效恢复海上目标的细节清晰度和提高图像的对比度,又能满足视频流实时去雾的要求,说明算法能够较好地解决海上监控视频实时去雾问题.      

基于遗传算法的人脸跟踪研究

提出了一种快速的、鲁棒的人脸定位及跟踪研究方法 ,定义了一种新的运动能量表示方法 ,利用该方法可以很快地检测出图像中的运动区域。在检测到的运动区域内 ,利用人的头部及面部结构知识确定出人脸区域 ,再将检测到的人脸区域作为模板 ,利用遗传算法在新的图像序列中动态地进行模板匹配 ,以确定人脸在新的图像序列中的位置。实验结果表明 ,该方法不但检测速度快 ,而且对光照、人脸姿态、表情及其他噪声具有较强的鲁棒性     

视频序列中运动人脸的检测与特征定位

针对视频序列中运动人脸的检测与特征定位问题,给出了一种算法,即通过计算并比较人脸区域而不是整幅视频帧的峰值信噪比（PSNR）,先从视频序列中找到人脸区域清晰度高且尽可能大的视频帧,然后再进行人脸的准确检测与特征定位。首先利用Adaboost方法检测出人脸的大致范围,再根据肤色模型确定人脸的具体位置并从图像中提取出人脸部分,然后利用基于帧间差的人脸区域的PSNR判断图像清晰度,从而定位出人脸区域清晰度高且尽可能大的视频帧,最后进行人脸检测和特征定位。对实际视频序列的计算表明,给出的算法在时间效率上较高,人脸的检测与特征定位效果较好。     

一种改进的全局Retinex监控视频图像增强方法

考虑到监控视频每相邻帧图像背景及光照近似,合理运用帧间信息,构建了一种改进的Retinex图像增强算法。对每一帧图像进行不同尺度及参数的高斯低通滤波,滤波结果取模极小提取各帧背景信息,通过融合多帧图像背景,获取该时刻上视频图像的准确背景,使用该背景进行Retinex算法增强。实验结果表明,算法增强后的图像暗处细节信息更加丰富,获得了更舒适的视觉效果。     

采用可逆水印的HEVC视频完整性认证方案

针对最新的视频编码标准HEVC/H.265,提出一种基于可逆水印的视频完整性认证方案.首先,算法根据第一个I帧中相邻块的直流系数(DC)系数之间的大小关系提取特征码;然后,从第二个图像组(GOP)的P帧开始,通过修改运动矢量某一分量的幅值嵌入水印,并且把修改前幅值的最低有效位信息嵌入到该块最后一个离散余弦转换(DCT)系数上以实现视频还原.实验结果表明:算法简单有效,具有较好的脆弱性,同时能够对视频进行无失真还原.     

基于DTW的LPM在面部遮挡人脸识别中的应用

针对面部遮挡人脸识别问题中遮挡源变幻莫测、遮挡位置、大小及形状未知而导致从人脸图像中分割遮挡区域困难的问题,提出了基于动态时间规整(DTW)的局部分块匹配(LPM)算法。首先,将人脸图像划分成若干大小相等且互不重叠的局部小块;然后,借助于光栅扫描顺序将各个小块按照前额、眼睛、鼻子、嘴巴和下巴的顺序连接成一个单一序列;最后,计算查询人脸与注册人之间图像到类的距离,并利用动态时间规整的设计思想寻找查询序列与所有注册序列之间的最佳对齐方式。在两个公开人脸数据库FRGC2.0、AR及一个户外人脸数据库上的实验验证了所提算法的有效性及可靠性,实验结果表明,相比其它几种较为先进的人脸识别算法,所提算法取得了更高的识别率,此外,所提算法无需任何训练过程,计算成本低,更适合应用于现实面部遮挡人脸识别中。     

基于Kinect 2的三维人脸个性化建模

提出一种基于五官形状特征点以及人脸肌肉函数的优化Kinect 2 个性人脸网格的算法,然后通过自适应uv贴图,使结果更符合个性人脸特征.首先,通过提取彩色图的特征点位置获取个性人脸的x,y 空间的特征信息,基本的五官形状特征点为83 个,通过相似三角关系在鼻梁和鼻翼处添加了6 个特征点以丰富五官形状特征信息.肌肉形状特征约束方面,综合肌肉形状约束量有43 个.其次,通过Kinect 2 人脸个性化建模得到中间模型,同时也获得了五官形状和肌肉形状特征的深度先验信息.接着使用基于拉普拉斯算子的微分网格变形算法对Kinect2 的中间模型进行五官优化及肌肉形状约束,通过对比ASM、正则化均值漂移和face + + 算法检测的人脸特征点来选择更精确的五官位置.最后,为了让人脸更具有真实感,还通过平面微分网格形变实现了uv 自动贴图,提升了maya中手动调整uv 坐标的准确性和效率.同时,使用次表面散射光照模型来使人脸皮肤的真实感加强.实验表明,本文所采用的三维人脸模型的个性化变形方法能使Kinect2 模型更好地符合个性人脸特征,这将为后期的表情生成和动画制作奠定良好的基础.     

基于HSV颜色特征的多目标视频检测与跟踪算法

针对跟踪多个运动目标交错运动时容易丢失目标的问题,提出了一种基于HSV颜色空间去识别与跟踪不同颜色目标的算法,对光照具有一定的鲁棒性。通过颜色空间转换提取目标原始二值图像,经中值和高斯滤波后,通过亮度检测判断是否对滤波后二值图像进行形态学膨胀;之后对较为精确的目标二值图像进行边缘检测,得到其最小包围矩形框,逐帧检测后绘制各颜色目标对应的运动轨迹,完成多目标的视频跟踪。对比经典Cam-Shift算法,实验表明,在多个目标具有不同颜色特征时,有效解决了视频跟踪中多目标交错运动丢失目标,且对光照敏感的问题,跟踪精度较高。     

基于核函数因素分解模型的表情合成与识别

人脸图像合成是新一代人机交互中的重要技术。传统的三维模型加生理模型的方法可以生成真实的人脸表情图像,但是其中的计算复杂度很高。该文提出了一种基于样本的方法,将不同的人和不同的表情看作影响人脸表情图像的两种变化因素,利用因素分解模型巧妙地进行人脸表情图像合成。同时,分析了因素分解模型获得的身份子空间和表情子空间的特点,提出了一种在子空间中利用余弦距离进行身份和表情识别的新思路。从实验结果来看,这里提出的方法可以仅利用一张训练集内、外的人脸图像合成出该人在不同表情下逼真的脸部表情图像,同时可以合成库内的人在新表情下的表情图像。