基于RBF神经网络的人形机器人在线面部表情模仿

针对有限数目电机以及手工设置面部表情控制参数的局限,结合基于Kinect的主动外观模型,提出一种基于径向基函数神经网络的人形机器人在线面部表情模仿算法.在离线面部表情学习阶段,基于径向基函数网络建立前向机械模型以反映电机控制值与表情形变特征的映射关系,并进一步构建逆向预测模型以规整电机连续运动的平滑度;在在线面部表情模仿阶段,基于前向机械模型和逆向预测模型寻找最优电机值以实现机器人与表演者形变偏差的最小化,并引入权重因子调节表情模仿的瞬时相似度和电机连续运动的平滑度.最后,从均值统计和预测偏差角度验证两模型的合理性和泛化能力,并进一步讨论了权重因子对时空相似性和平滑度的影响.实验结果表明:前向机械模型形变预测偏差不超过1%,逆向预测模型电机控制偏差不超过1.5%.与Jaeckel、Trovato、Magtanong三种方法相比,本文算法在单帧表情模仿相似度以及多帧表情动作平滑度方面均具较好优势.     

拟人Agent面部复杂运动合成的研究与实现

在多维面部运动的形式化描述方法的基础上,分析了面部肌肉的运动特征和控制约束,提出了面部运动单元的概念,采用正向运动学和示教再现两种方法实现拟人Agent的基本面部运动,并通过运动合成产生复杂的面部运动。实验表明,正向运动学方法能精确控制面部运动并降低非自然表情的出现;示教再现方法自动产生面部运动简化了操作细节;运动合成则通过运动重用提高了面部运动生成的效率。     

基于深度学习和表情AU参数的人脸动画方法

为了利用计算机方便快捷地生成表情逼真的动漫人物,提出一种基于深度学习和表情AU参数的人脸动画生成方法.该方法定义了用于描述面部表情的24个面部运动单元参数,即表情AU参数,并利用卷积神经网络和FEAFA数据集构建和训练了相应的参数回归网络模型.在根据视频图像生成人脸动画时,首先从单目摄像头获取视频图像,采用有监督的梯度下降法对视频帧进行人脸检测,进而对得到的人脸表情图像准确地回归出表情AU参数值,将其视为三维人脸表情基系数,并结合虚拟人物相对应的24个基础三维表情形状和中立表情形状,在自然环境下基于表情融合变形模型驱动虚拟人物生成人脸动画.该方法省去了传统方法中的三维重建过程,并且考虑了运动单元参数之间的相互影响,使得生成的人脸动画的表情更加自然、细腻.此外,基于人脸图像比基于特征点回归出的表情系数更加准确.     

抗遮挡的自适应运动目标跟踪方法

针对复杂场景中的目标遮挡问题,提出一种基于均值漂移(Mean shift)和轨迹校正的自适应目标跟踪方法.由于Mean shift迭代易陷入局部最优点,这里引入Kalman滤波器以预测和校正目标运动轨迹,并根据迭代轨迹误差校正协方差,使得跟踪器在多峰值非高斯分布的复杂环境下也能收敛到全局最优点.基于Bhattacharrya系数计算色彩x、y方向分量相似度,并根据邻帧分量相似度偏差自适应调整相似度融合权值.综合当前帧和前面帧作用更新目标运动状态、特征和尺度模型.实验结果表明提出的方法对于静态场景遮挡和目标间互遮挡、部分和全部遮挡下的目标跟踪均具有鲁棒的跟踪性能.     

一种移动机器人对运动目标的检测跟踪方法

从序列图像中有效地自动提取运动目标区域和跟踪运动目标是自主机器人运动控制的研究热点之一.给出了连续图像帧差分和二次帧差分改进的图像HIS差分模型,采用自适应运动目标区域检测、自适应阴影部分分割和噪声消除算法,对无背景图像条件下自动提取运动目标区域.定义了一些运动目标的特征分析和计算,通过特征匹配识别所需跟踪目标的区域.采用Kalman预报器对运动目标状态的一步预测估计和两步增量式跟踪算法,能快速平滑地实现移动机器人对运动目标的跟踪驱动控制.实验结果表明该方法有效.     

基于Kinect与网格几何变形的人脸表情动画

面部表情重建的实时性与重建效果的真实性是人脸表情动画的关键问题,提出一种基于Kinect人脸追踪和几何变形技术的面部表情快速重建新方法。使用微软的Kinect设备识别出表演者面部并记录其特征点数据,并利用捕捉到的特征点建立覆盖人脸的网格模型,从中选取变形使用的控制点数据,由于Kinect可以实时地自动追踪表演者面部,由此实现了利用三种不同变形算法对目标模型实时快速重建。实验结果表明,该方法简单易实施,不用在表演者面部做任何标定,可以自动地将人脸表情动作迁移到目标模型上,实现人脸表情快速重建,并且保证目标模型表情真实自然。     

基于运动平滑性的动态图象序列的特征点对应

建立帧间的运动特征点对应是图象序列分析中的一项非常重要且非常困难的工作。根据图象序列的特点,该文提出了一种运动平滑的代价方程,并将运动平滑性与帧间特征点的欧氏距离相结合,以完成图象特征点运动轨迹的确立。由于此文的方法没有建立在运动的刚性约束之上,所以该方法同样适用于各种非刚体运动的特征点对应。     

基于颜色和运动空间分布的时空显著性区域检测算法

针对复杂背景和运动条件下视频显著性区域检测准确度不高的问题,本文提出了一个新的时空一致性优化模型,并基于颜色空间分布和运动空间分布特征,结合时空一致性优化方法构建了一个新的时空显著性区域检测模型。首先对视频帧进行超像素分割,然后提取三种具有互补性质的超像素级颜色空间分布特征和两种运动空间分布特征,再利用时空一致性分别融合优化空间显著特征和时间显著特征得到空间显著图和时间显著图。在时空融合阶段,利用时空一致性模型融合空间显著度和时间显著度得到超像素级的时空显著图。为进一步提高检测的准确度和完整度,通过一个能量最小化模型得到更精确的像素级时空显著图。通过与最新的视频显著性模型进行比较,本文算法有更高的准确率,对复杂背景和运动条件有强的鲁棒性。     

融合显著特征和互信息熵的SLAM闭环检测算法

针对移动机器人SLAM闭环检测存在的闭环错误判定问题,提出了一种融合显著特征和互信息熵的闭环检测算法.首先,通过帧间位姿变化和信息熵差异得到关键帧,利用词袋模型逆向索引查询关键帧获取闭环候选帧.然后,引入图像颜色与深度信息计算当前关键帧与闭环候选帧的显著特征生成显著图.最后,将显著图均匀划分四块,计算两匹配关键帧显著图对应块的互信息熵,由每块对应互信息熵生成一个表征两幅图像相似度的四维向量,通过四维向量将满足互信息熵条件的闭环帧进行几何验证,判断是否产生闭环.实验结果表明,该算法能够降低机器人累积误差,生成全局一致的地图,同时满足实时性要求.     

一种基于像素梯度信息的背景减除法

讨论了背景模型的更新参数与模型精度的关系。通过精确的梯度背景模型值间接估计当前帧中背景像素理论上的期望梯度值。以高斯模型为基础,将当前帧背景像素的实际梯度值与其理论上的期望值进行比较,计算偏差概率,以此为基础,形成不依赖于局部纹理的梯度特征的相似性度量方法。再用梯度特征的相似度量化地调整差分图像在各像素点处的二值化阈值,实现像素值信息与梯度信息的融合使用。实验表明,本方法对前景分割有一定的改善效果。     

不同个性的情感机器人表情研究

在情感机器人研究中,不同个性的面部表情是情感机器人增强真实感的重要基础。为实现情感机器人更加丰富细腻的表情,将人类的个性特征引入情感机器人,分析个性理论和情感模型理论,得知不同个性机器人的情感强度。结合面部动作编码系统中面部表情与机器人控制点之间的映射关系,得到情感机器人不同个性的基本表情实现方法。利用Solidworks建立情感机器人脸部模型,在ANSYS工程软件中将SHFR-Ⅲ情感机器人脸部模型设置为弹性体,通过有限元仿真计算方法,对表情的有限元仿真方法进行了探究,得到实现SHFR-Ⅲ不同个性基本表情的控制区域载荷大小和仿真结果。最后,根据仿真结果,进行SHFR-Ⅲ情感机器人不同个性的表情动作实验。实验结果表明,有限元表情仿真可以指导SHFR-Ⅲ情感机器人实现近似人类的不同个性的基本面部表情。     

基于线索引导的面部运动捕捉与数据虚拟重用方法

多数无标记面部表情运动捕捉方法仅捕捉面部表情运动的平面位置变化,而无纵深变化描述。针对这一问题,提出了基于线索引导的面部运动捕捉与数据虚拟重用方法。首先,使用单目视觉系统对人脸主体区域进行定位；然后,采用级联回归模型对人脸地标特征逐步求精,通过利用人脸特征的主动地标线索和地标特征的深度线索得到特征点在三维空间上的位置变换关系；最后,借助面部骨骼节点的数据表示实现面部表情运动重构。通过在线的实时面部表情运动捕捉实验效果可以看出,该方法不仅能够实现不同视角下对应地标特征的精确匹配,而且能够较好地将真实面部运动赋予虚拟角色。     

T-STAM:基于双流时空注意力机制的端到端的动作识别模型

针对双流法进行视频动作识别时忽略特征通道间的相互联系、特征存在大量冗余的时空信息等问题,提出一种基于双流时空注意力机制的端到端的动作识别模型T-STAM,实现了对视频关键时空信息的充分利用。首先,将通道注意力机制引入到双流基础网络中,通过对特征通道间的依赖关系进行建模来校准通道信息,提高特征的表达能力。其次,提出一种基于CNN的时间注意力模型,使用较少的参数学习每帧的注意力得分,重点关注运动幅度明显的帧。同时提出一种多空间注意力模型,从不同角度计算每帧中各个位置的注意力得分,提取多个运动显著区域,并且对时空特征进行融合进一步增强视频的特征表示。最后,将融合后的特征输入到分类网络,按不同权重融合两流输出得到动作识别结果。在数据集HMDB51和UCF101上的实验结果表明T-STAM能有效地识别视频中的动作。     

融合SFM和动态纹理映射的视频流三维表情重建

为从未标定的单目视频序列中重建出具有真实感的三维人脸表情序列,提出一种仅需较少约束的自动化方法.首先用ASM算法从视频首帧自动标定人脸特征,并采用仿射矫正光流方法跟踪运动中的人脸特征;然后结合一般人脸模型,采用从运动恢复形状的方法重建出三维个性化人脸模型以及表情运动;最后采用动态纹理映射来代替传统的静态纹理映射,以产生真实感视觉外观.另外,使用基于特征脸的图像压缩方法,在尽量保持图像质量的前提下缩小原始视频占用的存储空间.实验结果表明,该方法能产生具有相当真实感的三维人脸表情序列,且在时间域和空间域上都保持了较高性能.     

基于特征流的面部表情运动分析及应用

面部表情的分析与识别,不但在社会生活中具有普遍意义,而且在计算机的情感计算方面也起着有重要作用.关于表情运动特征的分析,有根据人脸面部几何结构特征的变化来分析的,有根据特征脸的概念定义的"表情空间"来分析的,也有从特征点跟踪的方法或运动模板的角度来分析的.基于人脸面部物理-几何结构模型,提取面部表情特征区域,通过动态图像序列中的光流估计,计算其运动场,进而计算特征流向量,把一组图像序列的运动向量组成运动特征序列,对表情的运动进行分析.该系统作为一个智能体应用到多功能感知机中,作为视频通道输入的一部分来理解人类的体势语言信息.     

融合时空域特征的人脸表情识别

目的 人脸表情识别是计算机视觉的核心问题之一。一方面,表情的产生对应着面部肌肉的一个连续动态变化过程,另一方面,该运动过程中的表情峰值帧通常包含了能够识别该表情的完整信息。大部分已有的人脸表情识别算法要么基于表情视频序列,要么基于单幅表情峰值图像。为此,提出了一种融合时域和空域特征的深度神经网络来分析和理解视频序列中的表情信息,以提升表情识别的性能。方法 该网络包含两个特征提取模块,分别用于学习单幅表情峰值图像中的表情静态“空域特征”和视频序列中的表情动态“时域特征”。首先,提出了一种基于三元组的深度度量融合技术,通过在三元组损失函数中采用不同的阈值,从单幅表情峰值图像中学习得到多个不同的表情特征表示,并将它们组合在一起形成一个鲁棒的且更具辩识能力的表情“空域特征”;其次,为了有效利用人脸关键组件的先验知识,准确提取人脸表情在时域上的运动特征,提出了基于人脸关键点轨迹的卷积神经网络,通过分析视频序列中的面部关键点轨迹,学习得到表情的动态“时域特征”;最后,提出了一种微调融合策略,取得了最优的时域特征和空域特征融合效果。结果 该方法在3个基于视频序列的常用人脸表情数据集CK+（the extended Cohn-Kanade dataset）、MMI （the MMI facial expression database）和Oulu-CASIA （the Oulu-CASIA NIR&VIS facial expression database）上的识别准确率分别为98.46%、82.96%和87.12%,接近或超越了当前同类方法中的表情识别最高性能。结论 提出的融合时空特征的人脸表情识别网络鲁棒地分析和理解了视频序列中的面部表情空域和时域信息,有效提升了人脸表情的识别性能。     

基于自回归模型的动态表情识别

采用几何信息和纹理信息融合的混合特征,基于自回归(AR)模型,提出一种基于线段的相似度判决方法实现动态表情识别.首先在6种基本表情的图像序列训练集上进行训练得到6种AR模型,然后给定测试表情序列,对每一个测试序列通过6种AR模型生成6种预测序列,接着比较每种预测序列与实际给定序列的相似性,最终根据相似性判断所给序列的表情类别.为了更好地比较预测序列与给定序列的相似性,提出了一种基于线段的相似度判决方法.基于Cohn-Kanade+人脸表情库进行实验结果表明,该方法在动态表情识别上取得了良好的效果.     

一种融合特征点与运动补偿信息的运动目标检测新算法

动态背景下的运动目标检测在汽车辅助驾驶、机器人导航等领域具有广阔应用前景。提出一种融合特征点运动信息和运动补偿信息的运动目标检测方法,解决以往基于单一特征,运动目标检测完整性差的问题,同时提高运动目标的检测准确率。首先,通过特征点检测跟踪,对图像进行分块运动估计,获得背景特征点的帧间运动模型,通过衡量特征点真实运动位置与运动模型的匹配程度,构建特征点的运动度量函数,从而获得特征点的运动信息。接着,利用背景特征点帧间运动模型,计算图像像素点的运动补偿图像,构建像素点的多帧运动补偿差异度量函数,从而获得像素点的运动补偿信息。最后,将特征点运动信息与运动补偿信息融合,获得运动目标检测结果。实验结果表明了该方法的有效性。     

情感表现下的三维人脸颜色建模技术 *

为了提高三维人脸面部表情的真实感 ,研究并提出了一种基于 GPU的人脸颜色参数模型。该模型使用了 MPEG-4中定义的人脸特征点 ,划分了每个特征点的作用范围 ,通过改变特征点的颜色值带动该点周边影响范围内点的颜色改变 ,并采用帧间插值算法实现了颜色的平滑过渡。仿真实验表明 ,该模型达到了较为逼真的人脸表情动画效果。     

融合多特征图的野生动物视频目标检测方法

针对YOLOv3在野生动物视频目标检测领域中,存在的前后视频帧同区域关系难以描述的缺点,提出了Context-aware YOLO模型。该模型使用互信息熵对相邻帧的图像相似度进行量化,根据量化结果拟合出帧融合的相关因子,并使用相关因子对视频前后帧的特征图进行线性迭代融合;引入直方图均衡计算相似度的方法,判断“镜头切换”的情况,以确定特征图融合的临界条件。实验结果表明,Context-aware YOLO模型相对于YOLOv3模型F1值提升了2.4%,平均准确率（mAP）提升了4.71%。