基于增强现实和人脸姿态估计的虚拟试戴技术

得益于增强现实技术,虚拟信息能够在真实世界中予以体现和融合,使得脱离实体的虚拟信息在现实世界中的应用场景不断泛化.基于此,本文提出了一种高效实时的虚拟试戴技术,可运用于多种实际场景中.比如在电商场景下,用户购买商品前可在先线上选择相应款式的模型文件进行虚拟试戴,并根据效果辅助决策.拟议方法依据人脸姿态参数将模型文件映射...     

基于视觉的对人员在岗行为分析的算法

由于在岗过程中,电力人员容易出现注意力不集中、瞌睡、分心等行为,为更好监督人员工作状态,基于计算机视觉提出一种对人员行为分析的算法.利用人脸关键点获取相关面部特征,结合人员的头部相关姿态,从未实现对人员的状态进行监督和评估.实验结果表明,该方法对人员行为的评估精确度在85％ 左右,能够满足实际中对人员的状态判断的需求.     

帧间信息导向的头部姿态估计优化方法

介绍帧间信息导向的头部姿态估计方法框架。针对基于梯度方向直方图(HOG)人脸检测算法准确率较高但速度慢的问题,提出引入前帧人脸框缩小搜索范围的策略。针对特征点漂移的问题,提出依据前帧姿态角预剔除坏点的方法。通过Eye Diap数据集对优化方法进行实验验证,结果表明:帧间信息导向的头部姿态估计优化方法能有效提高实时性和准确性。     

基于面部特征点的单幅图像人脸姿态估计方法

针对目前基于学习的姿态估计方法对训练样本及设备要求较高的问题,提出一种基于面部特征点定位的无需训练即能估计单幅图像中人脸姿态的方法.通过Adrian Bulat人脸特征点定位器和Candide-3构建稀疏通用人脸模型并获得五官特征点,确定模型绕Z轴的旋转范围及搜索步长,在指定Z轴旋转角度下,使用修正牛顿法通过模型的旋转...     

单幅图像刚体目标姿态估计方法综述

刚体目标姿态作为计算机视觉技术的重点研究方向之一,旨在确定场景中3维目标的位置平移和方位旋转等多个自由度,越来越多地应用在工业机械臂操控、空间在轨服务、自动驾驶和现实增强等领域。本文对基于单幅图像的刚体目标姿态过程、方法分类及其现存问题进行了整体综述。通过利用单幅刚体目标图像实现多自由度姿态估计的各类方法进行总结、分类及比较,重点论述了姿态估计的一般过程、估计方法的演进和划分、常用数据集及评估准则、研究现状与展望。目前,多自由度刚体目标姿态估计方法主要针对单一特定应用场景具有较好的效果,还没有通用于复合场景的方法,且现有方法在面对多种光照条件、杂乱遮挡场景、旋转对称和类间相似性目标时,估计精度和效率下降显著。结合现存问题及当前深度学习技术的助推影响,从场景级多目标推理、自监督学习方法、前端检测网络、轻量高效的网络设计、多信息融合姿态估计框架和图像数据表征空间等6个方面对该领域的发展趋势进行预测和展望。     

手指再生技术中断指虚拟三维图像仿真

手指再生技术过程需要根据手指三维图像残缺特征,对手指残缺区域进行方向和角度再生虚拟估计,一旦手指三维图像残缺信息量过少,传统的虚拟三维图像仿真方法无法取得足够信息,只能根据简单的向上、角度旋转等信息完成再生手指三维图像的仿真,效果不好.提出一种新的多媒体虚拟手指再生技术三维图像仿真方法.在手指状态空间中寻找一组样本,运用近似估计概率密度函数,降低手指再生方向估计的误差,以样本均值替代积分运算,获得状态最小方差分布,对手指残缺三维图像的方向和角度进行估计,再通过角度信息对手指残缺三维图像进行多目标融合.实验结果表明,利用该算法进行手指再生技术的虚拟三维图像仿真,能够真实的反映手指再生技术中,不同三维图像残缺特征间的关联性,从而为手指再生技术提供准确的决策依据.     

基于计算机视觉的虚实场景合成方法研究

开发了一种虚拟场景与实时视频之间的合成技术,提出了一种新的基于非定标技术的虚实配准方法,有效地解决了基于标识的三雏注册系统要求摄像机内参在系统运行过程中不能发生改变的限制.详细介绍了系统所采用的基于计算机视觉的标识识别和实时自动摄像机位置、姿态跟踪算法,并给出了系统运行结果,成功地将该技术应用于虚拟规划系统中.     

面向顾客特征的眼镜适配系统

提出了顾客特征的概念,并运用于眼镜适配系统中．该系统使用顾客头部的正侧面照片合成人脸三维模型,并选取眼镜库中的三维眼镜模型在人脸模型上进行虚拟试戴,可以帮助顾客快速、准确地完成眼镜框架款式的选型,为眼镜产品的个性化设计和销售提供了支持．     

RANSACs for 3D Rigid Registration: A Comparative Evaluation

Estimating an accurate six-degree-of-freedom (6-DoF) pose from correspondences with outliers remains a critical issue to 3D rigid registration. Random sample consensus (RANSAC) and its variants are popular solutions to this problem. Although there have been a number of RANSAC-fashion estimators, two issues remain unsolved. First, it is unclear which estimator is more appropriate to a particular application. Second, the impacts of different sampling strategies, hypothesis generation methods, hypothesis evaluation metrics, and stop criteria on the overall estimators remain ambiguous. This work fills these gaps by first considering six existing RANSAC-fashion methods and then proposing eight variants for a comprehensive evaluation. The objective is to thoroughly compare estimators in the RANSAC family, and evaluate the effects of each key stage on the eventual 6-DoF pose estimation performance. Experiments have been carried out on four standard datasets with different application scenarios, data modalities, and nuisances. They provide us with input correspondence sets with a variety of inlier ratios, spatial distributions, and scales. Based on the experimental results, we summarize remarkable outcomes and valuable findings, so as to give practical instructions to real-world applications, and highlight current bottlenecks and potential solutions in this research realm.      

使用三角网的户外增强现实注册方式的研究

增强现实的关键技术是进行三维注册,即由真实场景计算虚实结合的参数。为扩大增强现实在户外的应用,提出了在真实场景主要物体上增加表面3D网格的方法来减少虚实结合参数计算的复杂程度。该方法既不需要增强现实室内应用开发所应用的标记,也无需目前户外应用所依赖的传感仪器。以户外地形为例,通过对视线与地形网格交点的计算快速得到以往需要两幅图像联合处理才能得到的三维信息并进行快速的虚实合成。该方法为户外增强现实系统关键技术的研究提供了一个新的思路。     

基于头部姿态分析的摄像头视线追踪系统优化

实时视线跟踪技术是智能眼动操作系统的关键技术。与基于眼动仪的技术相比，基于网络摄像头的技术具有低成本、高通用性等优点。针对现有的基于摄像头的算法只考虑眼部图像特征、准确度较低的问题，提出引入头部姿态分析的视线追踪算法优化技术。首先，通过人脸特征点检测结果构建头部姿态特征，为标定数据提供头部姿态上下文；然后，研究了新的相似度算法，计算头部姿态上下文的相似度；最后，在进行视线追踪时，利用头部姿态相似度对校准数据进行过滤，从标定数据集中选取与当前输入帧头部姿态相似度较高的数据进行预测。在选取不同特征人群的数据上进行了大量实验，对比实验结果显示，与WebGazer相比，所提算法的平均误差降低了58~63 px。所提算法能有效提高追踪结果的准确性和稳定性，拓展了摄像头设备在视线追踪领域的应用场景。     

基于地标几何特征的无人直升机自主降落

为获取地标信息并计算无人机当前姿态,提出一种基于图像轮廓拟合的地标识别算法。所提方法通过施加几何约束判断地标。若图像中包含完整地标,实时的角点计算可以获取无人机的姿态信息;若只包含部分地标,则可估计出无人机的移动方位和平移量,以使地标完整出现在视野中。实验室条件下仿真表明了算法的稳定、可行。     

基于头部姿态分析的摄像头视线追踪系统优化

实时视线跟踪技术是智能眼动操作系统的关键技术。与基于眼动仪的技术相比,基于网络摄像头的技术具有低成本、高通用性等优点。针对现有的基于摄像头的算法只考虑眼部图像特征、准确度较低的问题,提出引入头部姿态分析的视线追踪算法优化技术。首先,通过人脸特征点检测结果构建头部姿态特征,为标定数据提供头部姿态上下文;然后,研究了新的相似度算法,计算头部姿态上下文的相似度;最后,在进行视线追踪时,利用头部姿态相似度对校准数据进行过滤,从标定数据集中选取与当前输入帧头部姿态相似度较高的数据进行预测。在选取不同特征人群的数据上进行了大量实验,对比实验结果显示,与WebGazer相比,所提算法的平均误差降低了58~63 px。所提算法能有效提高追踪结果的准确性和稳定性,拓展了摄像头设备在视线追踪领域的应用场景。     

沉浸式虚拟现实系统中头部位姿预测方法

为了最小化运动画面延时对沉浸式虚拟现实系统的影响,提出了一种具有运动画面延时抖动补偿功能的卡尔曼滤波算法,用于对用户头部位姿进行预测.首先对运动画面延时进行分析和预测,然后根据头部运动相关性分析结果选择位姿预测方式,并在头部运动建模和位姿预测时分别利用延时预测结果对延时抖动进行补偿.实验结果表明,相比设备原有预测方法,其在一般情况下的姿态预测绝对误差的均值分别减小45.74%、47.25%和40.96%,最大值分别减小11.49%、26.34%和36.79;位置预测绝对误差的均值分别减小35.94%、45.90%和55.81%,最大值分别减小1.05%、25.60%和44.74%.     

基于3维模型的单视图不规则物体定位

单幅图像中物体的定位需要估计物体在3维空间中的位置和姿态,在静态场景中等价于摄像机定标,具有广泛的应用价值.针对具有3维模型,但缺失纹理信息的不规则物体的定位问题,提出一种基于轮廓匹配的定位方法.首先使用基于图像分割的方法提取输入图像中物体轮廓线,然后可以将图像轮廓线与给定位置和姿态参数下渲染3维模型的轮廓线进行匹配,匹配误差可以表示为位置与姿态参数的函数.由于该函数不能解析表达与求解,需要通过离散采样计算导数及目标函数值.位置与姿态参数的最优值可以通过LM(Levenberg-Marquardt)方法进行求解.实验结果表明,该方法可以快速收敛,并具有很高的精确性和鲁棒性.