基于双目视觉的三维人脸重建方法

提出了一种基于双目视觉的三维重建方法,无须昂贵设备和通用模型。从校正后的图像中提取有效人脸重建区域以降低整体耗时。改进了Realtime局部立体匹配算法和基于种子视差约束的区域生长算法,融合Realtime阈值排序和置信度排序进行区域生长,提高了种子像素提取的可靠性和降低区域生长误匹配的可能性。最后,研究了纹理映射技术,提高了重建模型的逼真度。实验结果表明,该方法能够产生逼真光滑的三维人脸模型。     

双目立体视觉的三维人脸重建方法

创建逼真的三维人脸模型始终是一个极具挑战性的课题.随着三维人脸模型在虚拟现实、视频监控、三维动画、人脸识别等领域的广泛应用,三维人脸重建成为计算机图像学和计算机视觉领域的一个研究热点.针对这一问题,提出一种基于双目立体视觉的三维人脸重建方法,重建过程中无需三维激光扫描仪和通用人脸模型.首先利用标定的2台摄像机获取人脸正面图像对,通过图像校正使图像对的极线对齐并且补偿摄像机镜头的畸变;在立体匹配方面,选择具有准确可靠视差的人脸边缘特征点作为种子像素,以种子像素的视差作为区域生长的视差,在外极线约束、单调性约束以及对应匹配的边缘特征点的约束下,进行水平扫描线上的区域生长,从而得到整个人脸区域的视差图,提高了对应点匹配的速度和准确度;最后,根据摄像机标定结果和立体匹配生成的视差图计算人脸空间散乱点的三维坐标,对人脸的三维点云进行三角剖分、网格细分和光顺处理.实验结果表明,该方法能够生成光滑、逼真的三维人脸模型,证明了该算法的有效性.     

基于多视角的高精度三维人脸重建

提出了一种多阶段优化的方法来解决基于多视角图片在未知姿态、表情以及光照条件下的高精度三维人脸重建问题.首先,通过重新渲染合成的方法将参数化模型拟合到输入的多视角图片,然后在纹理域上求解一个光流问题来获取不同视角之间的对应关系.通过对应关系可以恢复出人脸的点云,并利用基于明暗恢复几何的方法来恢复人脸细节.在真实数据以及合成数据下的实验结果表明,文中方法能够恢复出带有几何细节的高精度的三维人脸模型,并且提高了现有方法的重建精度.     

基于双目视觉的人脸三维重建

基于双目立体匹配算法PatchMatch算法,提出了一种获取人脸三维点云的算法。该算法对局部立体匹配算法PatchMatch进行了优化。该方法既不需要昂贵的设备,也不需要通用的人脸三维模型,而是结合了人脸的拓扑结构信息以及立体视觉局部优化算法。此方法采用非接触式的双目视觉采集技术获取左右视角的人脸图像,利用回归树集合(ensemble of regression trees,ERT)算法对人脸图像进行关键点定位,恢复人脸稀疏的视差估计,运用线性插值方法初步估计脸部的稠密视差值,并结合局部立体匹配算法对得到的视差结果进行平滑处理,重建人脸的三维点云信息。实验结果表明,这种算法能够还原出光滑的稠密人脸三维点云信息,在人脸Bosphorus数据库上取得了更加准确的人脸重建结果。     

基于双目被动立体视觉的三维人脸重构与识别

提出一种基于双目被动视觉的三维人脸识别方法, 该方法采用非接触式的人脸信息采集技术, 利用图像中弱特征检测方法实现双目视觉中的人脸检测与初步视差估计, 运用基于复小波的相位相关技术对人脸表面进行亚像素级小区域匹配, 重建人脸三维点云信息. 通过可调训练次数的神经网络技术实现多层次人脸曲面重建, 并结合人脸2D图像对重构曲面进行仿射归一, 继而迭代地进行特征提取与识别过程. 实验结果表明, 双目视觉方法使人脸信息采集过程友好隐蔽; 在对应点匹配中, 运用复小波的相位相关算法可获得密集的亚像素精度配准点对, 用神经网络方法可正确重建人脸曲面. 识别过程对环境以及人脸位姿表情等鲁棒性强. 该系统成本十分低廉, 适合在许多领域推广应用.     

基于SIFT特征与区域相结合的双目视觉匹配算法

以SIFT特征对旋转、尺度缩放、亮度变化保持不变性的特点,使用双目视觉系统从两个不同的视觉角度采集立体图像对,提出基于SIFT特征匹配和改进的区域匹配相结合的匹配算法。该方法确定符合SIFT特征的边缘为可靠特征点,并确定其视差;根据视差梯度原理确定其他点的视差,最后生成稠密的视差图。实验结果表明,SIFT特征与区域相结合的匹配算法的引入,提高了特征点视差的准确性,一些弱纹理区的匹配也有所改善。     

基于双目视觉的三维测量技术研究

本文对基于双目视觉的三维测量技术研究进行了深入挖掘,主要包括摄像机模型、双目相机的标定、图像校正、立体匹配等。同时借鉴机器学习的分类思想,将角点提取转化为二分类问题,利用随机森林算法来实现角点提取,再利用随机森林的预测结果来实现亚像素级角点提取。该方法相对于传统三维测量中的角点提取算法具有更好的自动化性能,能避免角点集群现象,能实现较高精度的亚像素级角点提取,获得更高精度的二维像素坐标。从而利用高精度的二维像素坐标来获得点的三维世界坐标,这也是基于双目视觉的三维测量技术的基础与核心。     

基于双目视觉的二次曲面体三维结构重建

该文利用空间二次曲线的投影不变性,提出一种从两个透视投影图对空间二次曲面体轮廓重建的方法。根据双目立体视觉的成像模型计算匹配边缘点的三维坐标,最后使用非线性最小二乘法曲线拟合实现轮廓的三维重建。实验结果表明,该方法能够有效地重建出空间中任意摆放的二次曲面体的轮廓边缘,较之以往的重建方法具有较高的重建精度。     

双目视觉引导机器人码垛定位技术的研究

针对机器人采用示教方式码垛时所遇到的误抓取等问题,提出了一种基于双目视觉引导机器人码垛的定位方法。完成了双目标定、手眼标定以及极线校正工作,利用灰度变换与图像滤波相融合的算法对图像进行预处理,提高图像的质量。将图像的灰度级分布与立体匹配算法相结合,提高立体匹配的精度,获得更好的视差图像,对视差图像进行处理得到了码垛产品区域的中心点,然后结合平行双目系统和手眼标定的结果引导机器人对产品进行定位、码垛。实验表明：该方法可实现对产品区域中心点的精确定位,获得其坐标值,引导机器人码垛。     

基于双目视觉的深度图立体匹配算法研究改进

双目立体视觉可以直接模仿人眼与人类视觉的立体感知过程,是计算机视觉研究的核心课题之一。文章主要针对图像的立体匹配算法研究,对区域相关算法进行了分析。在传统的NCC基本灰度相关度测度函数的基础上,将动态规划优化理论引入到匹配中,提高了匹配的速度和准确度。实验表明,本文算法能够满足目标跟踪试验要求,具有重要的理论意义和较高的实用价值。     

双目立体视觉三维重建实验平台研究

三维重建是计算机视觉和虚拟现实领域的一个重要研究内容,其中,欧式重建以其直观能够反应物体原貌的特点在反求工程中得到了广泛的应用。为反求工程的需要开发了一套基于双目立体视觉的三维重建软件,综合考虑了欧式三维重建误差产生多种因素,给出了一整套比较完备的欧式三维重建流程,基于真实图像的实验结果表明,该实验平台可以获得较高的重建精度和良好的重建效果。     

基于二维图像三维重建的人脸特征提取技术研究

采用基于二维图像的三维重建对人脸特征进行提取.首先应用平行双目视觉原理获取人脸的二维图像,然后对图像进行预处理,消除图像上的噪音点,增强图像,以便提取特征点,对这些二维图像上的特征点进行优化计算,最后得到整体人脸的三维特征点信息.     

基于双目视觉的无人机悬停精度测量研究

为评测悬停状态无人机的稳定性,设计了一套基于双目立体视觉的无人机悬停状态评测系统。首先结合双目相机标定对视频图像校正,并利用提出的邻域灰度改进分级匹配策略,获取匹配特征点;然后根据重建原理计算求得视野中无人机三维坐标数据;最后利用悬停精度测量函数评测无人机的稳定程度。实验证明系统有效匹配目标的特征点,计算出目标三维坐标,同时根据其相对控制精度的浮动,对无人机悬停状态进行评测。     

High quality 3D reconstruction based on fusion of polarization imaging and binocular stereo vision

Polarization imaging can retrieve inaccurate objects’ 3D shapes with fine textures, whereas coarse but accurate depths can be provided by binocular stereo vision. To take full advantage of these two complementary techniques, we investigate a novel 3D reconstruction method based on the fusion of polarization imaging and binocular stereo vision for high quality 3D reconstruction. We first generate the polarization surface by correcting the azimuth angle errors on the basis of registered binocular depth, to solve the azimuthal ambiguity in the polarization imaging. Then we propose a joint 3D reconstruction model for depth fusion, including a data fitting term and a robust low-rank matrix factorization constraint. The former is to transfer textures from the polarization surface to the fused depth by assuming their relationship linear, whereas the latter is to utilize the low-frequency part of binocular depth to improve the accuracy of the fused depth considering the influences of missing-entries and outliers. To solve the optimization problem in the proposed model, we adopt an efficient solution based on the alternating direction method of multipliers. Extensive experiments have been conducted to demonstrate the efficiency of the proposed method in comparison with state-of-the-art methods and to exhibit its wide application prospects in 3D reconstruction.     

3D feature extraction of head based on target region matching

In order to recognize and track all of the heads exactly in top view images, a novel approach of 3D feature extraction of heads based on target region matching is presented. The main idea starts from the disparity of head region, which is generally extracted in global dense disparity image obtained by block matching method. Deferent from the block matching, the correspondence searching in target region matching is not done in the regions around every pixel in image but in the candidate head regions extracted in advance by monocular image processing. As the number of candidate head regions is far less than the resolution of image, the computational complexity and time consume can be largely reduced. After the disparity of candidate head regions are obtained, the 3D features of head, including the height feature and the perspective feature, can be extracted to largely improve the accuracy of head recognition.     

基于立体视觉的3D地形拼接

为了从月球车上的全景相机所捕获的立体图像对重建月球车周围的3D地形,给地面科学家制定科学探测指令提供一个直观的可视化平台,预先展开了基于立体视觉的3D地形重建的研究,主要介绍了在3D地形拼接方面的研究进展。当恢复出多个局部3D地形模型时,首先基于边缘检测和图像匹配技术提取出相邻局部模型之间的公共数据点,然后采用分离旋转变换和平移矢量的策略拟合出相邻模型之间的坐标转换关系,之后就可以将局部模型统一在同一个坐标系下。通过室内和室外多次实验验证了该拼接方案。     

基于旋转多视角深度配准的三维重建方法

针对在旋转平台上采集得到的多视角数据,提出一种有效的配准方法,同时结合双目立体视觉测量构建了完整的三维重建系统。通过拍摄旋转平台上多个视角下的标定板图像,提取标定板图像角点信息,计算出旋转平台坐标系和摄像机坐标系的空间位置关系,进一步推导出不同视角下的坐标转换关系,从而实现不同视角的数据配准。实验结果表明,基于本配准方法的旋转多视角双目测量系统具有较高的配准精度,能有效用于物体表面三维重建。     

基于轮廓提取与深度筛选的双目三维重构技术

针对基于深度图融合三维重构方法获取的三维重构模型,易受到深度信息误差影响的情况,提出一种基于轮廓提取与深度筛选的双目立体视觉三维重构方法。采用标准棋盘校准双目三维重构系统,利用Canny算子对目标物体进行边界检测,综合采用形态学腐蚀与膨胀方法提取指定方向上的连续边界,用连续边界提取目标物体。在此基础上,对目标物体深度信息进行筛选、拟合插值以获取连续深度信息。结果表明,相对于常规三维重构算法,由本算法三维重构的目标物体表面完整度更高,且目标物体周围的背景环境噪声被去除。