基于视觉的增强现实技术研究综述鲻

增强现实技术是当前计算机视觉领域中的热点问题之一,本文系统综述了基于视觉的增强现实技术的研究现状.首先,对基于视觉的增强现实技术的研究现状进行了概述:其次,详细地阐述了该领域目前出现的新技术,包括三维注册技术、摄像机标定技术、跟踪技术、虚实光照的一致性以及AR实空间建模技术,继而论述了该领域在研究中存在的问题,并对该领域中需要进一步解决的问题进行了讨论;最后,对增强现实技术的进一步研究进行了展望.     

光学透射头盔显示器标定综述

光学透射头盔显示器(OSTHMD)标定是增强现实技术研究中一个具有挑战性的关键技术问题.文中详细阐述了OSTHMD的标定技术,包括标定要求、标定计算模型、标定方法、标定评估、发展趋势和应用前景等,重点介绍了比较实用的基于单点主动对准法和基于图像的标定方法.     

基于OpenCV的摄像机标定

以增强现实系统中摄像机标定技术为研究对象,分析了开放计算机视觉函数库OpenCV中的摄像机模型,特别充分考虑了透镜的径向畸变和切向畸变影响及求解方法,给出了基于OpenCV的摄像机标定算法.该算法充分发挥了OpenCV的函数库功能,提高了标定精度和计算效率,具有良好的跨平台移植性,可以满足增强现实和其它计算机视觉系统的需要.     

基于仿射重投影的增强现实三维注册方法

针对增强现实虚实配准中的无标志点虚实场景注册问题,提出一种基于仿射重投影与自然特征点追踪相结合的虚实注册方法.该方法以仿射变换为桥梁来建立欧氏空间下的摄像机坐标系与世界坐标系之间的变换关系,它与OpenGL等当前流行的图形渲染工具一致,具有更强的通用性;采用基于分类的自然特征匹配策略,能够在视角和视点发生大幅度变化情况下依然正常工作;提出基于特征点集合的仿射坐标系定义方法,使增强现实系统在最小配置下只需4点追踪成功即可完成注册,比需要6点的透视投影方法具有更好的健壮性和精确性.实验结果表明,该方法的运算速度能够达到18帧/s,具有较好的实时性;同时注册误差保持在5mm以内,达到令人满意的配准精度.     

基于增强现实的虚拟实景空间的研究与实现

增强现实可以把计算机产生的虚拟物体或其他信息合成到用户看到的真实场景中．本文将增强现实技术与基于图像的绘制技术有机的结合起来，研究并实现了一个基于增强现实技术的虚拟实景空间系统．首先介绍了虚拟实景空间的构造，然后着重探讨了虚拟物体与实景空间的合成方法，主要解决合成中的几何一致性和光照一致性问题。     

空间增强现实中的人机交互技术综述

空间增强现实是增强现实的三大形式之一,它利用投影等方式在物理空间中增强显示虚拟内容.在空间增强现实系统中,用户可以在物理空间与虚拟内容交互,具有良好的环境感知、空间感知与协同感知,交互任务执行过程中认知负荷低.首先以空间增强现实显示方式为例,通过其系统架构介绍空间增强现实的技术原理;然后将空间增强现实中的人机交互技术分类为基于触控的交互、基于手势或姿势的交互、基于控制器的交互、手持投影仪交互、实物交互及多模态交互并进行分析,对相关技术在三维配准、虚实融合等方面带来的挑战进行阐述;同时总结了空间增强现实在运动锻炼、医疗辅助、教育娱乐、艺术等领域的应用状况;最后对空间增强现实中的交互技术发展趋势进行了展望,指出未来要克服现有技术在稳定性、准确性和实时性上存在的缺陷,在交互方式更自然、交互遮挡处理方法更智能、系统使用场景更广泛、与社会文化和心理现象研究相结合以及新型成像方式等方面得到突破和发展.     

一种简易的摄像机标定方法

以简化以往的摄像机标定技术为研究目的,分析了标定算法对于前期图像处理的要求,给出了基于MATLAB的简易摄像机标定方法。该方法借助于常用软件完成了以往摄像机的标定算法中的大量前期图像处理工作,大大降低了编程难度,减少了工作量。实验结果表明,该方法具有很高的标定精度,可以满足增强现实和其他计算机视觉系统的需要。     

基于透视式增强现实的BIM建筑三维重建仿真

为了提高三维建筑模型的精准度,需要深入研究BIM建筑三维重建方法。当前方法耗时较长,得到的三维建筑模型与实际建筑之间的误差较大,存在效率低和精准度低的问题。将透视式增强现实技术应用到BIM建筑三维重建中,提出基于透视式增强现实的BIM建筑三维重建方法,通过BIM构建初始三维建筑模型,采用直接线性变换算法计算摄像机的内部参数和外部参数,完成摄像机标定。在摄像机标定结果的基础上采用LK光流计算方法得到像素在图像中的光流,根据光流的方向阈值和光流的大小筛选图像中的光流,提取到图像的匹配点,基于初始三维建筑模型针对建筑图像匹配点构成空间三维点云,采用Delaunay方法对空间三维点云进行三角化处理,针对处理后的建筑图像通过贴纹理完成BIM建筑三维重建。仿真结果表明,所提方法的效率高、精准度高。     

基于仿射重构的树高测量

论文提出了一种基于仿射重构的树高测量方法。它基于计算机立体视觉的三维未标定的重构技术,恢复树木特征点的仿射坐标,再根据仿射空间不变量求算树高。     

光学透视头盔显示器标定技术

光学透视头盔显示器(OSTHMD)标定是增强现实技术研究中一个具有挑战性的关键技术问题. 研究了OSTHMD标定的几种常见技术及其优缺点, 详细论述了当前最常用的OSTHMD标定法: SPAAM法, 同时提出了一种基于图像的快速标定OSTHMD的方法, 从算法复杂度方面对两种标定法进行了对比, 并采用用户自行评估法进行评估, 认为基于图像的快速标定OSTHMD的方法更为快速精准.     

Calibration, Registration, and Synchronization for High Precision Augmented Reality Haptics

In our current research we examine the application of visuo-haptic augmented reality setups in medical training. To this end, highly accurate calibration, system stability, and low latency are indispensable prerequisites. These are necessary to maintain user immersion and avoid breaks in presence which potentially diminish the training outcome. In this paper we describe the developed calibration methods for visuo-haptic integration, the hybrid tracking technique for stable alignment of the augmentation, and the distributed framework ensuring low latency and component synchronization. Finally, we outline an early prototype system based on the multimodal augmented reality framework. The latter allows colocated visuo-haptic interaction with real and virtual scene components in a simplified open surgery setting.     

Calibration-free augmented reality in perspective

This paper deals with video-based augmented reality and proposes an algorithm for augmenting a real video sequence with views of graphics objects without metric calibration of the video camera by representing the motion of the video camera in projective space. A virtual camera, by which views of graphics objects are generated, is attached to a real camera by specifying image locations of the world coordinate system of the virtual world. The virtual camera is decomposed into calibration and motion components in order to make full use of graphics tools. The projective motion of the real camera recovered from image matches has the function of transferring the virtual camera and makes the virtual camera move according to the motion of the real camera. The virtual camera also follows the change of the internal parameters of the real camera. This paper shows the theoretical and experimental results of our application of nonmetric vision to augmented reality     

Calibration-free augmented reality

Camera calibration and the acquisition of Euclidean 3D measurements have so far been considered necessary requirements for overlaying three-dimensional graphical objects with live video. We describe a new approach to video-based augmented reality that avoids both requirements: it does not use any metric information about the calibration parameters of the camera or the 3D locations and dimensions of the environment's objects. The only requirement is the ability to track across frames at least four fiducial points that are specified by the user during system initialization and whose world coordinates are unknown. Our approach is based on the following observation: given a set of four or more noncoplanar 3D points, the projection of all points in the set can be computed as a linear combination of the projections of just four of the points. We exploit this observation by: tracking regions and color fiducial points at frame rate; and representing virtual objects in a non-Euclidean, affine frame of reference that allows their projection to be computed as a linear combination of the projection of the fiducial points. Experimental results on two augmented reality systems, one monitor-based and one head-mounted, demonstrate that the approach is readily implementable, imposes minimal computational and hardware requirements, and generates real-time and accurate video overlays even when the camera parameters vary dynamically     

一种基于球场模型的广播足球视频摄像机自动定标方法

随着足球视频语义内容分析和理解、自动视频索引、虚拟增强现实表示等研究的不断深入,摄像机定标技术扮演了越来越重要的角色.基于此,提出了一种基于球场模型的广播足球视频摄像机自动定标算法,该算法建立在所定义的球场模型基础之上,首先通过改进的球场线探测算法得到球场平面的特征点,并求解摄像机同形 (Homography)矩阵,然后,利用所求解的同形矩阵来定位球门,得到球门平面的两个特征点,最后根据基于K均值聚类和Hough-like搜索的方法来得到最优的摄像机内外参数.初步的实验结果表明,依据本文算法所求解的摄像机参数最优值相比初始值精确度更高,并且其在连续帧中也更加稳定.     

基于ARToolKit工具的增强现实交互操作研究

增强现实是把计算机生成的虚拟图像或其它信息叠加到用户所看到的真实世界中的一种技术。ARToolKit为增强现实技术的应用提供了一种方便快捷的开发工具,但多针对于浏览展示方面。本文在ARToolKit工具下针对AVI录像文件进行增强现实的应用开发,增加了用户和现实以及虚拟物体的交互操作,通过计算机视觉的方法着重解决把虚拟物体放置到用户在视频帧上指定的点。这些将为用户使用增强现实技术进行设计和规划提供方便。     

Augmented AVI video file for road surveying

This paper presents a novel video augmentation approach: a video recording of a real entity augmented by structured data. This augmented video is a self-contained entity integrating values of perceptible and non-perceptible attributes of the same real entity. It simplifies data search, storage and management. Streaming, sharing, collaboration and synchronization are also simplified by the fact that the structured data (so-called augmented data) are integrated in the video file and therefore only one file needs to be manipulated. Our approach was applied to address the issues which road engineers experience while using the ROad Measurement and Data Acquisition System (ROMDAS). The ROMDAS system collects and analyses the road-condition state through video recordings and the data corresponding acquired by specific measuring devices. Currently, however, road engineers have to search the videos manually in order to find details of interest provided by the analysis of the data measured due to the separation of the video from the data. The ROMDAS system manages a large collection of road-condition data. It does not offer history management of video recordings of the same road captured at different time. We present this hybrid video augmentation system: the Augmented Video stream Framework (AVF). It allows creation, search, history management and playback of such augmented video files for effective road surveying based on the discrete data recorded in parallel to the video recordings. The AVF provides road engineers with effective and more comfortable perceptible and non-perceptible data search, storage and history management to be used for (collaborative) road inspection and maintenance.     

基于增强现实的英语视听说移动教学软件设计与实现

由于当前大多数笔记本电脑不再配置光驱,但英语教材依然以光盘形式提供视频资料,影响学习效果,因此采用Unity3D集成Vuforia SDK设计实现基于增强现实技术的英语视听说移动教学软件VBook。系统首先构建识别图数据库存于云端,根据识别图名称命名对应的视频文件;然后利用Unity3D设计和渲染场景,设计ImageTarget对象的虚拟视频播放按钮,编写脚本代码实现对识别图数据库及其相应视频的访问;最后生成便于用户使用的移动端应用。用户只需将Camera镜头对准书本插图,即可呈现出虚实叠加的视觉效果,实现移动设备的英语教学视频播放。将增强现实技术应用于英语视频教学,能使用户享受到新颖的学习方法和虚实结合的交互体验。     

Computing camera focal length by zooming a single point

In this paper we present a novel simple procedure to compute the focal length of a camera. The method is based on zooming in and out only a single point. The same approach allows computing the principal point when only two points are available on a pair of images surveyed with a different focal length. Experimental results show that the method is as accurate as classical full calibration methods. Moreover, its application to augmented reality produces more accurate results than those obtained when the simple pin-hole model is considered.     

增强现实中的虚实注册技术研究

增强现实是把计算机产生的虚拟物体或其他信息合成到用户看到的真实世界中的一种技术 .实现虚拟信息与真实景象的正确匹配或有机结合是每个增强现实实用系统都必须完成的一项重要任务 ,且它的具体实现需依赖于计算机硬件和软件系统的相互配合及协调 .为了有效地降低增强现实应用系统中的虚实注册误差 ,在对基于位置跟踪和相机定标技术的传统虚实注册技术进行分析的基础上 ,首先研究了仿射变换技术理论在增强现实中的应用 ,并提出了在全局仿射坐标系下 ,获取像素相对深度参数的一种策略 ;然后在对 AR中的虚实注册问题进行研究分析的基础上 ,进一步讨论了图象分析技术在虚实注册问题中的应用问题 ,并提出了一种基于数值背景表达的快速虚实注册策略 ,以提高虚实注册过程中 ,场景特征点提取的精度和速度 ;最后还分别用该仿射理论进行了动态和静态的虚实注册实验 ,实验结果表明 ,该方法能有效地降低增强现实应用系统的虚实注册误差 .