基于视觉增强现实系统的设计与实现

针对目前增强现实领域尚少有人涉足的运动跟踪注册问题,提出了采用四个彩色标志点的光流场估计运动参数,结合刚体的运动特性以及投影透射模型确定运动物体与摄像机间相对位姿的算法。并把该算法用于以光学透射式头盔显示器为主的增强现实系统中。该系统结构简单、轻便、实用性强、易于实现。一般情况下只需四个平面标志物就可实现运动物体的三维跟踪注册;工作范围大,甚至可以应用到室外的增强现实系统中;数值求解过程是线性过程,误差小,可以满足增强现实系统高精度三维注册的要求。     

基于标志点注册及探测球的光源追踪算法

增强现实系统中,解决虚拟物体表面光照情况与真实环境匹配问题关键的一步是进行光源追踪。基于标志点注册及具有漫反射特性的探测球提出一种光源追踪算法。该算法仅对一幅被单一光源照射的标志立方体和探测球图像进行分析,利用图中标志点确定探测球相对照相机的位置、姿态关系,利用探测球表面的亮度信息推算光源向量。该探测球图像要进行一系列图像处理程序,其中等亮度线的提取及拟合是关键步骤。实验结果表明,本文算法能够达到预期效果,较好地实现了光源追踪,适用于各种位置的单一光源照射情况及基于标志点注册的增强现实系统。     

增强现实无标识跟踪注册方法研究综述

增强现实是一种将虚拟物体或信息无缝地融入到真实场景中的技术。无标识跟踪注册作为增强现实的关键技术，无须借助场景中人为添加的标识物即可完成虚实配准。简述无标识跟踪注册问题；概括和总结近年来几类无标识跟踪注册方法的研究进展和现有技术的优缺点；总结现有的增强现实无标识跟踪注册方法存在的问题，展望该领域未来的发展方向。     

基于环境映照自动对齐的高质量虚实融合技术

要实现高品质的增强现实效果需要解决虚拟物体与现实场景的光照一致性问题.虽然采用HDR技术能获取场景的环境映照,但需要解决所获取的光照环境信息与真实场景的对齐问题.为此提出一种基于特征自动匹配的环境映照对齐方法.首先采用Affine-SIFT算法和随机抽样一致性算法对环境映照和拍摄场景进行特征匹配并优化匹配结果,然后利用基于运动推断结构的摄像机定标算法求得匹配对的三维位置,从而计算出环境映照与真实场景的对应关系,实现了二者的自动对齐.基于该技术搭建的高真实感实时虚实融合系统采用基于关键帧的相机跟踪技术,可以实时地将虚拟物体注册到拍摄的视频场景里,并允许对其进行实时的交互编辑.在渲染时有效地利用了自动对齐后的光照环境信息,采用重要性采样算法和阴影映射技术实现了实时的高质量渲染.实验结果表明,所搭建的增强现实系统很好地解决了实时虚实融合中的几何一致性和光照一致性问题.     

增强现实中的虚实注册技术研究

增强现实是把计算机产生的虚拟物体或其他信息合成到用户看到的真实世界中的一种技术 .实现虚拟信息与真实景象的正确匹配或有机结合是每个增强现实实用系统都必须完成的一项重要任务 ,且它的具体实现需依赖于计算机硬件和软件系统的相互配合及协调 .为了有效地降低增强现实应用系统中的虚实注册误差 ,在对基于位置跟踪和相机定标技术的传统虚实注册技术进行分析的基础上 ,首先研究了仿射变换技术理论在增强现实中的应用 ,并提出了在全局仿射坐标系下 ,获取像素相对深度参数的一种策略 ;然后在对 AR中的虚实注册问题进行研究分析的基础上 ,进一步讨论了图象分析技术在虚实注册问题中的应用问题 ,并提出了一种基于数值背景表达的快速虚实注册策略 ,以提高虚实注册过程中 ,场景特征点提取的精度和速度 ;最后还分别用该仿射理论进行了动态和静态的虚实注册实验 ,实验结果表明 ,该方法能有效地降低增强现实应用系统的虚实注册误差 .     

基于Kinect的机械臂增强现实示教研究

机械臂广泛地应用在工业自动化生产以及人们日常生活中,机械臂而示教学习作为一种重要的运动规划方式,是机械臂研究领域的一项重要研究内容。鉴于此,设计了一种基于Kinect的虚拟机械臂增强现实示教系统,通过Kinect传感器采集人手位置数据,利用机械臂逆运动学模型驱动虚拟机械臂跟踪人手运动,实现对机械臂的虚拟示教;利用增强现实技术,将虚拟机械臂叠加到真实环境中,实现对机械臂的增强现实示教。实验结果表明该系统能够将虚拟机械臂准确地叠加到真实环境中,并实时跟踪人手运动,系统具有良好的交互性。     

改进TLD与ORB的AR系统长时跟踪注册方法

针对增强现实系统长时跟踪注册需求以及三维跟踪注册时待注册区域尺度变化、光照变化、内外旋转等复杂环境易导致注册失败问题,提出改进TLD跟踪及ORB特征检测的增强现实长时三维注册方法。通过采用TLD长时鲁棒跟踪算法对待注册区域跟踪,并利用待注册位置自适应动态检测策略对TLD算法跟踪-学习-检测的结构机制的实时性和精确度进行优化;利用ORB算法对待注册位置进行特征检测及三维注册矩阵计算;将虚拟信息叠加至待注册位置。选取长时视频序列进行跟踪、检测及注册仿真实验。实验结果表明,改进TLD长时跟踪算法相比TLD算法在OPE精确度方面提升约5%,对待注册位置的跟踪速率提升约2倍,使得AR系统在复杂环境下的长时跟踪注册具有更好的稳定性和鲁棒性。     

增强现实中三维跟踪注册技术概述

三维跟踪注册技术是增强现实领域中的重要关键技术，通过对现实场景中的图像或物体进行跟踪与定位，将虚拟物体按照正确的空间透视关系叠加到真实场景当中。综述了增强现实中的三维跟踪注册技术（基于计算机视觉的跟踪注册技术、基于硬件传感器的跟踪注册技术以及混合跟踪注册技术），详细阐述了不同跟踪注册技术的优势与不足，并介绍了不同跟踪注册技术的当前应用现状，随后探讨了跟踪注册技术的发展趋势与存在的难题，对三维跟踪注册技术的进一步研究进行了展望。     

基于混合注册方式的海洋环境增强现实系统

针对单一传感器无法解决海洋环境增强现实系统中跟踪注册的问题,提出融合智能手机AGPS、电子罗盘和加速度传感器测定视线方向的多传感器注册与基于海天线特征标识的视觉跟踪注册的混合注册方法,并通过扩展卡尔曼滤波器实现多传感器有效融合以提高三维注册精度。以真实海洋环境及海洋数值预报为例,提出适应海洋动态环境的增强现实框架,利用Vuforia AR实现了原型系统,并对混合注册方法进行了验证。结果表明,该技术框架及注册方法有较强的可用性和实用性,在海洋动态环境的增强现实中具有广泛应用前景。     

增强现实环境下的产品装配引导技术

以增强现实环境下引导产品装配为目标,建立了面向增强装配过程的统一 信息模型,管理文字、几何和产品装配特征等可视化引导信息。采用基于标志物的视觉跟踪 技术实现虚拟零件和视频中真实零件的注册定位,通过建立虚拟和真实装配场景的深度图处 理增强装配场景中虚实物体的遮挡关系。利用虚实零件的注册位置把装配引导信息叠加到装 配视频场景中。并开发了演示系统,分析和说明了增强现实环境下引导产品进行装配的过程。     

一种基于平面模板的虚实配准算法

虚实配准是增强现实的关键技术。因为有运算量小实时性强的特点，利用平面模板进行虚实配准被广泛使用。本文算法利用平面模板进行虚实配准中的单应性映射关系，建立从平面模板坐标系到摄像机坐标系3维空间坐标转换和从摄像机坐标系到投影平面的3维-2维空间坐标转换，既减小了运算量，又解决了人工定标的问题。在实现虚实配准的基础上，进一步探讨了配准的优化问题，对关键的单应性矩阵进行优化筛选，提高虚实配准的强劲性，实现部分标志点被遮挡情况下的虚实配准。实验结果证明，本文算法成功实现了虚实配准，并在抗遮挡性上有强劲的表现。     

一种增强现实系统的三维注册方法

三维注册技术是增强现实系统研究的一个重要方面。现有的增强现实技术三维注册方法都是用平面标志来作为定位基准的,且系统构造较复杂,图象处理所需计算量较大,还会因此引入误差。该文提出了一种使用立体标志物的基于视觉的三维注册方法。该方法只需要一个彩色ＣＣＤ摄像机就可以完成三维环境注册,并且不需要进行复杂的图象处理运算,这种新方法能够有效简化注册系统和算法,并且能消除使用多个传感器的配合误差。     

一种基于视沉的增强现实三维注册算法

为了提高增强现实系统三维注册的精度和效率，提出了一种基于计算机视觉的增强现实三维注射算法，并已将其用于采用透射式头盔显示器的增强现实系统中，该算法有如下特点：（1）构架简单，实用性强，一般情况下只需4个平面标志物就可实现三维注册；（2）工作范围大，甚至可以应用到室外的增强现实系统中；（30数值求解过程最线性过程，误差小，可以满足增强现实系统高精度三维注册的要求，另外，应用这种算法所需要作的图象处理计算量很小，其典型系统包括一个彩色CCD和几个不同颜色的标志点，由于很容易获得标志点的对应像面位置，而且不需要计算图象对，因此实时性好，是一般图形工作站和PC机上的增强现实系统进行实时注册的算法基础。     

基于投影技术的增强现实注册方法

注册技术是实现增强现实应用系统的关键问题之一。实现了一种利用投影技术改进了的注册方法。这种注册方法主要包含4个步骤：（1）检测标识和特征点的位置;（2）利用投影技术跟踪摄像机;（3）计算模型视图矩阵;（4）绘制虚拟物体。在初始阶段,指定4个点建立世界坐标系,虚拟物体将会被叠加到这个坐标系上;在注册过程中,利用投影技术跟踪特征点的位置,并计算用于增强的模型视图转换。这种注册方法可以为一般的室内增强现实系统提供所需的精确度和实时性。     

Calibration-free augmented reality in perspective

This paper deals with video-based augmented reality and proposes an algorithm for augmenting a real video sequence with views of graphics objects without metric calibration of the video camera by representing the motion of the video camera in projective space. A virtual camera, by which views of graphics objects are generated, is attached to a real camera by specifying image locations of the world coordinate system of the virtual world. The virtual camera is decomposed into calibration and motion components in order to make full use of graphics tools. The projective motion of the real camera recovered from image matches has the function of transferring the virtual camera and makes the virtual camera move according to the motion of the real camera. The virtual camera also follows the change of the internal parameters of the real camera. This paper shows the theoretical and experimental results of our application of nonmetric vision to augmented reality     

视触觉融合的增强现实三维注册方法

增强现实技术是近年来人机交互领域的研究热点。在增强现实环境下加入触觉感知,可使用户在真实场景中看到并感知到虚拟对象。为了实现增强现实环境下与虚拟对象之间更加自然的交互,提出一种视触觉融合的三维注册方法。基于图像视觉技术获得三维注册矩阵;借助空间转换关系求解出触觉空间与图像空间的转换关系;结合两者与摄像头空间的关系实现视触觉融合的增强现实交互场景。为验证该方法的有效性,设计了一个基于视触觉增强现实的组装机器人项目。用户可触摸并移动真实环境中的机器人零件,还能在触摸时感受到反馈力,使交互更具真实感。     

Object interaction and task programming by demonstration in visuo-haptic augmented reality

A visuo-haptic augmented reality system is presented for object manipulation and task learning from human demonstration. The proposed system consists of a desktop augmented reality setup where users operate a haptic device for object interaction. Users of the haptic device are not co-located with the environment where real objects are present. A three degrees of freedom haptic device, providing force feedback, is adopted for object interaction by pushing, selection, translation and rotation. The system also supports physics-based animation of rigid bodies. Virtual objects are simulated in a physically plausible manner and seem to coexist with real objects in the augmented reality space. Algorithms for calibration, object recognition, registration and haptic rendering have been developed. Automatic model-based object recognition and registration are performed from 3D range data acquired by a moving laser scanner mounted on a robot arm. Several experiments have been performed to evaluate the augmented reality system in both single-user and collaborative tasks. Moreover, the potential of the system for programming robot manipulation tasks by demonstration is investigated. Experiments show that a precedence graph, encoding the sequential structure of the task, can be successfully extracted from multiple user demonstrations and that the learned task can be executed by a robot system.     

三维单目虚实物体球对面碰撞检测算法

为加强增强现实的沉浸感与真实性,实时地进行虚实物体间的碰撞检测至关重要.因此,提出一种基于增强现实和单目视觉的任意形状虚实物体碰撞检测估计算法.通过改进现有的单目二维虚实碰撞检测及响应算法,针对现有碰撞检测算法存在的计算复杂度高的问题,提出一种仅需计算实际物体4个特征点的三维碰撞检测算法;并通过对象分割、特征点提取、碰撞检测和碰撞响应等过程取得与真实世界物理特性一致的三维虚实碰撞响应估计效果.在增强现实有标记和无标记环境下分别进行实验结果表明,碰撞检测的计算量与二维算法相近,且具有景深效果,实现了基于单目视觉的增强现实三维虚实碰撞响应预测和处理.