基于认知负荷理论的移动增强现实系统设计与应用

针对在移动增强现实系统中如何有效显示增强信息的问题,以提高用户书籍选购效率为应用背景,设计并实现一套移动增强现实系统。基于认知负荷理论对增强现实场景中叠加显示的多媒体信息的数量与类型进行了筛选,并根据书籍具体内容选择高相关性的多媒体信息。使用Unity 3D与Vuforia实现了移动增强现实系统的开发。实验结果与用户满意度调查验证了系统的有效性。     

基于增强现实的英语视听说移动教学软件设计与实现

由于当前大多数笔记本电脑不再配置光驱,但英语教材依然以光盘形式提供视频资料,影响学习效果,因此采用Unity3D集成Vuforia SDK设计实现基于增强现实技术的英语视听说移动教学软件VBook。系统首先构建识别图数据库存于云端,根据识别图名称命名对应的视频文件;然后利用Unity3D设计和渲染场景,设计ImageTarget对象的虚拟视频播放按钮,编写脚本代码实现对识别图数据库及其相应视频的访问;最后生成便于用户使用的移动端应用。用户只需将Camera镜头对准书本插图,即可呈现出虚实叠加的视觉效果,实现移动设备的英语教学视频播放。将增强现实技术应用于英语视频教学,能使用户享受到新颖的学习方法和虚实结合的交互体验。     

增强现实环境下的人手自然交互

为了实现增强现实环境下的自然人手3D交互,提出一套针对不佩戴任何标记的人手的3D交互算法.该算法经过区域检测跟踪、特征点提取和3D稀疏结构重建等步骤获取人手的3D结构;在此基础上提出基于指尖、指向和手掌平面的人手3D交互模式;将从真实世界提取的3D交互信息对齐到虚拟世界,融合渲染并触发交互,实现自然人手3D交互.实验结果表明,该算法具有较高的沉浸感、精确度和易用性.     

基于增强现实技术的景观交互式系统设计

针对景观交互式系统设计的体验性要求,提出一种增强现实技术的景观交互方法。其中,利用改进的AKAZE算法对图像特征进行提取和匹配提纯,进而获得两张图像上匹配的特征点对的2D坐标;利用AKAZE算法得到的2D坐标,以及结合摄像机标定获得的摄像机内参和畸变参数,对现实场景中特征点的3D坐标进行计算,从而实现户外景观场景的跟踪注册;最后利用3d Max进行三维建模和渲染,实现虚实场景的融合;最后通过系统展示出来。结果表明,在噪声、不作处理和降光条件下,AKAZE算法提取到的图像特征数量最多;同时利用AKAZE+RANSAC+Flann-based对现实场景和虚拟场景的特征点进行匹配提纯,其匹配的数量最多;通过单目SLAM算法的姿态估计,其准确率可到97.5%,高于传统的pnp;最后通过交互界面,可清晰展示现实景观和虚拟景观的融合效果。由此得出,以上构建方法可用于景观体验型设计中,具有一定的工程应用价值。     

基于OGRE引擎的虚拟场景浏览

虚拟现实技术的虚拟交互性得到了越来越广泛地应用,虚拟场景浏览技术有效地解决了现实世界的时空局限等瓶颈问题.在对虚拟现实(3I)原理研究分析的基础上,依据插件设计的思想,设计了一种基于OGRE引擎的虚拟场景浏览框架,框架明确的包含两个端:渲染端和控制端.渲染端封装了OGRE渲染引擎,实现了快速实时的渲染;控制端,通过建立虚拟漫游交互机制来完成虚拟场景与外设的实时控制.基于OGRE八叉树的场景管理、射线查询算法、寻路算法、物体的拣取、RTT等技术的运用实现了用户与虚拟环境的交互系统,用户操作信号输入到计算机中并作用于虚拟环境,创建实时渲染处理结构,实现人与虚拟环境的实时快速的交互;基于OpenAL,OggSound的音效系统,克服了用户在场景浏览时的单调与乏味,更具真实感,丰富了场景浏览的真实性.在实践中应用OGRE图形引擎、CEGUI界面库、OpenAL,OggSound声音库实现了该系统.     

城市地下管网增强现实系统研究

针对地下管网管理系统存在的管道图空间沉浸感不强,施工监控和碰撞检测等决策不灵活,地面建筑模型数据存储和渲染的问题,设计了城市地下管网增强现实系统。通过高精度定位服务来加载管道数据,采用七参数坐标转换方法将管道的经纬度坐标转换成Unity3D的数据;利用ARCore实现了管道模型的虚实融合;使用视觉惯性测距（Visual Inertial Odometry,VIO）算法实现对移动设备的跟踪。实验结果表明,该系统可实现管道模型与现实场景相融合,多方位实时查看,实时交互等功能,增强了管网管理的空间决策支持能力,降低了海量地面建筑数据处理的难度。     

DX 11高级渲染技术下3D游戏引擎

研究了Direct X 11高级渲染技术并成功应用于3D游戏引擎中.Direct X 11高级渲染技术包括Multi Tex、Cube Map、Normal Map、Shadow Map等.引擎运用了Multi Tex技术绘制3D地形;使用了Cube Map技术进行环境贴图渲染;使用了Normal Map技术进行特殊纹理处理;使用了Shadow Map技术实现了成熟逼真的阴影效果.文中还详细给出了引擎的解释器框架和多分支渲染核心框架设计,并对引擎完成了相关技术用例测试,结果表明了其逼真的图形效果.     

基于增强现实与异型屏实时互动系统的研究*

提出并实现了一种基于增强现实的多人实时互动的平台和系统。首次提出了在展览展示领域融合应用AR技术与多异型屏技术,研究并实现了AR系统多人实时互动相关技术,设计了AR交互系统的渲染平台、交互平台和网络通信平台。提出利用人工免疫算法解决AR系统实时碰撞检测的问题。系统将在世博会进行展示应用,具有良好的技术与经济效益前景。     

运载火箭试验数据管理及可视化系统设计

针对现有运载火箭试验数据管理及可视化系统依赖于第三方功能插件,未实现纯浏览器端三维模型渲染及交互,系统对运行环境依赖性强、部署和维护成本高等问题,设计了基于JavaScript框架ExtJS和WebGL框架three.js的运载火箭试验数据管理及可视化系统;首先基于B/S架构设计了系统总体框架,然后针对二维图形数据传输延迟问题设计了基于Web Worker的数据读取方案,最后针对浏览器端三维模型渲染需求提出了基于VTK模型的转换算法,设计了三维模型渲染及交互方案;试验结果显示,该系统不依赖于运行环境和功能插件,能实现浏览器端二维图形和三维模型渲染及流畅交互,为兼容国产化操作系统、降低部署和维护成本创造了条件。     

基于混合注册方式的海洋环境增强现实系统

针对单一传感器无法解决海洋环境增强现实系统中跟踪注册的问题,提出融合智能手机AGPS、电子罗盘和加速度传感器测定视线方向的多传感器注册与基于海天线特征标识的视觉跟踪注册的混合注册方法,并通过扩展卡尔曼滤波器实现多传感器有效融合以提高三维注册精度。以真实海洋环境及海洋数值预报为例,提出适应海洋动态环境的增强现实框架,利用Vuforia AR实现了原型系统,并对混合注册方法进行了验证。结果表明,该技术框架及注册方法有较强的可用性和实用性,在海洋动态环境的增强现实中具有广泛应用前景。     

虚拟与增强现实互动旅游系统的设计与实现——以非物质文化遗产南音为例

虚拟与增强现实技术越来越多地应用于互动旅游中,而文化遗产已经成为互动旅游的重要元素。本文以非物质文化遗产南音为例,在分析研究南音传承、发展与传播现状的基础上,提出了南音虚拟与增强现实互动旅游系统的设计思路。使用虚拟现实开发引擎Unity 3D及增强现实开发工具包Vuforia SDK,结合LBS(基于位置的服务)技术,实现了南音互动旅游系统。实验表明,该系统增加了海丝非遗文化南音观赏者的沉浸感、交互性、体验感和参与感,同时满足了广大受众在体验海丝非遗文化时进行偶遇和社交等心理需求,为海丝文化遗产的传承和发展提供了新的思路和有益的借鉴。     

结合图像识别的移动增强现实系统设计与应用

目的 在移动互联网时代下,移动增强现实应用得到越来越快的发展。然而户外场景中存在许多相似结构的建筑,且手机的存储和计算能力有限,因此应用多集中于室内小范围环境,对于室外大规模复杂场景的适应性较弱。对此,建立一套基于云端图像识别的移动增强现实系统。方法 为解决相似特征的误匹配问题,算法中将重力信息加入到SURF和BRISK特征描述中去,构建Gravity-SURF和Gravity-BRISK特征描述。云端系统对增强信息进行有效管理,采用基于Gravity-SURF特征的VLAD方法对大规模图像进行识别;在智能终端上的应用中呈现识别图像的增强信息,并利用识别图像的Gravity-BRISK特征和光流结合的方法对相机进行跟踪,采用Unity3D渲染引擎实时绘制3维模型。结果 在包含重力信息的4 000幅户外图像的数据库中进行实验。采用结合重力信息的特征描述算法,能够增强具有相似特征的描述符的区分性,并提高匹配正确率。图像识别算法的识别率能达到88%以上,识别时间在420 ms左右;光流跟踪的RMS误差小于1.2像素,帧率能达到23 帧/s。结论 本文针对室外大规模复杂场景建立的基于图像识别的移动增强现实系统,能方便对不同应用的增强现实数据进行管理。系统被应用到谷歌眼镜和新闻领域上,不局限于单一的应用领域。结果表明,识别算法和跟踪注册算法能够满足系统的精度和实时性要求。     

基于Kinect的民族弓弦乐器虚拟演奏系统

利用Kinect相机结合增强现实技术和手势识别方法设计并实现了一个弓弦乐器虚拟演奏系统——以二胡为例.将Kinect获取的现实场景和虚拟乐器融合在一起绘制成增强现实场景.通过Kinect得到的深度数据和贝叶斯肤色模型将用户的左手分割出来,并再次绘制在增强图像上形成新的图像,从而解决虚拟演奏场景中的虚实遮挡问题.利用基于反向动力学和马尔可夫模型的三维虚拟手势拟合方法,对演奏过程中的左手手势进行识别,并结合右手的运动状态完成乐器的虚拟演奏.     

基于 OSG 的漫游系统的设计与实现

虚拟现实技术的提出,凭借真实的沉浸感、可交互性以及可构想性等这些优势,轻而易举地把现实世界通过计算机数字化中呈现出来。在城市建设、室内设计、工业设计、道路桥梁规划、旅游教学、房地产、古迹恢复、电力水利、地质灾害、虚拟校园等各个领域广泛应用虚拟现实技术,并对相应领域的发展产生了极大的帮助和推动作用。基于OSG的漫游系统正是基于此技术上的一项应用,该系统具备模型加载,点、线、面渲染,导航,漫游,雨、雪、雾特效,等功能。最终目标是希望实时呈现了一个逼真的、立体化的,能给人视觉、听觉、触觉感受的虚拟漫游系统。该漫游系统的实现有利于景区旅游资源充分开发利用,对广西师范大学建设规划具有重要的现实意义。同时,也是弘扬和传播广西师范大学校园文化的重要途径。     

Mixing virtual and real scenes in the site of ancient Pompeii

This paper presents an innovative 3D reconstruction of ancient fresco paintings through the real‐time revival of their fauna and flora, featuring groups of virtual animated characters with artificial‐life dramaturgical behaviours in an immersive, fully mobile augmented reality (AR) environment. The main goal is to push the limits of current AR and virtual storytelling technologies and to explore the processes of mixed narrative design of fictional spaces (e.g. fresco paintings) where visitors can experience a high degree of realistic immersion. Based on a captured/real‐time video sequence of the real scene in a video‐see‐through HMD set‐up, these scenes are enhanced by the seamless accurate real‐time registration and 3D rendering of realistic complete simulations of virtual flora and fauna (virtual humans and plants) in a real‐time storytelling scenario‐based environment. Thus the visitor of the ancient site is presented with an immersive and innovative multi‐sensory interactive trip to the past. Copyright © 2005 John Wiley & Sons, Ltd.     

Evaluating View Management for Situated Visualization in Web-based Handheld AR

As visualization makes the leap to mobile and situated settings, where data is increasingly integrated with the physical world using mixed reality, there is a corresponding need for effectively managing the immersed user's view of situated visualizations. In this paper we present an analysis of view management techniques for situated 3D visualizations in handheld augmented reality: a shadowbox, a world-in-miniature metaphor, and an interactive tour. We validate these view management solutions through a concrete implementation of all techniques within a situated visualization framework built using a web-based augmented reality visualization toolkit, and present results from a user study in augmented reality accessed using handheld mobile devices.     

近距离3D人机交互技术研究实现

3D人机交互技术是计算机图形学、虚拟现实和模式识别的交叉融合领域,可分为虚拟环境的显示和三维物体识别。该研究将虚拟环境显示和三维物体识别整合成一个完整的解决方案并应用到1∶1模拟虚拟场景的近距离交互。研究了虚拟现实之间的坐标转换;分析了影响虚拟物体立体显示的三个主要因素：OpenGL中摄像机的张角,摄像机间距和立体图像对的产生;并实现了基于Intel Perceptual Computing的三维物体识别。实验结果显示：该方案在1∶1模拟虚拟场景方面具有良好的3D显示效果,同时在手势识别方面有较高的识别率。     

交互式虚拟内窥镜系统

计算机图形图象技术与虚拟现实技术应用于医学内窥镜系统,产生了虚拟内窥镜技术,为了将虚拟现实技术应用在医学图象处理方面,以方便医生进行虚拟手术与无创诊断,在综合利用各种计算机图形,图象技术的基础上,提出了完整的交互式虚拟内窥镜系统的框架,同时对系统结构和各种模型进行了分析和讨论,还针对系统的实时性和绘制结果的逼真性要求,提出了基于Object Cache和扩展的区域增长方法,并将其应用到医学图象处理当中,得到了较好的效果,该系统较好地解决了虚拟现实与可视化实时性和绘制精度两方面的要求,从而为医学图象可视化提供了有力的工具。     

Distributed design review using tangible augmented technical drawings

In this work we integrate augmented reality technology in a product development process using real technical drawings as a tangible interface for design review. We present an original collaborative framework for Augmented Design Review Over Network (ADRON). It provides the following features: augmented technical drawings, interactive FEM simulation, multimodal annotation and chat tools, web content integration and collaborative client/server architecture. Our framework is intended to use common hardware instead of expensive and complex virtual or augmented facilities. We designed the interface specifically for users with little or no augmented reality expertise proposing tangible interfaces for data review and visual editing for all the functions and configurations. Two case studies are presented and discussed: a real-time “touch and see” stress/strain simulation and a collaborative distributed design review session of an industrial component.