虚拟现实场景图像点云大数据展示仿真

虚拟现实技术可以利用计算机图像建模技术构建虚拟空间，通过视觉效果增强现实效果。但是，由于虚拟场景特征点较多，且密度较大，复杂场景的三维重建和展示的难度较高。提出基于图像点云大数据的虚拟现实场景展示方法。利用Kinevt v2设备获取虚拟现实场景两帧图像及点云数据，通过对点云数据的滤波处理，优化虚拟现实场景重构精度。基于滤波处理，提取虚拟现实场景两帧图像的特征点，并匹配特征点，构建三维场景重建模型。将三维场景重构模型与配准后的点云数据、场景颜色信息相融合，完成模型的可视化，实现虚拟现实场景的展示。实验结果证明了研究方法展示的虚拟现实场景特征信息更完整，在图像滤波处理前后，研究方法的虚拟现实场景特征点提取效率均更高，总耗时在7ms以内，且研究方法应用下图像处理器占用的空间内存低于20MB。     

基于卷积神经网络的室内场景三维重建技术研究

三维场景重建技术是计算机视觉领域的十分重要的研究课题。传统三维场景重建大多是专业工程师通过手工制图实现,效率不高且成本较高。对此提出一种基于卷积神经网络的三维场景重建方法。该方法在对2D图像进行语义分割的基础上,提取分割后的室内场景元素图像块,训练一个基于卷积神经网络的三维模型匹配模型;再将匹配得到的三维模型结合深度图构造的残缺三维模型,进一步进行组合,从而完成室内场景的三维重建工作。实验验证了该方法的可行性和优异性。     

三维模型的空间匹配与拼接

为获得敦煌莫高窟第172窟的全景三维模型,实现文化遗产数字化保护,提出一种三维模型的空间匹配与拼接方法。首先通过基于四目立体视觉系统的复杂场景三维重建方法,获取单一场景的三维模型;然后以场景真实三维点云数据的对应图像坐标为约束条件,进行高精度特征点匹配;最后以两对同名点在相邻两场景中的空间距离应该一致为条件,保留匹配精度高的点,用于计算旋转矩阵和平移矩阵,进行三维模型间的空间拼接。实验结果表明:与传统拼接方法相比,本文的模型拼接处无明显错位现象,视觉效果更好,传统方法与本方法的匹配误差分别为0.008 2和0.001 6,拼接精度得到显著改善。     

一种面向OPENGL的三维模型的转化方法

在对OpenGL的显示列表和VRML的研究基础上，提出了一种将3DMAX制作的三维模型用VRML模型作中介，将模型数据(包括网格顶点数据，材质，贴图)进行分离、提取、规范化，优化保存．最后在OpenGL建立的虚拟场景中快速生成三维模型并显示其虚拟影象的方法．该方法能使由三维建模软件产生的三维模型方便快速的移植到支持OpenGL的应用程序开发环境中．对于建立虚拟场景的模型有较大的实用价值。     

基于Phong模型的三维地形光照场景仿真

地形是自然界中具有复杂特征的景物之一,三维真实感地形的仿真技术是计算机图形学的重要研究内容.光照模型的选取和实现是三维真实感地形仿真的重要步骤.良好的光照模型还应该能够实现对不同光照场景的模拟.Phong模型能够较好地描述光照信息的各个组成部分同时计算量相对较小.提出了基于Phong模型的光照处理技术,通过调整角度值和光照参数可以在三维地形的显示过程中模拟不同的光照场景,从而实现三维真实感地形的仿真.并给出了具体的实现方法和实验结果.实验结果表明,这种方法能够有效地实现三维地形的光照场景仿真.     

基于栅格模型的双目移动机器人三维场景重建

以投影几何学以及双目立体视觉原理为理论基础,对移动机器人的三维重建技术进行研究,对移动机器人漫道过程中所在的兴趣区域的场景进行较为精确的建模.设计了机器人的快速建模方法,利用迭代最近点算法(ICP),完成了多个局部三维场景模型的融合.同时,结合栅格投射理论,完成了对全局三维场景模型的更新.利用栅格模型重建的三维场景,具有环境信息丰富,模型描述精确的特点,可以应用于移动机器人导航领域.     

基于扫描激光测距数据的建筑物三维重建

建筑物的三维信息是重要的基础地理信息,可以应用于城市的规划、管理等方面,而机载激光扫描测距系统在城市建筑物的三维重建方面具有重要的应用价值。针对我国自行研制的机载激光扫描测距数据提出了一套利用稀疏激光测距数据自动提取建筑物三维信息的方法。首先根据测量的激光距离和相应的姿态、位置信息计算出激光采样点的三维位置,进而可以生成城市的数字表面模型(DSM)和城市的数字地面模型(DTM),依据它们能准确地提取出建筑物的轮廓信息,最后根据建筑物具有规则的形状这个特点来对建筑物的轮廓线进行规则化处理而最终恢复建筑物的三维信息。通过对北京城市北部地区的实际处理,说明了该方法的可行性。     

面向移动终端的三维模型简化与碰撞检测方法研究

移动终端三维场景的绘制与漫游由于其庞大的模型数据量和复杂的外观形态使得实现清晰的场景快速绘制十分困难。为了加快模型的绘制,提出了一种面向移动终端的三维模型的简化与碰撞检测方法,以优化绘制过程。该方法通过二次测量误差半边折叠算法来简化三维模型,并利用八叉树技术对不能显示在屏幕中的场景进行剔除,从而实现三维场景的快速读取、组织和绘制。针对移动设备的屏幕尺寸以及计算能力等限制,实现了适用于移动平台的碰撞检测算法,减少了计算量。实验结果表明,该方法能有效地简化模型,并提高绘制效率,同时减少碰撞检测的计算时间,因而可应用于三维场景的快速逼真绘制。     

城市虚拟地理场景非定标三维重建算法仿真

为建立城市地理场景,用于辅助城市规划高度逼真、运行可靠的虚拟场景,提出城市虚拟地理场景非定标三维重建算法.使用几何节点、灯光节点、组合节点等构成简单的虚拟城市场景结构,以深度遍历方式获取楼房、灯光等位置信息;确定相机坐标系与世界坐标系,采用消失点相机自定标方法建立方程组,获得相机内参数矩阵,结合Moravec基本思想,得出像元兴趣值,选择最大兴趣点作为特征点,利用最小二乘影像算法实现特征点匹配,计算特征点坐标,经过去噪处理,实现非定标三维重建.实验结果表明,重建方法可以减少定标工作量,降低对计算性能的要求,使重建后的虚拟场景更加逼真.     

基于DEM的水库三维可视化研究

利用库区纸质地形图建立了高精度的数字高程模型，进行了精度分析、地形因子分析、可视性分析和库容计算。并结合ASP和VRML技术实现了基于网络的三维可视化系统，包括计算结果可视化与查询、图形数据可视化和库区虚拟场景可视化。实现了对深层次水利信息的获取和形象表达。     

图像3D轮廓提取

针对现有3D轮廓提取方法计算量大、图像立体匹配难、图片中含有大量噪音的问题,提出了一种利用早期认知视觉系统提取图像3D轮廓的方法。早期认知视觉是连接早期视觉和认知视觉的中间平台,通过早期认知视觉系统提取出图像的2D基元,2D基元是图片小块,有丰富的语义信息包括位置,方向,相位和三色值;再由两个立体图像的相一致的2D基元配对来构建3D基元,通过3D基元的共面性和共色性得到图像的3D轮廓。在Ubuntu10.04下,通过输入立体图片对,对这种方法进行了实验,实验结果表明图像的3D轮廓能完好地提取出来,有效地保留图像的必要信息并具有强抗噪性。     

Manifold surface reconstruction of an environment from sparse Structure-from-Motion data

The majority of methods for the automatic surface reconstruction of an environment from an image sequence have two steps: Structure-from-Motion and dense stereo. From the computational standpoint, it would be interesting to avoid dense stereo and to generate a surface directly from the sparse cloud of 3D points and their visibility information provided by Structure-from-Motion. The previous attempts to solve this problem are currently very limited: the surface is non-manifold or has zero genus, the experiments are done on small scenes or objects using a few dozens of images. Our solution does not have these limitations. Furthermore, we experiment with hand-held or helmet-held catadioptric cameras moving in a city and generate 3D models such that the camera trajectory can be longer than one kilometer.     

Blind stereo image quality assessment inspired by brain sensory-motor fusion

The use of 3D and stereo imaging is rapidly increasing. Compression, transmission, and processing could degrade the quality of stereo images. Quality assessment of such images is different than their 2D counterparts. Metrics, which represent 3D perception by human visual system (HVS), are expected to assess stereoscopic quality more accurately. In this paper, inspired by brain sensory/motor fusion process, by combining the right and left images, we form two synthesized images. Effects of different structural distortions on statistical distributions of the synthesized images are analyzed. Based on the observed statistical changes, features are extracted from these synthesized images that can reveal type and severity of distortions. Then, we propose a stacked neural network model to learn the extracted features and accurately predict the quality of stereo images. This model is tested on 3D images of popular databases. Experimental results show the superiority of this method over state-of-the-art stereo image quality assessment approaches.     

LiDAR和航空影像集成的复杂建筑物重建研究

利用航空影像和LiDAR数据各自的优势点而进行的融合为复杂建筑物三维重建提供了一种可靠的途径。利用LiDAR数据获取建筑物初始边界,在航空影像中提取出边界特征,从而对初始建筑物边界进行精化;针对少量错误和丢失的建筑物边界进行编辑,开发了相应的软件系统。对某研究区域进行实验,并从重建建筑物模型的正确性、完整性和精度三方面进行分析,证明了所提出算法的可行性和有效性。     

基于形变模型由立体序列图象恢复物体的3D形状

结合立体视觉和形变模型提出了一种新的物体3D形状的恢复方法。采用立体视觉方法导出物体表面的3D坐标;利用光流模型估计物体的3D运动,根据此运动移动形变模型,使其对准物体的表面块;由形变模型将由各幅图象得到的离散的3D点融为一起,得到物体的表面形状。实验结果表明该方法能用于形状复杂的物体恢复。     

利用光度立体法生成真实物体的三维模型

在计算机三维动画制作中，要制作一个具体的真实物体的三维模型，是一项复杂而困难的事情。本文根据由阴影恢复形状的视觉理论，利用光度立体视觉技术，给出了由３幅光移图象计算物体表面方向和深度信息，并利用贝塞尔曲线拟合获得物体表面的结构模型的方法。     

Non-Rigid Stereo Factorization

In this paper we address the problem of recovering 3D non-rigid structure from a sequence of images taken with a stereo pair. We have extended existing non-rigid factorization algorithms to the stereo camera case and presented an algorithm to decompose the measurement matrix into the motion of the left and right cameras and the 3D shape, represented as a linear combination of basis-shapes. The added constraints in the stereo camera case are that both cameras are viewing the same structure and that the relative orientation between both cameras is fixed. Our focus in this paper is on the recovery of flexible 3D shape rather than on the correspondence problem. We propose a method to compute reliable 3D models of deformable structure from stereo images. Our experiments with real data show that improved reconstructions can be achieved using this method. The algorithm includes a non-linear optimization step that minimizes image reprojection error and imposes the correct structure to the motion matrix by choosing an appropriate parameterization. We show that 3D shape and motion estimates can be successfully disambiguated after bundle adjustment and demonstrate this on synthetic and real image sequences. While this optimization step is proposed for the stereo camera case, it can be readily applied to the case of non-rigid structure recovery using a monocular video sequence. Electronic supplementary material Electronic supplementary material is available for this article at and accessible for authorised users.     

Practical Structure and Motion from Stereo When Motion is Unconstrained

This paper describes a system which robustly estimates motion, and the 3D structure of a rigid environment, as a stereo vision platform moves through it. The system can cope with any camera motion, and any scene structure and is successful even in the presence of large jumps in camera position between the capture of successive image pairs, and when point matching is ambiguous. The system was developed to provide robust obstacle avoidance for a partially sighted person.The process described attempts to maximise use of the abundant information present in a stereo sequence. Key features include the use of multiple stereo match hypotheses, efficient motion computation from three images, and the use of this motion to ensure reliable matching, and to eliminate multiple stereo matches. Points are reconstructed in 3D space and tracked in a static coordinate frame with a Kalman Filter.This results in good 3D scene reconstructions. Structure which is impossible to match with certainty is absent, rather than being incorrectly reconstructed. As a result, the system is appropriate for obstacle detection. The results of processing some indoor and outdoor scenes, are given in the paper, and practical issues are highlighted throughout.     

基于立体视觉的玉米叶片形态测量与三维重建

提出一种基于立体视觉的玉米叶片形态测量和重建的方法。利用双目立体视觉系统获取玉米叶片的两幅图像,通过图像分割技术和边缘检测算法对每幅图像中的玉米叶片进行边缘提取;利用极线约束和彩色图像RGB值对图像进行匹配,计算出叶片边缘的三维坐标,从而恢复叶片的三维边缘;利用对叶片边缘的恢复技术,对叶片曲面进行三维重建;根据恢复的区域点云,可以测出任意两点的空间距离,实现了对叶片的三维测量。试验结果表明,此方法能够很好地恢复玉米叶片的三维信息,为玉米叶片三维形态的无损、快速检测监测提供了新的方法。     

用户多维感知的3D图像体验质量评价

目的 符合用户视觉特性的3维图像体验质量评价方法有助于准确、客观地体现用户观看3D图像或视频时的视觉感知体验,从而给优化3维内容提供一定的思路。现有的评价方法仅从图像失真、深度感知和视觉舒适度中的一个维度或两个维度出发对立体图像进行评价,评价结果的准确性有待进一步提升。为了更加全面和准确地评价3D图像的视觉感知体验,提出了一种用户多维感知的3D图像体验质量评价算法。方法 首先对左右图像的差异图像和融合图像提取自然场景统计参数表示失真特征;然后对深度图像提取敏感区域,对敏感区域绘制失真前后深度变换直方图,统计深度变化情况以及利用尺度不变特征变换（SIFT）关键点匹配算法计算匹配点数目,两者共同表示深度感知特征;接下来对视觉显著区域提取视差均值、幅值表示舒适度特征;最后综合考虑图像失真、深度感知和视觉舒适度3个维度特征,将3个维度特征归一化后联合成体验质量特征向量,采用支持向量回归（SVR）训练评价模型,并得到最终的体验质量得分。结果 在LIVE和Waterloo IVC数据库上的实验结果表明,所提出的方法与人们的主观感知的相关性达到了0.942和0.858。结论 该方法充分利用了立体图像的特性,评价结果优于比较的几种经典算法,所构建模型的评价结果与用户的主观体验有更好的一致性。