用于3DTV的图像绘制技术

电视技术在高清之后将向三维电视发展,三维电视又称为交互电视、立体电视(3DTV)、自由视点电视(FTV).这里交互电视是指视点的交互,不是HDTV中的交互电视概念,是指可以从不同位置来观看立体影像.从高清到立体电视也是一次质的飞跃,立体电视在广告、展览、展示中已经广泛应用,可为展示内容提升价值.     

基于GPU加速的深度图像绘制

基于深度图像的绘制(DIBR)广泛应用于虚拟视点的合成,但是目前实现DIBR的算法复杂度都比较高,很难较实时地应用到3DTV系统中。采用单路纹理图像和其对应的深度图像进行虚拟视点的合成,在图形处理单元(GPU)上应用CUDA(Compute Unified Device Architecture)技术实现了基于深度图像的绘制。通过在NVIDIA Telsa C2050图形卡上运行,绘制分辨力1 024×768和640×480的图像速率分别达到了15 f/s(帧/秒)和24 f/s,分别能够准实时或实时地应用到3DTV系统中;同时本文的绘制方法有效地节约了传输带宽,绘制图像的主观质量良好。     

新3DTV技术正在研发

DMU大学的研究人员Crislian Serdean博士正在开发一种新的从2D制作出高质量3D图像的方式一拍摄同一主体的两组镜头（但从不同的角度,相应于观众的左右眼）。此项目将考察如何改善从2D视频帧提取深度信息的复杂过程。其中一大问题就是用于2D／3D处理的传统的数学变换不保留关于像素空间关系的信息．意味着当这些系数作为图像显示时,它们不再与原始图像有任何相似性。     

高质量的虚拟视点图像的绘制方法

针对应用深度图像的绘制(DIBR)技术生成的虚拟视点图像中存在的空洞问题,提出了一种基于DIBR的高质量的虚拟视点图像绘制算法.先由多幅参考图像分别生成同一虚拟视点位置的多幅目标图像,将这些虚拟视点目标图像融合为含有少量空洞的目标图像.然后采用逆映射的方法在多幅参考图像中找到这些剩余少量空洞的对应内容并填充空洞,从而生成高质量的虚拟视点图像.实验结果表明最后生成的虚拟视点图像具有良好的视觉效果.     

基于工业断层图像的面绘制技术研究

针对MC算法的缺点进行改进和优化.提出了一种基于相似性区域分割的三维工业图像表面重建算法,根据工业图像特点采用相似性区域分割方法,实现准确分割,并利用分割结果精确地提取等值面.同时,运用渐近线判别法解决了原有算法的二义性问题,改善了生成图像的质量.实验证明,显示速度和显示精度均有提高.     

面向编码和绘制的多视点图像深度估计

针对自由视点三维电视系统中深度估计不准确将给后续多视点深度编码和虚拟视点绘制带来困难的问题,提出一种面向编码和绘制的多视点图像深度估计算法。首先对初始深度进行一致性检查,并采用自适应匹配误差策略删除不可靠的匹配以减小初始深度的误匹配。然后根据融合准则将多幅参考深度图合成为一幅深度图以提高深度图的精度。最后,采用多边滤波...     

基于图像绘制技术的红外场景模拟

红外场景模拟可为目标识别、跟踪提供必要的图像样本,对算法的训练、评估和可靠性检验具有十分重要的意义,基于建模的红外模拟方法不一定反映场景的客观情况,并且,计算量大、耗时,难于模拟出有真实感的红外图像。基于图像绘制技术,提出无需建模的基于图像的绘制方法来模拟红外场景图像,根据红外图像的特点,给出了计算基本矩阵的非线性迭代算法和基于特征约束的动态规划立体匹配算法。由于参考图集是实际图像,因此,模拟图像更符合景物的真实情况,并且,该方法无需很复杂的建模过程,利于实时模拟。实验结果表明,该方法可有效地模拟出真实感的红外图像。     

3DTV中的编码技术综述

在带宽有限的条件下,如何提高编码效率是当前3D电视的重要研究方向.介绍了目前应用于3D电视技术的不同编码方法,并提出了进一步研究的方向.     

基于PC的体绘制技术

研究一种基于PC的体绘制技术,采用改进的光线投射算法,并以Visual C 6.0为开发环境,实现基于Open-GL光照模型的直接体绘制系统,突破现有三维体绘制大都基于专用图像工作站的现状,在微机上成功地实现从建立灰度体素模型、灰度体数据显示,包括灰度梯度计算、光照效应计算、投影合成显示等整个体绘制过程。并在Widows 2000平台下形成界面友好的人机交互通用化系统,从而较好地解决了体绘制生成图像质量和显示速度之间的深刻矛盾,达到快速有效完成三维图像显示的目的,并应用于外科手术支援系统中。     

采用图像修复的基于深度图像复制

在传统的基于深度图像复制(DIBR)的基础上提出一种基于图像修复的DIBR方法,将预处理深度图像和图像修复算法相结合来填补三维图像映射后的空洞。与传统方法相比更加灵活,本文方法仅需传输一路参考图像序列,从而有效降低DIBR系统的传输带宽。实验结果证明,本文所提出方法是有效的。     

3D电视系统的构成及发展

主要介绍了3D电视系统的现状与发展,按照由双视点向未来多视点3D电视系统发展的技术路线,依次介绍了各阶段系统的架构.同时,对关键技术的基本原理也做了详细说明,包括过度阶段的帧兼容、多视点视频编码、混合分辨率视频编码、视频与相应深度信息联合编码等解决方案.最后对3D电视系统中有待解决的问题和未来的研究方向进行了总结.     

无重影立体电视摄像技术的研究

为了解决双目视差立体电视显示画面的重影问题,提出一种主景深上无重影的立体电视摄像技术.该方法用光开关对镜头光路左右对称分割,获得视差图像,可实现立体电视与平面电视双向兼容,重现图像立体感强.     

An HDTV‐Compatible 3DTV Broadcasting System

We introduce a high‐definition three‐dimensional television (3DTV) broadcasting system that is fully compatible with the existing transmission system of high‐definition television (HDTV). Specifically, we developed high‐definition 3DTV broadcasting subsystems including a 3DTV camera, 3DTV video multiplexer and demultiplexer, 3DTV receiver, and 3DTV outdoor broadcast van. To verify the developed subsystems, we performed experimental services of 3DTV broadcasting during the 2002 FIFA World Cup Korea/Japan.. According to our subjective evaluation test, 88% of 273 viewers rated the perceived depth of 3DTV as “Good,” and 36% of the viewers preferred 3DTV to other digital broadcasting services.     

A Novel DIBR 3D Image Watermarking Algorithm Resist to Geometrical Attacks

A histogram shape based method is utilized to design watermarking algorithm to protect the Depthimage- based rendering (DIBR) 3D images. To make the watermarking method robust to common attacks, much more suitable pixel groups are selected for watermark embedding which are insensitive to geometric attacks. Taking into account the adjusting of baseline distance in DIBR process might affect the watermarking extraction, a postprocessing is proposed after DIBR process to make the proposed watermarking method much more robust to DIBR process. As the experimental results shown, the proposed method is much more robust to the geometric attacks and combined attacks compared with existing methods. In addition, the proposed watermarking method also has good robustness to the adjusting of baseline distance and depth image blurred.     

A flexible architecture for multi-view 3DTV based on uncalibrated cameras

This paper presents a novel flexible architecture for 3DTV based on multiple uncalibrated cameras. The proposed signal representation improves the interactivity of dense point-based methods, making them appropriate for modeling the scene semantics and free-viewpoint 3DTV applications. The main concern is to address the shortcomings of depth image-based 3D video systems for free-viewpoint visualization, and to provide an efficient implementation of the rendering part which is computationally intensive as well potentially determine the view quality. Novel rendering algorithms are added that specifically aim at solving the rendering artifacts, and sampling issues encountered in wide baseline extensions and arbitrary camera movements. To optimize the process, a “selective” warping technique is proposed that takes the advantage of temporal coherence to reduce the computational overhead. Performance is illustrated on challenging videos to prove the suitability and flexibility of the architecture for advanced 3DTV systems.     

面向裸眼立体电视的体视动画技术综述

随着数字电视技术的革新和立体显示技术的发展,以裸眼立体电视为载体的体视动画成为动画产业探讨的新热点。对近年来面向裸眼立体电视的体视动画技术进行了广泛研究。首先阐述了裸眼体视动画技术的意义及研究现状,介绍了裸眼体视动画技术的技术原理,重点从体视图像获取、体视图像采样合成、裸眼立体电视显示3个方面进行阐述,详细叙述了不同方面所用到的基本思想和主要方法,最后指出了裸眼体视动画技术的不足和研究方向。     

ATSC DTV的移动接收技术

文章从改进ATSC标准、引进自适应阵列天线技术和提出快速均衡算法三方面论述了提高ATSC DTV移动接收性能的方法.通过仿真验证了这些方法的有效性.     

有线网络开展3DTV技术方案与应用研究

提出了有线网络开展3DTV直播、点播、节目注入和有线网络传输、机顶盒解码显示等系列技术方案,介绍了3D影像的技术路标,给出了有线网络开展3DTV技术方案,包括3D电视直播、点播平台以及3DTV传输格式与信道编码.对设计方案进行了应用验证,同时对开展3DTV的商用性进行了分析.     

立体电视不同视差平面上的立体视锐度研究

通过生理感知试验,研究了双路立体电视不同视差平面上的立体视锐度.根据试验结果,人眼在0°视差平面上有最佳的立体视锐度,且随着画面中物体视差逐渐增大,人眼在观看该出/入屏物体时的立体视锐度将逐渐下降.此外,相比入屏物体而言,人眼在观看具有相同大小视差的出屏物体时具有更佳的立体视锐度.     

多视绘制中的空洞填充算法

绘制新视点的质量决定3D视频在显示终端的效果,为填充基于深度图像的绘制(DIBR)算法中产生的空洞,本文提出"双路纹理+双路深度"的多视绘制算法。首先,应用DIBR技术,通过左侧参考纹理图像和其对应的深度图像绘制虚拟视点图像,从经中值滤波后的虚拟图像绘制空洞掩膜图像;然后,将掩膜图像中的大空洞点坐标反变换到右侧参考纹理图像中对应的具体像素坐标,根据深度值判断得到的像素点是否属于背景区域,以此得到虚拟视点图像的空洞填充图像;最后,将空洞填充图像与左视经过DIBR得到的虚拟图像进行融合,填补大空洞,应用插值算法填充小的空洞。实验结果表明,本文方法可有效修复DIBR绘制过程中产生的空洞,得到质量较好的虚拟视点图像。