曲面浅浮雕生成算法

为了在三维网格上快速生成曲面浅浮雕造型,提出一种利用三维模型半自动生成曲面浅浮雕的算法.首先利用图像的边缘检测方法来获取模型在透视场景中的边缘点,并将其与被贴的曲面载体进行位置匹配,获得Poisson方程的Dirichlet边界值;然后对模型高度场的梯度值进行压缩;最后利用确定边界条件的Poisson方程对模型压缩后的梯度场进行求解,还原生成浮雕模型.利用文中算法可以生成贴于曲面上的浅浮雕模型.     

基于不确定度评价的Kinect深度图预处理

针对应用在机器人三维(3D)场景感知测量中,Kinect深度图的联合双边滤波(JBF)存在降低原始场景深度信息精确度的制约性问题,提出一种新的预处理算法。首先,通过构建深度图的测量和采样模型,得到深度图的蒙特卡罗不确定度评价模型;其次,依据该模型计算得到深度值估计区间,实现噪声点与非噪声点的判定及滤除;最后,利用估计区间均值完成噪声点的修复。实验结果表明,该算法在噪声滤波的同时保证了非噪声的不变性;非噪声的不变性以及基于估计均值的噪声修复使原始深度梯度具有不变性;与联合彩色深度图的双边滤波相比,预处理结果图物体边缘轮廓清晰不变且其均方误差降低了15.25%~28.79%。因此,该预处理算法达到了提高三维场景深度信息精确度的目的。     

基于GPU的近似软影实时绘制

通过对阴影图算法进行扩展,提出一种完全基于GPU的近似软影实时绘制算法,它是一种3遍算法:第一遍从光源中心计算场景的深度图;第二遍采用几何着色器提取物体的轮廓边,同时在轮廓边上生成新的几何图元,利用硬件自动插值功能向外绘制线性近似半影图,并根据第一遍得到的深度图在像素着色器中对背面轮廓形成的半影区进行剔除;对于重叠的半影区设定片元的伪深度值,利用硬件进行自动融合.第三遍分别查询深度图和半影图,确定场景的本影区以及半影区中像素的亮度,从而得到面光源照射下场景的近似软影效果.     

基于多视图深度采样的自然场景三维重建

自然场景的多视图三维重建一直是计算机视觉领域的基本问题,有着广泛的应用.随着深度获取设备的日益普及,如何有效地利用多视点的深度图信息重建场景的三维模型已成为一个重要的研究课题.为了自动剔除输入深度图中的错误深度信息,恢复高质量的场景模型,提出一种多视图深度采样方法来实现自然场景的三维几何重建.首先对深度图进行非均匀采样以获得每帧的三维点集,并剔除部分深度误差较大的三维点;然后通过深度置信度估计的方法对多帧的三维点集进行融合并剔除多帧之间重复冗余的三维点,从而获得整体场景的三维点云;最后基于融合后的三维点云生成完整的场景几何模型.一系列复杂的自然场景实例证明了该方法的正确性和鲁棒性,其不仅能够重建小规模的物体,也同样适用于大规模场景的三维几何重建.     

一种将羽毛球比赛的2D视频转换到3D视频的算法

文中提出一种羽毛球比赛的2D视频转换到3D视频的算法。在这类视频中,前景是最受关注的部分,准确地从背景中提取出前景对象是获取深度图的关键。文中采用一种改进的图割算法来获取前景,并根据场景结构构建背景深度模型,获取背景深度图;在背景深度图的基础上,根据前景与镜头之间的距离关系为前景对象进行深度赋值,从而得到前景深度图。然后,融合背景深度图和前景深度图,得到完整的深度图。最后,通过基于深度图像的虚拟视点绘制技术DIBR来获取用于3D显示的立体图像对。实验结果表明,最终生成的立体图像对具有较好的3D效果。     

结合深度图像和强度图像的人脸浅浮雕生成算法

针对单纯基于深度图像压缩方法生成的三维浮雕模型容易存在大量噪声,并且易丢失细节的问题,为了生成特征表达准确且具有艺术美感的人脸浅浮雕,提出一种基于三维深度图像和与之对应的二维强度图像的混合人脸浅浮雕的生成算法.首先对三维深度图像的高度场进行压缩生成浮雕基网格;然后提取二维强度图像的灰度信息、梯度信息和显著度信息,并基于显著度信息对基网格的高度场相应地叠加灰度和梯度信息,以保持脸部五官的细节;最后根据显著度信息使用Laplace算子对网格进行光顺处理,使脸部光滑.实验结果表明,与单纯使用基于深度图像压缩方法相比,文中算法生成的浅浮雕模型可以更好地保持五官的细节特征;与基于图像的浮雕生成方法相比,该算法避免了复杂交互操作,可以更好地保持人脸的整体轮廓和形状.     

方差阴影图中的光渗现象消除算法

方差阴影图算法使用概率的方法计算像素被遮挡的上限概率,通过对深度图滤波的方法来有效地减少阴影图算法中的走样问题,但在深度比较复杂的场景中方差阴影图算法会出现光渗现象,即在应该是阴影的区域却有了亮度.文中使用最小-最大阴影图来辅助消除方差阴影图中的光渗现象,在对深度纹理进行滤波的同时生成一个最小-最大阴影图;在实时绘制场景时,利用最小-最大阴影图来辅助判断当前片元是否完全处在阴影区域内部,由此生成更真实、更准确的阴影.该算法可以很容易地添加到已有的方差阴影图算法的片元处理程序中,并且不会对原有阴影的柔和边界以及绘制的帧率产生影响.     

基于高斯-柯西混合模型的单幅散焦图像深度恢复方法

单幅图像场景深度的获取一直是计算机视觉领域的一个难题。使用高斯分布函数或柯西分布函数近似点扩散函数模型(PSF),再根据图像边缘处散焦模糊量的大小与场景深度之间的关系估算出深度信息,是一种常用的方法。真实世界中图像模糊的缘由千变万化,高斯分布函数以及柯西分布函数并不一定是最佳的近似模型,并且传统的方法对于图像存在阴影、边缘不明显以及深度变化比较细微的区域的深度恢复结果不够准确。为了提取更为精确的深度信息,提出一种利用高斯-柯西混合模型近似PSF的方法;然后对散焦图像进行再模糊处理,得到两幅散焦程度不同的图像;再通过计算两幅散焦图像边缘处梯度的比值估算出图像边缘处的散焦模糊量,从而得到稀疏深度图;最后使用深度扩展法得到场景的全景深度图。通过大量真实图像的测试,说明新方法能够从单幅散焦图像中恢复出完整、可靠的深度信息,并且其结果优于目前常用的两种方法。     

基于深度信息局部二值模式特征的室内场景边缘检测EI北大核心CSCD

针对室内场景深度图像,检测场景中的面片边缘信息并确定场景中的完整面信息是实现室内场景分析和理解的基础.基于深度信息局部二值模式特征,提出一种室内场景深度图像边缘检测的方法.首先对场景深度信息图分别求X方向和Y方向的梯度信息,结合2个梯度图找到深度信息图的基本边缘信息;然后计算基本边缘附近的局部二值模式特征信息,并计算深度图每个点的法线信息;最后利用深度信息局部二值模式特征和法线信息对边缘信息进行判断和矫正,以提取深度图像的面片边缘信息.实验结果表明,该方法能够高效、准确地检测室内场景深度图像的边缘信息,避免边缘信息的过检测和欠检测.     

基于视觉注意力分析的3D内容生成方法

由于在某些特殊场景中获取深度线索的难度较高,使得已有3D内容生成方法的应用受到限制.为此,以显著图代替深度图进行2D-3D转换,提出一种3D内容生成方法.使用全卷积网络(FCN)生成粗糙的显著图,通过条件随机场对FCN的输出结果进行优化.实验结果表明,该方法可以解决现有方法中因使用低等级特征进行视觉注意力分析而导致显著图质量不高的问题,且能够生成具有良好视觉效果的3D内容.     

二次联合稀疏表示和低秩近似的浅浮雕优化

目的 针对低质量浅浮雕表面的噪声现象,提出一种二次联合局部自适应稀疏表示和非局部低秩矩阵近似的浅浮雕优化算法。方法 本文方法分两个阶段。第1阶段,将浅浮雕灰度图划分成大小相同的数据块,提取边界块并进行去噪,分别对数据块进行稀疏表示和低秩近似处理。一方面,通过字典学习获得过完备字典和稀疏编码;另一方面,利用K均值聚类算法（K-means）将事先构建的外部字典库划分成k类,从k个簇中心匹配每个数据块的相似块并组成相似矩阵,依次进行低秩近似和特征增强处理。最后通过最小二乘法求解,重建并聚合新建数据块以得到新的高度场。第2阶段与第1阶段的结构相似,主要区别在于改用重建高度场的非局部自身相似性来实现块匹配。结果 在不同图像压缩率下（70%,50%,30%）,对比本文方法与BM3D（block-matching and 3D filtering）、WNNM（weighted nuclear norm minimization）、STROLLR（sparsifying transform learning and low-rank）、TWSC（trilateral weighted sparse coding）4个平滑降噪方法的浅浮雕重建结果,发现BM3D和STROLLR方法的特征保持虽好,但平滑效果较差,WNNM方法出现模型破损现象,TWSC方法的平滑效果比BM3D和STROLLR方法更好,但特征也同时被光顺化。阴影恢复形状法（shape from shading,SFS）是一种基于图像的3D建模法,但是其重建结果比较粗糙。相比之下,本文方法生成的浅浮雕模型更加清晰直观,在浅浮雕的特征增强和平滑去噪方面都展现出更好的性能。结论 本文综合数据块的局部稀疏性和数据块之间的非局部相似性对粗糙的浅浮雕模型进行二次高度场重建。本文方法有效改善了现有浅浮雕模型的质量,提高了模型的整体视觉效果,为浅浮雕的优化提供了新方法。     

Generation of cartoon-style bas-reliefs from photographs

This paper describes a new algorithm that generates a cartoon-style bas-relief surface from photographs of general scenes. Most previous methods for bas-relief generation have focused on accurate restoration of input 3D models on a background plane. The generation of bas-reliefs with artistic effects has rarely been studied. Considering that non-photorealistic rendering (NPR) techniques are currently very popular and 3D printing technology is developing rapidly, extending NPR techniques to the generation of a bas-relief surface with artistic effects is natural and valuable. Furthermore, cartoon is a basic non-realistic and artistic style familiar to general users. From this motivation, our method focuses on generating a cartoon-style bas-relief surface. We use the lens blur function of Google Camera, which is a smartphone application, to obtain a photograph and its depth map as inputs. Using coherent line drawing and histogram-based quantization methods, we construct a depth map that contains the salient features of given input scenes in abstract form. Displacement mapping from the depth map onto a thin plane generates a cartoon-style bas-relief. Experimental results show that our method generates bas-relief surfaces that contain the characteristics of cartoons, such as coherent border lines and quantized layers.

     

不同类型高度图控制浅浮雕模型生成方法

目的 数字浅浮雕是在平面载体上塑造高低起伏形象的一种造型艺术,具有独特的结构及视觉效果,应用场景极为广泛。为了增加数字浮雕设计的多样性,实现浮雕的风格化应用,提出一种基于高度图的浅浮雕模型生成方法。方法 引入掩模理论,利用掩模操作对待处理的图像进行处理,融合图像处理技术,控制所要生成浮雕不同部位的高度,得到控制浮雕生成效果的高度图,借鉴已有的浅浮雕模型生成方法,利用基于高斯混合模型的滚动引导法向滤波（Gaussian mixture model based rolling guidance normal filtering,GRNF）进行法向分解,基于SfG （surface from gradients）的局部调整和全局重建的方法进行曲面重建,采用拉普拉斯算子及双边滤波器进行去噪平滑处理,最终生成不同高度风格的浅浮雕模型。结果 实验结果表明,本文方法能够生成带有不同视觉效果的浅浮雕模型,通过对细节特征及结构特征相关参数的调整,均能够生成轮廓清晰、细节丰富的浅浮雕模型。结论 本文提出的基于高度图的浅浮雕模型生成方法能够为浅浮雕的多样化设计提供新的思路和方法,在家居装饰行业中有重要的应用价值。     

纹理边缘引导的深度图像超分辨率重建

目的 深度图像作为一种普遍的3维场景信息表达方式在立体视觉领域有着广泛的应用。Kinect深度相机能够实时获取场景的深度图像,但由于内部硬件的限制和外界因素的干扰,获取的深度图像存在分辨率低、边缘不准确的问题,无法满足实际应用的需要。为此提出了一种基于彩色图像边缘引导的Kinect深度图像超分辨率重建算法。方法 首先对深度图像进行初始化上采样,并提取初始化深度图像的边缘;进一步利用高分辨率彩色图像和深度图像的相似性,采用基于结构化学习的边缘检测方法提取深度图的正确边缘;最后找出初始化深度图的错误边缘和深度图正确边缘之间的不可靠区域,采用边缘对齐的策略对不可靠区域进行插值填充。结果 在NYU2数据集上进行实验,与8种最新的深度图像超分辨率重建算法作比较,用重建之后的深度图像和3维重建的点云效果进行验证。实验结果表明本文算法在提高深度图像的分辨率的同时,能有效修正上采样后深度图像的边缘,使深度边缘与纹理边缘对齐,也能抑制上采样算法带来的边缘模糊现象;3维点云效果显示,本文算法能准确区分场景中的前景和背景,应用于3维重建等应用能取得较其他算法更好的效果。结论 本文算法普遍适用于Kinect深度图像的超分辨率重建问题,该算法结合同场景彩色图像与深度图像的相似性,利用纹理边缘引导深度图像的超分辨率重建,可以得到较好的重建结果。     

讲基于曲率特征的三维模型浮雕压缩算法

基于三维拓扑和几何信息的数字化浮雕生成,是浮雕设计领域的一个全新发展方向。根据浮雕艺术形式的特点,实现了一种基于三维测量数据的浮雕曲面生成算法。该算法将浮雕的生成抽象为三维模型在某个投影方向上深度场的压缩过程,以模型曲面的几何信息作为压缩对象,生成的浮雕曲面在深度方向上的立体感可由用户自由控制。实验表明该方法在保持模型拓扑结构一致性的基础上,包含了丰富的几何细节特征。算法可以利用现有的各种实体造型,生成灵活多样的浮雕艺术品,具有广泛的应用前景。     

一种二维图像序列的深度图像生成方法

针对二维图像序列提出一种基于运动对象的深度图像生成方法。采用改进的均方差累加算法提取背景模型,并利用背景差分法提取运动对象图形,将人工绘制的背景模型的深度图像,结合每帧运动对象图形深度赋值,自动合成用于二维视频到三维视频转换的图像序列的深度图像。实验结果证明,相对于传统的仅仅依靠计算机视觉获取深度图像的方法,它获得的深度图像,不仅画面的深度信息真实、可靠,而且转换后的三维场景更立体化。     

实时交互的带浮雕纹理的三维模型构建方法

为了快速生成带浮雕纹理的三维模型,提出一种实时交互的浮雕纹理模型构建方法。方法分两步：第一步,将生成浮雕的源模型或图像转换为初始深度图,并进一步转换为梯度图,再通过梯度域的压缩、过滤,求解线性方程重建出整体连续的浮雕深度图;第二步,借助基于网格求交的浮雕纹理映射算法将浮雕深度图贴在目标模型表面,并通过移动、旋转、缩放等操作实时在目标模型三维空间上修改浮雕效果,最终重建目标模型网格,生成浮雕纹理模型。实验表明,所提方法可快速实现在一个目标模型上生成凹浮雕、凸浮雕、多浮雕等效果,所得模型无需经过其他处理,可直接应用于3D打印,打印效果较好。     

细节保持的曲面浅浮雕算法

为保持曲面浮雕的细节特征,改善浮雕与背景曲面的过渡效果,提出一种细节保持的曲面浮雕算法.首先采用Canny算子在梯度域定位内外轮廓,获得连续的梯度域;其次提出非线性函数,并用其压缩梯度幅值实现形状压缩;再通过双边滤波算子来保持和增强浮雕细节;最终通过求解积分方程重建曲面浮雕.该算法将背景曲面作为积分方程的优化条件,使浮雕在轮廓处向曲面光滑过渡;在重建过程中利用Fourier变换的微分性质在频域实现方程的精确求解,无需设置迭代收敛条件;通过调整参数可方便地控制浮雕整体变化范围、细节锐化程度以及浮雕与背景曲面的过渡效果.实验结果表明,文中算法参数的几何意义直观,所得曲面浮雕细节清晰,边界过渡自然.     

Video 2‐D—to—3‐D conversion based on hybrid depth cueing

Abstract— With the maturation of three‐dimensional (3‐D) technologies, display systems can provide higher visual quality to enrich the viewer experience. However, the depth information required for 3‐D displays is not available in conventional 2‐D recorded contents. Therefore, the conversion of existing 2‐D video to 3‐D video becomes an important issue for emerging 3‐D applications. This paper presents a system which automatically converts 2‐D videos to 3‐D format. The proposed system combines three major depth cues: the depth from motion, the scene depth from geometrical perspective, and the fine‐granularity depth from the relative position. The proposed system uses a block‐based method incorporating a joint bilateral filter to efficiently generate visually comfortable depth maps and to diminish the blocky artifacts. By means of the generated depth map, 2‐D videos can be readily converted into 3‐D format. Moreover, for conventional 2‐D displays, a 2‐D image/video depth perception enhancement application is also presented. With the depth‐aware adjustment of color saturation, contrast, and edge, the stereo effect of the 2‐D content can be enhanced. A user study on subjective quality shows that the proposed method has promising results on depth quality and visual comfort.