加权SIFT流深度迁移的单幅图像2D转3D

2D视频转3D视频是解决3D片源不足的主要手段,而单幅图像的深度估计是其中的关键步骤.提出基于加权SIFT流深度迁移和能量模型优化的单幅图像深度提取方法.首先利用图像的全局描述符从深度图数据库中检索出近邻图像;其次通过SIFT流建立输入图像和近邻图像之间像素级稠密对应关系;再次由SIFT流误差计算迁移权重,将近邻图像对应像素点的深度乘以权重后迁移到输入图像上;然后利用均值滤波对迁移后的近邻图像深度进行融合;最后建立深度图优化能量模型,在尽量接近迁移后近邻图像深度的前提下,平滑梯度较小区域的深度.实验结果表明,该方法降低了估计深度图的平均相对误差,增强了深度图的均匀性.     

基于分割的离焦图像深度图提取方法

针对影视作品中的大量离焦图像,提出了一种离焦图像的深度图提取方法。将离焦图像的聚焦前景和离焦背景进行分离。对离焦背景提出了深度图模型匹配的方法,构建深度图模型并结合人眼视觉对场景深度的敏锐判断,将背景与对应的深度图模型进行匹配,实现背景深度图的构建;提出了基于颜色分割的深度图再处理,来进一步提高场景深度图的精度。对前景采用单深度赋值,并结合背景深度图融合生成最终深度图。实验表明采用该方法提取的深度图在深度跳跃和深度平滑区域都得到了好的效果。     

深度图时域一致性增强

在自由视点电视(FTV)系统的发送端,数据由多摄 像机采集的纹理图和其相应的深度信息组成;在接收端,虚拟视点由视点纹理序列和估计的 深度信息经过3D变换绘制。因此,获取高质量的深度信息是FTV系统的一个重 要部分。由于当前非交互方式深度估计方法是逐帧进行的,所得到的深度图序列往往缺乏时 域一致性。理 想情况下相邻帧静止区域的深度值应该相同,但是对这些区域深度值的估计结果往往不同, 这将严重影 响编码效率和绘制质量。由于深度图表征的是纹理图中相应场景离摄像机的距离,所以可以 通过对纹理图 的有效分析,判断出错误的深度值。通过对深度值可靠性和当前区域运动属性的判断,提出 一种基于 自适应时域加权的深度图一致性增强等。实验表明,本文算法能有效抑制静止区域深度值 不连续的错误,产生 更加稳定的深度图序列,使虚拟视点的时域绘制质量得到增强,同时编码效率得到提高。     

深度图时域一致性增强

在自由视点电视(FTV)系统的发送端,数据由多摄像机采集的纹理图和其相应的深度信息组成;在接收端,虚拟视点由视点纹理序列和估计的深度信息经过3D变换绘制。因此,获取高质量的深度信息是FTV系统的一个重要部分。由于当前非交互方式深度估计方法是逐帧进行的,所得到的深度图序列往往缺乏时域一致性。理想情况下相邻帧静止区域的深度值应该相同,但是对这些区域深度值的估计结果往往不同,这将严重影响编码效率和绘制质量。由于深度图表征的是纹理图中相应场景离摄像机的距离,所以可以通过对纹理图的有效分析,判断出错误的深度值。通过对深度值可靠性和当前区域运动属性的判断,提出一种基于自适应时域加权的深度图一致性增强等。实验表明,本文算法能有效抑制静止区域深度值不连续的错误,产生更加稳定的深度图序列,使虚拟视点的时域绘制质量得到增强,同时编码效率得到提高。     

对象引导的单幅散焦图像深度提取方法

2D图像转3D图像是解决3D影视内容缺乏的主要手段之一,而深度提取是其中的关键步骤.考虑到影视作品中存在大量散焦图像,提出单幅散焦图像深度估计的方法:首先通过高斯卷积将散焦图像转换成两幅模糊程度不同的图像;其次计算这两幅图像在边缘处的梯度幅值比例,进而根据阶跃信号与镜头的卷积模型得到边缘处的模糊度;再次将边缘处的模糊度转换成图像的稀疏深度并利用拉普拉斯矩阵插值得到稠密深度图;最后通过图像的视觉显著度提取前景对象,建立对象引导的深度图优化能量模型,使前景的深度趋于一致并平滑梯度较小区域的深度.该方法利用对象引导的深度优化,剔除了拉普拉斯矩阵插值引入深度图的纹理信息.模拟图像的峰值信噪比和真实图像的视觉对比均表明该算法比现有方法有较大改善.     

面向编码和绘制的多视点图像深度估计

针对自由视点三维电视系统中深度估计不准确将给后续多视点深度编码和虚拟视点绘制带来困难的问题,提出一种面向编码和绘制的多视点图像深度估计算法。首先对初始深度进行一致性检查,并采用自适应匹配误差策略删除不可靠的匹配以减小初始深度的误匹配。然后根据融合准则将多幅参考深度图合成为一幅深度图以提高深度图的精度。最后,采用多边滤波...     

基于Kinect的实时深度提取与多视绘制算法

提出了一种基于Kinect的实时深度提取算法和单纹理+深度的多视绘制方法。在采集端,使用Kinect提取场景纹理和深度,并针对Kinect输出深度图的空洞提出一种快速修复算法。在显示端,针对单纹理+深度的基于深度图像的绘制(DIBR,depth image based rendering)绘制产生的大空洞,采用一种基于背景估计和前景分割的绘制方法。实验结果表明,本文方法可实时提取质量良好的深度图,并有效修复了DIBR绘制过程中产生的大空洞,得到质量较好的多路虚拟视点图像。以所提出的深度获取和绘制算法为核心,实现了一种基于深度的立体视频系统,最终的虚拟视点交织立体显示的立体效果良好,进一步验证了本文算法的有效性。本文系统可用于实景的多视点立体视频录制与播放。     

多视绘制中的空洞填充算法

绘制新视点的质量决定3D视频在显示终端的效果,为填充基于深度图像的绘制(DIBR)算法中产生的空洞,本文提出"双路纹理+双路深度"的多视绘制算法。首先,应用DIBR技术,通过左侧参考纹理图像和其对应的深度图像绘制虚拟视点图像,从经中值滤波后的虚拟图像绘制空洞掩膜图像;然后,将掩膜图像中的大空洞点坐标反变换到右侧参考纹理图像中对应的具体像素坐标,根据深度值判断得到的像素点是否属于背景区域,以此得到虚拟视点图像的空洞填充图像;最后,将空洞填充图像与左视经过DIBR得到的虚拟图像进行融合,填补大空洞,应用插值算法填充小的空洞。实验结果表明,本文方法可有效修复DIBR绘制过程中产生的空洞,得到质量较好的虚拟视点图像。     

基于各向异性热扩散方程的多聚焦图像融合算法

本文根据多聚焦图像的光学成像原理,利用各向异性热扩散方程来估计图像深度信息,并讨论一种基于深度信息提取的多聚焦图像的融合算法.算法首先对两幅多聚焦图像进行光学成像过程的模拟,分别建立正向区域的热扩散方程,通过对热扩散方程的迭代求解估计出图像场景的深度信息.然后对深度信息进行自适应的区域划分,分别得到每幅图像的清晰区域,模糊区域和中间过渡区域.最后通过提取清晰区域的像素点,融合过渡区域的像素点实现多聚焦图像的融合.理论推导和实验验证表明,本方法能够克服常用算法中出现的块效应和人工痕迹,是一种有效的图像融合算法.     

基于改进的测地线距离变换的深度图像恢复

深度图像在三维(3D)立体视觉中被广泛应用。文中提出了一种新的基于改进的测地线距离变换的深度图像恢复方法。首先利用高质量的彩色图和低质量的深度图,根据测地线距离的定义计算改进的测地线距离变换;然后利用变换结果用滤波的方法得到恢复后的深度图。通过对算法进行加速处理,能够实时得到恢复结果。实验结果表明,文中提出的深度恢复方法能够有效地从低质量的深度图恢复出高质量的深度图,效果显著。     

Single-image depth estimation using relative depths

Depth estimation from a single RGB image is a challenging task. It is ill-posed since a single 2D image may correspond to various 3D scenes at different scales. On the other hand, estimating the relative depth relationship between two objects in a scene is easier and may yield more reliable results. Thus, in this paper, we propose a novel algorithm for monocular depth estimation using relative depths. First, using a convolutional neural network, we estimate two types of depths at multiple spatial resolutions: ordinary depth maps and relative depth tensors. Second, we restore a relative depth map from each relative depth tensor. A relative depth map is equivalent to an ordinary depth map with global scale information removed. For the restoration, sparse pairwise comparison matrices are constructed from available relative depths, and missing entries are filled in using the alternative least square (ALS) algorithm. Third, we decompose the ordinary and relative depth maps into components and recombine them to yield a final depth map. To reduce the computational complexity, relative depths at fine spatial resolutions are directly used to refine the final depth map. Extensive experimental results on the NYUv2 dataset demonstrate that the proposed algorithm provides state-of-the-art performance.     

基于影灭点的单视图三维重构

提出了一种单视图三维重构有大量平面构成,存在大量的方法,该方法需要用户提供图像点及其对应三维点之间的几何信息。由于结构场景平行性和正交性约束,所以该方法主要应用于结构场景的三维重构。重构过程分为两部分：首先,基于三组互相垂直方向的影灭点,对方形象素摄像机进行定标;然后,基于用户提供的共面性和场景平面的影灭线,计算点的三维坐标。采用真实图像测试,说明该方法有效且简单易用。     

基于空间金字塔匹配的单目热成像深度估计

热成像能够反映场景的温度分布,对热成像进行深度估计,可以恢复出场景的三维温度场,在故障诊断、夜视导航等领域具有重要意义。本文提出一种面向单目热成像深度估计的非参深度采样方法。为了克服热像纹理缺乏、轮廓模糊的缺点,使用了空间金字塔匹配(Spatial Pyramid Matching,SPM)来进行热像的特征分析。首先,基于SPM特征匹配,从数据库中筛选出与待估计深度的热像具有相似场景的候选热像;然后,采用SIFT Flow变形算法对候选热像的深度图进行采样,并将深度信息传递给待估计的热像。实验结果表明,这种方法能够对单目热像进行有效的深度估计,与同类算法相比具有明显优势。     

采用几何复杂度的室外场景图像分割和深度生成

本文提出一种采用几何复杂度的室外场景图像几何分割和深度生成算法。该算法首先通过图像中主要线段的角度统计分布将室外场景图像的几何结构规划为四种类型;然后,利用meanshift分割算法将输入图像分割成若干小区域,依据该图像的场景几何结构将这些小的区域逐步融合成为三个大的区域,每个区域具有一致的深度分布特点,由此实现输入图像的几何分割;最后,根据几何类型定义标准的深度图,结合输入图像的几何分割结果获得图像的深度图。实验结果表明可以通过简单的线段角度统计分布实现图像的几何分割,并进一步获得图像的深度图,与已有算法相比,提出的算法可以更好地保持深度图细节,更接近场景的真实的深度信息。      

基于视图感知的单视图三维重建算法

尽管由于丢弃维度将3维(3D)形状投影到2维(2D)视图看似是不可逆的,但是从可视化到计算机辅助几何设计,各个垂直行业对3维重建技术的兴趣正迅速增长。传统基于物体深度图或者RGB图的3维重建算法虽然可以在一些方面达到令人满意的效果,但是它们仍然面临若干问题:(1)粗鲁的学习2D视图与3D形状之间的映射;(2)无法解决物体不同视角下外观差异所带来的的影响;(3)要求物体多个观察视角下的图像。该文提出一个端到端的视图感知3维(VA3D)重建网络解决了上述问题。具体而言,VA3D包含多邻近视图合成子网络和3D重建子网络。多邻近视图合成子网络基于物体源视图生成多个邻近视角图像,且引入自适应融合模块解决了视角转换过程中出现的模糊或扭曲等问题。3D重建子网络使用循环神经网络从合成的多视图序列中恢复物体3D形状。通过在ShapeNet数据集上大量定性和定量的实验表明,VA3D有效提升了基于单视图的3维重建结果。     

Global-motion estimation in image sequences of 3-D scenes for coding applications

A technique for global-motion estimation and compensation in image sequences of 3-D scenes is described in this paper. Each frame is segmented into regions whose motion can be described by a single set of parameters and a set of motion parameters is estimated for each segment. This is done using an iterative block-based image segmentation combined with the estimation of the parameters describing the global motion of each segment. The segmentation is done using a Gibbs-Markov model-based iterative technique for finding a local optimum solution to a maximum a posteriori probability (MAP) segmentation problem. The initial condition for this process is obtained by applying a Hough transform to the motion vectors of each block in the frame obtained by block matching. In each iteration, given a segmentation, the motion parameters are estimated using the least-squares (LS) technique. To obtain the final segmentation and the more appropriate higher-order motion model for each segment, a final stage of splitting/merging of segments is needed. This step is performed on the basis of maximum-likelihood decisions combined with the determination of the higher-order model parameters by LS. The incorporation of the proposed global-motion estimation technique in an image-sequence coder was found to bring about a substantial reduction in bit-rate without degrading the perceived quality or the PSNR.     

一种基于形态学的红外目标分割方法

研究自然背景下红外图像中目标分割的问题，提出了一种基于形态学的红外目标分割方法．该方法先利用形态学滤波，对红外目标图像中的噪声和微小的干扰区域进行滤除，接着根据提出的计算图像形态梯度的多尺度算法提取图像梯度，而后用改进的分水岭算法对图像进行分割，最后针对过分割问题提出了一种新的区域融合方法．实验结果表明，该算法能较好地解决红外图像中的目标分割问题．     

Reconstructing the 3-D medial axes of coronary arteries in single-view cineangiograms

Describes a technique for reconstructing the skeletal structure of coronary arteries from a succession of frames of a single-view cineangiogram. The authors use local features in each frame to determine correspondences of arterial segments in successive frames. They define a similarity measure in 2D image space as the change in angular coordinates of corresponding pairs. They use a form of gradient descent to find those depth coordinates that minimize the average deviation of the 3D angular coordinates of all points on the skeleton from the coordinates produced by a 3D scaling transformation. In experiments with software models the reconstruction error was approximately two pixels when the initial guessed reconstruction was as large as 30 pixels.     

基于分水岭变换和区域融合的建筑物彩色图像分割

提出了一种彩色建筑物图像分割方法,该算法采用区域面积控制预处理技术和分水岭算法生成初始分割,结合区域对称性等多种属性作为区域相似性的度量,由区域融合得到最终分割结果.同时又提出了一种基于融合代价函数值直方图分布的终止阈值自动设定法.实验证明,本文提出的算法可生成有意义的建筑物各区域,并能有效地降低噪声对分割的影响,对三维重建等研究领域的建筑物图像分割有着十分重要的意义.     

Relative multiscale deep depth from focus

The problem of reconstructing a depth map from a sequence of differently focused images (focal stack) is called Depth from focus. The core idea of this method is to analyze the sharpness of each pixel and compare it along the $z$ axis of the focal stack to estimate the true depth value. This approach has two main drawbacks: it depends on the optics of the camera and on the focus measure operator. Recent advances in deep learning techniques show promising results in this way, however, still have problems generalizing to different scenes, cameras, optics and focal stack focus positions. In this paper we propose a novel deep learning based method to approach this problem. Firstly, we propose to estimate distances relative to the focal stack focus position instead of estimating true or invariant depths, allowing us to generalize different scenes and optical setups without losing the possibility to extract real distances. Secondly, we present our novel architecture: a 2D siamese encoder–3D decoder with a differentiable argmax regression that is able to compute depth from stacks of variable sizes. Finally, we compare our method with 2 other depth from focus algorithms and with a monocular depth estimation method.