基于图像融合的深度图像修复算法

针对目前大多数深度相机采集到的深度图像中含有大量噪点以及大面积的空洞问题,提出一种基于图像融合的深度图像修复算法。采用改进分水岭算法提取彩色图像中的边缘信息,基于KD树近邻算法依据深度图像的梯度信息提取分类信息,将彩色图像的边缘信息与深度图像像素点的分类信息相结合,得到精确地图像分类结果,再对融合后的每一类进行最小二乘法算法拟合空洞,修复深度图像中出现的大面积空洞问题。实验结果表明,该方法在对物体边缘处小面积空洞进行较为准确地修复的同时,能够对深度图像中存在的大面积空洞问题进行有效修复。     

基于RGB-D的深度图像修复算法研究

针对Kinect设备获取的原始深度数据不稳定的缺点,尤其是存在较大噪声及空洞的问题,文中提出结合彩色图引导填充空洞并滤波的深度修复算法。利用灰度图分离出空洞区域,并进行区域标记;分析判断空洞点的位置,结合彩色图对空洞进行填充;针对图像边缘部分的噪声,采用改进的中值滤波算法,滤除噪声。与目前主要的深度滤波修复的方法相比,所提算法充分利用了深度数据与彩色图,并在处理过程中使用大量的基本图像处理算法。实验结果表明,所提算法很好地解决了空洞与噪声的问题,能够较好地修复深度数据。     

基于超像素分割的深度图像修复算法

为了提高Kinect相机获取的深度图质量,提出了一种基于超像素分割的图像修复算法。 首先对深度图和彩色图分别 进行双边滤波和超像素分割;其次,结合深度图像和彩色图像相似性,记录彩色分割块的位 置,并对应于 深度图中;最后,在每个分割块对应深度区域中,根据丢失像素点在分割块中所占比例,划 分为无空洞区 域、小空洞区域、大空洞区域和全空洞区域4类。采用快速行进算法对小空洞区域进行 修复,利用中 值填补算法进行大空洞区域修复,对全空洞区域利用邻域区间对应彩色图像相似性进行填充 。4种类型中 的无空洞区域无需修复。实验结果表明,本文方法与FMM、Shen和Scheming的方法相比, 平均均方根误差(RMSE) 分别降低了2.958、0.822和0.078,修复 的主观质量也有所提高。     

基于图像分割的深度视频校正算法

在基于深度图的虚拟视点绘制过程中,由于通过深 度估计软件获取的深度视频存在大量的失真,从而导致绘制的虚拟视点中存在纹理失真和缺 失现象。本文围绕深度视频失真类型,提出一种基于分割的深度 视频校正算法。利用彩色深度一致性信息分区域校正深度失真,以解决由于深度块失真造成 的虚拟视点纹理 缺失问题。首先,提取彩色视频运动和边缘区域,得到彩色视频边缘和运动区域掩模图;其 次,在边缘和运 动信息的辅助下,对彩色图像进行Mean Shift聚类,并将不同类别区域赋以不同的标签;最 后,分别统计不 同类别连通区域对应的深度直方图,利用其峰值校正深度视频中深度彩色非一致区域。实验 结果表明,本文提 出的基于分割块的深度视频校正算法优于部分基于像素的滤波算法,可以有效地校正深度视 频块失真,解决 虚拟视点边缘失真和纹理缺失问题,同时虚拟视点质量平均提高了0.20dB。     

多视绘制中的空洞填充算法

绘制新视点的质量决定3D视频在显示终端的效果,为填充基于深度图像的绘制(DIBR)算法中产生的空洞,本文提出"双路纹理+双路深度"的多视绘制算法。首先,应用DIBR技术,通过左侧参考纹理图像和其对应的深度图像绘制虚拟视点图像,从经中值滤波后的虚拟图像绘制空洞掩膜图像;然后,将掩膜图像中的大空洞点坐标反变换到右侧参考纹理图像中对应的具体像素坐标,根据深度值判断得到的像素点是否属于背景区域,以此得到虚拟视点图像的空洞填充图像;最后,将空洞填充图像与左视经过DIBR得到的虚拟图像进行融合,填补大空洞,应用插值算法填充小的空洞。实验结果表明,本文方法可有效修复DIBR绘制过程中产生的空洞,得到质量较好的虚拟视点图像。     

基于图像边缘特征的深度上采样算法

针对低分辨率深度图像上采样容易导致边缘模糊问 题,提出了一种基 于图像边缘特征的深度上采样算法。一方面,利用相同低分辨率深度和彩色图像的相关性系 数,自适应调 节深度图像边缘上采样过程中深度和彩色的权重;另一方面,结合上采样值和低分辨率深度 图像中邻近像 素值,对低分辨率深度图像的不连续区域进行求精操作以进一步减少边缘模糊现象。实验结 果表明,本文算法 的性能优于近年文献中提出的算法。本算法上采样深度图像的平均坏点率(B PR)为2.07%,均方根误差(RMSE )为3.46,峰值信噪比(PSNR)为38.58dB,绘制 虚拟视点的平均PSNR为39.58dB。     

基于Kinect的实时深度提取与多视绘制算法

提出了一种基于Kinect的实时深度提取算法和单纹理+深度的多视绘制方法。在采集端,使用Kinect提取场景纹理和深度,并针对Kinect输出深度图的空洞提出一种快速修复算法。在显示端,针对单纹理+深度的基于深度图像的绘制(DIBR,depth image based rendering)绘制产生的大空洞,采用一种基于背景估计和前景分割的绘制方法。实验结果表明,本文方法可实时提取质量良好的深度图,并有效修复了DIBR绘制过程中产生的大空洞,得到质量较好的多路虚拟视点图像。以所提出的深度获取和绘制算法为核心,实现了一种基于深度的立体视频系统,最终的虚拟视点交织立体显示的立体效果良好,进一步验证了本文算法的有效性。本文系统可用于实景的多视点立体视频录制与播放。     

基于多通道颜色判别的深度图像空洞渐进式填充算法

深度图像在自动驾驶、三维测量等领域发挥着越来越重要的作用,针对深度图像中空洞信息难以准确修复,填充速率较慢等问题,本文提出一种基于多通道颜色判别的深度图像空洞渐进式填充算法.首先根据深度图像和彩色图像设置筛选条件,对空洞点邻域内像素进行准确筛选,然后计算邻域内像素在空间域和值域下的双边权值并得到带有权重的二维填充模板,进行填充时将二维模板化简为两个互相垂直的一维模板以提高填充速度并采用渐进式填充方法对空洞进行填充.在公开数据集上对实验结果在主观视觉上进行定性对比分析,客观上通过均方根误差和峰值信噪比两个评价指标对本文算法处理效果进行准确分析.实验结果表明,本文方法能较好地保留物体的边界信息,有效防止填充后物体边缘模糊的现象,填充结果准确,填充速率得到优化.     

采用图像修复的基于深度图像复制

在传统的基于深度图像复制(DIBR)的基础上提出一种基于图像修复的DIBR方法,将预处理深度图像和图像修复算法相结合来填补三维图像映射后的空洞。与传统方法相比更加灵活,本文方法仅需传输一路参考图像序列,从而有效降低DIBR系统的传输带宽。实验结果证明,本文所提出方法是有效的。     

一种深度图像修复算法研究

针对Kinect传感器获取的深度图像包含大量噪声和缺失深度信息的孔洞等缺点,提出一种基于区域分割和联合双边滤波的深度图像修复算法。深度图像中不同区域具有不同的噪声特性,现有的深度图像修复算法采用单一的滤波参数对整幅深度图像进行处理具有盲目性和无法有效保持滤波后深度图像的结构信息的缺点。文中在深度图像分割的基础上,根据分割区域内的噪声属性自适应地确定该区域滤波参数,实现深度图像的去噪和孔洞修复。文中算法与联合双边滤波算法对Kinect深度图像修复的对比实验表明,文中算法能有效去除深度图像的噪声和修补缺失深度信息的孔洞,且修复后的深度图像峰值信噪比高于联合双边滤波算法处理后的深度图像峰值信噪比,并能较好的保护深度图像的区域结构。     

面向虚拟视点图像绘制的深度图编码算法

针对不同区域对绘制虚拟视点图像质量产生不同的影响,以及深度估计不准确导致时域抖动效应影响压缩效率的问题,提出了一种面向虚拟视点图像绘制的深度图压缩算法。通过彩色图像帧差、深度图边缘提取等相关处理过程,提取深度图的静态区域、边缘区域以及动态区域。对深度图边缘区域使用了较低的量化系数,以提高深度图边缘区域编码质量;根据深度图各个区域的编码模式特点,仅对部分编码模式而不是所有模式进行率失真优化搜索,以提高深度图的编码速度;对于深度图P帧的静态区域,合理地采用了SKIP模式,以消除由于深度估计算法的局限性导致时域抖动效应对深度图压缩的影响。实验结果表明,与传统的H.264编码方案相比,本文方案在传输码流大小基本不变的前提下提高了最终虚拟视点图像边缘区域的绘制质量,其余区域主观质量相近,而深度图编码时间则节省了约77～87%。     

INPAINTING ALGORITHM FOR KINECT DEPTH MAP BASED ON FOREGROUND SEGMENTATION简

The depth information of the scene camera, and depth extraction is a key technology indicates the distance between the object and the in 3D video system. The emergence of Kinect makes the high resolution depth map capturing possible. However, the depth map captured by Kinect can not be directly used due to the existing holes and noises, which needs to be repaired. We propose a texture combined inpainting algorithm in this paper. Firstly, the foreground is segmented combined with the color characteristics of the texture image to repair the foreground of the depth map. Secondly, region growing is used to determine the match region of the hole in the depth map, and to accurately position the match region according to the texture information. Then the match region is weighted to fill the hole. Finally, a Gaussian filter is used to remove the noise in the depth map. Experimental results show that the proposed method can effectively repair the holes existing in the original depth map and get an accurate and smooth depth map, which can be used to render a virtual image with good quality.     

基于边缘增强的深度图超分辨率重建

准确的深度图像获取是计算机视觉中的一个难题 。传统的立体匹配得到深度的方法不仅计算量大,而且在纹理稀疏与重复区域往往存在较大 的误差。主动式深度传感器虽然解决了这些问题, 但其获取的深度图存在着分辨率低和易受噪声干扰的问题。因此,本文提出一种结合彩色图 像信息 的深度图超分辨率(SR)重建方法来提高深度图的质量与分辨率。首先运用自回归(AR)模型 下的非局部均值(NLM)算 法获取初始的上采样深度图;然后利用边缘提取与边缘修复算法优化深度图。实验结果表 明,本文提出的方法能够生成误差更小、主观质量更好的高分辨率深度图。     

恰可察觉深度差异模型的深度图优化方法

针对人眼视觉对空间深度变化的灵敏度特性,研究人眼对深度细节感知的最小可察觉差值。通过大量的主观实验得到恰可察觉深度差异(JNDD,just noticeable depth difference)模型,并提出基于此JNDD的三边滤波深度图优化算法,用来抑制不被感知的深度细节,减少由于深度估计过程中引入的噪声而导致的深度绘制失真。主观和客观实验结果证明本文所提出的基于JNDD模型的三边滤波深度图优化算法,在降低深度编码码率的情况下,可使合成虚拟视点图像中物体的边缘更加平滑,减少了边缘噪声。     

边缘区域约束的导向滤波深度像超分辨率重建算法

为了解决TOF(Time of Flight)相机获取的深度像分辨率较低的问题，基于导向滤波器提出了一种边缘区域约束的超分辨率重建算法。首先对低分辨深度像进行初始上采样，利用多尺度边缘检测提取深度像的边缘区域；然后根据同场景中灰度图像与深度像的边缘相似性，提取公共边缘区域；最后，根据灰度图像的边缘像素在公共边缘区域中的位置约束导向滤波器的系数生成，重新对导向滤波器的系数进行加权，从而构建出高分辨率的深度图。通过标准数据库Middlebury数据集进行验证，与3种近年来基于滤波的超分辨重建算法相比较，文中方法既能有效地保护重建深度像的边缘结构，同时具有较高的计算效率。研究结果可以为低分辨激光成像雷达的目标识别、场景重建等对实时性要求较高的工程应用提供理论依据。     

Single-image depth estimation using relative depths

Depth estimation from a single RGB image is a challenging task. It is ill-posed since a single 2D image may correspond to various 3D scenes at different scales. On the other hand, estimating the relative depth relationship between two objects in a scene is easier and may yield more reliable results. Thus, in this paper, we propose a novel algorithm for monocular depth estimation using relative depths. First, using a convolutional neural network, we estimate two types of depths at multiple spatial resolutions: ordinary depth maps and relative depth tensors. Second, we restore a relative depth map from each relative depth tensor. A relative depth map is equivalent to an ordinary depth map with global scale information removed. For the restoration, sparse pairwise comparison matrices are constructed from available relative depths, and missing entries are filled in using the alternative least square (ALS) algorithm. Third, we decompose the ordinary and relative depth maps into components and recombine them to yield a final depth map. To reduce the computational complexity, relative depths at fine spatial resolutions are directly used to refine the final depth map. Extensive experimental results on the NYUv2 dataset demonstrate that the proposed algorithm provides state-of-the-art performance.     

3D-HEVC深度图帧内预测快速编码算法

三维高效视频编码在产生了高效的编码效率的同时也是以大量的计算复杂性作为代价的。因此为了降低计算的复杂度,本文提出了一种基于深度学习网络的边缘检测的3D-HEVC深度图帧内预测快速算法。算法中首先使用整体嵌套边缘检测网络对深度图进行边缘检测,而后使用最大类间方差法将得到的概率边缘图进行二值化处理,得到显著性的边缘区域。最后针对处于不同区域的不同尺寸的预测单元,设计了不同的优化方法,通过跳过深度建模模式和其他某些不必要的模式来降低深度图帧内预测的模式选择的复杂度,最终达到减少深度图的编码复杂度的目的。经过实验仿真的验证,本文提出的算法与原始的编码器算法相比,平均总编码时间可减少35%左右,且深度图编码时间平均大约可减少42%,而合成视点的平均比特率仅增加了0.11%。即本文算法在可忽略的质量损失下,达到降低编码时间的目的。     

基于像素滤波和中值滤波的深度图像修复方法

针对Kinect相机采集的深度数据一般有噪声和黑 洞现象,直接应用于场景三维重建系统中效果差的问 题,提出了像素滤波器和中值滤波器相结合的Kinect 深度图像修复方法。首先对一帧图片 上的像素进行搜索, 找到像素值为0的点,以该点为中心,利用其邻域内的像素,定义一个两层的滤波器,根据 像素滤波器的原理 对其进行修复,填充深度图片的黑洞;然后采用中值滤波器,在平滑深度图像的同时保留边 缘信息,去除孤立 噪声点。实验结果表明,本文方法去噪的同时也能对黑洞进行修补,与原始深度图像相比, 空洞明显减少,深度图像质量大大提高。