一种深度图的时域下采样编码及重建方法

为提高三维视频系统的编码效率,提出了一种针对中间视点的深度时域下采样编码方法.首先确定深度图像的丢弃方式;然后利用基于时间一致性和视点间的相关性,恢复出丢弃的深度图像,并对恢复出的结果进行维纳滤波,进一步提高恢复的深度图的质量.该方法需要向编码端发送维纳滤波器系数和重建深度选择标识符.实验结果表明,在保证同等码率的前提下,解码端重建的虚拟视图的峰值信噪比最大能提升0.229dB,平均提升0.130dB,编码性能得到改善.     

一种三维视频深度图像快速帧内编码方法

针对三维视频编码复杂度较高的问题,提出一种快速深度图像帧内编码方法．该方法基于视频图像与深度图像的相关性,利用视频图像的最优帧内预测模式信息优化深度图像帧内编码预测模式的选择范围,减少率失真代价函数的计算量,从而降低深度图像帧内编码复杂度．实验结果表明,这种方法较深度图像独立编码方法能有效地缩短深度图编码时间,在保证合成虚拟视图质量的条件下,深度图像帧内编码时间平均减少37.16%．     

利用深度信息增强的自由视点DIBR技术研究

针对现有DIBR虚拟视点图像渲染算法存在的问题,提出一种基于深度信息进行后处理的DIBR虚拟视点渲染算法.该算法利用摄像机参数和深度信息,将参考视点图像的纹理和深度图变形到虚拟视点,利用基于深度信息的后处理消除变形图像中的裂缝和伪影,结合深度信息采用inpaint技术填补剩余的纹理空洞.实验结果显示,该方法不论从主观质量或是客观质量上均优于现有的虚拟视点生成方法,且计算量也不高.在数值试验中,还对多视点渲染算法的图像合成质量进行比较,对视频压缩的影响进行了分析.     

利用边缘像素深度特性的深度估计方法

为了提高物体边缘处像素的深度估计准确性,改善任意视点电视系统中合成虚拟视图质量,提出一种新颖的深度估计方法.该方法首先充分利用物体边缘像素的深度特性,将视图中的像素划分为3类,然后为每类像素提出相应的匹配代价函数的平滑项.与现有的基于边缘辅助信息的半自动深度估计方法相比,本方法有效提高了物体边缘处像素的深度估计准确性,在任意视点电视(FTV)系统接收端合成的虚拟视图客观质量PSNR平均提高0.32dB.     

一种基于DIBR的虚拟视点合成算法

虚拟视点合成是虚拟现实、多视点视频等领域中的关键技术,本文实现了一种基于深度图绘制(D IBR)的虚拟视点合成算法,并对合成图像中的遮挡与空洞问题进行了深入分析与研究,利用空间线投影方法解决了由于遮挡造成的误投影问题,同时使用视点间双向插值算法实现了空洞填补。实验结果证明,本文算法能够合成令人满意的虚拟视点图像。     

基于反馈的立体匹配算法

针对因传统的置信度传播（BP：Belief Propagation）算法生成的深度图并非十分精确而导致深度图的绘制及立体重现存在的失真问题,提出一种基于反馈的立体匹配算法,使生成的深度图进一步优化。该算法首先通过BP算法生成深度图,然后由左视点图像与深度数据绘制右视点图像,将绘制出的右视点图像与真实右视点图像进行比较,再将比较结果反馈给BP算法的匹配代价,最后由新的匹配代价重新生成深度图。实验结果表明,该算法与无反馈的算法比较,绘制右视图的PSNR（Peak Signal to Noise Ration）值平均增高0.2 dB。     

融合动态区域检测的自监督视觉里程计方法

为解决室外场景中动态区域对视觉里程计计算过程的干扰,获得准确的相机位姿和场景深度,提出一种自监督深度学习框架下融合动态区域检测的视觉里程计算法.给定相邻2帧图像,首先,采用深度估计网络计算2幅图像对应深度图,采用位姿估计网络获得二者初始相对位姿.然后,借助视点变换,计算两视角深度图像之间的差异,确定动态区域.在此基础上,对输入图像中动静态区域进行分离.之后,匹配两视角图像静态区域特征,计算最终相机位姿.从光度、平滑度以及几何一致性三方面构造损失函数,并在损失函数中融入动态区域信息,对所构造网络模型进行端到端自监督训练.在KITTI数据集上验证了所提算法,并将其与最近2年提出的相关算法进行比较.实验结果表明,该算法能够更好地应对动态场景,实现更高精度的相机姿态估计和细小物体深度估计.     

基于边缘检测的深度图与单视图配准算法

为解决由单视点图像和相关深度数据所创建的立体图像部分存在的重影问题,提出基于边缘检测的深度图与单视图配准算法。对单视图和深度图进行边缘检测得到各自的边界后,以单视图的边界为基准,配准深度图的边界及其邻域的深度数据。实验结果表明,该算法与已有的算法相比,匹配质量明显提高,使在立体图像中的重影现象得到了缓解。     

多视点视频编码中的运动和视差估计快速算法

针对多视点视频编码复杂度高的问题,提出一种基于分层B帧视点-时间预测结构的运动和视差联合估计快速算法.利用参考帧图像和当前编码图像的运动矢量及视差矢量之间的几何关系,设计可靠的预测矢量作为搜索起始点,并分别在不同方向的参考帧内进行小范围的运动补偿以得到最佳运动和视差矢量.该方法由前一次运动/视差估计得到候选矢量来进行下一次视差/运动估计,只需1次搜索过程就能同时确定最佳运动和视差矢量.实验结果表明,该算法与JMVM全搜索算法相比,能在保持编码质量的同时,节省87.69%的编码时间.     

利用视频与深度图相关性的深度图帧内编码

因现有帧内编码算法编码深度图中含有边缘的宏块编码效率较低,故提出了一种利用视频与深度图之间相关性的边缘跳过帧内编码方法.该方法利用聚类方法从当前深度编码宏块及其参考像素部分对应的视频区域获得边缘信息,以此作为当前深度编码宏块及其参考像素的分割边缘信息,然后利用所得分割边缘信息将参考像素映射到当前编码宏块作为预测值.为了滤除聚类方法获得的分类信息中存在的噪点或者毛刺对预测的干扰,提出了双向扫描滤波的方法.利用所提边缘跳过帧内预测方法,可以跳过对边缘宏块中复杂边缘的编码,甚至边缘宏块完全被跳过不编码.实验结果表明,与原始编码算法相比,所提方法平均可减少24.25%的码率,峰值信噪比平均提升了0.70dB,主观编码质量也得到明显增强.     

用于单视加深度视频编码的快速立体匹配算法

针对立体视频数据量大、立体匹配算法效率较低,远远满足不了实时传输需求的现状,提出了一种应用于单视加深度立体视频编码的快速立体匹配算法。该算法利用单视编码过程中产生的运动信息作为深度图生成的辅助信息,将立体匹配过程中的视差估计值重组,并将重组后的信息作为P帧的视差估计初值进行后续的迭代运算。算法通过利用单视编码过程中已有的运动信息,降低了P帧立体匹配的运算复杂度。实验结果表明,该算法能使视差图的生成速度提高一倍左右。     

一种基于边缘检测的时空视频对象分割算法

提出了一种基于边缘检测的时空视频对象分割算法。首先提出一种基于高阶统计量的帧间差分图像处理方法,然后运用边缘检测得到空域分割结果和用累计差分与对称差分得到时域分割结果,综合时空域分割结果得到运动目标的边缘,最后对边缘图进行区域填充与数学形态学处理,得到运动目标掩模图像。实验结果表明本文算法能够得到较准确的分割结果。     

基于方向空间的边缘检测

提出了一种基于方向空间的边缘检测方法．首先建立方向差分级空间,沿方向差分级函数方向,通过逻辑判断的方法分别提取方向Ridge边缘像素和方向Valley边缘象素,构成方向Roof边缘映射图;然后再沿方向差分级函数方向,在所有相邻的方向Ridge边缘和方向Valley边缘之间提取方向Step边缘,构成方向Step边缘映射图;最后将几个不同方向获取的方向：Ridge边缘映射图、方向Valley边缘映射图和方向Step边缘映射图,分别通过逻辑“或”的方法合成为相应的Ridge边缘映射图、Valley边缘映射图和Step边缘映射图．将该算法与经典算法、Marr—Hildreth算法和Canny算法进行的比较实验结果表明,提出的算法除了不需要复杂运算之外,在边缘定位准确度方面具有优势。     

反射阴影图的采样改进及异构CPU-GPU效率分析

为改进虚拟场景的近似全局光照计算的实时性,提出一种反射阴影图的采样自适应细化算法。通过阴影图深度方差分析,设计一种阴影图采样点的层次划分方法。分析采样点在世界空间坐标系下的距离关系并估算采样区域内有效虚拟点光源的分布,对阴影图进行层次划分。利用不同的采样分辨率计算间接光照。实验表明,自适应细化采样与反射阴影图的采样算法相比,在最好情况下,可以减少20%的采样数量,并保持画面质量。算法为CPU和GPU之间的任务划分建立两个间接光照及采样数据库,分别计算和存储场景点的深度、表面法向量、flux通量、方差及片段着色器中采样的分级结构,记录任务的划分比例,通过异构CPU-GPU平台对不同任务划分及虚拟点光源的间接光照计算对比,实现有效的负载平衡和运算峰值。     

基于深度图像和半像素的虚拟视点绘制

为提高虚拟视点图像的绘制精度,提出了一种基于深度图像和半像素的虚拟视点绘制方法。该方法首先对参考图像进行预处理,包括图像的半像素处理和亮度校正,然后利用正向3D图像映射获得虚拟视点的图像和深度信息,再利用逆向3D图像映射填补由深度信息不准确等因素产生的部分空洞,并根据深度信息擦除背景伪影,最后根据空洞类型的不同采用不同的方法进行空洞填补。实验结果证明,利用该方法可以绘制出令人满意的虚拟视点图像。     

虚边删除技术探索

论述了在进行二维视图的几何信息提取时,虚边形成的条件,虚边的判断原则,提出了在结果边表中删除虚边的算法。     

基于边缘检测的Kinect深度图像去噪算法

Kinect实时提取的深度图像映射得到的彩色图像以及目标背景分离图像边缘存在明显锯齿,且图像噪声大,质量较差。对此提出一种针对Kinect深度图像去噪算法。运用基于Prewitt算子的分块自适应阈值边缘检测算法可得到比较精细的图像边缘;进而根据获取边缘信息对深度图像进行分类,边缘区采用单向多级中值滤波算法进行降噪处理,而非边缘区采用双向多级中值滤波算法进行降噪处理。最终利用Kinect得到边缘清晰,噪声较小的高质量深度图像,实验证明了算法的有效性。     

应用于H.26X的通用无损帧内编码优化算法

在H.26X系列视频编码标准的无损压缩方案中,通过帧内预测得到的预测残差仍具有较强的空间相关性,直接参与熵编码将导致编码效率下降。与自然图像不同,帧内预测残差的空间相关性体现为含有丰富的边缘特征。为利用帧内预测残差特殊的空间相关性,进一步降低其空域冗余,提高视频帧内编码的效率,提出一种通用的基于残差中值边缘检测的无损帧内编码算法。算法首先对帧内预测残差逐点进行边缘检测,通过分析临近点的数值特征,使用中值边缘检测算法得到当前点的预测值;然后,对比预测值与原始残差值,得到新的预测残差;最后,为确保编码新的预测残差能够提高压缩率,依照当前编码单元的能量是否降低来快速判断是否使用新的残差进行熵编码。实验结果表明:经过该算法处理的编码单元具有更低的空域冗余和残差能量,从而可降低熵编码后的码率。经统计,在H.265与最新的H.266标准中应用提出的优化算法,帧内预测残差的能量平均降低67.9%,平均码率分别降低7.04%和5.98%,同时编解码时间变化细微,具有显著的实用价值。