基于联合双边滤波的纹理合成上采样算法

提出了一个新的纹理合成的上行采样算法,即利用现有的高分辨率的样本纹理作为先验引导条件,对合成的低分辨率的纹理进行插值,获取更好的高分辨率纹理合成结果.该算法的主要思想是基于联合双边滤波器进行纹理合成上采样,对低分辨率合成纹理应用空间滤波,而将一相似的边界滤波联合地应用在高分辨率的样本纹理上.该算法克服了传统的以光滑性为先验引导条件的上采样方法会导致图像特征模糊的缺点,使获得的上采样纹理图像保持纹理特征,同时视觉上光滑.文中给出了图像和视频纹理合成结果的上行采样算法.实验结果表明,文中的方法减小了优化纹理合成过程所需的时间和空间,获取了更好的图像和视频合成纹理上采样效果.     

基于虚拟视图和低秩矩阵恢复的视点间预测

新一代的多视点视频格式引入了深度图用于虚拟视图的合成。为了能充分利用深度信息,进一步提高多视点视频的压缩效率,本文提出一种基于虚拟视图和低秩矩阵恢复的视点间预测方法。首先利用深度图和相邻视点合成虚拟视图,当编码一个宏块时,利用虚拟视图中的对应块作为参考到相邻视图中寻找若干相似块,最后利用低秩矩阵恢复进行处理,以降低噪声。实验结果表明,该方法比JMVC(Joint Multi-view Video Coding)原有的视点间预测方法节省大约2%的码率。     

从含噪采样重建稀疏表达的高分辨率深度图

为了从含有噪声和空洞的低分辨率深度图重建出高质量、高分辨率深度图,基于以下假设:高分辨率深度图可由一组过完备基来稀疏表达,低分辨率深度图是从高分辨率深度图中采样而得,提出一种基于稀疏表示的高分辨率深度图重建算法.首先通过结合低分辨率深度图和高分辨率彩图信息找出场景中深度变化平缓的各个区域;然后仅以各个区域低分辨率深度图为约束,在贝叶斯框架下求解得到最优的高维稀疏系数向量;最后将重建的各个区域进行合并,得到完整的高分辨率深度图.在Middlebury测试集上进行了实验,量化指标的综合对比结果表明,文中算法更接近真实值;在真实场景深度图的重建结果的对比中,该算法的优点体现得更为明显.     

3D-HEVC深度模型模式楔形优化算法

3D视频编码采用了HEVC帧内预测和深度模型模式(DMM)技术来提高深度图像编码性能,但其中楔形分块模式给深度图的压缩带来了难以承受的复杂性.基于绝对变换误差(SATD)的方式获得图像纹理特征,提出了一种快速确定帧内预测楔形分块的优化算法,从而大大减化了计算复杂度,但在解码器端视图合成后BD-rate有较小的增加.     

基于边缘检测的3D-HEVC深度图运动估计算法

针对3D高效视频编码(3D-HEVC)帧间预测未充分体现深度图特性、算法复杂度高、效率低的问题,提出一种基于深度图边缘检测的运动估计算法。对深度图进行边缘检测预处理,分别对边缘区域和平坦区域执行全搜索算法和六边形搜索算法,通过快速搜索平坦区域以降低帧间预测中运动估计SAD的计算复杂度。在3D-HEVC/HTM16.0平台上的测试结果表明,该算法减少了6.7%的深度图编码时间,而合成视图的BD-rate指标仅为0.146%,有效提高了编码效率。     

基于自适应聚合与深度优化的三维重建算法

针对现有基于多视图的三维重建方法未充分考虑像素点在其余视图的可见性,从而导致重建完整度不足,且在弱纹理和遮挡区域重建困难等问题,提出了一种应用于高分辨率的三维重建网络。首先提出了一种引入可见性感知的自适应成本聚合方法用于成本量的聚合,通过网络获取视图中像素点的可见性,可以提高遮挡区域重建完整性;采用基于方差预测每像素视差范围,构建空间变化的深度假设面用于分阶段重建,在最后一阶段提出了基于卷积空间传播网络的深度图优化模块,以获得优化的深度图;最后采用改进深度图融合算法,结合所有视图的像素点与3D点的重投影误差进行一致性检查,得到密集点云。在DTU 数据集上与其他方法的定量定性比较结果表明,提出的方法可以重建出细节上表现更好的场景。     

面向虚拟视点绘制的深度图滤波及上采样方法

针对虚拟视点合成系统中虚拟视点的绘制质量不高,主观效果不理想的问题,同时为了提高自由视点电视系统中的深度图压缩性能,对基于下/上采样的深度图编码方法中的深度图滤波及上采样方法进行了研究.首先,根据深度图的特性使用H.264/MVC对深度图进行下采样压缩.其次,提出使用(A)-Trous小波滤波器对解码后的低分辨率深度图进行滤波,减少由编码器引入的块效应,继而提出多相似度自适应权重上采样方法恢复原始分辨率深度图.最后,使用上采样后的深度图与未压缩的彩色视频序列进行虚拟视点合成,通过虚拟视点的峰值信噪比(PSNR)来衡量客观绘制质量.实验结果显示,使用提出的中值滤波和多相似度上采样方法与(A)-Trous小波滤波和多相似度上采样方法生成的虚拟视点的PSNR分别比自适应权值上采样方法提高至少0.04 dB和0.22 dB,而且后者极大程度上改善了虚拟视点的主观绘制质量.     

3D-HEVC深度图帧内预测快速算法

目的 多视点纹理加深度视频（MVD）格式逐渐成为立体视频的主流表现形式之一。新一代高效率立体视频编码（3D-HEVC）继承了HEVC的编码结构并引入一些新的编码技术,导致深度图帧内编码过程具有较高的计算复杂度。针对这一问题,提出了一种深度图帧内编码快速算法。方法 本文算法利用深度图的特征分别对CU分割过程和粗略模式选择（RMD）过程进行优化。首先在四叉树编码结构上,利用基于纹理元的图像分析方法计算编码单元的梯度矩阵,若梯度矩阵中的梯度值之和小于给定的阈值,则终止该CU的分割进程。同时,对大尺寸的PU和小尺寸的PU分别利用纹理特征与粗略模式选择过程中Planar和DC进行低复杂度率失真计算后的最小率失真代价,跳过RMD中角度模式的检查过程。结果 实验结果表明,与原始算法相比,本文算法平均节省40.64%的深度图编码时间,而合成视点的平均比特率仅仅增加了0.17%。本文算法不仅能对平坦的CU跳过不必要的深度决策过程,而且有效地减少了RMD中需要遍历的模式数目,提高了编码器的效率。结论 该算法对CU分割进程和粗略模式选择过程都进行优化,在合成视点的视频质量几乎不变的前提下,有效降低了深度图的帧内编码复杂度。     

基于多尺度特征递归卷积的稠密点云重建网络

针对在三维重建任务中,由于弱纹理区域的光度一致性测量误差较大,使得传统的多视图立体 算法难以处理的问题,提出了一种多尺度特征聚合的递归卷积网络(MARDC-MVSNet),用于弱纹理区域的稠 密点云重建。为了使输入图像分辨率更高,该方法使用一个轻量级的多尺度聚合模块自适应地提取图像特征, 以解决弱纹理甚至无纹理区域的问题。在代价体正则化方面,采用具有递归结构的分层处理网络代替传统的三 维卷积神经网络(CNN),极大程度地降低了显存占用,同时实现高分辨率重建。在网络的末端添加一个深度残 差网络模块,以原始图像为指导对正则化网络生成的初始深度图进行优化,使深度图表述更准确。实验结果表 明,在 DTU 数据集上取得了优异的结果,该网络在拥有较高深度图估计精度的同时还节约了硬件资源,且能 扩展到航拍影像的实际工程之中。     

结合随机映射和改进缝合线的纹理合成隐藏

传统修改式信息隐藏无法抵抗密写分析的检测,纹理构造式信息隐藏只能生成简单质地的纹理,不能对秘密信息进行有效掩盖,纹理拼接式信息隐藏,秘密信息与样本小块之间存在着固定的映射关系以及码块间的区别特征,会导致信息泄露,降低其安全性。针对以上问题,提出了一种结合随机映射和改进缝合线的纹理合成隐藏方法。首先将样本图像划分为样本小块并依据样本小块均值划分为不同类别,然后通过建立起秘密信息分段和样本小块类别间的随机映射关系来编码秘密信息并将其放置在空白图像的特定位置上,最后按改进缝合线纹理合成方法将放置小块与相邻小块进行纹理合成并生成含密纹理。实验结果表明,该方法可通过合成纹理来对秘密信息进行掩盖,秘密信息分段和编码样本小块不一一对应,该方法完全依赖于用户密钥且具备一定的抗攻击能力。     

纹理边缘引导的深度图像超分辨率重建

目的 深度图像作为一种普遍的3维场景信息表达方式在立体视觉领域有着广泛的应用。Kinect深度相机能够实时获取场景的深度图像,但由于内部硬件的限制和外界因素的干扰,获取的深度图像存在分辨率低、边缘不准确的问题,无法满足实际应用的需要。为此提出了一种基于彩色图像边缘引导的Kinect深度图像超分辨率重建算法。方法 首先对深度图像进行初始化上采样,并提取初始化深度图像的边缘;进一步利用高分辨率彩色图像和深度图像的相似性,采用基于结构化学习的边缘检测方法提取深度图的正确边缘;最后找出初始化深度图的错误边缘和深度图正确边缘之间的不可靠区域,采用边缘对齐的策略对不可靠区域进行插值填充。结果 在NYU2数据集上进行实验,与8种最新的深度图像超分辨率重建算法作比较,用重建之后的深度图像和3维重建的点云效果进行验证。实验结果表明本文算法在提高深度图像的分辨率的同时,能有效修正上采样后深度图像的边缘,使深度边缘与纹理边缘对齐,也能抑制上采样算法带来的边缘模糊现象;3维点云效果显示,本文算法能准确区分场景中的前景和背景,应用于3维重建等应用能取得较其他算法更好的效果。结论 本文算法普遍适用于Kinect深度图像的超分辨率重建问题,该算法结合同场景彩色图像与深度图像的相似性,利用纹理边缘引导深度图像的超分辨率重建,可以得到较好的重建结果。     

基于多尺度特征融合的红外单目测距算法

由于MonoDepth2的提出,无监督单目测距在可见光领域取得了重大发展;然而在某些场景例如夜间以及一些低能见度的环境,可见光并不适用,而红外热成像可以在夜间和低能见度条件下获得清晰的目标图像,因此对于红外图像的深度估计显得尤为必要.由于可见光和红外图像的特性不同,直接将现有可见光单目深度估计算法迁移到红外图像是不合理...     

基于双模式联合三边滤波器的深度图像超分辨率方法

彩色图像引导的深度图像超分辨率方法通过利用高分辨率彩色图像的高频信息来重建深度图像,取得了不错的重建效果,但当深度图像和彩色图像边缘不(完全)一致或彩色区域纹理丰富时,重建图像普遍存在边缘模糊和纹理拷贝问题.针对这一问题,提出一种边缘图像引导的双模式联合三边滤波器(DMJTF)方法.该方法利用单幅低分辨率深度图像构建了一个边缘图像金字塔字典,然后利用MRF模型构建了一个高分辨率边缘图像,该图像确定了滤波器的两种模式,分别用于重构深度图像的边缘和平滑区域.实验结果表明DMJTF算法有效地避免了纹理拷贝异常,降低了边缘模糊现象,在定性和定量两个方面都优于其他算法,取得了较好的超分效果.     

分层联合双边滤波的深度图修复算法研究

三维场景建模及三维多目标检测识别等研究中需要获取高精度、高分辨率深度图,针对RGB-D传感器提供的深度信息存在分辨率低、深度值缺失和噪声干扰等问题,提出一种基于深度置信度的分层联合双边滤波深度图修复算法。基于深度信息获取存在的问题提出相应的深度退化模型,采用深度置信度测量对深度像素进行置信度分类,根据深度置信度确定滤波器窗口权重值,利用提出的分层联合双边滤波算法在待修复区域完成深度图修复。采用Middlebury标准数据库和自采数据库进行定性对比实验和定量结果分析表明,该算法对深度图修复后边缘更加清晰合理,消除了边缘模糊和纹理伪像,有效提高了三维深度图修复的精确度。     

多注意力机制网络卫星图像分割算法

针对深度学习的语义分割法,在卫星图像分割中对半岛、小岛和湖泊细小支流的边缘信息提取丢失问题,提出了多注意力机制网络（MA-Net）卫星图像分割算法,弥补了边缘信息提取丢失问题。该算法的框架采用了端到端的对称结构,由编码和解码两部分组成。编码部分采用改进的VGG16网络提取湖泊的纹理特征,解码部分引入全局平均池化注意力融合机制（GPA）,能够有效融合编码部分提取的纹理特征,得到高分辨率的卫星图像特征图。在网络的输出端加入注意力机制模块（Attention）,充分提取湖泊边缘信息,有效分割出半岛、小岛和湖泊细小支流。实验结果表明,该模型相比现有语义分割算法,具有更好的分割精度,各项分割指标都有提升,并且在公共数据集City Scapes上验证了模型具有通用性。     

空－频域联合的交通监控视频去雨方法

阴雨天气下交通监控视频处理的效率较低,可靠性较差,因此,文中提出自适应判别雨量、空－频域联合的交通监控视频去雨方法.将视频帧的非下采样剪切波变换的低频系数清零,利用大津法获得全部边缘信息图.采用显著性映射计算景深图,经双边滤波并保留高频系数,得到主要边缘信息图.结合全部边缘信息图、主要边缘信息图和帧差,判断雨滴/雨线区域及雨量,若是中、大雨,利用曲率驱动扩散法修复雨滴/雨线,否则将两个尺度下的检测结果取并集.实验表明,文中方法可有效去除视频中的雨滴/雨线,保持物体形状和纹理细节,提高运动目标跟踪等后处理质量.     

基于 CNN 的彩色图像引导的深度图像超分辨率重建

深度图像表达了三维场景内物体之间的相对距离信息,根据深度图像表达的信息, 人们能够准确的获得物体在空间中的位置以及不同物体之间的相对距离,使得深度图像在立体 视觉等领域有着广泛的应用。然而受 RGB-D 传感器硬件条件的限制,获取的深度图像分辨率 低,无法满足一些具有高精度要求的实际应用的需求。近年来深度学习特别是卷积神经网络 (CNN)在图像处理方面获得了非常大的成功。为此提出了一种基于 CNN 的彩色图像引导的深度 图像超分辨率重建。首先,利用 CNN 学习彩色图像的边缘特征信息与深度图像的深度特征信 息,获得边缘纹理清晰的高分辨率深度图像;再通过不同大小尺寸滤波核的卷积层,进一步优 化深度图像的边缘纹理细节,获得更高质量的高分辨率深度图像。实验结果表明,相较于其他 方法,该方法 RMSE 值更低,重建的图像也能更好的恢复图像边缘纹理细节。     

基于特征匹配要求的纹理边缘检测

为了更精确地进行机器人双目视觉中的特征匹配,需要获得数字图像中丰富而精确的纹理与边缘信息。为此提出了一种新的基于稳态小波变换（SWT）的多尺度纹理边缘检测算法。利用稳态小波变换（SWT）的平移不变性来精确捕获奇异点,在多尺度上通过小波参数的梯度变化检测纹理边缘,而后进行多尺度融合并运用形态学方法得到单像素宽度、精确的纹理边缘二值图。通过对比实验结果表明,相对于经典的边缘检测算法,该算法在抗噪声能力,物体表面纹理的丰富度以及边缘定位的准确性上有很大的提升,并满足特征匹配的需求。     

一种改进的SFIM高光谱图像融合算法

基于平滑滤波的亮度调节(SFIM)图像融合技术具有算法简单、计算快捷、光谱保真度高的优点,但同样存在边缘模糊、空间纹理信息提高不足的问题。针对上述问题,本文从瞬时视场角的角度出发提出一种改进SFIM算法,采用隔行隔列采样技术代替原SFIM算法中的逐行逐列卷积方法,从原高分辨率图像中计算模拟低分辨率图像。试验结果表明改进算法在边缘清晰度和空间纹理信息等方面均有明显的提高,且保持了原SFIM算法计算快捷的优点。