分层联合双边滤波的深度图修复算法研究

三维场景建模及三维多目标检测识别等研究中需要获取高精度、高分辨率深度图,针对RGB-D传感器提供的深度信息存在分辨率低、深度值缺失和噪声干扰等问题,提出一种基于深度置信度的分层联合双边滤波深度图修复算法。基于深度信息获取存在的问题提出相应的深度退化模型,采用深度置信度测量对深度像素进行置信度分类,根据深度置信度确定滤波器窗口权重值,利用提出的分层联合双边滤波算法在待修复区域完成深度图修复。采用Middlebury标准数据库和自采数据库进行定性对比实验和定量结果分析表明,该算法对深度图修复后边缘更加清晰合理,消除了边缘模糊和纹理伪像,有效提高了三维深度图修复的精确度。     

基于超像素的深度图修复算法

随着计算机视觉领域不断的发展,用于描述场景深度信息的深度图受到越来越多的关注。针对深度图中由于深度信息缺失导致的图像空洞、深度值准确度不高及图像噪声等问题,提出了一种融合超像素和基于方向的联合双边滤波器的深度图修复算法来改善深度图的质量。该算法引入了基于超像素的自适应滤波窗口,并对不同类型的空洞像素点采用不同的滤波算法,从而对深度图进行修复和优化。定性对比实验和定量评价结果表明,其可以有效地修复深度图空洞噪点,获得高质量、高准确性的深度图。     

结合彩色图像局部分割的Kinect深度图修复算法

针对Kinect深度图存在的大量空洞和噪声,提出一种结合彩色图像局部分割的深度图修复算法。首先,利用区域连通性对空洞区域进行分析和标记;其次,根据空洞区域领域的深度直方图峰值数目判断空洞区域类型;再次,分割膨胀区域对应的彩色区域,获取空洞像素所在分割区域与其领域的交域(有效支撑区域),利用交域内的有效深度信息计算空洞像素;最后,利用引导滤波对深度图进行平滑、去噪。实验结果表明,经该算法处理后的深度图边缘细节更加清晰,具备微小梯度不变性,且测量精确度更高。     

基于噪声分类的双边滤波点云去噪算法

针对三维点云数据模型在去噪光顺中存在不同尺度噪声的问题,提出一种基于噪声分类的双边滤波点云去噪算法。该算法首先将噪声细分为大尺度和小尺度噪声,并使用统计滤波结合半径滤波对大尺度噪声进行去除;然后对三维点云数据进行曲率估计,并对现有点云双边滤波进行改进,增强其鲁棒性和保特征性;最后使用改进的双边滤波对小尺度噪声进行光顺,实现三维点云数据模型的去噪、光顺。与单独使用双边滤波、Fleishman双边滤波相比,改进算法在三维点云数据模型光顺平均误差指标上分别降低了50.53%和21.67%。实验结果表明,该改进算法对噪声进行尺度的细分既提高了计算效率,又避免了过光顺和细节失真,较好地保持模型中的几何特征。     

基于多视图深度采样的自然场景三维重建

自然场景的多视图三维重建一直是计算机视觉领域的基本问题,有着广泛的应用.随着深度获取设备的日益普及,如何有效地利用多视点的深度图信息重建场景的三维模型已成为一个重要的研究课题.为了自动剔除输入深度图中的错误深度信息,恢复高质量的场景模型,提出一种多视图深度采样方法来实现自然场景的三维几何重建.首先对深度图进行非均匀采样以获得每帧的三维点集,并剔除部分深度误差较大的三维点;然后通过深度置信度估计的方法对多帧的三维点集进行融合并剔除多帧之间重复冗余的三维点,从而获得整体场景的三维点云;最后基于融合后的三维点云生成完整的场景几何模型.一系列复杂的自然场景实例证明了该方法的正确性和鲁棒性,其不仅能够重建小规模的物体,也同样适用于大规模场景的三维几何重建.     

一种聚类与滤波融合的点云去噪平滑方法

针对采集的原始三维点云数据存在噪声、表面不光滑不利于后期三维重建的问题,提出一种自适应密度聚类与双边滤波融合的三维点云去噪平滑方法。该方法首先对点云模型进行自适应密度聚类分析,根据聚类结果删除模型中的噪声点;然后再计算采样点的k邻域,并求得利用k邻域构造采样点所在平面的法矢,进而得到双边滤波因子,以对点云模型进行平滑。实验结果表明,该算法能有效识别并去除噪声,并对点云模型进行平滑,同时还能保持原始模型的特征信息。     

点云模型的噪声分类去噪算法

针对三维点云模型数据在去噪平滑过程中存在的不同尺度噪声和算法计算耗时问题,提出了点云模型的噪声分类去噪算法。该算法根据噪声点分布特性,将其分为大尺度和小尺度噪声,先利用统计滤波结合半径滤波去除大尺度噪声;然后使用快速双边滤波对小尺度噪声进行平滑,实现点云模型的去噪和平滑。与传统的双边滤波相比,利用快速双边滤波对点云模型数据进行平滑,有效地提高了计算效率。实验结果表明,该算法对点云噪声进行快速平滑去除的同时又能有效地保持被扫描物体的几何特征。     

基于联合双边滤波器的Kinect深度图像滤波算法

针对Kinect镜头采集的深度图像一般有噪声和黑洞现象,直接应用于人体动作跟踪和识别等系统中效果差的问题,提出一种基于联合双边滤波器的深度图像滤波算法。算法利用联合双边滤波原理,将Kinect镜头同一时刻采集的深度图像和彩色图像作为输入,首先,用高斯核函数计算出深度图像的空间距离权值和RGB彩色图像的灰度权值;然后,将这两个权值相乘得到联合滤波权值,并利用快速高斯变换替换高斯核函数,设计出联合双边滤波器;最后,用此滤波器的滤波结果与噪声图像进行卷积运算实现Kinect深度图像滤波。实验结果表明,所提算法应用在人体动作识别和跟踪系统后,可显著提高在背景复杂场景中的抗噪能力,识别正确率提高17.3%,同时所提算法的平均耗时为371ms,远低于同类算法。所提算法保持了联合双边滤波平滑保边的优点,由于引入彩色图像作为引导图像,去噪的同时也能对黑洞进行修补,因此该算法在Kinect深度图像上的去噪和修复效果优于经典的双边滤波算法和联合双边滤波算法,且实时性强。     

多模图像联合非局部滤波快速算法

提出一种新的基于非局部均值的多模图像滤波方法。在该方法中,对于噪声图像 滤波采用非局部均值方法,其中对于噪声图像块之间灰度相似测度权重由另一幅图像引导计算。 实验结果表明,该方法比基于局部的图像去噪方法如双边滤波算法有更好地去噪效果。通过构 造联合积分图像对提出算法进行加速,与原始算法相比其显著提速两个数量级,加速算法的复 杂度不受滤波器大小影响,易于在并行系统中实现。     

引入深度补全与实例分割的三维目标检测

三维目标检测是自动驾驶系统与机器人系统的关键技术,目前对该技术的研究大多基于深度相机获取的RGB-D图,但在室外自动驾驶场景中,输入雷达点云更符合三维目标检测系统的应用环境。以RGB图与雷达点云为输入,结合IP-Basic算法在消除噪声的同时将稀疏雷达点云补全成稠密深度图;采用降维原理,结合Mask R-CNN在RGB图上进行实例分割,进而提取目标在深度图上的对应区域;结合点云的自然不变性,将目标对应深度图转化为点云后输入到卷积神经网络进行特征学习。在公开数据集Kitti上进行实验,实验结果表明:该方法在公开三维目标检测数据集上达到了较好的检测精度。     

基于投票决策的实时遮挡处理技术

针对当前基于深度信息的虚实遮挡处理技术面临的实时性差和精度低的问题,提出一种基于局 部区域深度估计和基于 patch 相似性噪声点投票融合的实时虚实遮挡处理算法。该算法将真实场景视频序列作 为输入,首先利用局部区域深度估计算法通过稀疏重建估算出稀疏关键点的深度信息,对稀疏深度施加目标区 域的约束限制深度向周围像素的传播,从而快速恢复出目标区域的相对深度图;然后,噪声点投票融合算法利 用深度比较确定虚实物体的前后位置关系,基于 patch 相似性和投票决策的方法对区域内的像素进行投票和融 合绘制;最后输出具有真实遮挡关系的融合效果。实验结果表明,该算法不仅可以提高虚实遮挡的实时性,还 能够获得真实和虚拟场景不同空间关系下的良好融合效果。     

基于多孔卷积神经网络的图像深度估计模型

针对在传统机器学习方法下单幅图像深度估计效果差、深度值获取不准确的问题，提出了一种基于多孔卷积神经网络（ACNN）的深度估计模型。首先，利用卷积神经网络（CNN）逐层提取原始图像的特征图；其次，利用多孔卷积结构，将原始图像中的空间信息与提取到的底层图像特征相互融合，得到初始深度图；最后，将初始深度图送入条件随机场（CRF），联合图像的像素空间位置、灰度及其梯度信息对所得深度图进行优化处理，得到最终深度图。在客观数据集上完成了模型可用性验证及误差估计，实验结果表明，该算法获得了更低的误差值和更高的准确率，均方根误差（RMSE）比基于机器学习的算法平均降低了30.86%，而准确率比基于深度学习的算法提高了14.5%，所提算法在误差数据和视觉效果方面都有较大提升，表明该模型能够在图像深度估计中获得更好的效果。     

深度时空能量特征表示下的人体行为识别

目的 利用深度图序列进行人体行为识别是机器视觉和人工智能中的一个重要研究领域,现有研究中存在深度图序列冗余信息过多以及生成的特征图中时序信息缺失等问题。针对深度图序列中冗余信息过多的问题,提出一种关键帧算法,该算法提高了人体行为识别算法的运算效率;针对时序信息缺失的问题,提出了一种新的深度图序列特征表示方法,即深度时空能量图（depth spatial-temporal energy map,DSTEM）,该算法突出了人体行为特征的时序性。方法 关键帧算法根据差分图像序列的冗余系数剔除深度图序列的冗余帧,得到足以表述人体行为的关键帧序列。DSTEM算法根据人体外形及运动特点建立能量场,获得人体能量信息,再将能量信息投影到3个正交轴获得DSTEM。结果 在MSR_Action3D数据集上的实验结果表明,关键帧算法减少冗余量,各算法在关键帧算法处理后运算效率提高了20% 30%。对DSTEM提取的方向梯度直方图（histogram of oriented gradient,HOG）特征,不仅在只有正序行为的数据库上识别准确率达到95.54%,而且在同时具有正序和反序行为的数据库上也能保持82.14%的识别准确率。结论 关键帧算法减少了深度图序列中的冗余信息,提高了特征图提取速率;DSTEM不仅保留了经过能量场突出的人体行为的空间信息,而且完整地记录了人体行为的时序信息,在带有时序信息的行为数据上依然保持较高的识别准确率。     

3D遮挡模型引导的光场图像深度获取

目的 光场相机可以通过单次曝光同时从多个视角采样单个场景,在深度估计领域具有独特优势。消除遮挡的影响是光场深度估计的难点之一。现有方法基于2D场景模型检测各视角遮挡状态,但是遮挡取决于所采样场景的3D立体模型,仅利用2D模型无法精确检测,不精确的遮挡检测结果将降低后续深度估计精度。针对这一问题,提出了3D遮挡模型引导的光场图像深度获取方法。方法 向2D模型中的不同物体之间添加前后景关系和深度差信息,得到场景的立体模型,之后在立体模型中根据光线的传输路径推断所有视角的遮挡情况并记录在遮挡图（occlusion map）中。在遮挡图引导下,在遮挡和非遮挡区域分别使用不同成本量进行深度估计。在遮挡区域,通过遮挡图屏蔽被遮挡视角,基于剩余视角的成像一致性计算深度;在非遮挡区域,根据该区域深度连续特性设计了新型离焦网格匹配成本量,相比传统成本量,该成本量能够感知更广范围的色彩纹理,以此估计更平滑的深度图。为了进一步提升深度估计的精度,根据遮挡检测和深度估计的依赖关系设计了基于最大期望（exception maximization,EM）算法的联合优化框架,在该框架下,遮挡图和深度图通过互相引导的方式相继提升彼此精度。结果 实验结果表明,本文方法在大部分实验场景中,对于单遮挡、多遮挡和低对比度遮挡在遮挡检测和深度估计方面均能达到最优结果。均方误差（mean square error,MSE）对比次优结果平均降低约19.75%。结论 针对遮挡场景的深度估计,通过理论分析和实验验证,表明3D遮挡模型相比传统2D遮挡模型在遮挡检测方面具有一定优越性,本文方法更适用于复杂遮挡场景的深度估计。     

基于主成分分析方向深度梯度直方图的立体视觉深度图特征提取

针对立体视觉深度图特征提取精确度低、复杂度高的问题,提出了一种基于主成分分析方向深度梯度直方图(PCA-HODG)的特征提取算法。首先,对双目立体视觉图像进行视差计算和深度图提取,获取高质量深度图;然后,基于预设大小窗口对所获取的深度图进行边缘检测和梯度计算,获得区域形状直方图特征并量化;同时运用主成分分析(PCA)进行降维;最后,为实现特征获取的精确性和完整性,采用滑动窗口检测方法实现整幅深度图的特征提取,并再次降维。在特征匹配分类实验中,对于Street测试序列帧,该算法比距离样本深度特征(RSDF)算法平均分类准确率提高了1.15%,而对于Tanks、Tunnel、Temple测试序列帧,该算法比测度不变特征(GIF)算法平均分类准确率分别提高了0.69%、1.95%、0.49%;同时与方向深度直方图(HOD)、RSDF、GIF算法相比,平均运行时间分别降低了71.65%、78.05%、80.06%。实验结果表明,该算法不仅能够更精确地检测和提取深度图特征,而且通过降低维数复杂度大大减少了运行时间;同时算法具有较好的鲁棒性。     

基于深度图的3D-HEVC鲁棒视频水印算法

针对多视点加深度格式的3D视频中深度图鲁棒性不足的问题,提出了一种基于深度图的3D鲁棒视频水印算法。首先,将深度图不重叠的划分为4×4大小的块,计算每一块像素域的均方差,并设置一个阈值来区分纹理块和平坦块;其次,对纹理块计算区域块的能量值,根据计算的能量值设置一个阈值来选择性嵌入水印比特位;最后,获取每个块变换量化后的DC系数,根据获取的DC系数值构造3×3的可逆矩阵,对可逆矩阵进行QR分解,将水印嵌入在分解后的Q矩阵中。所提算法保证了平均峰值信噪比不变,且不同量化参数（QP）值（25、30、35、40）的重编码攻击下的平均误码率为14.9%。从测试的结果来看,该算法具有较好鲁棒性和嵌入容量,同时对视频的质量影响很小。     

基于Kinect深度信息的实时三维重建和滤波算法研究

分析了基于Kinect输出的深度数据进行场景实时三维重建的算法。针对实现过程中出现的深度图像噪声过大的问题,根据其信号结构的特点给出了改进的双边滤波算法。新算法利用已知的深度图像噪声范围,将权值函数修改为二值函数,并结合RGB图像弥补了缺失的深度信息。实验表明,新算法无论是在降噪性能还是计算效率上,都大大优于已有的双边滤波,其中计算速度是原始算法的6倍。     

基于轮廓提取与深度筛选的双目三维重构技术

针对基于深度图融合三维重构方法获取的三维重构模型,易受到深度信息误差影响的情况,提出一种基于轮廓提取与深度筛选的双目立体视觉三维重构方法。采用标准棋盘校准双目三维重构系统,利用Canny算子对目标物体进行边界检测,综合采用形态学腐蚀与膨胀方法提取指定方向上的连续边界,用连续边界提取目标物体。在此基础上,对目标物体深度信息进行筛选、拟合插值以获取连续深度信息。结果表明,相对于常规三维重构算法,由本算法三维重构的目标物体表面完整度更高,且目标物体周围的背景环境噪声被去除。     

双尺度顺序填充的深度图像修复

目的 深度图像作为一种重要的视觉感知数据,其质量对于3维视觉系统至关重要。由于传统方法获取的深度图像大多有使用场景的限制,容易受到噪声和环境影响,导致深度图像缺失部分深度信息,使得修复深度图像仍然是一个值得研究并有待解决的问题。对此,本文提出一种用于深度图像修复的双尺度顺序填充框架。方法 首先,提出基于条件熵快速逼近的填充优先级估计算法。其次,采用最大似然估计实现缺失深度值的最优预测。最后,在像素和超像素两个尺度上对修复结果进行整合,准确实现了深度图像孔洞填充。结果 本文方法在主流数据集MB (Middlebury)上与7种方法进行比较,平均峰值信噪比(peak signal-to-noise ratio,PSNR)和平均结构相似性指数(structural similarity index,SSIM)分别为47.955 dB和0.998 2;在手工填充的数据集MB+中,本文方法的PSNR平均值为34.697 dB,SSIM平均值为0.978 5,对比其他算法,本文深度修复效果有较大优势。在时间效率对比实验中,本文方法也表现优异,具有较高的效率。在消融实验部分,对本文提出的填充优先级估计、深度值预测和双尺度改进分别进行评估,验证了本文创新点的有效性。结论 实验结果表明,本文方法在鲁棒性、精确度和效率方面相较于现有方法具有比较明显的优势。