深度学习时代图像融合技术进展

为提升真实场景视觉信号的采集质量,往往需要通过多种融合方式获取相应的图像,例如,多聚焦、多曝光、多光谱和多模态等。针对视觉信号采集的以上特性,图像融合技术旨在利用同一场景不同视觉信号的优势,生成单图像信息描述,提升视觉低、中、高级任务的性能。目前,依托端对端学习强大的特征提取、表征及重构能力,深度学习已成为图像融合研究的主流技术。与传统图像融合技术相比,基于深度学习的图像融合模型性能显著提高。随着深度学习研究的深入,一些新颖的理论和方法也促进了图像融合技术的发展,如生成对抗网络、注意力机制、视觉Transformer和感知损失函数等。为厘清基于深度学习技术的图像融合研究进展,本文首先介绍了图像融合问题建模,并从传统方法视角逐渐向深度学习视角过渡。具体地,从数据集生成、神经网络构造、损失函数设计、模型优化和性能评估等方面总结了基于深度学习的图像融合研究现状。此外,还讨论了选择性图像融合这类衍生问题建模(如基于高分辨率纹理图融合的深度图增强),回顾了一些基于图像融合实现其他视觉任务的代表性工作。最后,根据现有技术的缺陷,提出目前图像融合技术存在的挑战,并对未来发展趋势给出了展望。     

结合深度信息的多视点视频编码快速模式选择算法

多视点视频加深度(MVD,multi-view video plus depth)的编码格式包含多个纹理视频序列及其对应的深度图,深度图与对应的纹理视频具有相似的边缘信息。传统的编码模式不考虑两者的联系,单独编码导致复杂度高、编码时间过长。因此,合理利用深度图与纹理图的相似性进行编码,可以有效降低编码复杂度,同时应该确保编码质量不受影响。本文利用深度图的这一特点辅助纹理视频的编码,提出一种帧间快速模式选择算法,充分利用深度图与纹理图之间的相似性,建立一种联合复杂度模型,根据模型得到每个宏块的复杂度。对于复杂度低的宏块,在计算率失真代价之前跳过编码中一些不必要的模式,从而降低编码复杂度。实验表明,本文提出的快速模式选择算法,在保证率失真性能基本不变的情况下,能减少60.57%的编码复杂度,并最高能减少80.64%的编码时间。     

深度图时域一致性增强

在自由视点电视(FTV)系统的发送端,数据由多摄 像机采集的纹理图和其相应的深度信息组成;在接收端,虚拟视点由视点纹理序列和估计的 深度信息经过3D变换绘制。因此,获取高质量的深度信息是FTV系统的一个重 要部分。由于当前非交互方式深度估计方法是逐帧进行的,所得到的深度图序列往往缺乏时 域一致性。理 想情况下相邻帧静止区域的深度值应该相同,但是对这些区域深度值的估计结果往往不同, 这将严重影 响编码效率和绘制质量。由于深度图表征的是纹理图中相应场景离摄像机的距离,所以可以 通过对纹理图 的有效分析,判断出错误的深度值。通过对深度值可靠性和当前区域运动属性的判断,提出 一种基于 自适应时域加权的深度图一致性增强等。实验表明,本文算法能有效抑制静止区域深度值 不连续的错误,产生 更加稳定的深度图序列,使虚拟视点的时域绘制质量得到增强,同时编码效率得到提高。     

面向医学图像加密域大容量信息隐藏与认证方法

目的 远程医疗诊断是通过将患者的医学图像、病历以及诊断结果等敏感信息分享给医生或医疗机构,达到远程辅助治疗的目的。然而,在医疗数据分享过程中,患者的敏感信息易受篡改或伪造,导致信息的保密性、完整性和隐私性受到威胁,严重影响医生对患者的诊断。针对以上问题,利用医学图像高冗余特性,本文提出一种加密域大容量信息隐藏与高效认证方案。方法 该方案结合半张量积压缩感知(semi-tensor product compressed sensing, STP-CS)与大容量秘密数据嵌入方式,将载体图像加密域腾出大容量空间用以嵌入患者信息。将医学图像数据分为非敏感数据和敏感数据两部分,通过传输非敏感数据以及STP-CS重构获取敏感数据实现云端与医院之间数据共享。结果 本方案可实现以低复杂度的重构方式将STP-CS重建图像恢复到高质量图像,并以高效率的认证方式验证载体图像及嵌入秘密信息的完整性。为了验证算法的有效性,与优秀的图像恢复算法在不同部位MRI(megnetic resonace imaging)图像进行测试评估。实验结果表明,本文算法得到的载密图像能腾出约3.75 bit/像素的空间嵌入秘密信息...     

基于边缘增强的深度图超分辨率重建

准确的深度图像获取是计算机视觉中的一个难题 。传统的立体匹配得到深度的方法不仅计算量大,而且在纹理稀疏与重复区域往往存在较大 的误差。主动式深度传感器虽然解决了这些问题, 但其获取的深度图存在着分辨率低和易受噪声干扰的问题。因此,本文提出一种结合彩色图 像信息 的深度图超分辨率(SR)重建方法来提高深度图的质量与分辨率。首先运用自回归(AR)模型 下的非局部均值(NLM)算 法获取初始的上采样深度图;然后利用边缘提取与边缘修复算法优化深度图。实验结果表 明,本文提出的方法能够生成误差更小、主观质量更好的高分辨率深度图。     

飞行时间深度相机和彩色相机的联合标定

飞行时间（TOF）深度相机等深度传感器可以实时、准确地获取深度信息,在计算机视觉领域受到广泛关注。本文以获取同一视野下场景的纹理信息和深度信息为目的,在传统的棋盘格标定方法基础上,针对TOF深度相机的低分辨率和较大的径向畸变的特点,采用角点稀疏的棋盘格作为标定板以提高角点检测的精度,提出一种TOF深度相机和彩色相机的联合标定方法。首先对彩色相机和深度相机单独标定,使用传统的棋盘格标定方法获得彩色相机的内部参数,对使用深度相机所拍的强度图进行畸变校正后再求得深度相机的内部参数。然后,固定两相机内参,多次实验获得两相机之间的相对位置关系,并使用最小二乘法进行优化。实验结果表明,该方法标定精度高,彩色相机的重投影误差最多可减小0.15个像素,深度相机的重投影误差最多可减少0.09个像素,根据标定结果将深度相机所得的深度图投影到彩色相机的视野下所得的投影深度图能和彩色图像精确对齐。      

基于图割的高质量深度图获取方法

3DTV作为下一代视频广播系统,还有许多技术难点有待解决,其中深度估计是3DTV的关键技术之一。为了获取高质量的深度图,提出基于图割(graph cut)的深度估计方法。该算法在构建能量函数的数据项时,通过对窗口内各个像素赋予自适应权重,引入梯度信息以抑制因亮度差异导致的误匹配问题并保护边缘信息。然后,经过交叉检测将深度图像素分为可靠点与不可靠点两类。对检测后的深度图进行后处理迭代优化,从而提高所获取深度值的可靠性。实验表明此算法估计出的深度图用VSRS绘制虚拟合成视时比标准的深度估计软件DERS5.1可有效提高虚拟视质量。     

深度图时域一致性增强

在自由视点电视(FTV)系统的发送端,数据由多摄像机采集的纹理图和其相应的深度信息组成;在接收端,虚拟视点由视点纹理序列和估计的深度信息经过3D变换绘制。因此,获取高质量的深度信息是FTV系统的一个重要部分。由于当前非交互方式深度估计方法是逐帧进行的,所得到的深度图序列往往缺乏时域一致性。理想情况下相邻帧静止区域的深度值应该相同,但是对这些区域深度值的估计结果往往不同,这将严重影响编码效率和绘制质量。由于深度图表征的是纹理图中相应场景离摄像机的距离,所以可以通过对纹理图的有效分析,判断出错误的深度值。通过对深度值可靠性和当前区域运动属性的判断,提出一种基于自适应时域加权的深度图一致性增强等。实验表明,本文算法能有效抑制静止区域深度值不连续的错误,产生更加稳定的深度图序列,使虚拟视点的时域绘制质量得到增强,同时编码效率得到提高。     

光催化铁掺杂石墨相氮化碳活化过硫酸盐处理酚类废水的研究

以九水合硝酸铁[Fe(NO₃)₃·9H₂O]和三聚氰胺为原料，采用热聚合法制备Fe-C₃N₄,通过X射线衍射、X射线光电子能谱对其进行表征。考察了光催化Fe-C₃N₄活化过硫酸钠(PS)去除苯酚的效果，并对铁掺杂石墨相氮化碳的制备条件进行了优选。结果表明：Fe-C₃N₄中存在Fe—N键，铁掺杂成功且合成良好，无任何杂质。相对于单独PS和g-C₃N₄+PS,Fe-C₃N₄+PS共同作用可高效去除苯酚，去除率可达到88.2%,苯酚去除效果随催化剂投加量的增大而提高。同时在过硫酸钠与苯酚的摩尔比为100∶1,Fe-C₃N₄催化剂浓度为2g/L,同时反应全程放置于250W高压钠灯下同步照射的条件下，Fe-C₃N₄焙烧温度580...