融合感知损失的单幅雾霾图像深度估计

针对雾霾情况下室内外图像深度难以估计的问题,提出了融合感知损失函数的单幅雾霾图像深度估计方法.首先采用双尺度网络模型对雾霾图像进行粗提取,再结合底层特征进行局部细化;然后在上采样阶段使用多卷积核上采样方法,得到雾霾图像的预测深度图;最后将像素级损失函数与感知损失函数结合构造新的复合损失函数,对网络进行训练.在室内NYU...     

基于深度学习的单幅图像超分辨率重建算法综述

单幅图像超分辨率(Single image super-resolution, SISR)重建是计算机视觉领域上的一个重要问题, 在安防视频监控、飞机航拍以及卫星遥感等方面具有重要的研究意义和应用价值. 近年来, 深度学习在图像分类、检测、识别等诸多领域中取得了突破性进展, 也推动着图像超分辨率重建技术的发展. 本文首先介绍单幅图像超分辨率重建的常用公共图像数据集; 然后, 重点阐述基于深度学习的单幅图像超分辨率重建方向的创新与进展; 最后, 讨论了单幅图像超分辨率重建方向上存在的困难和挑战, 并对未来的发展趋势进行了思考与展望.     

深度学习在基于单幅图像的物体三维重建中的应用

基于单幅图像的物体三维重建是计算机视觉领域的一个重要问题，近几十年来得到了广泛的关注.随着深度学习的不断发展，近年来基于单幅图像的物体三维重建取得了显著进展.本文对深度学习在基于单幅图像的物体三维重建领域的研究进展及具体应用进行了综述.首先介绍了基于单幅图像的三维重建的研究背景及其传统方法的研究现状，其次简要介绍了深度学习并详细综述了深度学习在基于单幅图像的物体三维重建中的应用，随后简要概述了三维物体重建的常用公共数据集，最后进行了分析与总结，指出了目前存在的问题及未来的研究方向.     

单幅图像刚体目标姿态估计方法综述

刚体目标姿态作为计算机视觉技术的重点研究方向之一,旨在确定场景中3维目标的位置平移和方位旋转等多个自由度,越来越多地应用在工业机械臂操控、空间在轨服务、自动驾驶和现实增强等领域。本文对基于单幅图像的刚体目标姿态过程、方法分类及其现存问题进行了整体综述。通过利用单幅刚体目标图像实现多自由度姿态估计的各类方法进行总结、分类及比较,重点论述了姿态估计的一般过程、估计方法的演进和划分、常用数据集及评估准则、研究现状与展望。目前,多自由度刚体目标姿态估计方法主要针对单一特定应用场景具有较好的效果,还没有通用于复合场景的方法,且现有方法在面对多种光照条件、杂乱遮挡场景、旋转对称和类间相似性目标时,估计精度和效率下降显著。结合现存问题及当前深度学习技术的助推影响,从场景级多目标推理、自监督学习方法、前端检测网络、轻量高效的网络设计、多信息融合姿态估计框架和图像数据表征空间等6个方面对该领域的发展趋势进行预测和展望。     

基于非参数化采样的单幅图像深度估计

针对传统单幅图像深度估计线索不足及深度估计精度不准的问题,提出一种基于非参数化采样的单幅图像深度估计方法。该方法利用非参数化的学习手段,将现有RGBD数据集中的深度信息迁移到输入图像中去。首先计算输入图像和现有RGBD数据集多尺度的高层次图像特征;然后,在现有RGBD数据集中,基于高层次的图像特征通过kNN最近邻搜索找到若干与输入图像特征最匹配的候选图像,并将这些候选图像对通过SIFT流形变到输入图像进行对齐。最后,对候选深度图进行插值和平滑等优化操作便可以得到最后的深度图。实验结果表明,与现有算法相比,该方法估计得到的深度图精度更高,对输入图像的整体结构保持得更好。     

单幅数字图像多尺度空间下的场景深度估计

双目立体视觉方法已广泛应用于移动机器人导航领域,通过该方法得到的视差图实现了对场景深度的有效估计,然而,双目立体视觉方法需要对图像对做匹配,计算量大,不适合动态场景的深度信息的获得。为了避免图像匹配的计算,以得到真实场景的深度估计,文中提出了一种基于Markov随机场模型对单幅数字图像特征建模来获得场景深度信息的方法。实验证明,通过单幅数字图像获得的场景深度可以有效地估计真实场景中摄像机与场景目标之间的距离,并且,随着尺度空间的变大,可以有效减小其所获得的深度值误差。     

平行双目视觉系统中深度图像的生成与分析

随着计算机科学，图像处理，模式识别的快速发展，人们对双目视觉系统和三维创建越来越重视。这些研究和应用在一些领域取得了好的结果。我们研究和设计一套双目视觉系统目的是获得生动的立体图像。而深度图像又是从二维图像恢复到三维图像的关键，因此深度图像的好坏直接影响到三维创建的效果。深度图像的生成与分析越来越受到     

单幅植物叶片图像的3维重建

目的 植物叶片形态复杂,在虚拟场景中很难真实表现。为了从信息量有限的单幅图像中恢复植物叶片的3维形状,本文基于从明暗恢复形状（shape from shading,SFS）的方法,利用亮度统计规律和植物形态特征恢复叶片的3维形状。方法 在SFS的基础上,设计基于图像骨架的距离场偏置加强表面细节;针对SFS对恢复宏观几何形状的不足,提出根据图像亮度统计分布选取控制点控制表面宏观形状变化,并利用叶片中轴的距离场约束恢复宏观几何形状,每种方法对于表面宏观几何形状恢复的权重基于恢复的反射图和输入图像间的相似度设定;将表面细节添加到宏观几何形状上得到目标对象的3维形状。结果 选取植物叶片图像进行实验,并与其他方法进行比较,实验结果表明本文方法增强了表面细节显示,并有明显的宏观几何形状变化。同时为了验证本文方法对其他物体表面细节恢复的适用性,分别对硬币和恐龙恢复表面细节,实验结果表明提出的增强表面细节的方法同样适用于其他物体。结论 针对单幅植物叶片图像的3维重建,在SFS的基础上提出了根据骨架特征加强表面细节,根据图像亮度统计分布和叶片中轴距离场约束共同恢复表面宏观几何形状的算法,实验结果验证了本文方法的可行性。     

基于深度学习的双目立体匹配方法综述

双目立体匹配是计算机视觉领域的经典问题,在自动驾驶、遥感、机器人感知等诸多任务中得到广泛应用。双目立体匹配的主要目标是寻找双目图像对中同名点的对应关系,并利用三角测量原理恢复图像深度信息。近年来,基于深度学习的立体匹配方法在匹配精度和匹配效率上均取得了远超传统方法的性能表现。将现有基于深度学习的立体匹配方法分为非端到端方法和端到端方法。基于深度学习的非端到端方法利用深度神经网络取代传统立体匹配方法中的某一步骤,根据被取代步骤的不同,该类方法被分为基于代价计算网络、基于代价聚合网络和基于视差优化网络的3类方法。基于深度学习的端到端方法根据代价体维度的不同可分为基于3D代价体和基于4D代价体的方法。从匹配精度、时间复杂度、应用场景等多个角度对非端到端和端到端方法中的代表性成果进行分析,并归纳各类方法的优点以及存在的局限性。在此基础上,总结基于深度学习的立体匹配方法当前面临的主要挑战并展望该领域未来的研究方向。     

用单幅图像重建三维凸面和两类鞍面的方法

利用Eikonal方程的粘性解给出了基于单幅图像的凸面三维重建算法;定义了2类鞍面——加性鞍面和乘性鞍面．利用凸面法和凹面法从鞍面单幅图像重建2个抛物柱面,然后根据鞍面的结构特点将2个抛物柱面重新合成鞍面．文中算法从临界点开始计算,不要求边界条件,具有较高的精确度．最后通过实验分析了该算法对噪声的敏感性．     

基于SFS算法的泡泡纱织物起泡形态模型研究

阴影恢复形状算法是计算机视觉中的一个重要研究课题,该算法应用于泡泡纱织物三维曲面重建,为今后对泡泡纱织物仿真的研究奠定了基础。提出了一种改进的阴影恢复重建算法,使其更有利用排除屈曲对泡泡曲面建模的影响。先利用传统的SFS算法对泡泡纱局部样本图进行表面重建,然后再对得到的数据进一步分析：利用区域峰值抽样并结合B样条曲面拟合函数,得到最终的起泡表面曲面模型。实验表明,此方法可以有效的排除细节信息干扰,得到理想的起泡曲面模型,为泡泡纱仿真方法的研究奠定很好基础,亦可应用于其他物体的研究。     

基于径向基函数网络的SFS算法研究

分析了现有从明暗恢复形状(SFS)的几种方法普遍存在对恢复的形状的连续性和光滑性的缺点,提出了一种基于径向基函数网络模型进行从明暗恢复形状的新算法。该算法先采用网络构造一个曲面方程,再利用反射函数作为约束条件,通过调整权因子和径向基函数中心和宽度对网络进行自学习,得到一个满意的曲面方程。理论和实验证明,该算法在恢复形状的准确性和曲面的光滑性,连续性上有较大改进。     

结合小波变换的SFS最小化算法研究

提出了一种结合小波变换的从明暗恢复三维形状的最小化方法,该算法利用图像小波变换各个子频段的不同频率特性和方向特性,分别采用不同的算法重构。在图像被分解后的低频区域采用小波直接提取自然条纹相位,高频区域使用最小化方法重构。这种方法在低频区域避免了SFS最小化方法的假设条件,而高频区域又发挥了它对细节部分重构的优势。实验结果表明该算法比单独使用最小化方法的误差要小。     

融合全局和局部特征的单幅图像去雨方法

针对基于卷积神经网络的去雨方法感受野受限的问题,结合Swin Transformer和卷积神经网络各自的优势,提出了一种融合全局和局部特征的单幅图像去雨方法。首先通过卷积神经网络对图像的局部特征进行初步提取;其次通过基于Swin Transformer的多支路网络对不同特征空间内的全局信息进行学习;最后将提取出的多支路全局特征与局部特征进行融合,实现无雨图像的恢复。在多个数据集上与多种主流单幅图像去雨方法进行了对比实验。结果表明,所提方法生成的结果在峰值信噪比和结构相似性指标上都具有一定优势,验证了所提方法在图像去雨任务上的有效性。     

基于单幅图像的三维信息提取

针对单幅图像提取三维信息困难,设计了一种基于单幅图像的三维信息提取算法。该算法首先需要标定摄像机,得到摄像机从三维到二维的成像矩阵M3×4,并计算M3×4的伪逆矩阵M+4×3,其本质是通过最小二乘法求解矛盾方程组;利用M+4×3提取二维单幅图像中的三维信息,再把这些三维信息投影到一个平面上显示出来。实验表明,单幅图像目标物体必须满足共面等约束条件,从而可以对目标物体的三维信息做定性分析(定性视觉)。此外,还对三维空间投影到二维图像的过程进行了理论推导,得出了如果没有足够的先验知识,成像过程不可逆的结论。     

基于双目图像深度学习的农作物择优采摘仿真

面对复杂的农作物生长环境,利用传统机器视觉技术采摘易受到未成熟果实以及周围叶片影响,获取的农作物果实图像存在较多的不可用信息,无法完成择优采摘。为了确保采摘的果蔬品质,提出基于双目图像深度学习的农作物择优采摘方法。利用直方图均衡化变换视觉图像区域,明确农作物图像内像素灰度值,均衡化色块不均位置。通过色彩分量调节全局图像颜色,以颜色差异分割双目图像,剔除局部RGB色彩关联性。在提取农作物形状特征前,将深度信息再次归一化,获得作物形态描述符。选择卷积神经网络对图像实行卷积运算,将择优特征结果输入到卷积层内,输出图像分类结果,实现农作物择优采摘。实验结果表明,所提方法的择优采摘精准度达到0.98,果实形状特征识别为0.96。说明所提方法能够准确识别出品质佳的农作物,实现了择优采摘。     

基于单幅图像明暗恢复形状算法设计

以单幅二维图像为研究对象,首先将彩色图像转换成灰度图像,然后直接寻找灰度值与缺失的第三维信息之间的关系,最后根据这种关系来求出物体表面缺失的第三维信息。整个算法流程简单,速度非常快,形状恢复满意度高。     

单幅粉尘图像的切片重构恢复方法

针对粉尘分布不均匀且局部多散射引起的图像退化问题,提出单幅粉尘图像的切片重构恢复方法。首先,在场景深度方向采用McCartney模型得到多层切片图像;其次,对切片图像进行联合粉尘检测运算,将切片图像中无粉尘的区域保留,而将有粉尘的区域标记并将此区域作为下一张切片图像的检测区域;然后,对每张切片图像中保留的无粉尘部分和最后一张切片的粉尘区域进行重构;最后,对重构图像使用快速导向滤波,实现了对单幅粉尘图像的恢复。实验结果表明,该恢复方法可以对图像中的粉尘区域实现快速、有效去除,为粉尘环境中基于计算机视觉的目标监控与识别工作奠定基础。     

结合支持向量回归和图像自相似的单幅图像超分辨率算法

目的 基于学习的单幅图像超分辨率算法是借助实例训练库由一幅低分辨率图像产生高分辨率图像。提出一种基于图像块自相似性和对非线性映射拟合较好的支持向量回归模型的单幅超分辨率方法,该方法不需使用外部图像训练库。方法 首先根据输入的低分辨率图像建立图像金字塔及包含低/高分辨率图像块对的集合;然后在低/高分辨率图像块对的集合中寻找与输入低分辨率图像块的相似块,利用支持向量回归模型学习这些低分辨率相似块和其对应的高分辨率图像块的中心像素之间的映射关系,进而得到未知高分辨率图像块的中心像素。结果 为了验证本文设计算法的有效性,选取结构和纹理不同的7幅彩色高分辨率图像,对其进行高斯模糊的2倍下采样后所得的低分辨率图像进行超分辨率重构,与双三次插值、基于稀疏表示及基于支持向量回归这3个超分辨率方法重建的高分辨率图像进行比较,峰值信噪比平均依次提升了2.37 dB、0.70 dB和0.57 dB。结论 实验结果表明,本文设计的算法能够很好地实现图像的超分辨率重构,特别是对纹理结构相似度高的图像具有更好的重构效果。