多尺度相似性迭代查找的可靠双目视差估计

目的双目视差估计可以实现稠密的深度估计,因而具有重要研究价值。而视差估计和光流估计两个任务之间具有相似性,在两种任务之间可以互相借鉴并启迪新算法。受光流估计高效算法RAFT(recurrent all-pairs field transforms)的启发,本文提出采用单、双边多尺度相似性迭代查找的方法实现高精度的双目视差估计。针对方法在不同区域估计精度和置信度不一致的问题,提出了左右图像视差估计一致性检测提取可靠估计区域的方法。方法采用金字塔池化模块、跳层连接和残差结构的特征网络提取具有强表征能力的表示向量,采用向量内积表示像素间的相似性,通过平均池化得到多尺度的相似量,第0次迭代集成初始视差量,根据初始视差单方向向左查找多尺度的相似性得到的大视野相似量和上下文3种信息,而其他次迭代集成更新的视差估计量,根据估计视差双向查找多尺度的相似性得到的大视野相似量和上下文3种信息,集成信息通过第0次更新的卷积循环神经网络和其他次更新共享的卷积循环神经网络迭代输出视差的更新量,多次迭代得到最终的视差估计值。之后,通过对输入左、右图像反序和左右翻转估计右图视差,对比左、右图匹配点视差差值的绝对值和...     

基于深度学习的立体影像视差估计方法综述

三维重建技术常用于自动驾驶、机器人、无人机和增强现实等领域。视差估计是三维重建的关键步骤,随着数据集的增加、硬件和网络模型的发展,深度学习视差估计模型被广泛使用并取得良好效果。然而,这些方法常用室外场景的物体,很少使用在室内场景的数据集中。回顾了双目视差估计的深度学习方法,选用5种深度学习网络：PSMNet(pyramid stereo matching network)、GA-Net(guided aggregation network)、LEAStereo(hierarchical neural architecture search for deep stereo matching)、DeepPruner(learning efficient stereo matching via differentiable patchmatch)、BGNet(bilateral grid learning for stereo matching networks),将其运用在一套真实世界的街景数据集（KITTI2015）和两套室内场景数据集（Middlebury2014、Instereo2K...     

基于双目立体视觉的视差测量

双目立体视觉是计算机视觉研究最重要的组成部分之一.该文旨在构建一个双目视觉系统用来测量相机与物体的距离.通过双目相机进行图像采集,使用Matlab Calibration Toolbox工具对相机标定,然后进行左右图像校正,最后对校正的图像进行立体匹配,得到被测物体的视差图及其物体的3D坐标.实验表明:这个方案具有可行...     

基于双目视觉的目标定位与测距系统硬件平台

自主目标识别与定位问题是智能化林业机器人工作的重要基础.以林业环境中树干识别及定位为目标,设计一种基于双目视觉的数字视频实时处理系统硬件平台.使用双目摄像头采集图像,并对采集信息进行三维信息计算,输出目标定位与测距结果.实验结果表明,该硬件平台可以完成图像采集及处理功能,达到预期的实验效果.     

基于双目的目标快速测距算法

为保证测距精度的同时提高计算效率,针对特定的应用场景,提出一种在Census变换理论基础上改进的立体匹配算法。以降低计算的像素需求,优化测距方法为途径,针对双摄像头获取的视频图像,通过图像灰度化、像素值平均、像素定标比较以及像素点替换等图像分析方法,实现在特定应用场景下提高双目摄像头的数据计算效率,加快硬件的运算速度,达到算法快速、稳定、有效地运行的目的。根据实验结果分析,该算法在图像噪声抑制上具有较好的效果,在实际应用中展现了较好的稳定性与较高的计算效率。     

基于计算机三维立体视差映射的双目立体成像研究

基于计算机三维立体视差映射的双目立体成像涉及计算机视觉、模式识别、计算机图形学等领域中许多具有挑战性的研究问题。主要存在的问题是所成的立体图像仍不够逼真和自然,人们对人眼的功能以及双目立体成像模型的了解还不够彻底,立体图像对的获取还有一些难题没有得到较好的解决。该文提出了一种已建三维模型的情况下立体图像生成方法。介绍了三维软件中如何利用摄像机对象生成双目立体图像,研究了影响立体效果的几个重要因素,包括目标摄像机与三维模型的位置关系、镜头距离、成像位置的控制等内容。这些工作基于计算机三维立体视差映射的双目立体成像推向深入,也为双目立体成像在可视化立体展示中的应用提供了理论和技术上的支撑。     

双目区域视差快速计算及测距算法

目的 双目测距对水面无人艇自主避障以及视觉侦察具有重要意义,但视觉传感器成像易受光照环境及运动模糊等因素的影响,基于经典Census变换的立体匹配代价计算方法耗时长,且视差获取精度差,影响测距精度。为了提高测距精度并保证算法运行速度,提出一种用于双目测距的快速立体匹配算法。方法 基于传统Census变换,提出一种新的比特串生成方法,在匹配点正方形支持窗口的各边等距各选3个像素点,共选出8个像素点,这8个像素点两两比较生成一个字节的比特串。将左右视场中的匹配点与待匹配点的比特串进行异或,得到两点的汉明距离,在各汉明距离中找到距离最小的像素点作为匹配像素点,两像素点的横坐标差为视差。本文采用区域视差计算的方法,在左右视场确定同一目标区域后进行视差提取和滤波,利用平均视差计算目标的距离。结果 本文算法与基于传统Census变换的立体匹配视差获取方法相比,在运算速度方面优势明显,时间稳定在0.4 s左右,用时仅为传统Census变换算法的1/5。在Middlebury数据集中的图像对teddy和cones上进行的算法运行时间对比实验中,本文基于Census变换改进的算法比已有的基于Census变换的匹配算法在运行时间上快了近20 s。在实际双目测距实验中,采用本文算法在1019 m范围内测距误差在5%以内,根据无人艇的运动特点和避障要求,通过分析可知该算法的测距精度可以满足低速无人艇的避障需求。结论 本文给出的基于改进Census变换的匹配算法在立体匹配速度上有大幅提高,提取目标视差用于测距,实际测距结果表明,本文算法能够满足水面无人艇的视觉避障要求。     

基于归一化互相关的半透明遮挡视差估计

双目视觉一直是一个重要的研究方向,目前已经有很多的模型和算法,但绝大部分的模型和算法只能应用在视差满足唯一性约束的情况下.当场景中存在半透明遮挡物时,图像中同一位置可能对应于多个物体和多个视差,此时绝大部分的算法都不适用.针对可能存在半透明遮挡的问题,比较了部分传统匹配代价函数,提出一个新的基于灰度值归一化互相关(NC...     

基于双目视觉的头部姿态估计

基于双目视觉设计一种由人眼在二维及三维空间相对位置的变化估计头部姿态的方法,并将头部姿态分为15种.用光照补偿和肤色模型划分人脸区域的方法减少传统级联分类器易受光照和角度的影响而产生的人眼误检;对双目相机标定以进行立体校正和去畸变,图像经过对极约束、重投影和立体匹配过程得到视差,根据左右图像中对应的人眼位置的视差由三角...     

深度学习单目深度估计研究进展

单目深度估计是从单幅图像中获取场景深度信息的重要技术,在智能汽车和机器人定位等领域应用广泛,具有重要的研究价值。随着深度学习技术的发展,涌现出许多基于深度学习的单目深度估计研究,单目深度估计性能也取得了很大进展。本文按照单目深度估计模型采用的训练数据的类型,从3个方面综述了近年来基于深度学习的单目深度估计方法:基于单图像训练的模型、基于多图像训练的模型和基于辅助信息优化训练的单目深度估计模型。同时,本文在综述了单目深度估计研究常用数据集和性能指标基础上,对经典的单目深度估计模型进行了性能比较分析。以单幅图像作为训练数据的模型具有网络结构简单的特点,但泛化性能较差。采用多图像训练的深度估计网络有更强的泛化性,但网络的参数量大、网络收敛速度慢、训练耗时长。引入辅助信息的深度估计网络的深度估计精度得到了进一步提升,但辅助信息的引入会造成网络结构复杂、收敛速度慢等问题。单目深度估计研究还存在许多的难题和挑战。利用多图像输入中包含的潜在信息和特定领域的约束信息,来提高单目深度估计的性能,逐渐成为了单目深度估计研究的趋势。     

基于可变特征基元的视差估计新方法

视差估计是立体视频和多视点视频信号处理中的一个关键问题。选择可变长线段作为特征基元,提出一种基于特征匹配的视差估计新方法。算法结合唯一性和顺序性约束条件来增强视察估计的可靠性与准确性。在详细介绍了算法的基本原理后进行了实验仿真,实验结果表明新算法能获得较为准确、可靠、亚像素精度的密集视差场,其性能优于固定块匹配（Fixed Size Block Matching,FSBM）、可变块匹配（Variable Size Block Matching,VSBM）等传统的视差估计算法。     

一种基于立体视觉的运动目标检测算法

在目标检测中采用立体视觉方法。首先对立体图像对进行匹配求取场景的视差图,再运用基于视差的背景差分法获得含有运动目标的前景区域,最后根据前景区域的视差和位置分布准确定位各运动目标。立体视觉方法有效解决了单目视觉检测方法中的一些难点问题,可以克服光线的变化和阴影干扰对目标检测带来的影响,在多个目标发生部分遮挡时仍能正确区分各运动目标。     

基于视觉的三维目标检测算法研究综述

基于视觉的目标检测是环境感知系统的重要组成,一直以来是计算机视觉、机器人等相关领域的研究热点。三维目标检测是在二维目标检测的基础上,增加目标尺寸、深度、姿态等信息的估计。相比于二维目标检测,三维目标检测在准确性、实时性等方面仍有较大的提升空间。系统总结了基于视觉的三维目标检测方法,调研了现有的基于单目视觉、双目、深度相机的三维目标检测方法,并依据室内外场景进行了分类。此外,在KITTI、SUN RGBD等数据集上对最新的三维目标检测算法进行了对比分析,并针对目前算法中存在的难点和问题,讨论了未来的研究方向。     

基于改进SIFT算法的双目视觉距离测量

针对视觉传感器距离测量中所使用的图像特征匹配算法精度不高、计算量大、实时性差等问题,提出了一种改进尺度不变特征变换(SIFT)图像特征匹配算法,并应用于双目测距系统当中.改进SIFT算法基于简化尺度构造空间,以曼哈顿距离作为最邻近特征点查询中的相似性度量,提高了算法效率.初次匹配之后与随机采样一致算法(RANSAC)结合,剔除误匹配点;基于精度较高的二次匹配点,提取匹配点像素信息进行距离计算,通过测距试验验证算法的可行性.实验结果表明:提出的方法获取目标距离达到较高精度,满足观测设备要求.     

小目标检测技术研究综述

小目标检测是针对图像中像素占比少的目标,借助计算机视觉在图像中找到并判断该目标所属类别的目标检测技术。与目前应用较为成熟的大尺度、中尺度目标检测不同,小目标自身存在着语义信息少、覆盖面积小等先天不足,导致小目标的检测效果并不理想,因此如何提高小目标的检测效果依然是计算机视觉领域的一大难题。对近年来国内外小目标检测领域研究成果进行了梳理,以小目标检测技术为核心,对关于小目标的定义、检测难点进行分析;将能有效提高小目标检测精度的方法进行分类汇总,并介绍了各种方法的应用与优缺点;最后对未来小目标检测领域发展趋势进行了预测与展望。     

基于多尺度聚合神经网络的双目视觉立体匹配方法

为了改善机器人、无人驾驶领域采用深度神经网络实现双目视觉立体匹配存在参数量大、GPU资源成本高的问题,提出一种多尺度聚合的立体匹配方法。首先设计一个结合多尺度的特征提取网络,利用空洞卷积在不改变分辨率下获得更为丰富的特征,引入注意力机制,再将不同分辨率下特征交叉融合以完善特征信息;其次,改变代价卷获取方式,在低尺度下聚合得到代价卷,不断结合高尺度相似信息以迭代更新,将多个代价卷进行交叉融合以得到最终代价卷;最后,结合注意力机制的精细化模块修正初始视差图中的异常值与不连续区域,得到最终视差图。实验结果表明,该算法能够在较低参数量,以及低成本GPU资源下运行,且获得较好的匹配精度。     

利用立体视觉的室内场景分类

场景分类的目标是为各种视觉处理任务建立语义上下文,尤其是为目标识别。双目视觉系统现已广泛配备在智能机器人上,然而场景分类的任务大多只是使用单目图像。由于室内场景的复杂性,使用单目图像进行场景分类的性能很低。提出了一种基于双目视觉的室内场景分类方法,使用在一些特定区域里拟合出的若干平面的参数作为场景的特征。采用层级的分类方法,依据视差图,场景被分为开放场所类和封闭场所类,利用提出的场景特征和Gist特征对上述两类进行细分。为了验证提出的方法,建立了一个包含四种场景类别的图像数据集。实验结果表明提出的方法取得了较好的分类性能。     

基于立体视觉的3D地形拼接

为了从月球车上的全景相机所捕获的立体图像对重建月球车周围的3D地形,给地面科学家制定科学探测指令提供一个直观的可视化平台,预先展开了基于立体视觉的3D地形重建的研究,主要介绍了在3D地形拼接方面的研究进展。当恢复出多个局部3D地形模型时,首先基于边缘检测和图像匹配技术提取出相邻局部模型之间的公共数据点,然后采用分离旋转变换和平移矢量的策略拟合出相邻模型之间的坐标转换关系,之后就可以将局部模型统一在同一个坐标系下。通过室内和室外多次实验验证了该拼接方案。