融合梯度信息自适应窗口的立体匹配

针对立体匹配算法中对固定窗口匹配代价计算存在匹配精度低的问题，该文提出了一种基于融合梯度信息自适应窗口的立体匹配算法。以AD-Census和SGM立体匹配算法为基础，首先研究了窗口大小对算法性能的影响，并在代价计算中加入融合梯度信息的自适应窗口算法，使用标准图像集对改进前后的算法性能进行对比。实验结果表明，匹配窗口增大可以提高算法的匹配精度但会降低算法效率，利用梯度信息调节窗口大小可以提高算法的适用性，保持效率的同时降低三类区域中的误匹配率。在4个测试集中误匹配率平均下降了4.05%，平均运行时间只增加了0.82 s，改进后的立体匹配算法具有更好的综合性能。     

融合边缘保持与改进代价聚合的立体匹配算法

目的 立体匹配是计算机双目视觉的重要研究方向,主要分为全局匹配算法与局部匹配算法两类。传统的局部立体匹配算法计算复杂度低,可以满足实时性的需要,但是未能充分利用图像的边缘纹理信息,因此在非遮挡、视差不连续区域的匹配精度欠佳。为此,提出了融合边缘保持与改进代价聚合的立体匹配。方法 首先利用图像的边缘空间信息构建权重矩阵,与灰度差绝对值和梯度代价进行加权融合,形成新的代价计算方式,同时将边缘区域像素点的权重信息与引导滤波的正则化项相结合,并在多分辨率尺度的框架下进行代价聚合。所得结果经过视差计算,得到初始视差图,再通过左右一致性检测、加权中值滤波等视差优化步骤获得最终的视差图。结果 在Middlebury立体匹配平台上进行实验,结果表明,融合边缘权重信息对边缘处像素点的代价量进行了更加有效地区分,能够提升算法在各区域的匹配精度。其中,未加入视差优化步骤的21组扩展图像对的平均误匹配率较改进前减少3.48%,峰值信噪比提升3.57 dB,在标准4幅图中venus上经过视差优化后非遮挡区域的误匹配率仅为0.18%。结论 融合边缘保持的多尺度立体匹配算法有效提升了图像在边缘纹理处的匹配精度,进一步降低了非遮挡区域与视差不连续区域的误匹配率。     

融合多特征表示和超像素优化的双目立体匹配

针对目前许多局部双目立体匹配方法在缺乏纹理区域、遮挡区域、深度不连续区域匹配精度低的问题,提出了基于多特征表示和超像素优化的立体匹配算法。通过在代价计算步骤中加入边缘信息特征,与图像局部信息代价相融合,增加了在视差计算时边缘区域的辨识度;在代价聚合步骤,基于超像素分割形成的超像素区域,利用米字骨架自适应搜索,得到聚合区域,对初始代价进行聚合;在视差精化步骤利用超像素分割信息,对匹配错误视差进行修正,提高匹配精度。基于Middlebury立体视觉数据集测试平台,与自适应权重AD-Census、FA等方法得出的视差图进行比较,该算法在深度不连续区域和缺乏纹理区域的匹配效果显著改善,提高了立体匹配精度。     

基于自适应权重的立体匹配优化算法

为解决现有立体匹配算法对低纹理以及视差不连续区域匹配效果较差的问题,提出一种改进的立体匹配优化算法。在传统自适应权重算法匹配代价的基础上,融合高斯差分图像差分信息,即左右图像高斯差分图的差分,重新定义其初始匹配代价,增加算法在视差不连续区域的鲁棒性,并加入边缘约束和视差边缘约束迭代聚类以及基于高斯差分图的自适应窗口算法,保证改进算法在低纹理区域的匹配性能,消除坏点与视差空洞。将该算法与传统自适应权重匹配算法分别在Middlebury数据集上进行匹配实验,结果表明,该算法平均性能提升了15.05%,明显优于传统自适应权重匹配算法。     

双目区域视差快速计算及测距算法

目的 双目测距对水面无人艇自主避障以及视觉侦察具有重要意义,但视觉传感器成像易受光照环境及运动模糊等因素的影响,基于经典Census变换的立体匹配代价计算方法耗时长,且视差获取精度差,影响测距精度。为了提高测距精度并保证算法运行速度,提出一种用于双目测距的快速立体匹配算法。方法 基于传统Census变换,提出一种新的比特串生成方法,在匹配点正方形支持窗口的各边等距各选3个像素点,共选出8个像素点,这8个像素点两两比较生成一个字节的比特串。将左右视场中的匹配点与待匹配点的比特串进行异或,得到两点的汉明距离,在各汉明距离中找到距离最小的像素点作为匹配像素点,两像素点的横坐标差为视差。本文采用区域视差计算的方法,在左右视场确定同一目标区域后进行视差提取和滤波,利用平均视差计算目标的距离。结果 本文算法与基于传统Census变换的立体匹配视差获取方法相比,在运算速度方面优势明显,时间稳定在0.4 s左右,用时仅为传统Census变换算法的1/5。在Middlebury数据集中的图像对teddy和cones上进行的算法运行时间对比实验中,本文基于Census变换改进的算法比已有的基于Census变换的匹配算法在运行时间上快了近20 s。在实际双目测距实验中,采用本文算法在1019 m范围内测距误差在5%以内,根据无人艇的运动特点和避障要求,通过分析可知该算法的测距精度可以满足低速无人艇的避障需求。结论 本文给出的基于改进Census变换的匹配算法在立体匹配速度上有大幅提高,提取目标视差用于测距,实际测距结果表明,本文算法能够满足水面无人艇的视觉避障要求。     

基于整数图像技术的自适应窗口立体匹配算法

针对固定窗口区域匹配算法在深度不连续处容易产生相对较大匹配误差的问题,提出了一种基于整数图像技术的自适应窗口立体匹配新算法.文中一种新的相似性测度函数和四方向线型掩模的采用不仅减少了噪声影响而且提高了匹配准确度.同时利用由窗口内平均误差、误差方差以及较大窗口偏移组成的窗口代价函数来确定窗口尺寸极大地提高了匹配精度;整数图像技术的引入将匹配时运算量降低为一常数.实验表明基于整数图像技术的自适应窗口立体匹配算法在局部匹配方法中是比较优秀的,便于实时实现.     

基于图像分割的自适应窗口双目立体匹配算法研究

针对传统双目立体匹配算法采用固定窗口导致弱纹理区域匹配精度较低的问题,提出了一种基于图像分割的自适应窗口立体匹配算法.首先,采用Mean-shift算法对图像进行分割,之后对分割图像进行局部子区灰度标准差统计,在此基础上提出了一种根据纹理丰富程度进行窗口大小自适应设定的算子.基于自适应窗口大小设定,组合使用Census变换和梯度值计算匹配代价,并分别通过自适应权重代价聚合及"胜者为王"策略进行初始视差计算,最后利用左右视差一致性原则和加权中值滤波得到稠密视差图.采用提出的自适应窗口匹配算法与固定窗口匹配算法对Middlebury数据集上的标准图片进行匹配实验,实验结果表明,所提算法的平均匹配错误率为2.04％,相比对比算法,所提方法的匹配错误率分别降低了4.5％和7.9％.     

置信度传播和区域边缘构建的立体匹配算法

讨论了区域匹配代价和全局置信度传播算法之间的相互作用,提出一种基于全局置信度传播和区域边缘构建的立体匹配算法。首先,在每个像素的固定邻域内利用二阶微分边缘算子搜索并构建一条虚拟的封闭边缘,形成相应的区域自适应窗口;然后使用自适应窗口内的支持像素计算中心像素之间的匹配代价;最后利用具备加速消息更新机制的置信度传播算法获取视差。实验结果表明,基于区域边缘构建的匹配代价可以较好地适用于全局置信度传播优化算法,提出的立体匹配算法可以在Middlebury标准下获得良好的匹配结果。     

改进的跨尺度引导滤波立体匹配算法

作为双目三维重建中的关键步骤,双目立体匹配算法完成了从平面视觉到立体视觉的转化.但如何平衡双目立体匹配算法的运行速度和精度仍然是一个棘手的问题.本文针对现有的局部立体匹配算法在弱纹理、深度不连续等特定区域匹配精度低的问题,并同时考虑到算法实时性,提出了一种改进的跨多尺度引导滤波的立体匹配算法.首先融合AD和Census变换两种代价计算方法,然后采用基于跨尺度的引导滤波进行代价聚合,在进行视差计算时通过制定一个判断准则判断图像中每一个像素点的最小聚合代价对应的视差值是否可靠,当判断对应的视差值不可靠时,对像素点构建基于梯度相似性的自适应窗口,并基于自适应窗口修正该像素点对应的视差值.最后通过视差精化得到最终的视差图.在Middlebury测试平台上对标准立体图像对的实验结果表明,与传统基于引导滤波器的立体匹配算法相比具有更高的精度.     

一种基于双重分割的立体匹配算法

立体匹配通过计算同一场景不同视点下图像的匹配像素的视差,恢复场景的深度信息.文中对传统的基于分割的立体匹配算法进行改进,提出了一种基于双重分割的立体匹配算法.首先对参考图像进行颜色欠分割,使每个区域包含足够的信息进行平面拟合;然后对初始匹配视差图进行分割,检测颜色分割中的欠分割区域并进行再分割,进而对再分割后的区域进行平面拟合;最后利用合作算法对不可信区域优化,以提高匹配算法的运行效率.Middlebury标准图像测试集上的实验结果表明,相对于传统分割算法,该算法时间开销更少、匹配精度更高.     

彩色图像对自适应匹配算法

提出了两种方法来提高图像匹配的精度。一种方法是改变自适应匹配窗口的选择方法,与原来的矩形窗口相比较,提出的窗口选取方法能在低纹理区域得到包含有效信息量更多、更接近实际边界的窗口。此外,通过降低边界点相似度在计算过程中的权重来降低边界点影响力,使得视差不连续区域的匹配精度得到提高。算法采用了Middlebury网站上提供的四幅立体图像对Tsukuba、Venus、Teddy和Cones分别进行实验验证。实验表明文中提出的两种方法对四幅图像的匹配精度均有所提高。     

基于PatchMatch的半全局高效双目立体匹配算法

近年来双目立体匹配技术发展迅速,高精度、高分辨率、大视差的应用需求无疑对该技术的计算效率提出了更高的要求。由于传统立体匹配算法固有的计算复杂度正比于视差范围,已经难以满足高分辨率、大视差的应用场景。因此,从计算复杂度、匹配精度、匹配原理等多方面综合考虑,提出了一种基于PatchMatch的半全局双目立体匹配算法,在路径代价计算过程中使用空间传播机制,将可能的视差由整个视差范围降低为t个候选视差(t远远小于视差范围),显著减少了候选视差的数量,大幅提高了半全局算法的计算效率。对KITTI2015数据集的评估结果表明,该算法以5.81%的错误匹配率和20.2 s的匹配时间实现了准确性和实时性的明显提高。因此,作为传统立体匹配改进算法,该设计可以为大视差双目立体匹配系统提供高效的解决方案。     

融合边缘特征的SAD立体匹配算法

为保证SAD算法的立体匹配效率,提高匹配精度,提出一种融合边缘特征的立体匹配算法Edge-Gray.通过边缘计算得到边缘特征图,在进行匹配的过程中,根据当前点与领域点的差值确定匹配窗口大小和匹配源图,在此基础上进行视差优化得到视差图.实验结果表明,与传统的SAD算法相比,Edge-Gray算法的平均误匹配率较低,对于边缘较多的Cones图像立体匹配效果较好,其误匹配率可降低10.52%.     

Secrets of adaptive support weight techniques for local stereo matching

In recent years, local stereo matching algorithms have again become very popular in the stereo community. This is mainly due to the introduction of adaptive support weight algorithms that can for the first time produce results that are on par with global stereo methods. The crux in these adaptive support weight methods is to assign an individual weight to each pixel within the support window. Adaptive support weight algorithms differ mainly in the manner in which this weight computation is carried out.In this paper we present an extensive evaluation study. We evaluate the performance of various methods for computing adaptive support weights including the original bilateral filter-based weights, as well as more recent approaches based on geodesic distances or on the guided filter. To obtain reliable findings, we test these different weight functions on a large set of 35 ground truth disparity pairs. We have implemented all approaches on the GPU, which allows for a fair comparison of run time on modern hardware platforms. Apart from the standard local matching using fronto-parallel windows, we also embed the competing weight functions into the recent PatchMatch Stereo approach, which uses slanted sub-pixel windows and represents a state-of-the-art local algorithm. In the final part of the paper, we aim at shedding light on general points of adaptive support weight matching, which, for example, includes a discussion about symmetric versus asymmetric support weight approaches.     

基于差值绝对值之和和置信传播的快速收敛立体匹配算法

针对传统置信传播（BP）立体匹配算法运算次数较多、效率低下的问题,提出了一种基于像素灰度绝对误差和（SAD）和BP的快速收敛立体匹配算法。首先使用SAD作为代价函数来计算初始视差值,并将可靠视差值作为约束项加入全局算法BP的能量函数中,进行全局的能量函数的优化;然后在优化过程中更新计算每个像素点的置信度时,考虑当前像素点自适应大小邻域内像素点对它的信息传递,而忽略距离较远的像素点的影响,从而减少了置信传播节点数并提高了置信度收敛的速度。实验结果表明,提出的算法在保持相近匹配精度的前提下,运行时间减少了50%~60%,提高了立体匹配效率,为实时应用打下了基础。     

基于图像分割的立体匹配算法

针对在立体匹配中弱纹理及纯色区域匹配不准确和图像分割算法耗时较多的问题,提出一种融合图像分割的立体匹配算法。首先,将初始图像进行高斯滤波和Sobel平滑的处理,获取图像的边缘特征图;然后,将原图的红、绿、蓝三个通道值采用最大类间方差法进行二分类,再融合得到分割模板图;最后,将所得到的灰度图、边缘特征图和分割模板图用于视差计算和视差优化的过程,计算得到视差图。相比绝对差值和(SAD)算法,所提算法在精度上平均提升了14.23个百分点,时间开销上平均每万个像素点只多消耗了7.16 ms。实验结果表明,该算法在纯色及弱纹理区域和视差不连续区域取得了更加平滑的匹配结果,在图像分割上能够自动计算阈值且能够较快地对图像进行分割。     

结合同场景立体图对的高质量深度图像重建

目的 越来越多的应用依赖于对场景深度图像准确且快速的观测和分析,如机器人导航以及在电影和游戏中对虚拟场景的设计建模等.飞行时间深度相机等直接的深度测量设备可以实时的获取场景的深度图像,但是由于硬件条件的限制,采集的深度图像分辨率比较低,无法满足实际应用的需要.通过立体匹配算法对左右立体图对之间进行匹配获得视差从而得到深度图像是计算机视觉的一种经典方法,但是由于左右图像之间遮挡以及无纹理区域的影响,立体匹配算法在这些区域无法匹配得到正确的视差,导致立体匹配算法在实际应用中存在一定的局限性.方法 结合飞行时间深度相机等直接的深度测量设备和立体匹配算法的优势,提出一种新的深度图像重建方法.首先结合直接的深度测量设备采集的深度图像来构造自适应局部匹配权值,对左右图像之间的局部窗立体匹配过程进行约束,得到基于立体匹配算法的深度图像;然后基于左右检测原理将采集到的深度图像和匹配得到的深度图像进行有效融合;接着提出一种局部权值滤波算法,来进一步提高深度图像的重建质量.结果 实验结果表明,无论在客观指标还是视觉效果上,本文提出的深度图像重建算法较其他立体匹配算法可以得到更好的结果.其中错误率比较实验表明,本文算法较传统的立体匹配算法在深度重建错误率上可以提升10％左右.峰值信噪比实验结果表明,本文算法在峰值信噪比上可以得到10 dB左右的提升.结论 提出的深度图像重建方法通过结合高分辨率左右立体图对和初始的低分辨率深度图像,可以有效地重建高质量高分辨率的深度图像.     

一种改进的区域双目立体匹配方法

双目立体匹配是机器视觉中的热点、难点问题。分析了区域立体匹配方法的优缺点,提出了改进的区域立体匹配方法。首先,采集双目视觉图像对对图像对进行校正、去噪等处理,利用颜色特征进行图像分割,再用一种快速有效的块立体匹配算法对图像进行立体匹配。然后,在匹配过程中使用绝对误差累积(SAD)的小窗口来寻找左右两幅图像之间的匹配点。最后,通过滤波得到最终的视差图。实验表明:该方法能够有效地解决重复区域、低纹理区域、纹理相似区域、遮挡区域等带来的误匹配问题,能得到准确清晰的稠密视差图。