多特征融合和自适应聚合的立体匹配算法研究

针对局部立体匹配在光照失真和弱纹理区域匹配精度低的问题,提出了一种多特征融合的代价计算和自适应十字窗口聚合的立体匹配算法。引入HSV颜色空间分量,结合改进后的Census变换和梯度信息作为匹配代价计算方法,排除了视差边界异常值的影响,增强了算法对光照失真的稳健性;提出了基于梯度信息和可变颜色阈值的自适应窗口代价聚合方法,提高了在弱纹理区域的匹配精度;通过视差计算和多步骤的视差精细得到了最终的视差结果。实验结果表明,所提算法较AD-Census算法在无光照失真条件下误匹配减少了3.24%,能有效解决视差边界和弱纹理区域错误匹配的问题,对光照失真稳健性好且能有效抑制噪声干扰。     

多尺度融合的立体匹配算法

针对局部立体匹配方法存在的匹配窗口大小选择困难、弱纹理或高光区域立体匹配精度较低等问题,文中结合卷积神经网络(CNN)与图像金字塔方法,提出多尺度融合的立体匹配算法.训练CNN,用于自动学习待匹配图像对的图像特征,完成匹配代价计算.构建图像金字塔,对待匹配图像对进行多尺度表达.构建弱纹理区域模板,将各层待匹配图像划分为弱纹理区域和丰富纹理区域,将弱纹理区域图像变换成小尺度图像进行匹配度计算,降低弱纹理图像的误匹配率.在变换回大尺度图像时与丰富纹理区域匹配结果融合,保持匹配精度.在KITTI 数据集上的实验表明,文中算法具有较好的图像匹配效果.     

三种测度融合的加权引导滤波匹配算法

针对立体匹配算法中,census变换在弱纹理区域具有较好效果,但忽略了图像的灰度信息,造成在重复纹理区域匹配效果不理想,提出了一种改进的census变换。在初始匹配代价阶段,设计了一种在census变换的基础上融合互信息和梯度信息的相似性测度算法。在代价聚合阶段,采用自适应权重引导滤波聚合策略。最后,通过视差计算、视差优化得到最终的视差图。在VS2015软件平台上对Middlebury网站上提供的标准测试图进行实验,实验结果表明,所提算法能够得到较为准确的视差图,平均误匹配率为5.29%,可以满足三维重构的需要。     

A fast stereo matching algorithm suitable for embedded real-time systems

In this paper, the challenge of fast stereo matching for embedded systems is tackled. Limited resources, e.g. memory and processing power, and most importantly real-time capability on embedded systems for robotic applications, do not permit the use of most sophisticated stereo matching approaches. The strengths and weaknesses of different matching approaches have been analyzed and a well-suited solution has been found in a Census-based stereo matching algorithm. The novelty of the algorithm used is the explicit adaption and optimization of the well-known Census transform in respect to embedded real-time systems in software. The most important change in comparison with the classic Census transform is the usage of a sparse Census mask which halves the processing time with nearly unchanged matching quality. This is due the fact that large sparse Census masks perform better than small dense masks with the same processing effort. The evidence of this assumption is given by the results of experiments with different mask sizes. Another contribution of this work is the presentation of a complete stereo matching system with its correlation-based core algorithm, the detailed analysis and evaluation of the results, and the optimized high speed realization on different embedded and PC platforms. The algorithm handles difficult areas for stereo matching, such as areas with low texture, very well in comparison to state-of-the-art real-time methods. It can successfully eliminate false positives to provide reliable 3D data. The system is robust, easy to parameterize and offers high flexibility. It also achieves high performance on several, including resource-limited, systems without losing the good quality of stereo matching. A detailed performance analysis of the algorithm is given for optimized reference implementations on various commercial of the shelf (COTS) platforms, e.g. a PC, a DSP and a GPU, reaching a frame rate of up to 75 fps for 640 × 480 images and 50 disparities. The matching quality and processing time is compared to other algorithms on the Middlebury stereo evaluation website reaching a middle quality and top performance rank. Additional evaluation is done by comparing the results with a very fast and well-known sum of absolute differences algorithm using several Middlebury datasets and real-world scenarios.     

改进的跨尺度引导滤波立体匹配算法

作为双目三维重建中的关键步骤,双目立体匹配算法完成了从平面视觉到立体视觉的转化.但如何平衡双目立体匹配算法的运行速度和精度仍然是一个棘手的问题.本文针对现有的局部立体匹配算法在弱纹理、深度不连续等特定区域匹配精度低的问题,并同时考虑到算法实时性,提出了一种改进的跨多尺度引导滤波的立体匹配算法.首先融合AD和Census变换两种代价计算方法,然后采用基于跨尺度的引导滤波进行代价聚合,在进行视差计算时通过制定一个判断准则判断图像中每一个像素点的最小聚合代价对应的视差值是否可靠,当判断对应的视差值不可靠时,对像素点构建基于梯度相似性的自适应窗口,并基于自适应窗口修正该像素点对应的视差值.最后通过视差精化得到最终的视差图.在Middlebury测试平台上对标准立体图像对的实验结果表明,与传统基于引导滤波器的立体匹配算法相比具有更高的精度.     

一种新颖的自适应权重Census变换立体匹配算法

针对当前Census变换立体匹配算法深度不连续区域匹配精度低的缺陷,提出了一种新颖的自适应权重的Census变换立体匹配算法。在Census变换阶段计算变换窗口中心点上下左右四个像素的均值,得到中心点与该均值的差的绝对值,通过判断该绝对值的大小来确定中心点灰度值;为了有区别地对待窗口内各像素点,引入自适应权重,通过线性分段型函数计算自适应权值。在代价聚合阶段同样引入自适应权重并采用变化的聚合窗口,通过聚合窗口中心点和其左右两点的梯度值来确定聚合窗口的大小。实验结果表明,算法的匹配效果优于目前的Census变换立体匹配算法,在深度不连续区域匹配效果显著改善,而且没有明显降低实时性和增加硬件实现的难度。     

基于自适应匹配窗及多特征融合的立体匹配*

针对局部立体匹配方法中存在的匹配窗口大小选择困难、边缘处视差模糊及弱纹理区域、斜面或曲面匹配精度较低等问题,提出基于CIELAB空间下色度分割的自适应窗选取及多特征融合的局部立体匹配算法.首先,在CIELAB空间上对立体图像对进行色度分割,依据同质区域的分布获取初始匹配支持域,同时估计遮挡区域,更新匹配支持域.然后,基于更新后的匹配支持域,采用自适应权值的线性加权多特征融合匹配方法得到初始视差图.最后,利用左右视差一致性检测方法进行误匹配检验,利用基于分割的均值滤波器进行视差优化及细化,得到稠密匹配视差结果.实验表明文中算法有效,匹配精度较高,尤其在弱纹理区域及斜面等情况下匹配效果较好.     

双目区域视差快速计算及测距算法

目的 双目测距对水面无人艇自主避障以及视觉侦察具有重要意义,但视觉传感器成像易受光照环境及运动模糊等因素的影响,基于经典Census变换的立体匹配代价计算方法耗时长,且视差获取精度差,影响测距精度。为了提高测距精度并保证算法运行速度,提出一种用于双目测距的快速立体匹配算法。方法 基于传统Census变换,提出一种新的比特串生成方法,在匹配点正方形支持窗口的各边等距各选3个像素点,共选出8个像素点,这8个像素点两两比较生成一个字节的比特串。将左右视场中的匹配点与待匹配点的比特串进行异或,得到两点的汉明距离,在各汉明距离中找到距离最小的像素点作为匹配像素点,两像素点的横坐标差为视差。本文采用区域视差计算的方法,在左右视场确定同一目标区域后进行视差提取和滤波,利用平均视差计算目标的距离。结果 本文算法与基于传统Census变换的立体匹配视差获取方法相比,在运算速度方面优势明显,时间稳定在0.4 s左右,用时仅为传统Census变换算法的1/5。在Middlebury数据集中的图像对teddy和cones上进行的算法运行时间对比实验中,本文基于Census变换改进的算法比已有的基于Census变换的匹配算法在运行时间上快了近20 s。在实际双目测距实验中,采用本文算法在1019 m范围内测距误差在5%以内,根据无人艇的运动特点和避障要求,通过分析可知该算法的测距精度可以满足低速无人艇的避障需求。结论 本文给出的基于改进Census变换的匹配算法在立体匹配速度上有大幅提高,提取目标视差用于测距,实际测距结果表明,本文算法能够满足水面无人艇的视觉避障要求。     

一种改进的实时半全局立体匹配算法及硬件实现

在基于现场可编程门阵列的实时立体匹配系统中,Census变换算法针对特定区域的误匹配率较高。为提高匹配精度,提出一种具有高并行性流水线结构的实时半全局立体匹配算法并进行硬件实现。将改进的Tanimoto距离和带权重4方向的梯度绝对值差进行组合,作为新的初始匹配代价。在代价聚合阶段采用4路径并行结构的SGM算法,在视差选择阶段采用赢家通吃策略,在视差校正阶段采用阈值检测算法代替传统左右一致性检验算法。实验结果表明,该算法能够有效提高弱纹理和边缘区域的区分度,减少对中心点的依赖,降低资源占用,其在Middleburry平台上的平均误匹配率仅为7.52%,在Xilinx Zynq-7000平台上的匹配速率达到98 frame/s。     

基于改进Census变换的多特性立体匹配算法

针对当前立体匹配算法存在的匹配准确率低，难以达到实用的高精度水平的问题，提出了一种基于改良的Census变换与色彩信息和梯度测度相结合的多特性立体匹配算法，实现高精度的双目立体匹配。算法首先在初始代价匹配阶段，将改进的Census变换、色彩和梯度测度赋权求和得出可靠的初始匹配代价；在聚合阶段，采取高效快捷的最小生成树聚合，获得匹配代价矩阵；最后根据胜者为王法则得到初始视差图，并引入左右一致性检测等策略优化视差图，获得高精度的视差图，实验阶段对源自Middlebury上的标准测试图进行测试验证，实验结果表明，经本文算法处理得到的15组测试数据集的视差图在非遮挡区域的平均误匹配率为6.81%，算法实时响应性优良。     

一种改进的区域双目立体匹配方法

双目立体匹配是机器视觉中的热点、难点问题。分析了区域立体匹配方法的优缺点,提出了改进的区域立体匹配方法。首先,采集双目视觉图像对对图像对进行校正、去噪等处理,利用颜色特征进行图像分割,再用一种快速有效的块立体匹配算法对图像进行立体匹配。然后,在匹配过程中使用绝对误差累积(SAD)的小窗口来寻找左右两幅图像之间的匹配点。最后,通过滤波得到最终的视差图。实验表明:该方法能够有效地解决重复区域、低纹理区域、纹理相似区域、遮挡区域等带来的误匹配问题,能得到准确清晰的稠密视差图。     

基于视觉显著性的区域立体匹配算法

针对区域立体匹配算法对光照变化敏感,视差图存在目标和弱纹理区域的错配、边界不平滑等问题,提出一种利用视觉显著性特征改进的快速区域立体匹配算法。该算法先利用显著性检测定位图像主要目标区域;再结合索贝尔(Sobel)边缘特征和相角特征完成特征匹配、得到粗视差图;最后通过检测粗视差图中的视觉显著性,消除图像弱纹理区域的突兀噪声。相比绝对误差累计(SAD)、平方误差累计(SSD)和归一化灰度互相关(NCC)算法,所提算法对光照变化不敏感,得到的视差图完整,匹配率高,有利于实时系统应用。     

一种自适应多窗口的立体匹配算法

提出了一种新型的自适应匹配窗口的方法来解决低纹理图像在立体匹配中容易出现误配的现象。该算法采用8个相同的窗口根据图像的平滑情况往8个方向选择适当的支撑区域,且其非常适合并行处理。然后根据上述步骤得到的结果提出一种自适应的区域生长法对误配和遮档区域进行后处理。实验结果表明,该方法无论在低纹理区域还是高纹理区域都有较好的实验结果,并且运行时间与传统的固定窗口局部方法相差不大,适合实时处理。     

根据灰度值信息自适应窗口的半全局匹配

目的 立体匹配算法是立体视觉研究的关键点,算法的匹配精度和速度直接影响3维重建的效果。对于传统立体匹配算法来说,弱纹理区域、视差深度不连续区域和被遮挡区域的匹配精度依旧不理想,为此选择具有全局匹配算法和局部匹配算法部分优点、性能介于两种算法之间、且鲁棒性强的半全局立体匹配算法作为研究内容,提出自适应窗口与半全局立体匹配算法相结合的改进方向。方法 以通过AD（absolute difference）算法求匹配代价的半全局立体匹配算法为基础,首先改变算法匹配代价的计算方式,研究窗口大小对算法性能的影响,然后加入自适应窗口算法,研究自适应窗口对算法性能的影响,最后对改进算法进行算法性能评价与比较。结果 实验结果表明,匹配窗口的选择能够影响匹配算法性能、提高算法的适用范围,自适应窗口的加入能够提高算法匹配精度特别是深度不连续区域的匹配精度,并有效降低算法运行时间,对Cones测试图像集,改进的算法较改进前误匹配率在3个测试区域平均减少2.29%;对于所有测试图像集,算法运行时间较加入自适应窗口前平均减少28.5%。结论 加入自适应窗口的半全局立体匹配算法具有更优的算法性能,能够根据应用场景调节算法匹配精度和匹配速度。     

融合边缘保持与改进代价聚合的立体匹配算法

目的 立体匹配是计算机双目视觉的重要研究方向,主要分为全局匹配算法与局部匹配算法两类。传统的局部立体匹配算法计算复杂度低,可以满足实时性的需要,但是未能充分利用图像的边缘纹理信息,因此在非遮挡、视差不连续区域的匹配精度欠佳。为此,提出了融合边缘保持与改进代价聚合的立体匹配。方法 首先利用图像的边缘空间信息构建权重矩阵,与灰度差绝对值和梯度代价进行加权融合,形成新的代价计算方式,同时将边缘区域像素点的权重信息与引导滤波的正则化项相结合,并在多分辨率尺度的框架下进行代价聚合。所得结果经过视差计算,得到初始视差图,再通过左右一致性检测、加权中值滤波等视差优化步骤获得最终的视差图。结果 在Middlebury立体匹配平台上进行实验,结果表明,融合边缘权重信息对边缘处像素点的代价量进行了更加有效地区分,能够提升算法在各区域的匹配精度。其中,未加入视差优化步骤的21组扩展图像对的平均误匹配率较改进前减少3.48%,峰值信噪比提升3.57 dB,在标准4幅图中venus上经过视差优化后非遮挡区域的误匹配率仅为0.18%。结论 融合边缘保持的多尺度立体匹配算法有效提升了图像在边缘纹理处的匹配精度,进一步降低了非遮挡区域与视差不连续区域的误匹配率。     

基于像素注意力的双通道立体匹配网络

针对现有立体匹配算法在弱纹理、重复纹理、反射表面等病态区域误匹配率高的问题,提出一种基于像素注意力的双通道立体匹配卷积神经网络PASNet,该网络包括双通道注意力沙漏型子网络和注意力U型子网络。首先,通过双通道注意力沙漏型子网络提取输入图像的特征图;其次,通过关联层得到特征图的代价矩阵;最后,利用注意力U型子网络对代价矩阵进行代价聚合,输出视差图。在KITTI数据集上的实验结果表明,所提出的网络能有效解决病态区域误匹配率高等问题,提升立体匹配精度。     

一种对光照条件不敏感而快速的局部立体匹配

针对绝大多数立体匹配算法的相似性测度过分依赖于图像灰度统计特性的问题,提出了一种对光照变化不敏感的立体匹配算法.首先,研究了Census非参数变换并分析了其局限性;其次,为了在立体匹配时能够考虑像素的空间位置信息,对于变换窗口内与中心像素的相对位置大于一个单位的各邻域像素,将其灰度值通过周围4个像素的灰度值插值获得:最...     

基于无人机双目图像的线目标测量的研究

利用无人机双目图像实现线目标的测量对输电线路巡检具有重要的意义。为提高无人机双目图像下线目标的测量精度,改进Census立体匹配算法,在代价聚合过程中,首先对聚合窗口中的初始匹配代价进行异常筛选,然后计算聚合代价值进而生成视差图,实验证明改进立体匹配算法,提高图像立体匹配精度,且平均误匹配率为5.79%;在线目标测量方面,针对线目标视差图存在的缺陷,提出一种基于目标识别的线目标视差图优化算法,该算法依据目标识别获取线目标视差图,然后根据四个原则进行优化处理,最后将优化后的线目标视差图用于测量,实验证明采用优化后的线目标视差图测量得到结果要优于直接采用视差图得到测量结果。     

基于改进Census变换的立体匹配算法

针对基于传统Census变换的立体匹配方法精度不高的问题, 提出一种基于坐标模板Census变换的立体匹配方法。该方法首先设计一个坐标为高斯分布的变换模板指导Census变换; 其次, 以Census变换结果之间的Hamming距离作为匹配代价求取初始视差, 同时使用SSE4. 2指令提高Hamming距离计算效率; 再次, 使用非局部代价聚合方法优化视差结果; 最后, 获得精度较高的视差图像。实验结果表明, 该算法具有较好的匹配精度和较高的匹配效率。     

基于线性滤波的树结构动态规划立体匹配算法

传统的动态规划立体匹配算法能有效保证匹配精度的同时提高运行速度, 但得到的视差深度图会出现明显的条纹现象,同时在图像弱纹理区域以及边缘存在较高的误匹配. 针对该问题,提出了一种新的基于线性滤波的树形结构动态规划立体匹配算法. 算法首先运用改进的结合颜色和梯度信息参数可调的自适应测度函数构建左右图像的匹配代价, 然后以左图像为引导图对构建的匹配代价进行滤波; 再运用行列双向树形结构的动态规划算法进行视差全局优化, 最后进行视差求精得到最终的视差图.理论分析和实验结果都表明, 本文的算法能有效地改善动态规划算法的条纹现象以及弱纹理区域和边缘存在的误匹配.