基于多策略融合的亚像素精度立体匹配研究

为了减少亚像素立体匹配中存在的错误匹配以及提高匹配精度,提出基于多策略融合的亚像素精度立体匹配方法。通过以下三个步骤实现:原图像插值处理结合基于最小生成树代价聚集策略估计分数视差;给出新的视差搜索范围确定关系,减少匹配代价计算;在大片低纹理区域引入视差平面拟合细化视差,在亚像素精度上平滑,减少错误匹配。实验表明,算法有效地将匹配精度提高到亚像素级,同时减少了错误匹配。     

基于变分原理的亚像素级立体匹配方法

针对小基高比立体匹配当中的亚像素级视差精度和匹配效率较低问题,提出一种基于变分原理的亚像素级立体匹配方法.该方法以规范互相关函数作为能量函数的数据项,并将图像驱动的平滑项和视差驱动的平滑项相结合作为能量函数的平滑项,然后通过变分原理获得能量函数的欧拉方程,最后通过连续过松弛法进行迭代求解获得亚像素级视差.实验结果表明,提出的亚像素级匹配方法不但可以获得较高精度的亚像素级视差,得到更为精确的高程信息,而且还具有较快的匹配速度.     

基于迭代指导滤波的立体匹配方法

针对立体匹配当中的匹配精度问题,提出一种基于迭代指导滤波的立体匹配方法。该方法首先利用自适应窗口方法根据图像的灰度变化自适应地选择支撑窗口,再根据指导滤波累积原始匹配成本,并采用"胜者全取"方法计算视差,然后利用计算视差对匹配成本进行修正,进行再次累积并计算视差,最后反复迭代这一过程直到达到最大的迭代次数为止。实验结果表明,该方法可以获得较高精度的视差图,而且对立体像对中的不连续区域具有较强的鲁棒性。     

基于最大窗口的二次立体匹配方法

文中提出了一种新颖的基于窗口的立体匹配方法,该方法首先在最大窗口内估计视差,并假设该窗口内视差一致,在此基础上得到两个最大的匹配窗口,然后在这两个最大窗口内进行二次匹配,得到基于这两个窗口的逐像素视差,估计视差和像素视差之和就是结果视差。对相对较平滑或平滑均匀的区域,在匹配过程中,会出现匹配最小多值问题,面临如何确定最佳匹配。本文算法采用平滑性测度指标函数来屏蔽平滑或平滑均匀区域,并在匹配完成后,按照最近邻视差均值来估计平滑区域的视差。最后通过立体图像对算法进行了测试。实验结果表明,该方法是可行和有效的。     

基于分割导向滤波的亚像素精度立体匹配视差优化算法*

针对局部立体匹配中存在的弱纹理区域匹配精度较低、斜面等区域容易产生视差阶梯效应等问题,文中提出基于分割导向滤波的视差优化算法,以获得亚像素级高精度匹配视差.首先依据左右一致性准则对立体匹配的初始视差进行误匹配检验及均值滤波修正.然后在修正视差图上确定区域分割导向图,对修正视差进行区域导向滤波优化,获得亚像素级高精度的视差结果.实验表明,文中算法能有效改善斜面等区域的视差不平滑现象,降低初始视差的误匹配率,获得较高精度的稠密视差结果.     

基于区域增长的稠密立体匹配

针对稠密立体匹配中支持窗口的尺寸、形状和深度相似像素难以选择,以及物体边界和遮挡区域难以处理的问题,提出一种基于区域增长的局部立体匹配算法.首先应用区域增长的方法,通过颜色相似性和连通性约束动态地获得完全自适应的支持窗口.然后运用不同的策略为支持窗口内像素和搜索窗口内其他像素分配权值,减弱非深度相似像素对支持窗口的影响,并摒弃视差范围内不符合形状相似标准的支持窗口.最后,计算匹配代价.应用WTA(赢者全取)策略获得初始视差,统计支持窗口内符合置信度条件的像素的视差频率,以出现频率最高的视差作为最优视差.通过对支持区域获取、代价聚合和视差搜索步骤的分析和优化,降低算法复杂度.通过Middlebury平台的检验,表明算法具有良好的性能.     

基于秩空间的二次立体匹配

提出了一种基于秩空间的区域立体匹配算法。首先对立体图像进行秩（rank）变换,将图像从灰度空间变换到秩空间,消除因噪声和两个摄像机参数不一致产生的干扰,再根据自然视频序列每幅图像多数景物景深变化不大的事实,把视差分解为全局视差与局部视差之和,在秩空间进行二次立体匹配：先在最大窗口内估计全局视差,然后在这个最大窗口内采用块匹配方式进行二次匹配求各点的实际视差。该二次立体匹配算法有效地消除了误匹配,提高正确匹配率。实验结果证明,提出的算法优于传统的基于区域的立体匹配方法。     

融合多特征表示和超像素优化的双目立体匹配

针对目前许多局部双目立体匹配方法在缺乏纹理区域、遮挡区域、深度不连续区域匹配精度低的问题,提出了基于多特征表示和超像素优化的立体匹配算法。通过在代价计算步骤中加入边缘信息特征,与图像局部信息代价相融合,增加了在视差计算时边缘区域的辨识度;在代价聚合步骤,基于超像素分割形成的超像素区域,利用米字骨架自适应搜索,得到聚合区域,对初始代价进行聚合;在视差精化步骤利用超像素分割信息,对匹配错误视差进行修正,提高匹配精度。基于Middlebury立体视觉数据集测试平台,与自适应权重AD-Census、FA等方法得出的视差图进行比较,该算法在深度不连续区域和缺乏纹理区域的匹配效果显著改善,提高了立体匹配精度。     

快速视差范围估计算法及其应用

视差范围估计在立体匹配中非常重要,准确的视差范围能提高立体匹配的精度和速度.为此提出一种基于匹配代价搜索和图像细分的快速视差范围估计算法.该算法将输入图像均匀分成多个图像块,采用匹配代价搜索计算每一图像块的视差,找到视差最大(最小)的图像块,并利用迭代细分规则将该图像块继续分成更小的子块,直至得到稳定的最大(最小)视差;利用匹配代价图对图像块进行可靠性检测,以解决弱纹理块容易误匹配的问题.实验结果表明,文中算法在保持97.3%的平均命中率的同时将立体匹配的平均搜索空间降低了27.7%,比采用传统算法可以得到更准确的视差范围;将该算法应用于立体匹配算法中降低了其平均误匹配率,并将计算时间缩短了20%~45%.     

垂直交叉双向搜索策略的自适应窗口匹配算法

目的 基于区域的局部匹配算法是一种简单高效的立体匹配方法.针对局部算法中窗口的抉择问题,提出了基于垂直交叉双向搜索的自适应窗口匹配算法.方法 该算法考虑到局部区域内灰度值与视差值的相关性,通过垂直交叉双向搜索策略自适应地调节窗口的形状和大小,并获得相应掩码窗口;再利用积分图像计算掩码窗口的匹配代价,获取视差图;最后采用米字投票和双边滤波器两个步骤对视差图进行修复.结果 针对不同图像采用提出的自适应窗口算法,得到了适用于各种图像结构的匹配窗口,相较于原始垂直交叉算法的匹配精度提高了约30％ (Teddy),同时两步骤视差后处理较好地保持了图像边缘.结论 实验结果表明,该算法改善了规则窗口产生的视差边缘扩充问题,在提高视差精度的同时提高了算法鲁棒性.     

Adaptive disparity computation using local and non-local cost aggregations

A new method is proposed to adaptively compute the disparity of stereo matching by choosing one of the alternative disparities from local and non-local disparity maps. The initial two disparity maps can be obtained from state-of-the-art local and non-local stereo algorithms. Then, the more reasonable disparity is selected. We propose two strategies to select the disparity. One is based on the magnitude of the gradient in the left image, which is simple and fast. The other utilizes the fusion move to combine the two proposal labelings (disparity maps) in a theoretically sound manner, which is more accurate. Finally, we propose a texture-based sub-pixel refinement to refine the disparity map. Experimental results using Middlebury datasets demonstrate that the two proposed selection strategies both perform better than individual local or non-local algorithms. Moreover, the proposed method is compatible with many local and non-local algorithms that are widely used in stereo matching.     

Improving sub-pixel correspondence through upsampling

Many fundamental computer vision problems, including optical flow estimation and stereo matching, involve the key step of computing dense color matching among pixels. In this paper, we show that by merely upsampling, we can improve sub-pixel correspondence estimation. In addition, we identify the regularization bias problem and explore its relationship to image resolution. We propose a general upsampling framework to compute sub-pixel color matching for different computer vision problems. Various experiments were performed on motion estimation and stereo matching data. We are able to reduce errors by up to 30%, which would otherwise be very difficult to achieve through other conventional optimization methods.     

Hierarchical stereo matching with image bit-plane slicing

We propose a new stereo matching framework based on image bit-plane slicing. A pair of image sequences with various intensity quantization levels constructed by taking different bit-rate of the images is used for hierarchical stereo matching. The basic idea is to use the low bit-rate image pairs to compute rough disparity maps. The hierarchical matching strategy is then carried out iteratively to update the low confident disparities with the information provided by extra image bit-planes. It is shown that, depending on the stereo matching algorithms, even the image pairs with low intensity quantization are able to produce fairly good disparity results. Consequently, variate bit-rate matching is performed only regionally in the images for each iteration, and the average image bit-rate for disparity computation is reduced. Our method provides a hierarchical matching framework and can be combined with the existing stereo matching algorithms. Experiments on Middlebury datasets show that the proposed technique gives good results compared to the conventional full bit-rate matching.     

基于双目被动立体视觉的三维人脸重构与识别

提出一种基于双目被动视觉的三维人脸识别方法, 该方法采用非接触式的人脸信息采集技术, 利用图像中弱特征检测方法实现双目视觉中的人脸检测与初步视差估计, 运用基于复小波的相位相关技术对人脸表面进行亚像素级小区域匹配, 重建人脸三维点云信息. 通过可调训练次数的神经网络技术实现多层次人脸曲面重建, 并结合人脸2D图像对重构曲面进行仿射归一, 继而迭代地进行特征提取与识别过程. 实验结果表明, 双目视觉方法使人脸信息采集过程友好隐蔽; 在对应点匹配中, 运用复小波的相位相关算法可获得密集的亚像素精度配准点对, 用神经网络方法可正确重建人脸曲面. 识别过程对环境以及人脸位姿表情等鲁棒性强. 该系统成本十分低廉, 适合在许多领域推广应用.     

A Motion Stereo Method Based on Coarse-to-Fine Control Strategy

This correspondence presents a motion stereo method based on coarse-to-fine control strategy. A camera sliding straight takes images that form a set of stereo pairs. The matching proceeds from the shortest baseline pair to the longest baseline pair, using the disparity map already obtained to guide in searching for the next pair.     

基于自适应匹配窗及多特征融合的立体匹配*

针对局部立体匹配方法中存在的匹配窗口大小选择困难、边缘处视差模糊及弱纹理区域、斜面或曲面匹配精度较低等问题,提出基于CIELAB空间下色度分割的自适应窗选取及多特征融合的局部立体匹配算法.首先,在CIELAB空间上对立体图像对进行色度分割,依据同质区域的分布获取初始匹配支持域,同时估计遮挡区域,更新匹配支持域.然后,基于更新后的匹配支持域,采用自适应权值的线性加权多特征融合匹配方法得到初始视差图.最后,利用左右视差一致性检测方法进行误匹配检验,利用基于分割的均值滤波器进行视差优化及细化,得到稠密匹配视差结果.实验表明文中算法有效,匹配精度较高,尤其在弱纹理区域及斜面等情况下匹配效果较好.     

Stereo Matching with Nonlinear Diffusion

One of the central problems in stereo matching (and other image registration tasks) is the selection of optimal window sizes for comparing image regions. This paper addresses this problem with some novel algorithms based on iteratively diffusing support at different disparity hypotheses, and locally controlling the amount of diffusion based on the current quality of the disparity estimate. It also develops a novel Bayesian estimation technique, which significantly outperforms techniques based on area-based matching (SSD) and regular diffusion. We provide experimental results on both synthetic and real stereo image pairs.     

改进的跨尺度引导滤波立体匹配算法

作为双目三维重建中的关键步骤,双目立体匹配算法完成了从平面视觉到立体视觉的转化.但如何平衡双目立体匹配算法的运行速度和精度仍然是一个棘手的问题.本文针对现有的局部立体匹配算法在弱纹理、深度不连续等特定区域匹配精度低的问题,并同时考虑到算法实时性,提出了一种改进的跨多尺度引导滤波的立体匹配算法.首先融合AD和Census变换两种代价计算方法,然后采用基于跨尺度的引导滤波进行代价聚合,在进行视差计算时通过制定一个判断准则判断图像中每一个像素点的最小聚合代价对应的视差值是否可靠,当判断对应的视差值不可靠时,对像素点构建基于梯度相似性的自适应窗口,并基于自适应窗口修正该像素点对应的视差值.最后通过视差精化得到最终的视差图.在Middlebury测试平台上对标准立体图像对的实验结果表明,与传统基于引导滤波器的立体匹配算法相比具有更高的精度.     

一种改进的区域双目立体匹配方法

双目立体匹配是机器视觉中的热点、难点问题。分析了区域立体匹配方法的优缺点,提出了改进的区域立体匹配方法。首先,采集双目视觉图像对对图像对进行校正、去噪等处理,利用颜色特征进行图像分割,再用一种快速有效的块立体匹配算法对图像进行立体匹配。然后,在匹配过程中使用绝对误差累积(SAD)的小窗口来寻找左右两幅图像之间的匹配点。最后,通过滤波得到最终的视差图。实验表明:该方法能够有效地解决重复区域、低纹理区域、纹理相似区域、遮挡区域等带来的误匹配问题,能得到准确清晰的稠密视差图。