基于SAD算法的立体匹配的实现

利用FPGA并行性计算和合理的流水线设计完成了立体视觉中最核心的部分——立体匹配以及硬件结构,选取SAD区域立体匹配算法,利用补码来实现SAD算法,在算法流程中采用窗口并行和像素串行来完成.在获得视差图时,采用128×128图像对,窗口大小为3×3,视差为24,在系统时钟为50 MHz情况下,实现了每秒425帧的处理速度,最后给出了视差图.实验证明,选用FPGA来实现立体匹配系统的设计是可行的,具有一定的鲁棒性.     

改进的基于图像分割的立体匹配算法

提出一种立体匹配算法．首先采用均值平移算法将参考图像根据彩色信息快速聚类成不同区域;然后通过灰度差平方和匹配计算初始视差图;在构造能量函数时,将分割结果作为视差函数的一个参考项;最后采用图切割算法求取使全局能量最小的视差最优分配．通过标准图像对进行测试,并与其他算法进行了比较．实验结果表明,与原有算法相比,该算法可有效地处理大的低纹理区域,匹配精度高,更有利于估计视差图的边界．     

基于立体匹配的低纹理图像重构算法

针对立体匹配中低纹理区域容易产生误匹配及传统动态规划固有的条纹问题,提出一种改进的基于双目立体视觉的低纹理图像三维重构算法。该算法首先基于像素间相似度和像素自身特异性计算匹配代价并引入一种自适应多边形支撑区域聚集匹配度。然后采用一种全局意义的简单树形动态规划进行逐点匹配。最后基于左右一致性准则运用一种简单有效的视差校正方法消除误匹配得到最终视差图。实验证明将算法运用于实拍低纹理灰度图像的匹配,得到轮廓光滑清晰的三维点云,说明该方法的适用性。     

基于视觉显著性的区域立体匹配算法

针对区域立体匹配算法对光照变化敏感,视差图存在目标和弱纹理区域的错配、边界不平滑等问题,提出一种利用视觉显著性特征改进的快速区域立体匹配算法。该算法先利用显著性检测定位图像主要目标区域;再结合索贝尔(Sobel)边缘特征和相角特征完成特征匹配、得到粗视差图;最后通过检测粗视差图中的视觉显著性,消除图像弱纹理区域的突兀噪声。相比绝对误差累计(SAD)、平方误差累计(SSD)和归一化灰度互相关(NCC)算法,所提算法对光照变化不敏感,得到的视差图完整,匹配率高,有利于实时系统应用。     

新的单目立体视觉的视差图的获得方法

在立体视觉中,视差间接反映物体的深度信息,视差计算是深度计算的基础。常见的视差计算方法研究都是面向双目立体视觉,而双焦单目立体视觉的视差分布不同于双目视差,具有沿极线辐射的特点。针对双焦单目立体视觉的特点,提出了一种单目立体视差的计算方法。对于计算到的初步视差图,把视差点分类为匹配计算点和误匹配点。通过均值偏移向量（Mean Shift）算法,实现了对误匹配点依赖于匹配点和图像分割的视差估计,最终得到致密准确的视差图。实验证明,这种方法可以通过双焦立体图像对高效地获得场景的视差图。     

基于联合相似性测度和导向滤波器的立体匹配算法研究

针对目前局部立体图像匹配中对光照、噪声和曝光等敏感导致匹配率低的问题,提出一种新的立体匹配算法。在该算法中,匹配代价计算基于像素点的截断的联合相似性测度(灰度和梯度),匹配代价计数统计中,选择快速且不依赖于滤波核大小的具有保边特性的导向滤波器作为支持窗口中邻域像素的自适应权重,基于WTA(Winner-Take-All)原则选择视差。最后进行一致性检查以及后处理得到致密的视差图。实验表明,与其他基于局部的立体匹配算法相比,该算法的误匹配率低,对辐射畸变有较好的不变性,同时能快速得到视差图。     

基于网络最小割的分层立体视觉匹配方法

立体匹配是计算机视觉领域中的一个难点问题.为了得到准确的高密度的视差图,本文提出一种基于网络最小割的分层匹配方法.该方法综合运用区域灰度相关法和最小割全局最优搜索策略.首先对原图像对进行两层金字塔分解,在低分辨率的图像中运用网络最小割方法求得全局最优匹配.然后在低分辨率的图像中匹配的像素对的约束下,在原图像对中采用区域灰度相关法进行匹配,得到高密度视差图.这样既缩小匹配时的搜索空间,又保证匹配的可靠性.实验表明,该方法是有效可行的.     

结合立体视觉舒适度的立体图像显著性检测

针对先前的立体图像显著性检测模型未充分考虑立体视觉舒适度和视差图分布特征对显著区域检测的影响,提出了一种结合立体视觉舒适度因子的显著性计算模型.该模型在彩色图像显著性提取中,首先利用SLIC算法对输入图像进行超像素分割,随后进行颜色相似区域合并后再进行二维图像显著性计算;在深度显著性计算中,首先对视差图进行预处理;然后基于区域对比度进行显著性计算;最后,结合立体视觉舒适度因子对二维显著图和深度显著图进行融合,得到立体图像显著图.在不同类型立体图像上的实验结果表明,该模型获得了85%的准确率和78%的召回率,优于现有常用的显著性检测模型,并与人眼立体视觉注意力机制保持良好的一致性.     

一种基于左右视线的立体图像匹配算法

提出了一种有效提高立体匹配中遮挡和低纹理区域匹配精度的方法,算法充分利用立体视觉中的全局约束条件,对不同区域采用不同的约束条件和强度来获得高可靠性点的视差,并且引入左右视线的概念,用于解决复杂场景情况下的左右视图的匹配问题。同时采用改进的协同算法(cooperative algorithm,CA),在视差梯度的约束下,对高可靠性点的视差进行逐步地扩散,最终得到致密的视差图。实验仿真表明,方法可以有效地提高遮挡和低纹理区域中的匹配精度,从而产生较精确的致密视差图。     

融合多特征表示和超像素优化的双目立体匹配

针对目前许多局部双目立体匹配方法在缺乏纹理区域、遮挡区域、深度不连续区域匹配精度低的问题,提出了基于多特征表示和超像素优化的立体匹配算法。通过在代价计算步骤中加入边缘信息特征,与图像局部信息代价相融合,增加了在视差计算时边缘区域的辨识度;在代价聚合步骤,基于超像素分割形成的超像素区域,利用米字骨架自适应搜索,得到聚合区域,对初始代价进行聚合;在视差精化步骤利用超像素分割信息,对匹配错误视差进行修正,提高匹配精度。基于Middlebury立体视觉数据集测试平台,与自适应权重AD-Census、FA等方法得出的视差图进行比较,该算法在深度不连续区域和缺乏纹理区域的匹配效果显著改善,提高了立体匹配精度。     

一种改进的区域双目立体匹配方法

双目立体匹配是机器视觉中的热点、难点问题。分析了区域立体匹配方法的优缺点,提出了改进的区域立体匹配方法。首先,采集双目视觉图像对对图像对进行校正、去噪等处理,利用颜色特征进行图像分割,再用一种快速有效的块立体匹配算法对图像进行立体匹配。然后,在匹配过程中使用绝对误差累积(SAD)的小窗口来寻找左右两幅图像之间的匹配点。最后,通过滤波得到最终的视差图。实验表明:该方法能够有效地解决重复区域、低纹理区域、纹理相似区域、遮挡区域等带来的误匹配问题,能得到准确清晰的稠密视差图。     

一种改进的实时半全局立体匹配算法及硬件实现

在基于现场可编程门阵列的实时立体匹配系统中,Census变换算法针对特定区域的误匹配率较高。为提高匹配精度,提出一种具有高并行性流水线结构的实时半全局立体匹配算法并进行硬件实现。将改进的Tanimoto距离和带权重4方向的梯度绝对值差进行组合,作为新的初始匹配代价。在代价聚合阶段采用4路径并行结构的SGM算法,在视差选择阶段采用赢家通吃策略,在视差校正阶段采用阈值检测算法代替传统左右一致性检验算法。实验结果表明,该算法能够有效提高弱纹理和边缘区域的区分度,减少对中心点的依赖,降低资源占用,其在Middleburry平台上的平均误匹配率仅为7.52%,在Xilinx Zynq-7000平台上的匹配速率达到98 frame/s。     

基于Barnard特征和LoG算子的月球车图像特征匹配

月球车视觉系统对匹配速度和鲁棒性要求较高,提出一种基于图像特征的特征点匹配算法。特征点的提取采用Barnard算法和LoG算子共同作用得到。原图像同时采用Bamard算法进行特征提取和LoG算子进行噪声滤波和边缘提取,然后将二者的计算结果进行”与”操作得到最终的特征图像。然后通过阈值进一步处理噪声和选择待匹配点。最后用计算图像序列中像素差的平方和的方法来计算每对待匹配点的匹配程度,得到匹配点对。仿真结果表明,单点匹配和多点匹配并将无匹配点处理后得到的结果都令人满意。     

一种新的基于特征点的立体匹配算法

目前,立体匹配是计算机视觉领域中最活跃的研究主题之一。为了快速并更精确的对特征点进行立体匹配,本文提出了一种新的基于特征点的立体匹配算法。该方法独立于特征点的检测算法,先以扫描线作为匹配单元,然后以鲁棒函数为匹配代价函数,最后用顺序约束对每一匹配单元的视差图进行检测与校正。实验证明,该方法的匹配精度高于传统的基于NCC(norm alized cross-correlation)的立体匹配算法,并且运行时间快,可以应用于纯软件的基于特征点的立体视觉系统中。     

基于立体视觉的人脸三维空间位置定位方法*

针对基于姿势的自然人机交互接口设计中头部定位问题,提出了一种快速的人脸三维空间位置定位算法。首先采用级联肤色分类器与类Haar特征分类器的人脸检测器对左右路输入的图像进行快速的人脸区域定位;然后利用仿射模型匹配局部收敛性好、速度快的特点实现了左右路图像的人脸区域对齐;最后通过立体视觉原理恢复人脸的三维空间坐标。实验结果证明,提出的人脸三维空间位置定位方法速度快、定位精度较高。     

基于加权匹配代价的初始视差估计算法

随着计算机图形学的发展,立体匹配技术已经成为三维场景恢复中一项重要的手段,视差估计是立体匹配中的关键基础技术。为了能够更好进行三维场景恢复,改善视差的工作便迫在眉睫。主要研究了在基于模板的可信传播立体匹配算法中改善视差初始值的算法：通过引入梯度差算子与绝对差和算子加权的匹配代价,运用交叉检验估计及WTA优化初始视差矩阵,进而提高初始视差值的准确性,从而改善最终的视差结果。经实验证明,本方法能够很有效地去除噪点,进而获得较高质量的视差结果。     

A fast stereo matching algorithm suitable for embedded real-time systems

In this paper, the challenge of fast stereo matching for embedded systems is tackled. Limited resources, e.g. memory and processing power, and most importantly real-time capability on embedded systems for robotic applications, do not permit the use of most sophisticated stereo matching approaches. The strengths and weaknesses of different matching approaches have been analyzed and a well-suited solution has been found in a Census-based stereo matching algorithm. The novelty of the algorithm used is the explicit adaption and optimization of the well-known Census transform in respect to embedded real-time systems in software. The most important change in comparison with the classic Census transform is the usage of a sparse Census mask which halves the processing time with nearly unchanged matching quality. This is due the fact that large sparse Census masks perform better than small dense masks with the same processing effort. The evidence of this assumption is given by the results of experiments with different mask sizes. Another contribution of this work is the presentation of a complete stereo matching system with its correlation-based core algorithm, the detailed analysis and evaluation of the results, and the optimized high speed realization on different embedded and PC platforms. The algorithm handles difficult areas for stereo matching, such as areas with low texture, very well in comparison to state-of-the-art real-time methods. It can successfully eliminate false positives to provide reliable 3D data. The system is robust, easy to parameterize and offers high flexibility. It also achieves high performance on several, including resource-limited, systems without losing the good quality of stereo matching. A detailed performance analysis of the algorithm is given for optimized reference implementations on various commercial of the shelf (COTS) platforms, e.g. a PC, a DSP and a GPU, reaching a frame rate of up to 75 fps for 640 × 480 images and 50 disparities. The matching quality and processing time is compared to other algorithms on the Middlebury stereo evaluation website reaching a middle quality and top performance rank. Additional evaluation is done by comparing the results with a very fast and well-known sum of absolute differences algorithm using several Middlebury datasets and real-world scenarios.     

A real-time global stereo-matching on FPGA

An improved global stereo matching algorithm is implemented on a single FPGA for real-time applications. Stereo matching is widely used in stereo vision systems, i.e. objects detection and autonomous vehicles. Global algorithms have much more accurate results than local algorithms, but global algorithms are not implemented on FPGA since they rely over high-end hardware resources. In this implementation the stereo pairs are divided into blocks, the hardware resources are reduced by processing one block once. The hardware implementation is based on a Xilinx Kintex 7 FPGA. Experiment results show that the proposed implementation has an accurate result for the Middlebury benchmarks and 30 frames per second (fps) @1920 × 1680 is achieved.