基于色彩分割和自适应窗口的快速立体匹配

针对现有立体匹配算法难以兼顾匹配精度和速度的不足,提出了一种基于联合匹配代价的局部方法.首先,根据视差在同一色彩分割区域内平滑变化的假设,提出了一种利用参考图像和目标图像的色彩分割信息获得的基于任意形状和大小支持区域的匹配代价;然后在RGB色彩空间中,通过由窗口内的平均匹配误差、误差方差及较大窗口的偏向误差构成的窗口选择评价函数,获得基于自适应矩形窗口的匹配代价;最后,将这两种匹配代价进行有机的结合构成联合匹配代价,并通过局部优化方法获得稠密视差图.采用Middlebury dataset进行的实验结果表明,本文算法不仅可以提高视差不连续区域和低纹理区域的匹配精度,而且获得的视差与当前主流算法具有可比性.此外,所提算法的处理时间较之当前优秀的局部方法提高了约19～35倍.     

基于改进Census变换的图像立体匹配算法研究

针对传统的 Census 区域匹配算法过分依赖窗口中心像素信息,导致算法受到噪声干扰时匹配精度降低的问题,提出一种基于改进 Census 变换的匹配算法.采用局部像素反差值为中心像素选择的评判标准,对传统的 Census 变换进行改进,增强了窗口像素信息的利用,提高了算法对像素值突变的适应性,使算法有更好的鲁棒性;代价聚合阶段采用引导图滤波算法并结合多尺度聚合模型,增强平坦区域像素间的区分度;采用 win-take-all 算法选取最优视差值,完成视差计算;采用区域投票策略和中值滤波算法完成视差精化.利用该改进算法对 Middlebury 平台提供的标准图像进行实验,实验结果表明该算法较传统Census 算法有较好的抗噪能力和立体匹配精度.     

融合多尺度信息的各向异性立体匹配

针对传统立体匹配算法准确率低且在弱纹理区域存在误匹配的问题，提出融合多尺度信息的各向异性立体匹配算法(ASMSI)。首先构造各向异性的匹配代价计算函数，将梯度和相角信息引入代价计算过程中用于剔除弱纹理区域的离群点；随后采用融合多尺度信息十字交叉代价聚合计算每个支持域内的匹配代价；进一步经赢家通吃策略生成初始视差图；在此基础上进行左右一致性检测及后处理得到精修后的视差图；最后通过仿真实验对比图像中非遮挡、深度不连续区域的误匹配率和运行时间来评价算法模型。实验结果表明：所提算法能有效解决弱纹理区域的误匹配问题，使匹配准确率提高了5.02%,能够满足立体匹配过程中高效率、高精度的要求。     

利用自适应窗口实现不连续保护立体匹配

摘 要：针对计算机视觉中图像对应点的误匹配问题,提出了一种以扫描线优化为能量最小化框架,以最佳自适应窗口为匹配基元的立体匹配算法。该算法首先采用一种融合亮度和梯度信息的非相似度,然后通过平均匹配误差、匹配误差方差及较大窗口的偏移组成的窗口代价函数选取每个视差的最佳窗口作为匹配基元,并利用扫描线优化法及视差变化伴随亮度变化的约束寻找一条最优的匹配路径,最后通过回溯最佳路径得到稠密的视差图。实验结果表明,所提算法不仅能够保留基于自适应窗口的匹配算法能较好地处理大的低纹理区域和视差不连续区域的优点,而且可以加强相邻匹配基元间的视差连续性,从而获得更平滑、准确的视差图,另外所提算法的计算量比原有算法缩短了约3/ 4 。     

弱纹理环境双目视觉稠密视差鲁棒估计方法

精确稠密视差估计是立体视觉系统恢复观测场景三维信息的关键。从立体视觉在机器人环境感知的实际应用角度出发,提出了对于弱纹理、阴影和遮挡等关键影响因素,具有良好鲁棒性、精度和处理速度的稠密视差图估计算法。针对弱纹理、阴影和深度不连续的问题,设计了基于灰度相似度概率的置信度传播算法,结合视差平滑约束,以期实现较高精度的视差初值快速估计。由视差级数定义的消息向量通过异向平行迭代进行传播,消息向量包含表征像素点灰度相似性和平滑性的能量信息,通过全局能量函数的迭代收敛,快速获得视差初始估计。根据独立连通区域通常具有相似纹理特征和视差一致性的先验知识,提出了基于Mean-Shift聚类分割算法和参数空间投票自适应视差近似面估计算法,进行稠密视差的精细优化估计。利用具有不同弱纹理特征的5组标准测试图像、4组室内环境实际图像、4组室外环境实际图像和4组月面模拟特殊光照环境的实际环境图像进行了测试实验,实验结果表明了本文算法的良好鲁棒性和有效性。     

基于行列双向约束的动态规划立体匹配算法

为了克服传统的动态规划立体匹配算法会产生明显条纹状瑕疵的缺陷,提出一种同时考虑行列双向约束的动态规划立体匹配算法。该算法首先利用扫描线信息中所包含的视差不连续性和遮挡现象构造出一种新的全局能量代价函数;然后进一步设计了基于此能量代价函数的全局优化策略,在保证扫描线行方向上视差平滑性的基础上,解决了扫描线列方向上的视差不连续性问题;最后通过动态规划寻找最优路径来获得匹配点和遮挡点的视差,从而得到稠密视差图。实验结果表明,所提出的算法不但能够有效消除视差图中的条纹状瑕疵,而且在匹配精度上能够取得较好的效果。     

利用平面约束的月球车立体匹配

为了满足月球车视觉系统检测障碍物的时效性和可靠性需求,提出了一种基于平面约束和自适应惩罚参数的半全局立体匹配算法。首先,对极线校正后的两幅图像进行SIFT特征点提取与匹配,同时提取边缘特征;然后,利用匹配的SIFT特征点拟合空间平面,并根据平面估计左右图像所有像素点的视差搜索范围;最后,基于传统的半全局匹配算法,采用自适应惩罚参数对左右图像进行立体匹配。实验结果表明:所提出的算法有效地降低了计算复杂度,其计算复杂度只有传统方法的19.9%,对于视差不连续区域以及遮挡区域都能够获得正确的匹配结果。较传统半全局匹配方法无论在速度还是匹配精度上都得到明显提高,为立体匹配的实际应用奠定了基础。     

基于弱纹理检测及视差图融合的立体匹配

为了在消除弱纹理区域匹配歧义性的同时保证纹理区域的匹配率,提出了一种基于弱纹理区域检测及视差图融合的立体匹配算法.该算法首先根据输入图像的颜色(灰度)变化情况检测出弱纹理区域,然后基于这一检测结果,对输入图像对应用改进的极线距离变换算法,以提高弱纹理区域像素的可区分性,接着,采用窗口匹配算法和置信度传播算法分别对原始输入图像和极线距离变换后的图像计算视差图谱,最后,以弱纹理检测的结果为基准,对这2张视差图谱进行融合,以实现在弱纹理区域和纹理区域的同步最优匹配.通过对弱纹理化后的Middlebury图像库中图像的实验表明,在几乎不增加计算复杂度的同时,该算法的匹配率比当前先进算法提高至少20％,同时,实验还表明了该算法对照度不一致输入图像对匹配的鲁棒性.     

利用平面约束的月球车立体匹配方法

为了满足月球车视觉系统对检测障碍物检测的时效性和可靠性的需求,提出了一种基于平面约束和自适应惩罚参数的半全局立体匹配算法。首先,对极线校正后的两幅图像进行SIFT特征点提取与匹配,同时提取边缘特征;然后,利用匹配的SIFT特征点拟合空间平面,并根据平面估计左右图像所有像素点的视差搜索范围;最后,基于传统的半全局匹配算法,采用自适应惩罚参数的策略对左右图像进行立体匹配。实验结果表明：所提出的算法有效地降低了计算复杂度,其计算复杂度只有传统方法的19.9%,对于视差不连续区域以及遮挡区域都能够获得正确的匹配结果。较传统半全局匹配方法无论在速度还是匹配精度上都得到明显提高,为对立体匹配的实际应用奠定了基础。     

一种改进的快速立体匹配算法

提出了一种改进的快速立体匹配算法。对于双目视觉系统采集的2幅图像,首先采用区域匹配算法进行初始快速立体匹配,再采用左右一致性检验剔除误匹配点,得到立体匹配的初始视差图。然后将初始视差作为图割法构图的限制条件,对初始视差图进行二值分割。最后对分割获得的前景区域和背景区域施加不同的限制,并通过修正能量函数,使构图网络大大减小,从而进一步提高了匹配速度。试验结果表明,该算法既提高了立体匹配速度,又保证了匹配精度。     

基于动态规划的分层立体匹配算法研究

动态规划是双目立体匹配的经典算法,针对控制点动态规划算法易产生横向条纹以及立体匹配普遍的边缘性和弱纹理区域问题,提出一种基于金字塔分层双向动态规划的改进立体匹配算法。该算法将分层模型加入传统动态规划方法,以低像素层级为高像素层级提供控制点集,并在匹配代价计算中采用一种自适应相关性测度函数,加以匹配代价滤波,提高算法精确度及实时性并获取高精度视差图。以Middlebury标准库中的图片以及实拍图片作为实验对象,实验表明所提出的方法具有较好的性能。     

基于种子点传播的快速立体匹配

针对计算机视觉中的对应点误匹配问题,提出了一种基于种子点传播的快速局部立体匹配算法来进一步提高匹配算法的运行效率。该算法首先利用Canny算子提取图像边缘,结合边缘信息构造动态匹配窗口,以克服固定窗口对匹配带来的不利影响;然后利用AD-Census联合匹配代价在动态窗口上进行代价聚集,用WTA搜索策略得出初始视差图,对视差值进行筛选以确定种子点;随后利用像素间颜色差异将种子点的视差值传递给周围非种子点;最后采用区域投票和局部校正方式对视差值求精,进而获取精确的稠密视差图。实验结果表明,该算法可对Middlebury测试图生成高质量的视差图。与目前较新的局部立体匹配算法相比,其运行速度提高了1.8倍,满足了实际应用对速度和精度的要求,具有较高的实用价值。     

一种基于自适应窗口和图切割的快速立体匹配算法

针对基于图切割的立体匹配算法计算量大的缺点,提出了一种新的快速立体匹配算法。首先根据图像边缘特征自适应变化窗口,并采用灰度差平方和匹配(SSD)作为相似判定准则计算初始视差图,再通过左右一致性校验去除误匹配点,在构造能量函数时,将初始视差作为能量函数的一个参考项,最后采用图切割(graph cuts)算法求取使全局能量最小的视差最优分配。通过标准图像对测试了提出的方法,并与其他方法进行了比较,实验结果表明,该算法不仅能够保留基于图切割的立体匹配算法对大的低纹理区域和遮挡像素较好处理的优点,而且匹配时间短,运行时间比原有算法约缩短了三分之二,能够满足工程实用性的要求。     

基于线性生长的区域立体匹配算法研究

图像的区域立体匹配是立体视觉中的重点研究课题之一,实时可靠应用的关键在于视差图的可靠性和计算复杂度.提出了一种基于线性生长的区域立体匹配算法,实现从立体图像对中提取深度信息,获得更可靠视差图的方法.该算法包括根点选择和区域生长2个部分,获得视差图的计算时间短,利用滤波可以提高视差图的可靠度.最后对此算法生成的结果进行了比较分析.     

基于Snake模型的特定人脸三维重建方法

以双目立体视觉为基础,构建一种特定人脸重建系统,提出基于Snake模型的特定人脸三维重建方法,利用已标定的摄像机拍摄立体图像对,采用肤色检测得到人脸区域。在对立体图像对进行摄像机畸变校正、立体图像对的外极线对齐、人脸区域选择及归一化等预处理后,采用金字塔结构相关匹配算法,在误匹配点数与精度两者之间达到较好的平衡。针对人脸提出能量最小化方程,考虑顺序匹配约束、连续性约束、曲线上各点曲率的估计和相关性约束条件,大大提高视差提取的正确率,解决了立体视觉中立体匹配的难点,成功地恢复出人脸的三维数据,实现特定人脸的重建。试验结果表明：基于Snake模型的视差抽取,并经过光顺处理和纹理映射后,除了脸部部分边缘存在一些变形外,主体部分的重建效果真实感强。该算法不需要结构光等设备,基本不需要人工干预,就能恢复出特定人脸的三维数据,效果好,实用性强。     

用于弱纹理场景三维重建的机器人视觉系统

为了实现机器人在弱纹理场景中的避障和自主导航,构建了由双目相机和激光投点器构成的主动式双目视觉系统。对立体视觉密集匹配问题进行了研究:采用激光投点器投射出唯一性和抗噪性较好的光斑图案,以增加场景的纹理信息;然后,基于积分灰度方差(IGSV)和积分梯度方差(IGV)提出了自适应窗口立体匹配算法。该算法首先计算左相机的积分图像,根据积分方差的大小确定匹配窗口内的图像纹理质量,然后对超过预设方差的阈值与右相机进行相关计算,最后通过遍历整幅图像得到密集的视差图。实验结果表明:该视觉系统能够准确地恢复出机器人周围致密的3D场景,3D重建精度达到0.16mm,满足机器人避障和自主导航所需的精度。与传统的算法相比,该匹配方法的图像方差计算量不会随着窗口尺寸的增大而增加,从而将密集匹配的运算时间缩短了至少93%。     

Image Quilting纹理合成算法的实现与改进

针对Image Quilting算法在合成结构性较强的纹理图片时产生局部纹理不连续的问题,提出了一种改进的方法。改进从以下两方面进行:通过图像变形增加样本图的采样空间以增大匹配的概率;改变匹配块的选择策略以提高合成质量。实验结果表明,改进后的算法有效地改善了纹理不连续现象,生成的纹理图像质量更高。     

Multi-Range approach of stereo vision for mobile robot navigation in uncertain environments

The detection of free spaces between obstacles in a scene is a prerequisite for navigation of a mobile robot. Especially for stereo vision-based navigation, the problem of correspondence between two images is well known to be of crucial importance. This paper describes multi-range approach of area-based stereo matching for grid mapping and visual navigation in uncertain environment. Camera calibration parameters are optimized by evolutionary algorithm for successful stereo matching. To obtain reliable disparity information from both images, stereo images are to be decomposed into three pairs of images with different resolution based on measurement of disparities. The advantage of multi-range approach is that we can get more reliable disparity in each defined range because disparities from high resolution image are used for farther object a while disparities from low resolution images are used for close objects. The reliable disparity map is combined through post-processing for rejecting incorrect disparity information from each disparity map. The real distance from a disparity image is converted into an occupancy grid representation of a mobile robot. We have investigated the possibility of multi-range approach for the detection of obstacles and visual mapping through various experiments.