A hybrid stereo vision method using a correlation function and variable window based on voxel components

Existing stereo methods tend not to deal with depth discontinuity due to area-based problems, and so give inaccurate and noisy three-dimensional (3D) information in the surface morphology with steep disparity variations. In this paper, a hybrid stereo approach has been presented to estimate accurate, detailed and smooth information for the reconstruction and inspection of the surface morphology with both depth discontinuity and curved regions. It reduces the smoothing problems resulting from depth discontinuity by evaluating a new correlation function based on voxel components in the 3D disparity space. In addition, the connectivity of match candidate voxels is investigated to improve robustness to noise and then integer disparities are determined in the updated disparity space. A variable window based on voxel components is newly devised to cope effectively with curved regions as well as depth discontinuity. Sub-pixel disparities are accurately estimated through formulating the optimal error function in the variable window. We show how our results improve upon those of closely related techniques in terms of accuracy, robustness, matching density and computing speed.     

利用自适应窗口实现不连续保护立体匹配

摘 要：针对计算机视觉中图像对应点的误匹配问题,提出了一种以扫描线优化为能量最小化框架,以最佳自适应窗口为匹配基元的立体匹配算法。该算法首先采用一种融合亮度和梯度信息的非相似度,然后通过平均匹配误差、匹配误差方差及较大窗口的偏移组成的窗口代价函数选取每个视差的最佳窗口作为匹配基元,并利用扫描线优化法及视差变化伴随亮度变化的约束寻找一条最优的匹配路径,最后通过回溯最佳路径得到稠密的视差图。实验结果表明,所提算法不仅能够保留基于自适应窗口的匹配算法能较好地处理大的低纹理区域和视差不连续区域的优点,而且可以加强相邻匹配基元间的视差连续性,从而获得更平滑、准确的视差图,另外所提算法的计算量比原有算法缩短了约3/ 4 。     

一种基于自适应窗口和图切割的快速立体匹配算法

针对基于图切割的立体匹配算法计算量大的缺点,提出了一种新的快速立体匹配算法。首先根据图像边缘特征自适应变化窗口,并采用灰度差平方和匹配(SSD)作为相似判定准则计算初始视差图,再通过左右一致性校验去除误匹配点,在构造能量函数时,将初始视差作为能量函数的一个参考项,最后采用图切割(graph cuts)算法求取使全局能量最小的视差最优分配。通过标准图像对测试了提出的方法,并与其他方法进行了比较,实验结果表明,该算法不仅能够保留基于图切割的立体匹配算法对大的低纹理区域和遮挡像素较好处理的优点,而且匹配时间短,运行时间比原有算法约缩短了三分之二,能够满足工程实用性的要求。     

基于线性生长的区域立体匹配算法研究

图像的区域立体匹配是立体视觉中的重点研究课题之一,实时可靠应用的关键在于视差图的可靠性和计算复杂度.提出了一种基于线性生长的区域立体匹配算法,实现从立体图像对中提取深度信息,获得更可靠视差图的方法.该算法包括根点选择和区域生长2个部分,获得视差图的计算时间短,利用滤波可以提高视差图的可靠度.最后对此算法生成的结果进行了比较分析.     

基于种子点传播的快速立体匹配

针对计算机视觉中的对应点误匹配问题,提出了一种基于种子点传播的快速局部立体匹配算法来进一步提高匹配算法的运行效率。该算法首先利用Canny算子提取图像边缘,结合边缘信息构造动态匹配窗口,以克服固定窗口对匹配带来的不利影响;然后利用AD-Census联合匹配代价在动态窗口上进行代价聚集,用WTA搜索策略得出初始视差图,对视差值进行筛选以确定种子点;随后利用像素间颜色差异将种子点的视差值传递给周围非种子点;最后采用区域投票和局部校正方式对视差值求精,进而获取精确的稠密视差图。实验结果表明,该算法可对Middlebury测试图生成高质量的视差图。与目前较新的局部立体匹配算法相比,其运行速度提高了1.8倍,满足了实际应用对速度和精度的要求,具有较高的实用价值。     

弱纹理环境双目视觉稠密视差鲁棒估计方法

精确稠密视差估计是立体视觉系统恢复观测场景三维信息的关键。从立体视觉在机器人环境感知的实际应用角度出发,提出了对于弱纹理、阴影和遮挡等关键影响因素,具有良好鲁棒性、精度和处理速度的稠密视差图估计算法。针对弱纹理、阴影和深度不连续的问题,设计了基于灰度相似度概率的置信度传播算法,结合视差平滑约束,以期实现较高精度的视差初值快速估计。由视差级数定义的消息向量通过异向平行迭代进行传播,消息向量包含表征像素点灰度相似性和平滑性的能量信息,通过全局能量函数的迭代收敛,快速获得视差初始估计。根据独立连通区域通常具有相似纹理特征和视差一致性的先验知识,提出了基于Mean-Shift聚类分割算法和参数空间投票自适应视差近似面估计算法,进行稠密视差的精细优化估计。利用具有不同弱纹理特征的5组标准测试图像、4组室内环境实际图像、4组室外环境实际图像和4组月面模拟特殊光照环境的实际环境图像进行了测试实验,实验结果表明了本文算法的良好鲁棒性和有效性。     

用于弱纹理场景三维重建的机器人视觉系统

为了实现机器人在弱纹理场景中的避障和自主导航,构建了由双目相机和激光投点器构成的主动式双目视觉系统。对立体视觉密集匹配问题进行了研究:采用激光投点器投射出唯一性和抗噪性较好的光斑图案,以增加场景的纹理信息;然后,基于积分灰度方差(IGSV)和积分梯度方差(IGV)提出了自适应窗口立体匹配算法。该算法首先计算左相机的积分图像,根据积分方差的大小确定匹配窗口内的图像纹理质量,然后对超过预设方差的阈值与右相机进行相关计算,最后通过遍历整幅图像得到密集的视差图。实验结果表明:该视觉系统能够准确地恢复出机器人周围致密的3D场景,3D重建精度达到0.16mm,满足机器人避障和自主导航所需的精度。与传统的算法相比,该匹配方法的图像方差计算量不会随着窗口尺寸的增大而增加,从而将密集匹配的运算时间缩短了至少93%。     

基于 Stereo RCNN 的锚引导 3D 目标检测算法

针对当前基于锚的双目 3D 目标检测算法存在的锚点数量选取较多,从而影响在线计算速度的问题,提出了一种基于 Stereo RCNN 的锚引导 3D 目标检测算法 FGAS RCNN。 在第 1 阶段中,输入左右图像分别生成相应的概率图以生成稀疏锚点及 稀疏锚框,再通过将左右锚作为一个整体生成 2D 预选框。 第 2 阶段的关键点生成网络利用稀疏锚点信息生成关键点热图,并 结合立体回归器融合生成 3D 预选框。 针对原始图像在卷积后会出现像素级信息丢失的问题,通过 Mask Branch 生成的实例分 割掩模结合实例级视差估计进行像素级优化。 实验表明,在没有任何深度和位置先验信息输入的情况下,此方法依旧可以在减 少计算量的同时保持较高的召回率。 具体来说,此方法在以 0. 7 为阈值的 3D 目标检测上平均精度为 44. 07% 。 相比于 Stereo RCNN,本文方法在平均精度上提高了 4. 5% 。 与此同时,此方法的整体运行时间较 Stereo RCNN 缩短了 0. 09 s。     

基于生物信息学中双DNA序列比对 算法的图像立体匹配及其实现

提出了一种基于生物信息学中双DNA序列比对算法的图像立体匹配新方法。图像立体匹配和生物信息学中双DNA序列比对的实质都是在匹配准则下搜索最佳匹配基元,因而新颖地将双序列比对算法引入图像立体匹配。首先介绍了基于动态规划的双序列比对算法原理及其用于图像立体匹配的实现方法,然后根据左右摄像机的最大视差是一个有限定值,进行了算法改进,极大地减少了计算量,并给出了VC6.0中的实现流程,最后采用4组不同的图像对进行了实验验证。该方法具有较低的计算复杂度和适宜于并行计算的特点,生成的视差图效果表明双序列比对算法为图像立体匹配提供了一个实用有效的方法。     

一种改进的快速立体匹配算法

提出了一种改进的快速立体匹配算法。对于双目视觉系统采集的2幅图像,首先采用区域匹配算法进行初始快速立体匹配,再采用左右一致性检验剔除误匹配点,得到立体匹配的初始视差图。然后将初始视差作为图割法构图的限制条件,对初始视差图进行二值分割。最后对分割获得的前景区域和背景区域施加不同的限制,并通过修正能量函数,使构图网络大大减小,从而进一步提高了匹配速度。试验结果表明,该算法既提高了立体匹配速度,又保证了匹配精度。     

基于行列双向约束的动态规划立体匹配算法

为了克服传统的动态规划立体匹配算法会产生明显条纹状瑕疵的缺陷,提出一种同时考虑行列双向约束的动态规划立体匹配算法。该算法首先利用扫描线信息中所包含的视差不连续性和遮挡现象构造出一种新的全局能量代价函数;然后进一步设计了基于此能量代价函数的全局优化策略,在保证扫描线行方向上视差平滑性的基础上,解决了扫描线列方向上的视差不连续性问题;最后通过动态规划寻找最优路径来获得匹配点和遮挡点的视差,从而得到稠密视差图。实验结果表明,所提出的算法不但能够有效消除视差图中的条纹状瑕疵,而且在匹配精度上能够取得较好的效果。     

基于预搜索的高效双目分形视频编码

设计了基于预搜索的高效双目分形视频编码,并成功应用于立体视频编码之中.对基本分形双目视频编码进行了改进.利用了树状划分准则,起始帧采用块离散余弦变换(DCT)编码,简化了块搜索范围并提前减少了重复运算.在双目立体视频编码中,以左通道为基本层,采用单独的运动补偿预测( MCP)方式进行编码,充分利用了预搜索限制条件、改进的非对称十字形多层次六边形格点搜索算法、去方块环路滤波和分数像素块匹配算法;以右通道为增强层,采用MCP加视差补偿预测(DCP)方式进行编码,选择误差最小的匹配块作为预测结果.在进行DCP编码时,充分利用视差分布约束条件,提出了快速的视差估计算法.实验结果表明,提出的编码方法在保证一定的峰值信噪比(PSNR)前提下,平均压缩时间是基本分形双目视频编码的18％～23％,压缩比提高了15.13～47.49,显著地改善了基本分形视频压缩算法的性能,使分形视频压缩的应用具有更大的灵活性和实用性.     

Fast stereo matching based on edge energy information

A new improvement is proposed for stereo matching which gives a solution to disparity map in terms of edge energy.We decompose the stereo matching into three parts:sparse disparity estimation for image-pairs,edge energy model and final disparity refinement.A three-step procedure is proposed to solve them sequentially.At the first step,we perform an initial disparity model using the ordering constraint and interpolation to obtain a more efficient sparse disparity space.At the second step,we apply the energy function by the edge constraints that exist in both images.The last step is a kind of disparity filling.We determine disparity values in target regions based on global optimization.The proposed three-step simple stereo matching procedure yields excellent quantitative and qualitative results with Middlebury data sets in a fast way.     

基于改进Census变换的图像立体匹配算法研究

针对传统的 Census 区域匹配算法过分依赖窗口中心像素信息,导致算法受到噪声干扰时匹配精度降低的问题,提出一种基于改进 Census 变换的匹配算法.采用局部像素反差值为中心像素选择的评判标准,对传统的 Census 变换进行改进,增强了窗口像素信息的利用,提高了算法对像素值突变的适应性,使算法有更好的鲁棒性;代价聚合阶段采用引导图滤波算法并结合多尺度聚合模型,增强平坦区域像素间的区分度;采用 win-take-all 算法选取最优视差值,完成视差计算;采用区域投票策略和中值滤波算法完成视差精化.利用该改进算法对 Middlebury 平台提供的标准图像进行实验,实验结果表明该算法较传统Census 算法有较好的抗噪能力和立体匹配精度.     

基于动态规划的分层立体匹配算法研究

动态规划是双目立体匹配的经典算法,针对控制点动态规划算法易产生横向条纹以及立体匹配普遍的边缘性和弱纹理区域问题,提出一种基于金字塔分层双向动态规划的改进立体匹配算法。该算法将分层模型加入传统动态规划方法,以低像素层级为高像素层级提供控制点集,并在匹配代价计算中采用一种自适应相关性测度函数,加以匹配代价滤波,提高算法精确度及实时性并获取高精度视差图。以Middlebury标准库中的图片以及实拍图片作为实验对象,实验表明所提出的方法具有较好的性能。     

基于Snake模型的特定人脸三维重建方法

以双目立体视觉为基础,构建一种特定人脸重建系统,提出基于Snake模型的特定人脸三维重建方法,利用已标定的摄像机拍摄立体图像对,采用肤色检测得到人脸区域。在对立体图像对进行摄像机畸变校正、立体图像对的外极线对齐、人脸区域选择及归一化等预处理后,采用金字塔结构相关匹配算法,在误匹配点数与精度两者之间达到较好的平衡。针对人脸提出能量最小化方程,考虑顺序匹配约束、连续性约束、曲线上各点曲率的估计和相关性约束条件,大大提高视差提取的正确率,解决了立体视觉中立体匹配的难点,成功地恢复出人脸的三维数据,实现特定人脸的重建。试验结果表明：基于Snake模型的视差抽取,并经过光顺处理和纹理映射后,除了脸部部分边缘存在一些变形外,主体部分的重建效果真实感强。该算法不需要结构光等设备,基本不需要人工干预,就能恢复出特定人脸的三维数据,效果好,实用性强。     

利用平面约束的月球车立体匹配方法

为了满足月球车视觉系统对检测障碍物检测的时效性和可靠性的需求,提出了一种基于平面约束和自适应惩罚参数的半全局立体匹配算法。首先,对极线校正后的两幅图像进行SIFT特征点提取与匹配,同时提取边缘特征;然后,利用匹配的SIFT特征点拟合空间平面,并根据平面估计左右图像所有像素点的视差搜索范围;最后,基于传统的半全局匹配算法,采用自适应惩罚参数的策略对左右图像进行立体匹配。实验结果表明：所提出的算法有效地降低了计算复杂度,其计算复杂度只有传统方法的19.9%,对于视差不连续区域以及遮挡区域都能够获得正确的匹配结果。较传统半全局匹配方法无论在速度还是匹配精度上都得到明显提高,为对立体匹配的实际应用奠定了基础。     

微操作系统中弱视差视觉模型研究

显微双目立体视觉主要由体视显微镜和CCD图像传感器构成，基于计算机双目立体视觉原理，显微双目立体视觉在显微领域中用于三维微观定位和测量。该类视觉具有不同于宏观视觉的属性。使用弱视差描述微观视觉的成像特征以区别于传统的宏观视差。建立了新的显微视觉模型，模型中包含弱视差的级数项，反映出物空间深度信息与图像空间二维信息间存在弱的非线性关系，同时也部分矫正了物空间横向尺度的深度依赖性。     

Multi-Range approach of stereo vision for mobile robot navigation in uncertain environments

The detection of free spaces between obstacles in a scene is a prerequisite for navigation of a mobile robot. Especially for stereo vision-based navigation, the problem of correspondence between two images is well known to be of crucial importance. This paper describes multi-range approach of area-based stereo matching for grid mapping and visual navigation in uncertain environment. Camera calibration parameters are optimized by evolutionary algorithm for successful stereo matching. To obtain reliable disparity information from both images, stereo images are to be decomposed into three pairs of images with different resolution based on measurement of disparities. The advantage of multi-range approach is that we can get more reliable disparity in each defined range because disparities from high resolution image are used for farther object a while disparities from low resolution images are used for close objects. The reliable disparity map is combined through post-processing for rejecting incorrect disparity information from each disparity map. The real distance from a disparity image is converted into an occupancy grid representation of a mobile robot. We have investigated the possibility of multi-range approach for the detection of obstacles and visual mapping through various experiments.     

一种基于基元匹配的立体图像修复算法

针对立体图像修复中直接采用二维图像修复算法所导致的深度信息修复效果欠佳的问题,提出一种基于基元匹配的立体图像修复算法.通过在立体图像左右视图间进行基元匹配,求得各个像素对应目标的深度信息;然后通过平滑深度求得缺损区域的深度数据;最后通过立体图像成像公式计算出左视图中用于填补右视图缺损区域的对应像素点坐标.通过与Criminisi算法进行对比实验,结果表明,对于多幅缺损的立体图像,该算法均取得了较好的修复效果.