基于双目立体视觉的机器人定位系统设计与实现

针对传统工业机器人预先示教或单目视觉引导应用的局限性,提出一种基于双目立体视觉的机器人定位系统设计,获取目标物体在空间中的三维信息。该系统设计基于ABB机器人执行系统,使用TCP触碰标定板的方式完成双相机的标定,采用SIFT斑点算法获取工件的特征,结合Opencv3.4.1库,基于图像特征点对左右相机获得的图像进行立体匹配,得到物体的三维点坐标,引导机器人实现抓取。     

双目立体视觉的目标识别与定位

双目立体视觉系统可以实现对目标的识别与定位.此系统包含摄像机标定、图像分割、立体匹配和三维测距4个模块.在摄像机标定部分,提出了基于云台转角的外参数估计方法.该方法可以精确完成摄像头旋转情况下外参的估计,增强了机器人的视觉功能.并利用广茂达机器人系统,基于改进的双目视觉系统进行目标识别与定位,以此结果作为依据控制机器人的手臂进行相应运动,最终实现了对目标物体的抓取,验证了提出方法的可行性.     

基于标准圆柱的线激光轮廓扫描机器人手眼标定方法

在搭载线激光轮廓传感器的机器人平台手眼标定问题中,依靠线激光轮廓传感器输出的2维点云信息进行标定,存在标定过程复杂、标定精度低的缺点。本文针对这些问题,提出一种基于圆柱侧面约束的手眼标定方法。通过改变扫描机器人末端位姿,获得不同位姿下圆柱侧面扫描数据。对于激光平面与圆柱侧面相交得到的椭圆轮廓,利用随机抽样一致性（RANSAC）算法得到椭圆轮廓中心点坐标。利用椭圆轮廓的估计中心点到圆柱中轴线的距离建立约束优化方程,将手眼标定问题转化为约束优化问题。利用粒子群优化（PSO）算法和广义拉格朗日乘子法的融合算法求解约束优化问题,得到手眼标定的变换矩阵。最后基于所提方法进行模拟仿真和扫描重建试验。分别讨论了标定数据误差、标定参照物位置和标定参数初始值对标定结果的影响,并验证了手眼标定精度。结果表明,该方法不受标定参照物位置和标定参数初始值的影响,具有操作简单、通用性强、标定精度高等特点,标定精度在0.15mm以内,适合现场标定。     

基于粗精立体匹配的双目视觉目标定位方法

针对双目视觉系统定位精度较低的问题,提出一种基于粗-精立体匹配的双目视觉目标定位方法。该方法采用粗-精匹配策略：在粗匹配阶段使用基于Canny-Harris特征点的随机蕨算法对左右图中的目标进行识别,提取目标矩形区域的中心点,实现中心匹配;在精匹配阶段建立一种基于图像梯度信息的二值特征描述子,将中心匹配得到的右中心点作为估计值,设定像素搜索范围,于该区域中找出左中心点的最佳匹配点。最后,将得到的中心点匹配对代入平行双目视觉的数学模型中,实现目标定位。实验结果表明,在500 mm距离范围内,所提出定位方法的定位误差控制在7 mm内,平均相对定位误差为2.53%,相比其他方法具有定位精度高、运行时间短的优点。     

基于灰度矩的脉搏图像亚像素特征点提取研究

在基于双目视觉脉搏图像传感器的脉搏三维信息检测中,图像特征点的提取是关键基础。为了提高脉搏图像特征点提取的精度,提出一种新的对脉搏图像特征点进行亚像素定位的算法。在完成脉搏图像的预处理后,对脉搏图像进行基于灰度矩的亚像素边缘检测,结合最小二乘拟合法得到圆形标志中心点,最终实现脉搏图像的特征点提取。实验结果表明该算法能够准确定位脉搏图像特征点,精度可达到0.03~0.04像素,为后续双目视觉的立体匹配及脉搏三维形态的重构奠定了基础。     

基于双目视觉的立体匹配算法研究

根据立体匹配原理,采用双目摄像头对图像进行采集,通过对摄像机的标定和图像立体校正、图像分割与立体匹配得到最后的视差图;根据最后的视差图以及算法的速度来评价算法的性能。实验结果表明,图像的视差图十分接近真实视差图,效果明显。     

简便高精度的机器人手眼视觉标定方法

对摄像机成像模型进行了分析,论述了机器人手眼系统标定原理。在此基础上,不改变机器人的外臂与基坐标系的旋转关系,设计了一种机器人手眼视觉的标定方法,与传统的方法比较,它不需要预先标定摄像机的内外参数。实验证明:该方法具有算法方便快捷、实验过程简单易行,且精度高等优点,可用于机器人进行运动目标定位与跟踪。     

基于双目视差和主动轮廓的机器人手眼协调控制技术研究

提出一种基于双目视差和主动轮廓的机器人手眼协调技术;该方法利用主动轮廓的思想动态地逼近和跟踪机器人及目标物体的外部轮廓,通过控制双目视差趋零来实现机器人靠近目标和抓取物体.首先建立了机器人手指轮廓的几何参数模型和相应的观测概率密度模型,利用CONDENSATION算法对轮廓进行动态逼近和跟踪.然后针对动态轮廓的几何特征,探讨了基于双目视差的手眼协调控制策略.最后利用这种手眼协调控制技术进行了机器人抓取圆球目标的实验.实验表明,这种方法具有对图像噪声不敏感的特点,可以在杂乱的背景环境和复杂的纹理条件下执行视觉引导的跟踪和抓取任务,具有较强的鲁棒性.     

基于立体视觉的球形机器人定位方法

针对球形机器人定位问题,提出了基于立体视觉的球形机器人定位方法.通过双目相机采集环境图像序列,提取Shi-Tomasi特征点,计算尺度不变特征变换(SIFT)特征描述符,并利用欧氏距离进行立体匹配;通过KLT算法进行特征点跟踪;采用解析法求解机器人在前后帧图像之间的位姿变化量;同时采用特征点筛选、RANSAC算法和卡尔曼滤波等方法,提高运动估计的准确性和鲁棒性.实验结果验证了所提出方法的可行性.     

一种改进的区域双目立体匹配方法

双目立体匹配是机器视觉中的热点、难点问题。分析了区域立体匹配方法的优缺点,提出了改进的区域立体匹配方法。首先,采集双目视觉图像对对图像对进行校正、去噪等处理,利用颜色特征进行图像分割,再用一种快速有效的块立体匹配算法对图像进行立体匹配。然后,在匹配过程中使用绝对误差累积(SAD)的小窗口来寻找左右两幅图像之间的匹配点。最后,通过滤波得到最终的视差图。实验表明:该方法能够有效地解决重复区域、低纹理区域、纹理相似区域、遮挡区域等带来的误匹配问题,能得到准确清晰的稠密视差图。     

基于双目视觉的引磁片定位与测量研究

为了提高大批量生产中超薄磁性车载手机支架铁片的测量精度,提出采用双目视觉技术对引磁片定位,并基于鞍点法建立坐标系实现引磁片的高精度测量。首先通过HALCON的系统标定实现引磁片图像对的立体校正;利用金字塔算法与带有缩放的亚像素形状模板匹配实现引磁片特征点的提取。然后基于归一化互相关NCC(Normalized Cross-Correlation)的灰度匹配算法快速完成特征点的立体匹配;结合双目测距原理、坐标仿射转换对特征点重构获取以左相机为参考系下的3D坐标。最后通过空间曲线拟合公式和点积运算实现引磁片的高精度测量。实验结果表明,测量半径的误差小于0.1 mm、误差率小于1%;测量厚度误差小于0.1 mm、误差率小于6%,可有效的对超薄引磁片进行定位及尺寸测量。     

双目区域视差快速计算及测距算法

目的 双目测距对水面无人艇自主避障以及视觉侦察具有重要意义,但视觉传感器成像易受光照环境及运动模糊等因素的影响,基于经典Census变换的立体匹配代价计算方法耗时长,且视差获取精度差,影响测距精度。为了提高测距精度并保证算法运行速度,提出一种用于双目测距的快速立体匹配算法。方法 基于传统Census变换,提出一种新的比特串生成方法,在匹配点正方形支持窗口的各边等距各选3个像素点,共选出8个像素点,这8个像素点两两比较生成一个字节的比特串。将左右视场中的匹配点与待匹配点的比特串进行异或,得到两点的汉明距离,在各汉明距离中找到距离最小的像素点作为匹配像素点,两像素点的横坐标差为视差。本文采用区域视差计算的方法,在左右视场确定同一目标区域后进行视差提取和滤波,利用平均视差计算目标的距离。结果 本文算法与基于传统Census变换的立体匹配视差获取方法相比,在运算速度方面优势明显,时间稳定在0.4 s左右,用时仅为传统Census变换算法的1/5。在Middlebury数据集中的图像对teddy和cones上进行的算法运行时间对比实验中,本文基于Census变换改进的算法比已有的基于Census变换的匹配算法在运行时间上快了近20 s。在实际双目测距实验中,采用本文算法在1019 m范围内测距误差在5%以内,根据无人艇的运动特点和避障要求,通过分析可知该算法的测距精度可以满足低速无人艇的避障需求。结论 本文给出的基于改进Census变换的匹配算法在立体匹配速度上有大幅提高,提取目标视差用于测距,实际测距结果表明,本文算法能够满足水面无人艇的视觉避障要求。     

多目标背景下双目视觉深度信息优化研究及其实现

针对机器人领域应用视觉进行目标物体抓取问题,提出了一种针对多目标背景下,新的深度优化处理方法.通过设定一个阈值块,以遍历成块的深度信息用类似聚类的方法,提出目标物体的具体坐标,传递给机器人手臂,完成准确的抓取操作.依次介绍了双目视觉原理、摄像机标定、双目矫正和双目匹配等内容,以及呈现出原始的深度信息图以及优化后的深度信息图,比较它们的差距.最后在实验中给出了证明:此种深度信息优化方法能够有效的提高机器人抓取目标物体的成功率.最后,还在文章最后给出了下一步的研究方向.     

基于线性滤波的树结构动态规划立体匹配算法

传统的动态规划立体匹配算法能有效保证匹配精度的同时提高运行速度, 但得到的视差深度图会出现明显的条纹现象,同时在图像弱纹理区域以及边缘存在较高的误匹配. 针对该问题,提出了一种新的基于线性滤波的树形结构动态规划立体匹配算法. 算法首先运用改进的结合颜色和梯度信息参数可调的自适应测度函数构建左右图像的匹配代价, 然后以左图像为引导图对构建的匹配代价进行滤波; 再运用行列双向树形结构的动态规划算法进行视差全局优化, 最后进行视差求精得到最终的视差图.理论分析和实验结果都表明, 本文的算法能有效地改善动态规划算法的条纹现象以及弱纹理区域和边缘存在的误匹配.     

An effective calibration procedure for correction of parallax unmatched image pairs

The stereo image pairs or two-view video sequences can be captured by two cameras at two horizontally different positions. If the stereo image pairs possess incompatible convergences of vertical parallax and horizontal parallax, human eyes generally cannot properly exhibit stereo visualisation. If the image pairs are taken from single camera or selected from a video sequence, perception of stereo visualisation will become even worse. The authors propose an effective calibration procedure to adjust the image pairs to achieve better stereo visualisation. The proposed calibration procedure contains six steps, including feature point extraction, bidirectional feature point matching, relative distance checking, image transformation, hole-filling and reshaping. Experimental results show that the proposed system can effectively adjust vertical and horizontal parallax such that the calibrated stereo image pairs can properly exhibit stereo scenes in stereoscopic display systems. Experimental results also reveal that the proposed method can achieve less vertical parallax than the existing rectification methods.     

一种基于自适应支持权重优化的立体匹配算法

立体匹配是图像处理领域的经典问题和研究热点之一。针对原始ASW立体匹配算法中存在的运算时间过长以及遮挡区域的误匹配率高的问题,提出了一种改进优化方法。在自适应支持权重方法的基础上结合Rank变换方法,从参数选择以及立体匹配性能这两个方面对自适应支持权重进行改进,然后对得到的初始视差进行有效视差校准从而得到最终视差。最后利用仿真实验得到匹配精度较高的图像序列视差图,并通过实验结果对比验证了该方法具有很好的可行性。     

基于改进SIFT特征的双目图像匹配算法

针对SIFT（尺度不变特征变换）算法无法准确定位物体形状特征的问题,提出了一种结合了Harris角点和SIFT算法的立体匹配方法。在DOG尺度空间提取Harris算子作为图像的特征点并为每个特征点定义主方向,计算出特征点的32维特征向量描述子并用BBF算法检索同名特征点之间的欧式距离进行匹配。在降低SIFT算法的时间复杂度的同时提高了算法提取特征点的形状意义,在双目图像匹配实验中取得了较好的结果。     

基于图像分割的立体匹配算法

针对在立体匹配中弱纹理及纯色区域匹配不准确和图像分割算法耗时较多的问题,提出一种融合图像分割的立体匹配算法。首先,将初始图像进行高斯滤波和Sobel平滑的处理,获取图像的边缘特征图;然后,将原图的红、绿、蓝三个通道值采用最大类间方差法进行二分类,再融合得到分割模板图;最后,将所得到的灰度图、边缘特征图和分割模板图用于视差计算和视差优化的过程,计算得到视差图。相比绝对差值和(SAD)算法,所提算法在精度上平均提升了14.23个百分点,时间开销上平均每万个像素点只多消耗了7.16 ms。实验结果表明,该算法在纯色及弱纹理区域和视差不连续区域取得了更加平滑的匹配结果,在图像分割上能够自动计算阈值且能够较快地对图像进行分割。     

基于强相似点检测快速双目立体匹配算法

立体匹配是双目视觉的一个重要分支领域,能够通过深度图还原出三维信息,但由于其计算量庞大,实时性难以得到保障。为此,提出了一种基于强相似点的快速立体匹配算法。首先,将双目图像通过对极处理,使匹配区域固定在同一水平线上,减少匹配区域;其次,对图像进行灰度转化,并将搜索范围内与待匹配点灰度值接近的点定义为强相似点,对强相似点所在块进行匹配代价计算,并得出该点最优视差,对不存在强相似点的待匹配点进行正常视差计算;最后将进行视差修正与滤波,得到最终视差图。经Middlebury算法测试平台的提供数据进行验证,结果表明在不损失精确率的前提下,该方法相对于SAD速度提高70%左右,为立体匹配算法的实际应用奠定了良好基础,在视觉导航、障碍物检测方面也有着良好的应用前景。     

基于双目视觉的移动机器人空间测距研究

空间测距是移动机器人实时避障和路径规划的基础.研究了移动机器人双目摄像头由一般布置形式变换到标准布置形式进而实现空间测距的方法.首先对摄像头进行标定(对双目摄像头进行立体标定);然后基于标定结果对摄像头一般布置下所获得立体图像进行极线校正,并得到校正后新的摄像机相互位置参数;最后基于已校正图像和新的位置参数实现移动机器人移动过程中深度与特定目标空间尺寸测量.实验结果证实了本文方法能获得比较精确的测量结果.