激光视觉传感器的机器人焊缝高精度跟踪系统

以提升焊接机器人焊接精度为目的，设计激光视觉传感器的机器人焊缝高精度跟踪系统。由工业相机和激光传感器、焊接机器人等组成系统硬件架构，获取焊缝激光光源后，将其传输至激光图像传感层。采用激光图像传感器对焊缝激光光源图像进行物理滤波处理，使用工业相机拍摄焊缝激光图像。提取焊缝激光图像特征，依据其特征点位置对焊接机器人进行手眼标定，获取焊接机器人校正向量并将该向量输入到机器人运动控制层内的焊缝跟踪程序内，利用该程序不断修正焊接机器人跟踪行为并向接口电路电机驱动器发送控制跟踪命令，实现机器人焊缝高精度跟踪。实验结果表明：该系统具备良好的启动性能，对焊机机器人手眼标定径向畸变、切向畸变数值均较小，跟踪不同类型焊缝的最低偏差数值仅为0.01 mm,跟踪精度高。     

基于机器视觉的激光焊接焊缝智能检测研究

为了优化激光焊接质量,设计了基于机器视觉的激光焊接焊缝智能检测方法。首先利用机器视觉技术设计扫描成像单元,在获得基础的激光焊接焊缝图像后,对图像实施离焦误差校正处理。然后在补偿图像缺陷的基础上,对激光焊接焊缝图像作放大处理,设计扩束准直光路与动态聚焦光路识别焊缝特征信息,从而完成对焊缝的智能检测。实验结果表明：该方法可以能够获得更有效的焊缝信息,有利于提高激光焊接质量。     

新型视觉传感系统研制成功

三菱电机公司成功地研制出高精度检测焊接线焊缝坡口形状的电弧焊接用机器人的视觉传感系统。这一系统借助半导体激光器和光位置传感器的组合，能以0.2毫米的分辨率检测出靠近焊枪约20毫米处焊接线的焊缝坡口形状，适用于迄今为止难以进行的0.2~2毫米的薄板焊接。     

焊接领域激光结构光视觉传感技术的研究及应用

基于激光结构光的视觉传感技术是实现焊接坡口检测、焊缝跟踪和焊接机器人路径规划等的主要技术手段和基础。介绍了基于激光结构光的视觉传感技术应用于焊接领域的优势,分析了其基本检测原理,归纳总结了该技术在焊接领域的研究热点和发展方向。通过探讨各种激光结构光视觉传感器的原理和特征,对其进行了全面的总结和全新的分类,并详细介绍了它们各自的技术特点及研究进展。最后,对基于激光结构光的视觉传感技术存在的问题进行了探讨,以期促进该技术的进一步研究和应用。     

一种基于线结构光的焊缝三维重建方法

介绍了一种基于结构光和双目视觉的焊缝三维重建方法。该方法利用轮廓点曲率提取激光条纹的轮廓关键点,再由所提取的关键点计算轮廓横截面法向量。并根据激光条纹服从正态分布的特点,借助灰度重心法提取条纹中心线。将焊缝在双目摄像机中的图像坐标点转换为世界坐标点,从而完成焊缝三维空间信息的重建。实验结果证明本文方法快速、准确,可以满足自动焊接机器人系统的应用要求。     

应用多传感器激光视觉的焊接机器人变质心补偿控制

制造、安装、机械传动和温度变化等诸多方面的误差较大,产生补偿机器人变质心偏移度,任务执行途中失去期望位姿,为了提高焊接机器人工作效率,提出应用多传感器激光视觉的焊接机器人变质心补偿控制方法。建立焊接机器人变质心模型,应用激光传感器扫描焊接机器人实际轨迹和位姿的几何特征,获取激光视觉图像标定管道焊缝,结合PLC控制器,调整焊接机器人轨迹和位姿,消除惯性力对变质心位移的干扰,实现焊接机器人变质心补偿控制。实验结果表明,在X-Y坐标面、Z-X坐标面和Z-Y坐标面上的变质心补偿轨迹均与期望轨迹误差5 cm左右,高度重合;控制后,焊接机器人惯性位移在0.1 cm之内,近似于零,惯性力不再引导焊接机器人移动,可以稳定停靠在目标位置,变质心控制性能好。     

弧焊机器人空间焊缝定位系统的研究

建立了基于激光立体视觉的空间焊缝定位系统,使带有离线编程系统的弧焊机器人可以适应批量生产中每次焊缝位置的变化。利用激光视觉传感器获取空间焊缝特征点的机器人基坐标系坐标,用B样条曲线拟合测量点。可以快速实现空间焊缝的精确定位。     

激光跟踪技术在工程机械焊接中的应用研究

针对现有推土机台车架机器人焊接质量及生产效率的问题,开展基于激光视觉传感的焊缝跟踪技术研究,并成功引入到工程机械焊接领域。通过三维仿真分析确定传感设备的选型,提出一种实用性强的焊缝实时跟踪方法,并通过十点标定法及多变量参数的调整等全工作流程的测试。通过前后定量数据对比分析,焊接机器人设备的有效稼动率OEE平均提升21.3%,生产节拍提升8.07%,焊接质量及焊达率均有明显优化。结果完全适用于工程机械大型复杂结构件上的焊接要求。     

基于改进TLD算法的激光视觉传感型焊缝跟踪

为了解决基于线激光视觉传感的焊缝中心位置定位精度不高的问题, 采用了一种基于改进跟踪-学习-检测(TLD)算法的焊缝跟踪方法。由激光视觉传感器实时获取焊缝图像, 采用将跟踪器与检测器结合的TLD算法实时跟踪焊缝特征点, 同时通过在线学习机制更新分类器参量。在此基础上对激光条纹图像截取感兴趣区域, 大幅减少检测器的搜索区域; 根据激光条纹光强分布特性, 结合纠偏方向选取跟踪器有效特征点, 以此提高算法效率, 对不锈钢板V型焊缝和搭接焊缝进行跟踪试验。结果表明, 跟踪与检测可实现共同定位焊缝中心位置, 其融合的焊缝跟踪方法能够准确地提取焊缝特征点, 两种焊缝跟踪平均绝对误差分别为0.062mm和0.052mm。此方法为提高焊缝跟踪精度提供了依据。     

管道焊接激光视觉跟踪的定位方法研究

为解决在管道自动焊接过程中V型坡口的识别定位问题,提出了一种基于激光视觉传感的局部区域内分步式定位方法。首先建立模板匹配,利用模板匹配方式获取焊缝初始位置区域;然后采用阈值分割和边缘提取获得激光条纹边缘线,通过Shi-Tomasi算法对边缘线进行角点检测,得到边缘线上的亚像素角点位置坐标;最后采用最小二乘法拟合得到精确的边缘直线,对上下边界线求平均值提取激光条纹的中心线,求取直线的交点得到坡口轮廓的拐点信息。通过对实际焊接现场拍摄的50幅同一高度不同位置的图像进行检测,结果表明,分步式定位方法抗干扰性强,精度较高,为完成整个跟踪自动焊接过程奠定了基础。     

基于激光视觉传感的渔船目标无人机低空识别研究

为了提高渔船目标无人机低空识别的准确率,提出基于激光视觉传感的渔船目标识别方法。采用阈值分割和角点定位标定渔船目标激光视觉传感图像的方位特征点;提取渔船目标的位置信息、速度信息、加速度信息、运动轨迹信息,建立渔船目标激光视觉传感图像的背景差分检测模型;通过帧动态检测和差分图像聚类,计算相邻目标质心的距离;根据参数估计和像素灰度值检测,结合目标方位估计,实现对渔船目标激光视觉传感图像的定位识别。结果表明,采用该方法能够有效识别渔船目标,目标方位识别准确性达到90.95%以上,提高了渔船目标无人机低空识别准确性。     

基于声波时频特性和深度学习的铝合金脉冲激光焊接熔透定量评估

焊缝熔透状态是定量评价激光焊接质量最重要的指标之一，实时准确识别焊缝的熔透状态是动态激光焊接过程监测和控制的关键。针对铝合金薄壁件的脉冲激光焊接，本文提出了基于声波时频特性和深度学习的焊缝熔透定量评估新方法。首先，搭建视觉-声发射多信息实时同步传感系统平台，获取反映匙孔动态行为的视觉图像和声波信号，并对声波信号进行分帧和小波包阈值去噪预处理；然后，使用平滑伪魏格纳维利分布（SPWVD）提取各帧声波信号的时频域图像，同时引入灰度共生矩阵（GLCM）提取时频域纹理特征，并将提取的纹理特征送入反向传播神经网络（BPNN）进行预测；最终，以SPWVD声波时频图为原始输入，构建基于卷积神经网络（CNN）的焊缝熔透分类模型。结果表明：声波时频图与匙孔动态行为、焊缝熔透状态具有高度相关性；相比于准确率为85%的传统BPNN分类模型，基于SPWVD时频图的CNN分类模型有着更高的准确率（98.8%）。所提定量评估新方法为铝合金薄壁件脉冲激光焊接熔透的在线智能诊断与自适应控制提供了参考。     

基于单目主被动视觉结合的焊接偏差检测方法

针对管道全位置机器人自动焊,提出了一种基于单目主被动视觉结合的熔化极气体保护焊(gasmetal arc welding,GMAW)焊接偏差测定方法。设计出一种调光玻璃,使采集到的同一帧焊接图像中包含了激光条纹和焊丝尖端等信息。首先,根据焊接图像噪声类型呈高斯分布这一特性,针对性的采用LoG算子分别对电弧区域和激光条纹区域图像进行滤波处理;然后,设计图像处理算法分别提取出焊丝和焊缝坡口中心位置坐标;最后,计算出两坐标点在Y轴方向的偏差值。试验证明,此方法能在填充焊焊接图像中实时测定出焊接偏差量,焊接误差可以控制在02mm以内,可为实现管道焊接机器人自动焊缝跟踪控制提供可靠依据。     

基于改进神经网络的激光焊接偏差智能识别研究

为保证激光焊接质量,需要有效识别激光在焊接过程中的焊接偏差,因此,采用改进神经网络模型实现激光焊缝偏差识别.构建激光焊接试验装置,采用302不锈钢板作为焊接试件,通过高速摄像机获取激光焊接过程中的熔池红外图像,并通过中值滤波算法对图像实行预处理后获取堆积热效应参数、匙孔质心参数、匙孔形变参数,以此作为改进神经网络模型的输入向量,实现激光焊接偏差识别.实验结果表示:该模型在隐含层单元数量为3、训练步数为240时训练误差较大程度接近目标值,且模型规则数量为4条时,可有效、精准地完成激光焊缝偏差识别.     

基于条纹式激光传感器的机器人焊缝跟踪系统研究

提出了基于条纹式激光传感器的机器人焊缝跟踪系统,采用机器人末端安装条纹激光传感器,在焊接过程中实时获取焊缝轮廓数据;利用小波变换模极大值理论对焊缝轮廓数据进行分析,确定焊缝特征点;以特征点为分界点,采用最小二乘法拟合焊缝直线并求取交点,精确确定焊缝轮廓特征点坐标;通过机器人坐标变换实时获得焊缝运动轨迹,从而实现焊缝跟踪。对不同的V型焊缝进行实验验证,并对有无采用最小二乘法精确定位进行对比实验。实验结果表明:只采用小波模极大值理论获得的跟踪误差约为0.514 mm,但轨迹存在较严重的抖动现象;而采用了最小二乘法精确定位特征点后,跟踪误差约为0.304 mm,抖动现象明显减弱,满足自动焊接误差要求在0.5 mm之内的要求。     

一种基于激光视觉的焊缝实时检测技术研究

提出了一种基于激光视觉的焊缝实时检测技术,旨在提高焊缝检测的速度和精度。在实际的焊接过程中,由于大量噪声的干扰,焊接图像的采集一直是一个复杂的过程。 本文首先建立基于激光视觉的检测系统,以获得激光条纹的原始图像。在此基础上,将原始激光条纹图像灰度化,并提出一种改进的快速中值滤波算法,在去除图像中椒盐噪声的同时,缩短了程序运行时间。并通过Otsu阈值分割获得激光条纹的二值图像,提取感兴趣的激光条纹区域。接着结合方向模板法和脊线跟踪法提取激光条纹中心线,最后采用亚像素级角点法提取焊缝的特征点。 实验证明,本文提出的方法有效地克服了焊接环境的影响,不仅缩短了焊缝特征点检测的时间,而且具有较高的检测精度,符合实际焊接要求。     

基于激光视觉传感器的机器人实时焊缝跟踪方法

为实现变姿态焊接过程的实时焊缝跟踪,提出基于机器人坐标系下绝对焊缝轨迹的实时跟踪算法。将线式激光传感器安装在机器人的法兰盘上,且位于焊枪运行的前方。焊接过程中,激光传感器连续采集焊缝位置信息,并结合手眼标定矩阵以及机器人实时姿态,将传感器采集的焊缝坐标转换到机器人基础坐标系下,从而形成空间绝对焊缝轨迹;再根据焊枪的当前位置与焊缝的空间绝对轨迹生成位置偏差。为了提高计算精度,提出采用三次非均匀有理B样条进行数据插值和检索;最后,将位置偏差变换到焊枪工具坐标系下进行实时修正。实验结果表明:该跟踪算法能够实现焊接机器人针对变姿态焊接过程的连续跟踪,跟踪过程平滑光顺,跟踪整体精度优于0.5 mm。基本满足焊缝实时跟踪应用的一般要求。     

核相关/卡尔曼滤波焊缝路径识别新方法研究

针对线激光视觉传感的焊缝跟踪系统在焊接过程中易受弧光、飞溅等噪声干扰而出现焊缝位置识别精度不高的问题,本研究团队提出了一种基于核相关/卡尔曼滤波算法的焊缝路径识别方法。利用图像处理方法提取焊缝中心区域,在焊接过程中利用核相关滤波(KCF)算法实时定位焊缝中心,根据响应图峰值旁瓣比(PSR)对焊缝目标模板进行自适应更新,以提高模板的抗干扰能力。采用状态扩增法建立带有色观测噪声的焊缝中心位置的卡尔曼滤波模型,对焊缝中心进行最优估计,进一步提高系统在强噪声环境下的焊缝路径识别精度。分别进行对接焊缝和搭接焊缝路径识别试验,试验结果表明:所提算法能在有强烈弧光和飞溅的工况下实现焊缝路径的准确识别,识别误差能分别控制在0.137 mm和0.105 mm以内。     

基于无线遥控与视觉跟踪的焊接控制系统

为解决焊接工程现场有线示教器操作不便、传统模板匹配方法受电弧与飞溅干扰而导致跟踪稳定性差等问题,设计了一种基于无线遥控与视觉跟踪的焊接控制系统。首先,设计了包含视觉单元、控制单元和执行单元的嵌入式PC无线控制系统,实现图像采集处理和焊缝跟踪偏移信息计算,并控制焊机机器人执行相应的动作。然后,采用了粒子滤波跟踪算法进行焊缝跟踪,该算法通过粒子滤波对图像大目标区域进行搜索,减少焊缝位置发生突变或焊缝图像缺失时跟踪失效的问题,确保视觉单元能够在强烈噪声干扰下快速、准确地识别焊缝特征位置。焊接测试结果表明,本系统纠偏误差小于0.12 mm,且操作方便、稳定性好、纠偏精度高、焊接表面成型质量良好,满足管道焊接的工艺要求。     

基于高密度点云的激光焊接缺陷智能在线检测（特邀）

铝合金薄板激光焊接经常会出现咬边、凹陷等表面缺陷。这两种缺陷由于尺寸小、特征相似,难以通过传统视觉在线检测手段对其进行精确分类和测量。开发了一种基于深度学习缺陷分类-点云测量的在线监测系统,利用高密度的点云数据对缺陷进行识别、分类与测量,解决了上述检测难题。通过双目结构光传感器采集点云数据;利用基于区域推荐网络的卷积神经网络模型识别和定位缺陷;在识别和定位缺陷后,通过对局部缺陷区域的点云进行操作,快速测量缺陷尺寸。高密度点云数据训练的模型的识别准确率达到93%,高于传统二维视觉传感器图像训练的模型。该检测系统在线检测允许的最大焊接速度为316.87 mm/s,适用于大多数激光焊接。