一种基于激光视觉的焊缝实时检测技术研究

提出了一种基于激光视觉的焊缝实时检测技术,旨在提高焊缝检测的速度和精度。在实际的焊接过程中,由于大量噪声的干扰,焊接图像的采集一直是一个复杂的过程。 本文首先建立基于激光视觉的检测系统,以获得激光条纹的原始图像。在此基础上,将原始激光条纹图像灰度化,并提出一种改进的快速中值滤波算法,在去除图像中椒盐噪声的同时,缩短了程序运行时间。并通过Otsu阈值分割获得激光条纹的二值图像,提取感兴趣的激光条纹区域。接着结合方向模板法和脊线跟踪法提取激光条纹中心线,最后采用亚像素级角点法提取焊缝的特征点。 实验证明,本文提出的方法有效地克服了焊接环境的影响,不仅缩短了焊缝特征点检测的时间,而且具有较高的检测精度,符合实际焊接要求。     

基于单目主被动视觉结合的焊接偏差检测方法

针对管道全位置机器人自动焊,提出了一种基于单目主被动视觉结合的熔化极气体保护焊(gasmetal arc welding,GMAW)焊接偏差测定方法。设计出一种调光玻璃,使采集到的同一帧焊接图像中包含了激光条纹和焊丝尖端等信息。首先,根据焊接图像噪声类型呈高斯分布这一特性,针对性的采用LoG算子分别对电弧区域和激光条纹区域图像进行滤波处理;然后,设计图像处理算法分别提取出焊丝和焊缝坡口中心位置坐标;最后,计算出两坐标点在Y轴方向的偏差值。试验证明,此方法能在填充焊焊接图像中实时测定出焊接偏差量,焊接误差可以控制在02mm以内,可为实现管道焊接机器人自动焊缝跟踪控制提供可靠依据。     

基于增强群跟踪器和深度学习的目标跟踪

为解决基于外观模型和传统机器学习目标跟踪易出现目标漂移甚至跟踪失败的问题,该文提出以跟踪-学习-检测(TLD)算法为框架,基于增强群跟踪器(FoT)和深度学习的目标跟踪算法。FoT实现目标的预测与跟踪,增添基于时空上下文级联预测器提高预测局部跟踪器的成功率,快速随机采样一致性算法评估全局运动模型,提高目标跟踪的精确度。深度去噪自编码器和支持向量机分类器构建深度检测器,结合全局多尺度扫描窗口搜索策略检测可能的目标。加权P-N学习对样本加权处理,提高分类器的分类精确度。与其它跟踪算法相比较,在复杂环境下,不同图片序列实验结果表明,该算法在遮挡、相似背景等条件下具有更高的准确度和鲁棒性。     

核相关/卡尔曼滤波焊缝路径识别新方法研究

针对线激光视觉传感的焊缝跟踪系统在焊接过程中易受弧光、飞溅等噪声干扰而出现焊缝位置识别精度不高的问题,本研究团队提出了一种基于核相关/卡尔曼滤波算法的焊缝路径识别方法。利用图像处理方法提取焊缝中心区域,在焊接过程中利用核相关滤波(KCF)算法实时定位焊缝中心,根据响应图峰值旁瓣比(PSR)对焊缝目标模板进行自适应更新,以提高模板的抗干扰能力。采用状态扩增法建立带有色观测噪声的焊缝中心位置的卡尔曼滤波模型,对焊缝中心进行最优估计,进一步提高系统在强噪声环境下的焊缝路径识别精度。分别进行对接焊缝和搭接焊缝路径识别试验,试验结果表明:所提算法能在有强烈弧光和飞溅的工况下实现焊缝路径的准确识别,识别误差能分别控制在0.137 mm和0.105 mm以内。     

融合GMS检测和置信度判别的TLD目标跟踪

针对目标在遮挡、尺度变化等复杂场景下易产生模型漂移问题,基于跟踪学习检测(TLD)框架提出一种结合基于网格的运动统计(GMS)检测和置信度判别的长时目标跟踪算法。首先在跟踪模块中采用快速判别尺度空间的相关滤波器(fDSST)作为跟踪器,利用位置滤波器和尺度滤波器对上一帧目标进行位置与尺度的判别,并依据TLD算法中跟踪模块与检测模块的独立性,将跟踪模块结果输入检测模块中,采用平均峰值相关能量(APCE)对模板更新进行置信度判别。在检测模块中先引入GMS网格运动统计作为检测器,使具有快速旋转不变性特征的ORB(OrientedFASTandRotatedBRIEF)算法对上一帧目标进行特征匹配,再利用网格运动统计对匹配结果进行过滤,实现目标位置的粗定位,依据预测位置对目标检测区域进行适当的动态缩减,最后使用级联分类器对目标进行精准定位。结果表明,本文提出的跟踪方法在有效防止模型漂移的情况下,大大提高了算法的跟踪速度,同时对目标遮挡、尺度变化及旋转等挑战环境也具有较好的准确性和鲁棒性。     

激光视觉焊缝跟踪实时图像处理研究

对激光视觉传感焊缝跟踪实时图像处理的方法进行了研究，就其中的关键技术-激光带中心的抽取和特征点的检测提出了切实可行的方法。该处理方法效果好，处理速度快，能够满足跟踪系统的实时性要求。     

一种复杂背景下红外目标稳定跟踪算法

针对红外单目标在长期跟踪过程中的强背景干扰、遮挡、形变以及目标特征信息减弱等实际问题,提出了一种基于跟踪-学习-检测(Tracking-Learning-Detection,TLD)框架的红外目标稳定跟踪方法。该方法在压缩跟踪算法(Compressive Tracking,CT)的基础上替换广义的类Harr特征为HOG特征,引入互补随机测量矩阵,优化纹理和灰度特征信息的权重,同时引入卡尔曼滤波器记录空间上下文位置信息,以解决CT算法和TLD算法在目标被遮挡时的跟踪失效和全局检索问题。基于TLD算法框架和改进CT算法相结合的红外图像跟踪算法有效地解决了遮挡和强干扰问题,提升了算法的跟踪准确性和长期跟踪稳定性。实验结果表明,本文提出的算法在红外地面环境中能较好地实时稳定跟踪并保持良好的准确性和鲁棒性。     

基于人工鱼群粒子滤波的TLD改进算法

在面对光照变化、部分遮挡、背景杂乱和平面内外旋转等跟踪难点时,跟踪学习检测算法(Tracking-Learning-Detection,TLD)容易产生漂移导致跟踪失败,其跟踪性能还有待提高。在传统TLD算法的基础上,提出一种基于人工鱼群粒子滤波的TLD改进算法。首先使用人工鱼群粒子滤波跟踪器代替金字塔光流跟踪器,将颜色直方图特征和方向梯度直方图特征进行融合,建立目标表观模型,引入图像金字塔多尺度思想进行尺度匹配,提高目标跟踪的稳健性。然后通过粒子滤波过程预测目标区域,将TLD算法检测模块的全局扫描改进为局部扫描,剔除大量非目标区域,提高检测模块的检测效率。实验结果表明:基于人工鱼群粒子滤波的TLD改进算法具有良好的跟踪性能,与传统TLD算法相比,其平均成功率和精准度分别提高了19.04%和28.00%,平均跟踪速度可达33.87FPS,提高了38.78%。     

基于计算机视觉的轮椅跟随系统设计

本文设计了一种控制电动轮椅跟随目标人的系统。首先,基于深度彩色摄像机的视觉跟踪系统采用跟踪学习检测(TLD)视觉跟踪算法对彩色图像中的目标人物区域进行跟踪。根据图像,精准的计算出目标人的三维位置;然后,跟踪器依照三维坐标确定轮椅的速度与位置。为使轮椅与目标保持一定的距离。实验结果表明,该系统能有效控制电动轮椅跟随目标人,用户测试初步证明了该系统的实用性。     

基于多示例学习和随机蕨丛检测的在线目标跟踪

基于检测的目标跟踪方法目前在计算机视觉领域受到了广泛的关注,这类方法通过训练判别分类器将目标对象从背景中分离出来;分类器的训练是根据当前的跟踪状态从当前帧中提取正负样本来进行,但训练样本的不准确将导致分类器退化产生漂移。该文提出一种能够有效克服目标漂移的跟踪算法,采用检测器和跟踪器相结合的框架,利用中值流算法作为跟踪器,提高跟踪点的可靠性;级联若干个随机蕨弱分类器构成强分类器作为检测器;用在线多示例学习方法更新检测器,提高检测精度;最后将检测器、跟踪器的结果相融合得到最终的目标位置。实验结果表明,与其它方法相比,该方法对目标漂移有更强的鲁棒性。     

基于卡尔曼滤波器的焊缝识别算法

为了提高工业现场焊缝跟踪的准确性和抗干扰能力,提出了一种基于约束卡尔曼滤波器的焊缝识别算法。采用结构光测量系统获取焊缝连续图像,然后利用形态学处理定位焊缝图像角点,并通过高斯拟合法提取激光条纹中心点,将角点和中心点的位置和速度作为卡尔曼滤波器的状态变量,建立卡尔曼滤波器的状态方程和测量方程,再由角点和中心点的位置关系构建等式约束方程,通过约束方程对卡尔曼滤波后的结果进行修正。结果表明该算法能有效实现焊缝跟踪,提高了焊缝识别的精度和抗干扰能力。     

基于3D激光扫描传感器的焊缝区域跟踪方法设计

一般二维数据传感器在智能焊接领域应用中,跟踪焊缝区域时,焊接枪抖振会导致跟踪误差大的问题,提出基于3D激光扫描传感器的激光焊缝自动跟踪方法,应用3D激光扫描传感器获取到完整的激光焊缝3D位置数据。对采集到的焊缝位置信息展开全局最优解处理,提取激光焊缝的相关特征。对激光焊缝跟踪相关的距离特征进行分类处理:设计模糊跟踪算法,利用基本论域方法建立目标边缘特征模型,调整激光焊缝隶属度参数,实现目标融合特征分类。在激光焊缝特征分类的基础上,利用变论域理论提高焊接跟踪控制准确率和焊缝成形检测效率,完成焊缝区域的控制跟踪,实现无人化焊接。实验结果表明:这种方法在减小跟踪误差中有明显的效果。     

基于角点增强改进的TLD目标跟踪算法

针对TLD算法的特征点无法有效表述目标问题,提出了一种基于角点增强改进的TLD目标跟踪算法。改进算法在跟踪模块加入了对目标表述能力更强,具有光照不敏感性和旋转不变性的Shi-Tomas角点作为跟踪特征点。跟踪器运行时,在角点经光流法跟踪和双向误差检测后,利用剩余的稳定角点定位目标窗口。对照结果表明,改进算法在面对目标抖动和形变时可以稳定跟踪;有效抑制因跟踪平滑点造成的漂移现象;提高了跟踪的稳定性。针对TLD算法跟踪过程中因在线模板积累造成的计算量持续增大、实时性持续降低的问题,提出了一种依据相似度中值的模板判断删除机制。该删除机制在模板积累到设定阈值时运行,根据模板与当前目标的相似度,删除不再具备代表性的模板;调整模板空间并更新模板数目。实验表明,该删除机制在应对模板更新快、持续时间长的跟踪情景时有效降低算法计算量,实时性可提高约20%。     

Infrared image recognition for seam tracking monitoring during fiber laser welding

Seam-tracking ability of a laser-welding system is important for welding process, and the accurate detection of deviations between the laser-beam focus and the weld seam position is prerequisite for seam-tracking control. Infrared image sensing and visual recognition techniques for real-time seam tracking monitoring during high-power fiber laser welding is researched to improve the accuracy of seam-tracking ability. Molten pool images are caught by an infrared sensitive high speed camera arranged off-axis orientation of a laser-welding head which is fixed to a robot. Through the image processing, the feature detection of a near-infrared image is used in visual tracking. The gray-value gradient of near-infrared image is calculated and the keyhole margin of a molten pool is also detected. Combining the gradient and keyhole margin of a molten pool image, the thermal gradient parameter based on the thermal distribution of a molten pool is extracted. As a visual feature in robot control system, this parameter can be used to determine the deviations between the laser-beam focus and the weld-seam center. In comparison with direct detection of the narrow gap position, this parameter can be measured easily and the delay error resulted from the forerun of the sensor can be eliminated. This provides a practical approach to detect the deviations and the possibility to adjust the laser-beam focus position in real time, which can sensibly promote seam tracking accuracy. The proposed algorithm is tested during a butt-joint laser welding of Type 304 austenitic stainless steel plates at a continuous wave fiber laser power of 6 kW and 10 kW. Its effectiveness is confirmed by the welding experiments.     

冷轧带钢激光拼焊的焊缝在线检测研究

焊缝质量在线检测是冷轧带钢激光拼焊过程中的重要关键技术之一。为了解决武钢TRUMPF12000 轴快流激光拼焊设备在焊接过程中出现的错边、拼缝、焊缝形态等问题,采用3个传感器分别采集焊前间隙图像信息、焊接过程图像信息以及焊后焊缝图像信息,利用OTSU 自动计算图像阈值、运用投影矩阵的方法将图像坐标转换到工件坐标,编写程序提取图像特征点的方式建立焊缝质量在线检测系统,并以5m/min焊接速率对3mm厚冷轧板进行焊接实验,测量焊接试样焊缝宽度相对误差在4.42%左右。结果表明,焊缝质量检测系统可以计算出较为准确的焊缝宽度、焊缝错边量等信息。     

多层单道电弧增材表面3-D重构方法研究

为了研究多层单道电弧增材表面3-D成形特征，采用激光视觉传感系统采集电弧增材制造表面条纹图像。提出基于边界约束条件的感兴趣区域(ROI)提取法对焊缝特征曲线进行定位，获取ROI的激光条纹像素坐标。进行了理论分析和实验验证，得到电弧增材表面的3-D离散点数据，采用Delaunay三角剖分对离散点拟合形成3-D实体表面。结果表明，锯齿靶标的线性标定方法，3-D重构精度在0.2mm以内; 基于边界约束条件的ROI提取方法能准确定位电弧增材上表面和侧表面的条纹特征曲线。这一结果对电弧增材表面的3-D成形检测是有帮助的。     

基于主动红外视觉探测的激光跟踪仪目标跟踪恢复方法

为实现激光跟踪仪的自主快速跟踪恢复,提出了一种基于主动红外视觉的跟踪恢复方法。首先,对所采用的跟踪恢复原理进行了分析。其次,充分利用激光跟踪仪合作目标靶球的强反射特性,设计了主动红外视觉探测系统。该系统采用红外SLED作为主动光源,利用SLED大发散角、红外相机的视场角远大于激光跟踪仪PSD探测范围的综合优势,实现合作目标靶球的大范围主动探测。然后,对红外图像中目标的快速识别与定位算法进行了研究,提出了基于合作目标特征评分的快速识别方法。最后,构建了跟踪恢复系统实验装置,并在算法的处理速度与识别准确度、系统的跟踪恢复范围和跟踪恢复速度等方面开展了针对性验证实验。实验结果表明,算法的平均处理速度约为每秒28帧,同时95.4%的目标中心像素坐标定位偏差低于5个像素值;在合作目标靶球距离3 m的情况下,跟踪恢复系统能够在1.8 s内实现直径0.5 m空间范围内的跟踪恢复。     

复杂曲面有色金属3维激光拼焊的跟踪控制研究

为实现复杂曲面有色金属高功率激光拼焊过程中3维拼缝的精确跟踪,采用拼缝实时测量并进行拼缝形变动态补偿的方法,开展了基于7轴联动的3维拼缝焊接-测量一体化控制算法和关键技术的研究,包括运动控制数学模型、焊接与测量路径规划、焊接过程的实时检测与动态补偿等,并用4kW光纤激光器进行了厚度3mm以下有色金属焊接试验,验证了所提出的算法。结果表明,研究的3维拼缝焊接-测量一体化控制系统能够快速、准确地实现3维拼缝的实时焊接与动态补偿,满足3维焊接的跟踪控制精度要求。