基于精确背景运动补偿的机器人运动目标检测与跟踪

为实现动态场景下机器人快速准确地检测与跟踪运动目标，提出一种基于精确背景补偿的运动目标检测方法，并利用Kalman滤波扩展的KCF算法进行目标跟踪。针对传统ORB算法存在特征点分布不均匀、误匹配率高导致背景补偿效果不佳的问题，采用小波变换及图像分块处理保证提取的特征点数目及均匀分布，通过SURF算法提取具有尺度不变性的特征点并构建ORB描述子。利用KNN算法与对称约束相结合的特征匹配法提高匹配精度，同时引入改进的RANSAC方法精确求解全局运动参数完成背景运动补偿，最后通过帧差法及形态学处理获得完整的运动目标，并将KCF算法融合Kalman滤波实现对被遮挡目标进行再跟踪。实验结果表明：该方法特征匹配正确率达到98.4%,在背景运动状态下能够实时准确地检测出运动目标，并且能够连续稳定地跟踪目标。     

动态场景下移动机器人视觉SLAM

为实现动态场景下移动机器人自主定位和建图,解决传统视觉里程计方法跟踪效果差及累积误差问题,提升闭环检测的准确性和鲁棒性,提出融合深度学习的同时定位与地图构建方法。采用四叉树算法均匀化特征分布,解决动态场景特征聚集问题;通过优化的目标检测网络识别场景动态语义信息,剔除动态物体对位姿估计的干扰;充分提取场景空间结构信息,结合点特征和线特征实现位姿跟踪及回环检测,构建全局一致的环境地图。TUM数据集和真实场景实验结果表明：改进方法提升了移动机器人定位和建图的准确性和鲁棒性。     

基于形态学和隔帧差分的镁熔液弱目标检测

针对镁熔液复杂表面背景下可视弱目标的检测,提出了一种基于形态学和隔帧差分的算法.该方法首先利用形态学白Top-Hat变换进行低频背景抑制,增强图像的对比度;然后进行隔帧差分,去除背景杂波和大量噪声,得到含有目标点及少量的嗓声点图像;最后结合数学形态学开运算去除噪声点获得真正的目标.同时比较了不同结构元素在背景抑制和运行速度方面的性能差异.仿真结果表明本方法能有效地检测出弱目标,且菱形结构元素综合性能最好.     

基于3D视觉的机械零件位姿分析

针对工业制造领域中存在的弱纹理或无纹理的机械零件位姿估计问题，以DenseFusion网络为基础，提出了一种基于3D视觉的机械零件位姿估计方法。首先，依照工业制造场景构建了用于网络训练和测试的机械零件仿真数据集；其次，使用目标零件分割出的深度图像构建点云，对其进行曲率下采样处理，提高关键点的质量；最后，将颜色特征、点云特征和法线特征融合，使用融合特征回归目标零件的6D位姿。在构建的机械零件仿真数据集和LineMod公共数据集进行了实验和比较，其结果表明了所提出的方法相较于同类其他方法具有更高的准确率，更好的收敛性能，对于弱纹理或无纹理的机械零件有较好的位姿估计效果。     

基于局部特征的位姿求解算法北大核心

为提高点云数据配准精度,更准确获取目标物体位姿信息,提出一种基于局部特征的多源数据匹配位姿求解方法。首先,通过3D深度相机获取模型三维点云数据,并根据梯度阈值算法从大量点云数据中得到物体表面梯度值;其次,使用L+边界提取算法提取物体边缘轮廓特征信息,再遍历实体大量点云数据求解二维轮廓特征值,从而对输出的轮廓特征数据建立特征数据库;最后,对获取的点云数据特征进行数据处理,通过Hu矩匹配算法找到相对应的数据源后再由F-ICP匹配算法获取模型位姿。结果表明基于局部特征的多源数据匹配算法可以有效对点云数据进行位姿计算,匹配精度得到提升。     

基于激光视觉的薄板焊缝跟踪方法研究北大核心

由于示教型焊接机器人在进行汽车薄板件连续焊工艺时存在装夹误差和热变形等问题,导致焊缝实际轨迹与示教轨迹存在较大误差。为提高焊接质量,基于焊接机器人构建激光视觉焊缝检测跟踪系统,提出基于目标估计准则的焊缝跟踪算法,实时跟踪焊缝中心点三维位置变化。以传统图像处理法提取初始帧焊缝特征点,通过改进的孪生神经网络对强干扰下的焊缝特征点进行跟踪提取。通过坐标转换得到机器人基坐标系下的焊缝中心特征点三维坐标。结果表明:该算法能精确提取跟踪焊缝特征点,平均误差为0.48 mm,平均帧率为90帧/s,优于传统图像处理方法和基于相关滤波的方法,能够实现快速准确的跟踪。     

基于支持向量机的镁熔液弱小目标检测

针对镁熔液图像中弱小目标不易检测的问题,提出一种基于支持向量机回归(SVR)的第一气泡检测方法。首先利用支持向量机回归原理的函数回归特性对原图像进行背景逼近;再重构两帧残差图像并对其进行帧差运算;最后通过所提出的阈值分割方法处理并利用形态学开运算识别第一气泡。与BP神经网络背景预测算法对比,SVR算法所获取的帧差图像在信噪比和信噪比增益方面分别提高了17.67%和17.69%,且在实时性方面较优。     

一种基于点云的机械手抓取方法

针对传统的机械手抓取方法难以获得可靠抓取位姿的问题，提出一种基于点云的抓取方法。通过深度相机获得工作空间的部分点云；采用GPD法在点云空间采样候选抓取位姿；最后，通过自主设计的评估模型筛选出高质量的抓取位姿。基于所提方法，搭建了完整的自主抓取系统，对多种物体进行实际抓取实验。结果表明：算法能有效地检测出可靠的抓取位姿，且对未知物体的泛化性良好，抓取成功率和抓取完成度较传统方法有明显提升，能够满足各类抓取任务的需求。     

采用静态数据增强的AGV定位与姿态修正研究

搭载激光雷达的移动机器人（AGV）被大量应用于智能工厂的工件运输,但受障碍物和移动物体的影响,AGV在车间内位姿辨别能力较弱。为了解决定位和姿态识别问题,提出一种全新的点云数据融合位姿辨别策略,利用高精度的静态全站仪整体数据融合激光雷达局部、低精度数据,并提出向量权重匹配法来完成AGV的室内定位。设计一种抽样网格卷积法实现异构数据的快速初步定位;建立自适应搜索全站仪数据的基准区域,将它映射到激光雷达数据的对应区域;最后通过向量权重匹配获取AVG的位姿参数。上述方法在6 m×8 m室内空间进行实验。结果表明：所提方法可达到±7 mm的定位精度与±1.4°的姿态控制识别精度,且能准确补偿激光雷达的扫描误差,提高AGV的位姿识别能力。     

基于提升小波变换的镁熔液弱目标检测方法

镁熔液表面第一气泡的识别是镁熔液含氢量快速现场检测的关键技术。由于温度和振动的影响使镁熔液图像的信噪比和对比度都较低,而且气泡目标像素少。先利用9/7提升小波进行变换,提取高频部分;再利用高频部分进行重构;然后对重构后的图像进行帧差法相减,最后进行自适应阀值处理,检测出弱目标。实验结果表明该算法能够有效地检测出复杂背景下的第一气泡。     

基于CAD三维匹配的机器人定位与抓取

基于CAD三维模型匹配的方法测量了单相机下目标工件的机器人定位精度。该方法是一种利用几何形状检索CAD三维数据模型,对图像信息中相关特征进行交互,能够快速和高效地从背景中分离出目标物体,对轮廓明显且具有反光特性的目标具有高效的识别能力。通过迭代算法将三维模型与图像中目标物体的边缘进行不断拟合,以三维模型的位移及旋转量估算出目标当前的姿态。通过机器人"手眼"标定确定目标与机器人之间位置及方向,实现对目标定位抓取精度测量。将目标绕xy平面旋转0°、45°、90°后,3个位姿下平均定位误差分别为3.012、2.856、4.983 mm。实验结果表明:用这种方法定位目标,定位误差会随着摆放角度增大而增大。     

物料输送智能监控中多运动目标跟踪方法研究

面向运动物料智能监控的需求,提出了一种多运动目标视觉跟踪方法。在运动目标检测中,将基于边缘检测的三帧差法和背景减法相结合,提高了检测目标轮廓的完整性,同时改善了目标的空洞现象和图像的噪点问题,为运动目标跟踪提供了有效的数据基础;基于数学形态学和面积阈值去噪对目标区域进行检测、分割、分类与标记,进一步结合卡尔曼滤波预测对多个运动目标同时进行跟踪与定位。实验表明:提出的多运动目标跟踪方法能够准确地对多个运动物料进行视觉检测与跟踪,同时能够满足系统可靠性与实时性要求。     

三轴转台轴系相交度和垂直度的新测量方法

提出了一种新的三轴转台轴线相交度和垂直度测量方法。在空间光束三角交会测量原理基础上采用单CCD相机多基站网络化测量方法,利用CCD相机对贴附有编码特征点的三轴转台采集图像,建立基于同一空间点在各测站下对应成像光线交会一点光束平差模型,利用非线性优化方法进行求解编码标志空间位姿,通过最小二乘法拟合转台回转轴线进而求解转台轴线相交度及垂直度的误差。结果表明:该方法可以对转轴多圈数据进行处理,避免了只对单圈数据进行处理的缺点,不存在安装偏心误差,使测试结果更加可靠,测量精度高。     

语义地图中语义物体免疫遮挡定位算法

针对语义物体被遮挡而导致语义定位失效或存在多区域多位置定位位姿的问题，提出了一种在语义地图中免疫语义物体被遮挡的定位算法。首先，利用已经建立的二维语义地图生成语义链，当有障碍物遮挡语义物体时，对当前帧与构建语义地图时保存的关键帧进行基于词袋模型相似度匹配和关键帧语义链检验，确定正确相似帧；其次，进行帧间语义向量链加权求差值，根据差值确定被遮挡的语义物体类别；最后，根据当前帧包含的语义物体种类查语义地图的语义链来确定机器人所处的区域，并依据该区域的高置信度语义信息完成语义定位。通过在搭建的移动机器人平台进行定位实验验证，能快速和精确的进行重定位，相对AMCL算法迭代收敛速度提高了60%,证明本文所提算法的真实有效性。     

视觉检测系统中亮度不均匀背景的一种去除方法

刀具形状视觉检测系统中，照明不均匀对测量结果影响很大。针对这种情况，提出了基于二维二阶多项式拟合并去除不均匀背景的方法。遵循最小均方程差原理，给出了二维二阶拟合的矩阵表达式。在编制的程序中，拟合点以人机交互形式由鼠标点击选出，程序自动记录所选点的图象人材与亮度值信息，然后拟合出背景曲面，并以二值图象形式给出去除背景后的目标图象。对一幅光照模型未知的网络图象进行了背景去除，实验结果良好。     

激光视觉焊缝跟踪系统图像处理

对视觉焊缝跟踪实时图像处理的方法进行了研究,首先采用图像增强来增加图像对比度,采用中值滤波去除图像噪声,并用二值化法将目标图像从背景图像中提取出来.在后处理的研究中激光视觉焊缝跟踪系统图像处理的关键技术--激光带中心线的抽取和特征点的检测提出了切实可行的方法.采用中轴变换法提取的中心线单一、连续;用斜率分析法来检测特征点方便可靠.该处理方法能准确检测焊缝特征点,处理速度快,能够满足跟踪系统的实时性要求.     

基于强定位与三点手眼标定的目标移载视觉引导算法

为了解决当前定位算法受目标背景干扰影响大,且其采用的物理接触标定技术易损伤工件表面的不足,提出了基于强定位与三点手眼标定的视觉引导算法。首先,利用高斯滤波处理Hessian矩阵,采用非极大值抑制法来确定特征点和方向,从而构造了surf特征点描述子,完成目标位置边缘和中心点的强定位,达到去除背景和环境光干扰,精确定位目标中心点与角度。然后提出三点标定法,计算缩放旋转矩阵和平移矩阵参数,完成Robot世界坐标与相机图像坐标的绑定映射。最后,编程实现算法和系统,实验测试结果显示:与当前工件材料移载系统相比,文中系统拥有更高的目标定位与标定移载成功率。     

关于金属磁记忆检测中背景磁场抑制的讨论

通过具体试验，对当前金属磁记忆检测中普遍采用的利用通道补偿的背景磁场抑制方法进行了验证。结果发现通道补偿法并不能真正去除背景磁场对金属磁记忆检测的影响；同时，进一步对背景磁场对金属磁记忆检测的影响进行了分析，指出了相关的影响因素，并提出利用有限元分析消除背景磁场对金属磁记忆检测的影响的方法。     

基于改进GWO-GRNN的管道焊缝三维重构测量

为提高双目相机不同位姿下焊缝的三维重构测量精度,提出一种基于立体视觉图像误差补偿的管道焊缝三维重构测量方法。采用改进灰狼算法(IGWO)优化广义回归神经网络(GRNN)补偿焊缝三维重构图像点的坐标误差。采用混沌映射、非线性收敛因子和最优记忆保存思想对GWO算法进行改进,通过8个标准测试函数进行仿真验证;利用优化后的GRNN模型对图像点坐标误差进行预测和补偿,计算三维坐标重构出焊缝点云,三维测量焊缝的焊宽、余高和长度。试验结果表明：该模型在双目相机不同的位姿状态下都能较准确地实现焊缝的三维重构,焊缝的三维测量相对误差在0.9%以内。     

基于视觉的机器人目标抓取研究

为了减少机械臂在产品分类和抓取过程中的执行时间,减少定位误差,提高生产效率,提出基于视觉反馈机制的机器人控制方法。针对传统机器人只根据待抓物体特征点进行识别的局限性,根据机械臂系统可同时检测对象颜色和形状属性,提出基于RGB颜色空间和surf算法结合的目标对象特征提取方法;结合机械臂空间移动过程方法的研究,从机械臂逆运动学的角度出发,对以完成位姿定位的物体进行抓取;使用众为创造科技有限公司生产的xArm机器人验证所提方法的有效性和鲁棒性,结果表明该视觉识别方法有效提高了机器人抓取的精准性。