应用摄像机位姿估计的点云初始配准

基于摄像机位姿估计的数学模型,提出了一种检测摄像机位移前后目标图像特征点的方法,通过求解摄像机发生位移前后的相对位姿矩阵来解决应用视觉图像获得点云的初始配准问题。首先,介绍了摄像机位姿估计模型,包括本质矩阵、旋转矩阵以及平移矩阵;然后,介绍了SURF算子的特征点检测、描述和匹配的方法,在此基础上面向双目视觉和单目结构光系统,分别提出了摄像机位移前后目标图像SURF特征点匹配和深度估计模型;最后,分别进行双目视觉和单目结构光系统点云的获取、位移前后目标图像特征点检测匹配和深度估计实验,应用摄像机位姿估计模型求解旋转矩阵和位移矩阵,并对位移矩阵进行统计分析剔除粗差。实验中采用基于点云空间特征点和基于图像的方法进行对比,点云对应特征点均方误差缩小至12.46mm。实验结果验证了方法的可行性,表明本文的点云初始配准方法能较好地获得点云精确配准初值。     

三维点云特征的工件识别与位姿估计

针对工业机器人在抓取工件过程中需要识别和定位工件的问题,提出了一种基于改进法矢计算的点云局部描述符SHOT的三维物体识别与位姿估计的方法。首先,对三维扫描仪获取工件表面点云进行预处理和分割,得到用于匹配的工件点云模板数据集;其次,采用均匀采样算法提取特征点集,通过SHOT特征描述符对场景点云与模板点云提取的特征点进行点云局部描述;最后,利用Kd树建立初始对应对,引入3D霍夫投票机制通过点云局部坐标系各向量之间的转换关系完成工件识别,根据对应关系求解出初始变换矩阵。基于ICP算法进行精确配准,得到工件的精确位姿信息。实验结果表明:该方法与基于ICP算法进行对比,提高了配准精度,可以得到精确的位姿估计信息,为在机器人应用中工件定位抓取提供精确的位姿检测方法。     

基于双目视觉的零件位姿测量系统研究

在机器人自动加工系统中，针对待加工零件存在体积大、异形等导致工件难以精确定位的问题，提出了一种基于双目视觉的零件位姿测量系统。在该位姿测量系统中，通过在待加工零件上放置不等腰直角三角形参照物的方法来对其进行局部双目拍摄。对拍摄后的图像采用Harris角点特征检测参照物角点并匹配，进而求解参照物的角点世界坐标，然后通过坐标变换完成对待加工零件的初始位姿测量。并建立了位姿测量系统的数学模型，通过MATLAB语言编写了位姿求解计算程序。最后搭建了位姿测量系统实验平台，联合C#语言设计了一款零件位姿测量系统软件，并进行了位姿测量实验。本视觉系统相对于市场上机器人加工系统中的视觉系统成本很低。实验结果表明该系统能够有效求解待加工零件的位姿，为修正机器人加工系统中的加工轨迹提供了技术支持。     

基于双目视觉的零件位姿测量系统研究

在机器人自动加工系统中，针对待加工零件存在体积大、异形等导致工件难以精确定位的问题，提出了一种基于双目视觉的零件位姿测量系统。在该位姿测量系统中，通过在待加工零件上放置不等腰直角三角形参照物的方法来对其进行局部双目拍摄。对拍摄后的图像采用Harris角点特征检测参照物角点并匹配，进而求解参照物的角点世界坐标，然后通过坐标变换完成对待加工零件的初始位姿测量。并建立了位姿测量系统的数学模型，通过MATLAB语言编写了位姿求解计算程序。最后搭建了位姿测量系统实验平台，联合C#语言设计了一款零件位姿测量系统软件，并进行了位姿测量实验。本视觉系统相对于市场上机器人加工系统中的视觉系统成本很低。实验结果表明该系统能够有效求解待加工零件的位姿，为修正机器人加工系统中的加工轨迹提供了技术支持。     

基于双目视觉的零件位姿测量系统研究

在机器人自动加工系统中，针对待加工零件存在体积大、异形等导致工件难以精确定位的问题，提出了一种基于双目视觉的零件位姿测量系统。在该位姿测量系统中，通过在待加工零件上放置不等腰直角三角形参照物的方法来对其进行局部双目拍摄。对拍摄后的图像采用Harris角点特征检测参照物角点并匹配，进而求解参照物的角点世界坐标，然后通过坐标变换完成对待加工零件的初始位姿测量。并建立了位姿测量系统的数学模型，通过MATLAB语言编写了位姿求解计算程序。最后搭建了位姿测量系统实验平台，联合C#语言设计了一款零件位姿测量系统软件，并进行了位姿测量实验。本视觉系统相对于市场上机器人加工系统中的视觉系统成本很低。实验结果表明该系统能够有效求解待加工零件的位姿，为修正机器人加工系统中的加工轨迹提供了技术支持。     

基于机器视觉的工业机器人智能分拣系统设计

为了解决使用传统示教或离线编程方式的工业机器人无法满足复杂分拣环境作业要求的问题,以史陶比尔工业机器人、Kinect深度相机为硬件基础,搭建了基于机器视觉的工业机器人智能分拣系统平台。通过支持向量机(SVM)实现对分拣物体的学习识别,通过基于采样一致性(SAC-IA)粗配准和迭代最近点(ICP)精配准算法实现对物体位姿点云数据的配准。实验结果表明,搭建的智能分拣系统能够识别分拣物体种类并且获取物体的位姿,拓宽了工业机器人的应用领域。     

融合深度图像与密度聚类的下一最佳测量位姿确定方法

针对机器人视觉自动测量中的下一最佳测量位姿确定问题,提出一种融合深度图像与密度聚类方法.该方法采用结构光双目视觉测量技术获得初始视角下被测物体的深度图像和三维点云数据,基于深度图像信息快速获取被测物体的边缘与密度聚类分析区域,基于密度聚类方法判定区域的复杂程度,进一步结合视场要求计算子区域权重,获得下一视场的最佳移动方向.利用趋势面分析预测下一最佳测量位姿的空间范围,采用深度图像信息获得趋势面分析全局区域,并快速获得中心趋势线的空间数据以确定下一最佳测量位姿.建立了Universal Robot 5 (UR5)机器人和视觉测量平台,对胡巴和海盗头像模型进行测量实验,验证了所提方法的有效性.     

基于多模型级联的双目视觉铸件缺陷检测方法

为了解决铸件表面缺陷检测以及缺陷位置的三维定位问题,采用双目视觉系统获得图像,依靠三角测量法获得点云数据,基于正态分布变换配准方法实现工件的三维定位。通过多模型级联解决少样本和样本比例失衡情况下的表面缺陷检测,结合无监督模型的编码解码方式,依靠正样本训练获得对缺陷图像进行修复的网络模型,将修复后的图像与原始图像进行差异分析获得缺陷位置;使用MASK-RCNN模型进行监督模型训练,获得一体化检测分割模型,直接定位缺陷位置及类别。此外还将运动机构的物理坐标系、双目成像的工件坐标系以及平面图像的坐标进行换算,得到多个坐标系的转换关系,实现了平面缺陷的位置信息映射到三维工件的空间中。实验表明提出的双目视觉系统在工件成像以及检测方面具有良好的效果。     

基于3D视觉的散乱堆放工件机器人抓取技术研究

自动化生产线上工件的上下料,尤其是工件处于散乱堆放的情形下,其自动上料一直是一个尚未很好解决的难题。利用机器视觉二维、三维测量及信息融合的方法,采用双目立体视觉的技术,对散乱堆放状态下的工件进行二维、三维测量,获取堆放状态下工件的三维点云数据;再通过对整个三维点云数据的分割,获得属于注意力集中条件下单个工件可见部分的三维数据;最后通过与已建立的工件CAD模型离散得到的单个工件的三维数据,进行三维点云的匹配,确定目标工件在散乱堆放中的三维位姿,并自动生成控制六关节机器人执行抓取的运动轨迹与动作程序,从而完成工件的分拣工作。     

面向喷涂件下挂的机器人 3D 视觉引导策略研究

因悬挂链运送喷涂工件难以严格定位,导致其下挂效率低下,提出一种基于 3D 视觉引导机器人进行喷涂件下挂的控 制策略。 通过实例分割网络 Mask-RCNN 进行训练推理,得到喷涂件实例 MASK,获取经像素对齐并实例分割后的彩色图和深 度图,利用相机内参重建喷涂件三维点云;离线生成喷涂件模板点云,在线生成喷涂件目标点云,经点云初始配准矫正喷涂件的 位姿后,进而通过 ICP 精配准算法实现喷涂件位姿估计;在机器人视觉系统手眼标定之后,进一步通过 5 次多项式插值设计机 器人关节平滑运动轨迹,控制引导机器人进行喷涂件下挂。 实验结果表明,喷涂件位姿估计角度平均误差不超过 10°,在 Z 移 动方向上误差值平均为 6. 83 mm,最小为 0. 02 mm,且在仿真环境和现场环境可引导机器人实现喷涂件自主下挂。     

基于视觉的机器人抓取技术的研究

该文提出了一种基于智能相机的机器人抓取系统,采用图像处理算法对相机捕获到的图像使用模板匹配、边缘查找及坐标变换,得到工件在机器人坐标系的位置和姿态,通过串口将处理后的工件位姿数据发送给机器人控制器,控制器向机器人发送运动指令。经实验验证,系统达到设计要求,在工业机器人系统中引入计算机视觉提高了机器人的柔性以及对环境的适应能力。     

基于线结构光视觉的方形状物体位姿估计

工业生产制造领域存在大量的方形状物体,与之相关的机器人自动化作业需要获取方形状物体的位姿信息,为此提出了一种基于线结构光视觉的方形状物体位姿估计方法.首先搭建硬件系统并完成标定;然后采集图像进行处理并提取出能够表达方形状物体位姿信息的特征点,对这些特征点进行矩形拟合,获取位姿参数;最后对所开发的检测系统进行了测试评估实...     

基于双重配准的机器人双目视觉三维拼接方法研究

针对机器人图像视觉视野不够开阔,不能获得全面障碍物信息的问题,提出了一种基于轮廓识别的三维重建与可变视觉三维拼接方法。对双目立体视觉系统拍摄的两幅图像中提取出的边缘点进行了边界跟踪,然后基于窗口灰度匹配法,对两幅图像上的像素点进行了匹配,来寻找双目立体视觉系统左右两幅图像中对应的像素点,重建出了障碍物的三维轮廓,并根据目标物体轮廓的连续性对三维轮廓进行了优化;在此基础上提出了基于双重配准算法的可变视角三维拼接方法,采用改进ICP算法对转换到同一坐标系下的两片三维点云进行了精确配准,并对拼接处进行了融合处理,从而得到了大视野的障碍物信息。研究结果表明:通过可变视角三维拼接方法重建的三维模型具有较高空间坐标精度,并且能够通过改变双目立体视角范围获取大视野图像,最大限度地满足机器人障碍物检测和路径规划的要求。     

基于双目视觉的工件位姿检测方法

建立了一种基于双目视觉的空间位姿检测模型。采集目标物不同角度的图片以建立目标物离线模板库,通过SURF算法检索模板库以分离目标物所在区域。在该区域利用霍夫变换提取目标物的特征角点。利用基于灰度相关函数的匹配算法完成特征角点的匹配,结合双目视觉模型建立特征角点像素坐标与用户坐标间的映射关系进而求出目标物在用户坐标系下的位姿信息。以检测箱体工件为例进行多组实验,结果表明,该方法可以准确地检测目标物位姿。     

基于ORB关键帧匹配算法的机器人SLAM实现

针对复杂环境下机器人的同时定位与地图构建(SLAM)存在实时性与鲁棒性下降等问题,将一种基于ORB特征点的关键帧闭环检测匹配算法应用到定位与地图构建中。研究并分析了特征点提取与描述符建立、帧间配准、位姿变换估计以及闭环检测对SLAM系统的影响,建立了关键帧闭环匹配算法和SLAM实时性与鲁棒性之间的关系,提出了一种基于ORB关键帧匹配算法的SLAM方法。运用改进ORB算法加快了图像特征点提取与描述符建立速度;结合相机模型与深度信息,可将二维特征图像转换为三维彩色点云;通过随机采样一致性(RANSAC)与最近迭代点(ICP)相结合的改进RANSAC-ICP算法,实现了机器人在初始配准不确定条件下的位姿估计;使用Key Frame的词袋闭环检测算法,减少了地图的冗余结构,生成了具有一致性的地图;通过特征点匹配速度与绝对轨迹误差的均方根值对SLAM系统的实时性与鲁棒性进行了评价。基于标准测试集数据集的实验结果表明,ORB关键帧匹配算法能够有效提高SLAM系统建图速度与稳定性。     

基于双目视觉的主从式机器人主手系统设计和研究

提出了一种基于双目视觉的主从式机器人主手系统,采用双目视觉技术实时识别并跟踪手柄的运动,同时测量其空间位姿。首先通过背景差分法检测出手柄,然后用卡尔曼滤波器对手柄的位置和速度进行预测,跟踪手柄的运动。在标记点的立体匹配中采用了特征匹配和区域灰度匹配相结合的方法,并引入唯一性和顺序一致性约束来剔除伪匹配,最终测罱出手柄的实时空间位姿信息。实验结果证明系统方案是可行的。     

工件四特征点的粗配准方法研究

工件自动配准在柔性生产装配中至关重要,其中装配工件CAD模型数据和实测点云数据的配准是关键技术之一。针对装配工件和CAD模型的配准问题,提出了一种基于工件四特征点的粗配准算法。获得配准物体CAD模型数据和实测点云数据后,该方法包含四步:点云数据取样,特征四点集提取,特征一致四点集寻找,计算变换一致性矩阵。以正方体为模型的仿真实验结果显示该配准方法正确可行,以维纳斯石膏像作为实验对象进行配准实验,当点云数据为80000点时,点到点的误差均值为0.0622mm。该算法稳定,配准结果可以作为精确配准算法ICP(Iterative Closest Point)等的叠代初值。     

基于HALCON的单目视觉工件位姿测量方法研究

为了满足单目视觉系统对被测工件三维位姿参数测量及机器人实时快速响应要求,提出一种通过单目视觉获取规格已知、位置随机工件三维参数的方法。利用HALCON图像处理软件对机器人和工业相机进行系统标定,通过标定参数进行采集图像预处理、点特征坐标提取,引入约束条件建立三维位姿算法几何模型,完成上位机图像采集与数据处理,并实时将数据通过以太网传送至机器人,实现工件抓取。试验表明,这一方法误差范围达到了工业机器人操作的预期要求。     

基于线结构光的双目视觉目标位姿测量研究

为了应对在复杂情况下对无有效特征物体的非接触目标位姿测量,文中提出了一种基于结构光的双目视觉目标位姿测量方法,通过将结构光投射到目标物体上,结合2台工业摄像机组成一个结构光双目视觉测量系统。重点介绍了光条中心提取方法、立体匹配方法的选择,以及对结构光双目测量系统的测量模型,并进行了平面板件偏转角的测量实验,验证了测量方法的可行性与有效性。     

柔性装夹机器人工件视觉定位系统设计

针对智能制造平台的需要,建立了基于双目立体视觉的柔性装夹机器人工件定位系统。采用GrabCut算法对采集图像进行图像分割获得目标工件图像;进一步基于SURF特征和极限约束实现工件立体匹配;最后基于视差测距法算法求取目标工件的三维坐标,实现工件的定位。定位误差实验结果表明,定位平均误差为0.276mm,能满足柔性装卸机器人对目标工件的抓取要求。