基于单目视觉的特定工件位姿检测研究

建立了一种基于单目视觉的特定立方体工件检测模型。采集目标物不同角度的图片以建立模板库，通过SURF算法提取模板库特征点集，再进行特征点匹配实现场景图片中目标物感兴趣区域的框定。针对检测到的目标感兴趣区域，利用霍夫变换提取拟合目标物的临近特征角点，再结合相机标定的参数与特定工件的先验信息换算出拟合角点的实际坐标。以检测特定箱体工件进行多组实验，结果表明，检测到的角点平均误差在一定范围不超过2.5mm，且检测时间也基本满足实时要求。     

基于双目视觉的并联仿生髋关节位姿检测

相较于三维坐标测量仪、激光跟踪仪等传统测量设备，双目视觉检测是一种无接触的检测方式，不会对目标的运动产生干扰和破坏，且更为经济、灵活和方便，因此采用双目视觉技术对3-RRR+(S-P)并联仿生髋关节的位姿进行检测。为提高位姿检测的精度、鲁棒性和通用性，设计了一种方便提取且角点可自动辨识的自编码视觉标识物、提出了一种基于边缘交点坐标反馈式的角点检测算法，该算法主要包括HSV色彩空间下的标识物提取、Canny边缘检测、Hough直线检测、亚像素角点检测和三维重建等流程，将标识物角点检测简化为检测标识物边缘线段并求得交点，再经由亚像素角点检测算法进行提纯的过程。最后，通过双目相机与自编码视觉标识物的布置建立并联仿生髋关节的位姿检测系统，进行位姿检测实验并采用激光跟踪仪进行对比实验，通过分析与实验验证：该系统具备较高的精度、鲁棒性和通用性。     

应用摄像机位姿估计的点云初始配准

基于摄像机位姿估计的数学模型,提出了一种检测摄像机位移前后目标图像特征点的方法,通过求解摄像机发生位移前后的相对位姿矩阵来解决应用视觉图像获得点云的初始配准问题。首先,介绍了摄像机位姿估计模型,包括本质矩阵、旋转矩阵以及平移矩阵;然后,介绍了SURF算子的特征点检测、描述和匹配的方法,在此基础上面向双目视觉和单目结构光系统,分别提出了摄像机位移前后目标图像SURF特征点匹配和深度估计模型;最后,分别进行双目视觉和单目结构光系统点云的获取、位移前后目标图像特征点检测匹配和深度估计实验,应用摄像机位姿估计模型求解旋转矩阵和位移矩阵,并对位移矩阵进行统计分析剔除粗差。实验中采用基于点云空间特征点和基于图像的方法进行对比,点云对应特征点均方误差缩小至12.46mm。实验结果验证了方法的可行性,表明本文的点云初始配准方法能较好地获得点云精确配准初值。     

双目视觉检测钢卷内护角安装系统设计

针对国内外钢卷包装生产线钢卷内护角的安装工序普遍采用人工安装,在结构设计和控制系统设计的基础上设计一种基于双目视觉检测的钢卷内护角自动安装系统。以双目摄像头模组为图像采集模块;根据工况建立双目立体视觉模型对钢卷规格范围中任意规格的钢卷内护角安装点坐标提取方法进行重点研究;搭建钢卷位姿检测实验平台。从实验结果可以看出：钢卷在该平台经过图像采集和一系列图像处理流程后得到的钢卷安装点坐标和钢卷位姿角的理论值与实际值的误差较小,满足钢卷内护角的自动固定的精度需求。     

基于自适应惯导辅助特征匹配的视觉SLAM算法

为提高视觉同步定位与建图系统的定位、建图精度,克服传统算法中特征匹配搜索半径为固定值导致视觉里程计在高动态运动时特征误匹配率高的问题,本文提出一种搜索半径自适应的惯导辅助图像特征匹配方法。该方法首先对双目相机左右两帧图像进行特征提取与匹配,并获取地图点三维坐标,然后通过预积分惯性测量单元的量测值预测相机位姿,再根据误差传播定律计算预测位姿的协方差,最后利用预测位姿将地图点投影至图像得到对应像素坐标,从而根据像素坐标中误差确定地图点最有可能出现的区域半径。实验结果表明,该方法可有效缩小特征匹配的搜索半径,显著提高图像特征匹配的准确度,使跟踪线程位姿精度提高约38.09%,系统整体位姿精度提高约16.38%。该方法可为每个特征点提供自适应区域约束,提高特征点匹配的准确度,进而提升系统位姿估计精度,构建更高精度的稠密地图。     

面向机器人抓取的双目视觉系统标定与目标位姿估计算法

在双目视觉抓取系统中,首要任务是解决相机标定以及目标位姿估计问题。针对工业应用场景,文中提出了一种基于灭点一致性约束的相机标定算法,并利用目标的双目图像立体匹配结果,通过改进迭代最近点算法实现目标位姿估计。实验结果表明:该系统能够有效地估计目标位姿,目标位姿估计的平移与角度误差均能满足抓取需求。     

基于双目视觉的零件位姿测量系统研究

在机器人自动加工系统中，针对待加工零件存在体积大、异形等导致工件难以精确定位的问题，提出了一种基于双目视觉的零件位姿测量系统。在该位姿测量系统中，通过在待加工零件上放置不等腰直角三角形参照物的方法来对其进行局部双目拍摄。对拍摄后的图像采用Harris角点特征检测参照物角点并匹配，进而求解参照物的角点世界坐标，然后通过坐标变换完成对待加工零件的初始位姿测量。并建立了位姿测量系统的数学模型，通过MATLAB语言编写了位姿求解计算程序。最后搭建了位姿测量系统实验平台，联合C#语言设计了一款零件位姿测量系统软件，并进行了位姿测量实验。本视觉系统相对于市场上机器人加工系统中的视觉系统成本很低。实验结果表明该系统能够有效求解待加工零件的位姿，为修正机器人加工系统中的加工轨迹提供了技术支持。     

基于双目视觉的零件位姿测量系统研究

在机器人自动加工系统中，针对待加工零件存在体积大、异形等导致工件难以精确定位的问题，提出了一种基于双目视觉的零件位姿测量系统。在该位姿测量系统中，通过在待加工零件上放置不等腰直角三角形参照物的方法来对其进行局部双目拍摄。对拍摄后的图像采用Harris角点特征检测参照物角点并匹配，进而求解参照物的角点世界坐标，然后通过坐标变换完成对待加工零件的初始位姿测量。并建立了位姿测量系统的数学模型，通过MATLAB语言编写了位姿求解计算程序。最后搭建了位姿测量系统实验平台，联合C#语言设计了一款零件位姿测量系统软件，并进行了位姿测量实验。本视觉系统相对于市场上机器人加工系统中的视觉系统成本很低。实验结果表明该系统能够有效求解待加工零件的位姿，为修正机器人加工系统中的加工轨迹提供了技术支持。     

基于双目视觉的零件位姿测量系统研究

在机器人自动加工系统中，针对待加工零件存在体积大、异形等导致工件难以精确定位的问题，提出了一种基于双目视觉的零件位姿测量系统。在该位姿测量系统中，通过在待加工零件上放置不等腰直角三角形参照物的方法来对其进行局部双目拍摄。对拍摄后的图像采用Harris角点特征检测参照物角点并匹配，进而求解参照物的角点世界坐标，然后通过坐标变换完成对待加工零件的初始位姿测量。并建立了位姿测量系统的数学模型，通过MATLAB语言编写了位姿求解计算程序。最后搭建了位姿测量系统实验平台，联合C#语言设计了一款零件位姿测量系统软件，并进行了位姿测量实验。本视觉系统相对于市场上机器人加工系统中的视觉系统成本很低。实验结果表明该系统能够有效求解待加工零件的位姿，为修正机器人加工系统中的加工轨迹提供了技术支持。     

基于椭圆检测的小型工件分拣系统设计

针对分拣系统中散乱堆叠的圆形工件检测和位姿估计问题,设计了基于椭圆检测的双目立体视觉小型工件分拣系统。使用LSD算法提取圆弧支撑线段,经筛选和连接组合后,采用改进的椭圆最小二乘拟合方法直接计算出初始椭圆;对初始椭圆进行层次聚类并筛选,完成椭圆识别。提取特征点,再根据Rosin近似距离筛选角点对左右目椭圆进行匹配并进行三维重建,根据随机抽样一致算法进行平面拟合,并提取圆形工件位姿。根据此结果应用Robot Studio控制机械臂移动和分拣工件。经测试和实验证明,该分拣系统能够迅速和准确地识别工件,完成自动分拣,在工件散乱堆叠的情况下,准确度较传统模板匹配方法大大提高。     

基于双目视觉的目标识别与定位研究

针对机器人在作业时缺乏自主性与智能性的问题,对基于双目视觉的空间目标识别与定位问题进行了研究。搭建了双目立体视觉系统并对其进行了标定,获取了两相机的内外参数、相对位姿及畸变系数。采用基于描述子的模板匹配技术,通过随机树算法对检测到的特征点进行了准确实时地分类识别。对同一场景的两幅图像进行了立体匹配,求取了对应的视差图。结合特征点对应的视差值及标定结果对其进行了三维重建,对多组特征点对在图像及实际场景里对应的2D-3D位置信息进行了迭代,求取了重投影误差最小的解,即目标物体的位姿。研究结果表明:所采用的方法可以用于准确、快速、稳定地实现对目标的识别与定位。     

遥操作工程机器人的双目视觉定位方法研究

针对遥操作工程机器人视频图像传输时延问题,建立了遥操作工程机器人的双目视觉定位系统,提出一种极线约束法与形态学向量夹角相结合的组合匹配方法对目标物进行立体匹配。该系统通过创建目标物模板,利用此模板识别经立体校正后的图像对上的目标物,并获取特征点,然后采用提出的组合匹配方法对特征点进行立体匹配,并对其三维重建,实现目标物的空间定位。实验表明,该方法匹配计算量小,定位效率高,定位精度满足工程作业要求,可为遥操作工程机器人的视觉提示系统设计提供技术参考。     

基于双目视觉的管路位姿测量

针对管路位姿测量过程中管路的无纹理、少特征等难点,提出一种基于双目视觉的管路位姿精确测量方法。首先利用双目视觉原理从二维图像中计算管路的初始位姿;然后利用基于边缘像素点的位姿优化算法建立3D-2D的投影映射关系,通过优化边缘像素点到投影模型边缘的距离,对投影模型边缘和图像边缘进行拟合,从而优化管路初始位姿。本算法仅在投影模型边缘的一定区域内选取具有高灰度值梯度的像素点,从而增强算法的鲁棒性并提高计算效率。测量实验表明,该方法测量精度较高、操作简单、测量时间只需2 s～3 s,可有效提高管路位姿的测量精度及效率,满足工业应用需求。     

基于智能三坐标测量机的零件位姿单目立体视觉识别

为了使三坐标测量机快速准确地识别出被测零件的位姿,提出了一种基于三坐标测量机平动的单目立体视觉识别方法,并对该方法的原理、位姿参数的求解和识别过程进行了研究.根据双目立体视觉原理,以三坐标测量机带动摄像机沿X轴或y轴平移,在两个不同位置分别拍摄被测零件的一幅图像;利用本文提出的基于边缘图像质心偏移的同名像点匹配方法,实现单摄像机立体视觉测量,得到被测零件上各特征点在摄像机坐标系中的三维坐标;由摄像机标定参数,进一步计算出各特征点在机器坐标系中的三维坐标;再结合各特征点在零件CAD坐标系中的对应坐标,求解出被测零件的位姿参数.组建了识别系统,进行了识别实验,结果显示,识别出的实验件位姿的平移量分别为:tx1=32.65 mm,ty1 =-90.23 mm,tz1=13.27 mm,旋转角分别为Ax =38°,AY=4°,Az=-5°,整个识别过程用时1.818 s.得到的实验数据表明该识别方法是可行的,可满足实时测量要求.     

面向AGV导航的双目立体相机研究

根据使用场景及应用需求，提出采用X角点构成视觉标签，利用视觉标签标记场景中关键路径点的方式实现AGV的定位和路径规划的视觉导航方法。搭建双目立体相机，基于段测试X角点检测算法，识别视觉标签、建立标签坐标系统，根据视觉标签库中的预存信息检索、确定AGV的地图位置；基于视觉标签局部坐标系统，确定AGV的姿态信息，在简化导航复杂度的同时，保证AGV路径控制和运行控制精度和可靠性，进而实现基于视觉标签的自动导航和运动控制。将双目立体相机应用于AGV现场试验，结果表明，所搭建的双目立体相机能够为AGV的视觉导航提供信息，开发的基于视觉标签的导航算法具有较好的鲁棒性，视觉标签的正确识别率达95%，双目立体相机定位误差小于2%，充分发挥了视觉导航的优势，能够完成园区内的可靠自动运行。     

立体视觉和三维激光系统的联合标定方法

双目立体视觉和三维激光扫描是移动机器人环境探测与建模的常见传感测量方法。为实现两个系统的数据融合应用,必须为二者的测量坐标系建立数学关系,即对其进行传感器之间的位姿联合标定。为此提出了一种基于三维特征点距离匹配的联合标定新方法,设计了一种镂空棋盘格作为标定板。使用双目立体相机提取棋盘格角点三维坐标信息,使用激光测距雷达扫描获取镂空区域中心点三维坐标,最终通过最小化两组特征点的理论与实际测量距离的平方差获取两传感器坐标系之间的旋转矩阵和平移向量。进行的联合标定测量实验结果表明了该方法的准确性和可靠性。     

动态场景下一种鲁棒的立体视觉里程计算法

针对传统视觉里程计算法在动态场景下对相机位姿估计鲁棒性和精确性不高的问题,基于场景流及静态点相对空间距离不变原理,提出一种动态场景下鲁棒的立体视觉里程计算法。该算法首先利用相机初始位姿估计,计算相邻帧之间匹配点对的场景流,进而建立高斯混合模型,并对场景中动、静物体的特征点进行初步分离;然后利用静态点空间相对距离不变的原理和匹配虚拟地图点集的方法进一步分离动、静物体上的特征点;最后,生成由静态特征点对应地图点构成的局部地图,并考虑虚拟地图点集的匹配情况,最小化重投影误差,以得到精确的相机位姿估计。对TUM数据集以及实际场景进行实验,结果表明提出的算法在动态场景下能够鲁棒地估计出高精度的相机位姿。     

基于线结构光双目测量系统的管片位姿正交化解算

针对管片拼装机工作过程中存在位姿误差和位姿检测智能化等问题，提出了一种基于线结构光双目测量系统的管片位姿测量方法。该方法减小了检测管片位姿时光照情况对检测结果的影响，无需要额外添加其他标记，可将由线结构光双目测量系统检测的管片边缘点世界坐标与管片拼装机机械手臂工作坐标下的三维坐标进行转换和解算。利用以隧道横截面圆心坐标O为基准的线结构光双目测量系统检测到检测点的位姿，通过运用三维空间点的坐标重心化和罗德格里矩阵的最小二乘法求解出管片位姿变换旋转矩阵，有效改进管片姿态旋转矩阵的正交性。随机进行多组检测点的位姿计算误差的比较，验证本方案的可行性。结果表明该方法能精准快速测量管片位姿，提高位姿测量精度。     

基于单目视觉的工业机器人智能抓取系统设计

针对工业机器人如何能在多目标工况下快速自主识别和抓取指定目标工件的问题,将单目视觉引导技术应用到工业机器人智能抓取系统设计中。利用图像进行了模式识别,对检测定位进行了研究,建立了视觉图像与工件定位抓取之间的关系,提出了基于轮廓Hu不变矩快速模板匹配算法的单目视觉抓取系统。首先将摄像机获取的图像进行了预处理,然后利用轮廓Hu不变矩模板匹配算法进行了目标工件的识别,利用轮廓矩和二阶惯性矩最小原理对识别出的目标工件进行了位姿求取,最后通过建立SOCKET通信将求取的位姿发送给了机械臂控制系统引导机械臂的抓取。基于VS软件开发平台和ABB机械手,对智能抓取系统进行了搭建并试验。研究结果表明:该基于单目视觉搭建的工业机器人智能抓取系统成本低、定位精度高,可满足工业自动化生产的需求。     

采用立体视觉的子孔径拼接测量工件定位

为了实现大口径光学元件的子孔径拼接干涉测量,提出了采用立体视觉进行光学元件位姿测量的方法,建立了基于双目视觉的子孔径拼接测量系统,对该系统的数学模型、测量原理以及基于四元数法的位姿变换矩阵求取方法进行了研究。首先,介绍了圆形子孔径拼接干涉测量的原理,并基于齐次坐标变换分析了其对工件定位的要求,接着引入了立体视觉辅助测量系统,建立了其通用测量模型,利用双目视觉获取不同子孔径测量时与工件刚性连接的特征点的三维全局坐标,在完成全部子孔径测量后利用四元数法求取各子孔径相对于全局坐标系的转换矩阵,然后利用优化拼接算法将各子孔径数据统一到全局坐标系下,完成大口径光学元件的全局测量。最后利用该系统实现了对口径为150mm平面和100mm球面的检测。实验结果证明,在本系统中,立体视觉系统平移定位精度优于0.1mm,转动测量精度优于0.01度,能够给优化拼接算法提供一个有效的初始值,且该方法能够快速给出各子孔径间的相对坐标变换且在其视场范围内不产生误差累积,方法简单实用,稳定可靠。