基于机器视觉的吊具位姿检测系统

提出1种基于单目机器视觉的吊具空间位姿的传感检测系统,在装卸箱过程中实时检测吊具位姿。首先在起重机小车上选取基准点,并安装近红外相机,在吊具上安装由3个发射灯组成的结构光源。用单目相机拍摄吊具上的结构光源,并在暗图像中通过图像识别算法识别出光源在相机中的坐标。然后根据相机标定参数和相机、基准点坐标关系等得到吊具在基准点坐标中的位置和姿态。相较于现有的设备,此检测系统具有成本低、全天候、快速准确等特点,其能为吊具控制系统提供了可靠的反馈数据。     

基于单目视觉的移动机械臂抓取作业方法研究

针对移动机械臂自主抓取作业过程中目标识别慢、作业精度低的问题,对基于单目视觉的目标识别与定位算法以及机器人作业精度提高方法展开了研究。以全向移动平台、工业机器人和单目相机等硬件为基础构建了一套移动机械臂抓取作业系统;对单目视觉模板匹配法进行了归纳,采用基于随机树分类的特征点匹配算法对目标进行快速准确地识别与定位;完成了相机内参数标定和机器人手眼位姿标定,分析了手眼位姿与抓取位姿的关系,提出了一种修正手眼位姿的抓取误差补偿方法,减小手眼标定误差对抓取误差的影响,最后进行了移动机械臂的抓取/放置实验。研究结果表明:采用上述方法能够快速准确识别目标,有效减小作业误差,并达到较高的作业精度。     

基于YOLOv5神经网络检测模型的动态局部地图构建

在移动机器人自主移动过程中，人的活动会对路径规划结果产生重要的影响。传统SLAM对动态物体的识别和跟踪能力相对有限，动态物体上的特征点容易丢失，且在动态物体占据图像较大范围时，容易造成目标函数的优化方向错误。考虑单个单目相机对行人的位置信息进行检测的场景，通过单目相机获取图像信息，结合YOLOv5目标识别网络来检测图像中人物所占据的像素高度，再通过针孔相机模型还原出图像人物在相机坐标系下的三维坐标。基于YOLOv5网络模型检测出道路区域，运用Canny边缘检测算法计算出道路的边缘轨迹，找到两条轨迹在相机图像上的交汇点。最后根据相机的平面图像结合人物的三维坐标，以及道路轨迹的交汇点和道路宽度信息对图像进行重投影。通过公开数据集测试得到包含行人实时运动情况和道路边界在内的平面地图，可完成150 m深度内的行人位置定位，为快速计算图像的行人的位置深度提供了一种可行方案。     

基于卷积神经网络与扩展卡尔曼滤波的 单目视觉惯性里程计

针对单目相机采集室外图像易受环境光照影响、尺度存在不确定性的缺点,以及利用神经网络进行位姿估计不准确的问题,提出一种基于卷积神经网络(CNN)与扩展卡尔曼滤波(EKF)的单目视觉惯性里程计。采用神经网络取代传统里程计中基于几何约束的视觉前端,将单目相机输出的估计值作为测量更新,并通过神经网络优化EKF的误差协方差。利用EKF融合CNN输出的单目相机位姿和惯性测量单元(IMU)数据,优化CNN的位姿估计,补偿相机尺度信息与IMU累计误差,实现无人系统运动位姿的更新和估计。相比于使用单目图像的深度学习算法Depth-VO-Feat,所提算法融合单目图像和IMU数据进行位姿估计,KITTI数据集中09序列的平动、转动误差分别减少45.4%、47.8%,10序列的平动、转动误差分别减少68.1%、43.4%。实验结果表明所提算法能进行更准确的位姿估计,验证了算法的准确性和可行性。     

基于镜面反射的手眼标定方法

针对Eye-on-Hand机器人手眼系统的标定问题,提出一种基于镜面反射的手眼标定方法。通过镜面反射获取图像,根据镜像原理,通过线性求解算法确定机器人末端执行器和相机坐标系的位姿关系。与以往的标定方法不同,该方法只需要3次改变平面镜的姿态,就能同时获得相机的内参数和手眼视觉系统的位姿关系,不会引入传统标定方法中利用机器人运动参数而产生的机器人运动误差。最后将其与Halcon手眼标定算法进行对比,验证了所提方法的正确性和可行性。     

基于机器视觉的空间组合体地面实验位姿测量技术研究

针对空间组合体如绳系系统在地面模拟实验时具有变化复杂和响应快等特点难以实时测量问题,对空间组合体地面模拟实验系统中物体位姿测量和控制方法进行了研究。将非接触式测量的机器视觉技术应用到了组合体地面测量系统中,并从减少图像搜索位置和每个位置处的计算量角度,提出了一种改进的多模板匹配算法配合刚体平面运动位姿算法组成测量系统,以实现运动目标物体图像的实时采集;获取了目标物体上标志点的坐标,再通过坐标变换等计算动态得到了平面刚体运动位姿;利用所研制的地面模拟检测系统进行了直线运动、旋转运动和刚体平面运动等实验测试。研究结果表明:位姿测量系统的最大测量误差不超过5%,采样时间为0.2 s,可满足绳系组合体等空间组合体的测量和控制要求。     

动态场景下基于实例分割和三维重建的多物体单目 SLAM

针对大多数SLAM系统在动态环境下相机位姿估计不准确与环境语义信息利用不充分的问题,提出一种基于实例分割的关键帧检测和贝叶斯动态特征概率传播的动态物体检测算法,并对环境中存在的静态物体三维重建,以此构建一个动态环境下的多物体单目SLAM系统。该系统对关键帧输入图像进行实例分割与特征提取,获取潜在运动物体特征点集合与静态物体特征点集合;利用非运动物体特征点集合获取帧间位姿变换,普通帧利用贝叶斯对动静态特征点进行概率传播,利用静态特征点集实现对相机位姿的精准估计;在关键帧中对静态物体进行联合数据关联,数据充足后进行多物体三维重建,构建多物体语义地图,最终实现多物体单目SLAM。本文在TUM与Boon公开数据集上的实验结果表明,在动态场景下,相较于ORB-SLAM2算法,绝对位姿误差的均方根误差平均降低54.1%和58.2%。     

一种基于场景特征的工业机器人手眼自动标定方法

目前,有许多方法都实现了机器人的手眼标定,但是需要借助特定的标志物,标定过程复杂,不利于工业现场的实际应用。为此,提出了一种基于场景特征的工业机器人手眼自动标定方法。首先利用光束法平差(BA)处理微运动图像序列,求解相机内参。然后利用四叉树ORB特征提取和PnP求解多视图像间的位姿变化,并使用BA优化。最后通过计算多视图像间的位姿变化和机器人的位姿变化之间的关系,获得机器人手眼位姿。实验表明,对比现有的标定算法,本文提出的算法简单快速,同时拥有较高的精度。     

单目视觉位姿测量的线性求解

利用定位特征点在图像中的坐标求解空间位姿算法是单目视觉位姿测量技术中的关键.针对这个问题,在距离因子的基础上建立了非线性的位姿测量模型.利用代数变换方法将非线性测量模型转化成线性非齐次方程组.根据代数变换过程中变量之间的相互关系,建立方程组通解之间的乘积关系方程组.再次利用代数变换对乘积关系进行线性变换,并利用P4P问题中共面特征点姿态测量唯一解的特性,实现位姿测量的线性求解.通过数值仿真和实际测量两个试验对该位姿测量算法进行了精度验证,试验数据表明该方法可以有效抑制图像噪声干扰,提高位姿测量的精度.     

微装配机器人手眼标定方法研究

在视觉反馈的机器人控制中,手眼系统的标定非常重要,直接影响机器人的作业精度.针对微装配机器人系统操作空间小的特点,提出了一种固定视觉的手眼系统标定算法,该方法通过3个空间点在机械手基坐标系中的坐标,采用P3P位姿测量原理获得相应空间点在摄像机坐标系中的坐标,建立了标定方程组,基于最小二乘法,标定出了手眼系统之间的转换矩阵.该方法无需复杂的辅助设备,标定过程简单.相关实验得到了待标定的手眼系统之间的转换矩阵,验证了该方法的标定精度和有效性.     

基于线结构光参考平面的多摄像机标定方法研究

多摄像机视觉测量系统中不同视觉传感器空间分布广,无公共视角,现场标定十分困难。针对多摄像机标定问题,研究了一种基于线结构光参考平面的灵活标定方法。标定过程中,以空间中同时覆盖相邻摄像机视角的结构光平面作为标定参考基准,在不同摄像机视角中,自由移动平面靶标多次,确保每次移动后靶标与结构光相交,并能在各自摄像机中清晰成像,摄像机拍摄靶标图像。提取靶标图像中角点坐标、激光光条特征点坐标。借助靶标平面与摄像机坐标系外部参数矩阵,求解激光光条特征点在对应摄像机坐标系中坐标。通过结构光基准平面内,不同摄像机坐标系中至少3组非共线特征点坐标信息,求解相邻摄像机外部参数。分别进行标定试验和精度验证试验,试验结果表明该方法切实可行。     

基于单目视觉的激光光束方向标定研究

在由激光位移传感器组成的测量系统中,激光光束的方向是一个关键参数.方位角和俯仰角对于一条激光光束是最为重要的两个参数.本文中提出一种基于单目视觉的激光光束方向测量方法.首先,将CCD相机放置于基础平面上方,保持相机光轴与基础平面接近于垂直状态,并利用误差为10μm的圆孔型标定板建立单目定位模型.然后将激光光束发生装置放置在基础平面上并保持位置固定,同时在基础平面上放置特制靶块,使激光光束可以投射到靶块斜面上并形成一个激光光斑.在基础平面上方放置的CCD相机可以清晰的采集到激光光斑、靶块斜面的图像,应用相关算法提取出光斑质心的二维图像坐标.沿激光光束方向以相等间距移动靶块,通过CCD相机采集每移动一次靶块在当前位置下的光斑、靶块图像.利用相关的转换公式,结合靶块本身固有参数,将光斑质心图像二维坐标转换为基础平面下的空间三维坐标.由于靶块的移动,会得到靶块不同位置下激光光斑质心的三维坐标,将这些三维坐标拟合成空间直线表征待测激光光束.拟合直线得俯仰角即为待测激光光束的俯仰角.实验中,应用高精度仪器对靶块参数进行测定,并使用高精度标定板标定相机内外参数建立相应的定位模型.测量精度主要通过单目视觉定位精度、光斑重心提取精度来保证.结果显示,待测光束的俯角最大误差达到0.02°,光束间夹角的最大误差为0.04°.     

一种基于双目相机与单点激光测距仪的标定方法

近年来,随着工业机器人技术的不断完善,利用相机与激光测距仪结合测量的应用不断增多。为了使两者之间配合的更加便利,两者之间的标定是必不可少的。本文提出了一种基于双目相机与单点激光测距仪的标定方法,以双目相机光心为原点,建立相机坐标系。将单点激光测距仪光点打到标定板上,并在标定板上形成光斑,通过灰度重心法提取光斑中心像素点,利用双目相机的内参矩阵及深度数据获取光斑点的三维坐标值。然后利用两个三维坐标点建立公式求取外参参数的粗略解,同时通过相机坐标系下多个光斑点的三维坐标建立约束方程,并利用优化算法对约束方程进行优化,得到精确的外参参数值。该方法做法简单,且对标定器件无特殊要求,通过该方法得到的外参参数精度高,鲁棒性好。实测结果表明,通过该算法得到的外参参数进行重投影后,平均相对误差小于0.30%,能够应用于实际生产过程中。     

A novel approach for the field calibration of line structured-light sensors

A new approach for the field calibration of line structured-light sensors is presented, which is fulfilled using a planar target and a raising block. The camera model is firstly established according to the mapping between the world coordinate frame and the computer image coordinate frame. Based on the rule of cross-ratio invariance the calibration points are extracted from the squares on the target, and the lens distortion coefficients are simultaneously acquired. The unknown parameters in the camera model are solved using these points. On the projection of the laser plane, two intersection lines are formed by the laser plane with the target and the raising block, respectively. The angle between the laser plane and the target is worked out by fitting plane using the two lines. Utilizing this angle, the three coordinates of a point in the laser plane can be represented by two of them. Thus the two coordinates can be directly obtained from the camera model. This method simplifies the calibration procedure of structured-light sensors, and facilitates online use. Experiment studies show that the calibrated sensor possesses good accuracy.     

基于线结构光的盾尾间隙测量方法研究

针对现有盾构施工中盾尾间隙难以实时精确测量的问题,本文提出了一种基于线结构光的盾尾间隙自动测量方法。该方法首先利用线激光器在管片和盾壳之间投射出一道窄线型指示激光并通过工业相机实时采集线激光器投射在盾壳和管片之间的线激光图像,然后通过图像处理对图像目标特征进行识别并根据单目视觉成像原理和线结构光坐标测量算法提取盾尾间隙端点坐标,进而实现盾尾间隙值的精确解算。实验结果表明,本文所提出方法的重复性测量精度优于0.3 mm,绝对测量精度优于1.7 mm。该方法可以实现相机纵深方向0.2～1.9 m范围内盾尾间隙的实时精确测量,满足城市地铁隧道施工应用需求。     

简易高精度的平面五点摄像机标定方法

为了进一步提高相机参数精度,简化标定过程,在张正友平面标定算法的基础上,提出了一种较简单的5点标定算法。本文利用一个矩形作为标定模板,将其4个角点和中心点作为待匹配点。仅利用不同角度拍摄的10(10~20幅均可)幅图像,即可求解全部相机内外参数。首先,为了减小数据对结果的影响,对获取的5个点的图像坐标进行归一化,将点坐标控制在以原点为中心,2~(1/2)为半径的圆内;其次,相机成像模型未考虑畸变,考虑到单应矩阵可能会有零元素,故按照9个自由度来求解;再次,求解出相机的内外参数,将求得结果的平均值作为非零因子λ的值;最后利用Levenberg Marquarat(LM)算法对所有内外参数进行整体优化。选用不同噪声水平的模拟实验和真实图像进行测试,结果显示该算法比张正友棋盘格算法的精度要高。     

基于样条变换多元回归模型的摄像机标定算法

针对摄像机隐式标定算法中存在的样本点数少和精度要求高的矛盾,利用样条变换多元回归模型,提出一种改进的摄像机隐式标定算法。首先采集标定图片中有限个标定样本点的像素坐标和相应的世界坐标,然后通过样条变换建立像素坐标和世界坐标间的多元回归模型,获得二维图像在世界坐标系中的三维信息,完成摄像机的标定。算法发挥上述模型在标定样本点有限的条件下,对非线性关系映射能力强、局部性质独立的特点,实现整体标定效果的改善。理论分析和实验结果均表明,与基于多项式拟合的标定算法相比,该算法的标定速度与精度显著提高。该算法已成功应用于移动机器人视觉导航系统,提高了导航信息计算的准确度。     

基于双目视觉的六自由度工业机器人控制系统研究

目前机器人视觉系统正越来越广泛地应用于视觉检测、视觉引导和视觉装配领域。为了使机器人能够快速准确地识别、检测、抓取工作台上的工件,该文设计了一套双目视觉的六自由度工业机器人控制系统。文中以张正友摄像机标定法为理论依据研究双目视觉合成技术,利用MATLAB摄像机标定工具箱分别获取左右摄像机的内外参数;通过建立机器人用户坐标系、摄像机坐标系以及世界坐标系实现了空间坐标转换;由OpenCV图像处理算法获得工件坐标位置,控制系统驱动机器人实现工件抓取。     

单台相机三坐标测量的一种新方法

按照常规摄影测量,如果仅使用一台相机而要获取点的三维坐标则至少需要在两个不同的位置进行摄影。这里则提出了利用单台相机仅拍摄单张像片来获取点的三维坐标的测量方法:借助一根带有3个以上已知标志点的辅助测量棒,利用共线方程和辅助测量棒上3个以上标志点先建立测棒坐标系与摄影测量坐标系的转换关系,再通过坐标转换即可得到辅助测量棒测头(所接触的待测点)在测量坐标系中的坐标。另外,通过试验验证了此单台相机测量原理及所达到的相关精度。     

一种基于视觉跟踪特征点的室内导航方法

提出一种基于视觉的跟踪特征点的室内导航方法，即在地面上布置具有几何位置关系的特征点序列，利用单目摄像头采集图像，通过图像处理提取跟踪特征点的坐标值，再利用计算机图像坐标系和世界坐标系之间的转换关系，计算出移动机器人在世界坐标系中相对特征点的偏移距离和偏移角作为反馈，来控制移动机器人，以达到室内导航的目的。