基于彩色图像的高速目标单目位姿测量方法

针对风洞分离实验对于视觉测量系统的高精度、大视场、高速的测量要求,提出一种基于单目摄像机的风洞运动目标位姿测量方法。该方法利用单目摄像机进行运动目标位姿信息测量,相比于双目测量方法具有设备简单、视场大的优点。首先提出一种基于靶标特征点相互约束关系的参数优化方法,采用复合式靶标实现摄像机的快速高精度标定;针对目标运动图像处理,提出一种基于图像差叠法和标记点位置估计的图像快速分割与目标定位方法,实现图像特征的快速准确定位;针对单目测量要求及目标运动特性,提出一种基于方向估计标记点布局方式,实现合作标记点的快速识别和提取;最后利用单目视觉原理求解运动目标的位置和姿态信息,通过实验室模拟实验完成了测量系统的精度验证,在1 m×1 m视场范围内,其位移测量精度可达到0.19 mm,俯仰和偏航角测量精度可达到0.18°。     

基于双目结构光的工件位姿检测方法北大核心CSCD

面向机器人在柔性上下料中工件放置范围较大、摆放位姿不确定的应用场景,提出了一种基于双目结构光的空间位姿检测系统。基于双目结构光视觉系统获取工件点云数据,通过对Z轴分层遍历寻找工件最上层平面,利用其法向重新建立坐标系来矫正原始点云数据;将最上层点云数据映射转成2D图像,通过图像处理完成多个工件分割并获得工件位置信息进行点云粗配准,再通过ICP精配准得到工件的位姿信息。以检测料框为例进行实验,实验结果表明:视觉系统距检测目标3 m处,仍能输出多个料框的准确位姿信息,可有效提升工业机器人柔性上料的可靠性。     

基于双目结构光的工件位姿检测方法

面向机器人在柔性上下料中工件放置范围较大、摆放位姿不确定的应用场景,提出了一种基于双目结构光的空间位姿检测系统。基于双目结构光视觉系统获取工件点云数据,通过对Z轴分层遍历寻找工件最上层平面,利用其法向重新建立坐标系来矫正原始点云数据;将最上层点云数据映射转成2D图像,通过图像处理完成多个工件分割并获得工件位置信息进行点云粗配准,再通过ICP精配准得到工件的位姿信息。以检测料框为例进行实验,实验结果表明：视觉系统距检测目标3 m处,仍能输出多个料框的准确位姿信息,可有效提升工业机器人柔性上料的可靠性。     

基于双目视觉的工件位姿检测方法

建立了一种基于双目视觉的空间位姿检测模型。采集目标物不同角度的图片以建立目标物离线模板库,通过SURF算法检索模板库以分离目标物所在区域。在该区域利用霍夫变换提取目标物的特征角点。利用基于灰度相关函数的匹配算法完成特征角点的匹配,结合双目视觉模型建立特征角点像素坐标与用户坐标间的映射关系进而求出目标物在用户坐标系下的位姿信息。以检测箱体工件为例进行多组实验,结果表明,该方法可以准确地检测目标物位姿。     

面向目标检测的空间观测图像精确配准

针对空间目标检测对图像配准精度的要求,本文组合Fourier-Mellin变换和加速鲁棒特征变换(SURF)算法来实现对空间观测图像的精确配准,并研究了该配准算法所涉及的变换模型、特征提取、特征匹配和配准精度等问题。该算法首先利用Fourier-Mellin变换计算图像旋转角度的整数值,根据整数角度将待配准图像反向旋转;然后利用SURF算法检测两幅图像的匹配特征点;最后利用最小二乘方法计算旋转角度的浮点值和平移量,而整数角度与浮点角度之和就是待配准图像的实际旋转角度。文中分析了SURF特征点检测与图像尺寸、DoH响应阈值以及尺度空间层数之间的关系。实验结果表明:提出的算法对图像旋转角度估计值的均方误差为0.0077°,50组实拍图像中星点质心均方误差的平均值为0.1353pixel,能够满足空间目标检测对图像配准的精度要求。     

基于双目视觉的工程车辆定位与行驶速度检测

针对工程车辆行驶速度低、滑转率高的特点,提出了一种基于双目序列图像的检测方法,以便快速检测工程车辆的相对位置与实际行驶速度。将双目摄像机安装在车辆上,连续采集周围环境的序列图像;利用SURF(speeded up robust features)特征对已采集到的各帧双目图像进行立体匹配,计算出环境特征点到摄像机坐标系原点的距离,从而实现车辆的相对定位;再对相邻两帧图像进行特征跟踪匹配,根据不同景深将匹配特征点对划分为远距点对和近距点对,分别利用远距点对和近距点对估算车辆运动过程中坐标系的旋转矩阵和平移矢量,并利用Levenberg-Marquardt法进行优化求解;最后根据优化后的旋转矩阵和平移矢量计算出车辆的行驶速度。户外模拟试验结果表明了方法的有效性和可行性。     

基于智能三坐标测量机的零件位姿单目立体视觉识别

为了使三坐标测量机快速准确地识别出被测零件的位姿,提出了一种基于三坐标测量机平动的单目立体视觉识别方法,并对该方法的原理、位姿参数的求解和识别过程进行了研究.根据双目立体视觉原理,以三坐标测量机带动摄像机沿X轴或y轴平移,在两个不同位置分别拍摄被测零件的一幅图像;利用本文提出的基于边缘图像质心偏移的同名像点匹配方法,实现单摄像机立体视觉测量,得到被测零件上各特征点在摄像机坐标系中的三维坐标;由摄像机标定参数,进一步计算出各特征点在机器坐标系中的三维坐标;再结合各特征点在零件CAD坐标系中的对应坐标,求解出被测零件的位姿参数.组建了识别系统,进行了识别实验,结果显示,识别出的实验件位姿的平移量分别为:tx1=32.65 mm,ty1 =-90.23 mm,tz1=13.27 mm,旋转角分别为Ax =38°,AY=4°,Az=-5°,整个识别过程用时1.818 s.得到的实验数据表明该识别方法是可行的,可满足实时测量要求.     

基于复合Zernike矩相角估计的图像配准

提出了一种基于复合Zernike矩相角估计的图像配准方法.首先,利用尺度不变检测子Harris-laplace检测图像中的兴趣点作为初始特征点,计算以兴趣点为中心、邻域具有尺度不变性的Zernike矩;提出一种鲁棒的相角估计方法,用于估计两个归一化区域的旋转角度值.然后,利用Zernike矩的幅值和相角信息,通过比较每个兴趣点邻域Zernike矩的相似度提取出初始匹配点.最后,提出一种迭代角度修正算法用于精确估计变换参数,并对输入图像进行几何变换后将两幅图像配准.实验结果表明,该算法可在尺度缩放、任意角度旋转以及噪声等复杂条件下实现图像的高精度配准.当旋转角度误差小于20°时,图像的平均覆盖率达到94.125％,有效降低了误匹配的概率.     

基于区域点云的工件位姿计算方法

为了获取稳定可靠并具有代表性的特征点估计物体的位姿,根据实际工作环境采用背景差分法对图像上的物体进行图像位置粗限定,减少双目立体匹配所消耗的时间。对立体匹配获得的粗糙目标三维点云进行去噪优化处理,以获取可靠的物体三维点云集。根据点云的分布情况对目标物体进行三维的空间位置限定,获取独立物体的点云特征。通过区域点云密度分布情况估计具有代表性的局部特征点,并将其作为位姿计算的初始值,根据建立的D-D(Distance-Density)评价函数获取建立工件坐标系所需要的特征点。最后,对物体点云进行随机采样验证所建立的位姿矩阵准确性,同时与传统的选定特征点建立位姿矩阵进行误差对比。实验数据显示:通过局域局部估计优化的特征点建立的位姿转换矩阵精度更高,3个坐标轴的平均误差和为2.43 mm,验证了本文方法的可行性。     

基于抖动补偿技术的印刷品图像配准方法研究

在实际的印刷品缺陷检测过程中,存在因相机支架的颤动而导致标准印刷图像和待检测图像在空间位置上配准不精确的问题。为此,在图像去抖动技术的基础上,提出了一种融合SURF(speeded-up robust features)和ORB(oriented FAST and rotated BRIEF)的运动估计算法。首先,基于SURF算法提取标准印刷图像和待检测图像的特征点;其次,基于ORB算法对提取的特征点进行描述和匹配;再次,将正确匹配的特征点通过仿射模型来求取全局运动矢量;最后,通过求得的全局运动矢量来补偿图像,并完成待检测图像与标准印刷图像的配准。针对待测图像存在的平移、尺度和旋转三种不同变化,分别采用SURF-ORB、ORB和SIFT(scale-invariant feature transform)的运动估计算法进行了性能分析。结果表明,SURFORB的特征点匹配对数量最多,匹配效果最好,SURB-ORB的运动估计时间控制在毫秒级别,满足现代印刷品缺陷检测的实时性要求。因此,融合SURF和ORB的运动估计算法能够对图像进行精确、实时的配准。     

双目视觉脉搏图像三维信息获取的研究

通过双目视觉原理构成脉搏图像传感器采集脉搏薄膜图像。对系统摄像机采用张正友标定方法,得出系统结构参数建立的物空间坐标到像平面坐标对应矩阵。再基于SIFT特征算子进行左右2幅图像匹配,得出2幅图像一一对应的特征点。最后根据双目视觉原理得到特征点的三维信息。     

Virtual binocular vision systems to solid model reconstruction

The geometry of a solid model can be determined in an effective manner if sufficient spatial information of its shape and corresponding edges can be obtained. The binocular vision system, in which images are obtained from calibrated cameras, has traditionally been the most popular method. In this paper, a virtual binocular vision system, which is composed of one CCD camera and a rotary platform, is proposed as an alternative for measuring three-dimensional objects. The fundamental matrix of the virtual binocular vision system is proposed such that the coordinates of feature points can be determined through an efficient searching and matching procedure. Subsequently, point clouds of the object can be obtained to construct a solid model by utilizing CAD software, such as CATIA and Pro-E. This model can in turn serve as a basis for further analysis and extended applications.     

利用平行透视投影模型的位姿迭代估计

提出了一种利用平行透视投影模型的高效位姿迭代估计方法来提高单目视觉测量系统的精度和鲁棒性.通过引入齐次坐标表示,避免了现有算法对平行透视投影参考点选择的限制.首先,研究了平行透视投影模型下使用齐次坐标求解目标位姿的方法,阐述了它的几何意义.然后,通过迭代的方式将其应用于一般透视模型下目标位姿的高精度估计.仿真实验结果表明,本文方法提高了基于平行透视投影模型的位姿迭代估计的精度,速度和抗噪性能.实物测量结果表明,本文方法的平移测量精度优于0.1 mm,旋转测量精度优于0.1°,可以满足各种视觉检测系统的要求.另外,使用标志点和图像特征亚像素定位技术还可进一步提高该算法的精度.     

基于卷积神经网络与扩展卡尔曼滤波的 单目视觉惯性里程计

针对单目相机采集室外图像易受环境光照影响、尺度存在不确定性的缺点,以及利用神经网络进行位姿估计不准确的问题,提出一种基于卷积神经网络(CNN)与扩展卡尔曼滤波(EKF)的单目视觉惯性里程计。采用神经网络取代传统里程计中基于几何约束的视觉前端,将单目相机输出的估计值作为测量更新,并通过神经网络优化EKF的误差协方差。利用EKF融合CNN输出的单目相机位姿和惯性测量单元(IMU)数据,优化CNN的位姿估计,补偿相机尺度信息与IMU累计误差,实现无人系统运动位姿的更新和估计。相比于使用单目图像的深度学习算法Depth-VO-Feat,所提算法融合单目图像和IMU数据进行位姿估计,KITTI数据集中09序列的平动、转动误差分别减少45.4%、47.8%,10序列的平动、转动误差分别减少68.1%、43.4%。实验结果表明所提算法能进行更准确的位姿估计,验证了算法的准确性和可行性。     

基于单目视觉的视网膜三维重建技术研究

为了在视网膜疾病诊断中获得精度高、可视化好的视网膜,提出一种基于单目视觉的视网膜三维重建算法。该算法通过对两幅预处理图像的特征点提取确定匹配点对之间的对应关系,采用RANSAC算法去除误匹配点对,准确率高,用链匹配的方法使得多幅图像间的特征点匹配从而得到整体最优化结果。根据不同图像间特征点的对应关系,使用4通光束平差法确定空间中摄像机相对位置关系,使用PMVS算法实现视网膜的三维重建。实验结果表明,该算法具有很好的鲁棒性和稳定性,能较好地实现视网膜的三维重建。     

Optimal fitting of strain-controlled flattenable mesh surfaces

In this paper, an eye-in-hand vision-based robotic bin-picking system is proposed. The system can identify the pose of a plumbing part from a pile and grip it correctly. A monocular eye-in-hand camera and a laser projector are employed to reconstruct the 3-D point cloud of plumbing parts stacked together. The projection direction of the laser line projector is controlled to change in order to scan the pile of objects while the camera is observing. 3-D points can then be determined by the a priori known geometry between the camera and the laser line projector. To estimate the pose of an object, the iterative closest point (ICP) is employed to match the point clouds of the object and the model. The transformation between the object and the model can thus be determined. A computed closer point (CCP) approach is proposed to estimate the pose of an object since the deviation from the object to the model is initially large in nature. The proposed CCP approach combining with the ICP algorithm can improve the success rate and accuracy of point cloud matching. The proposed system has been validated by experiments with potential applications in production lines.     

基于点集配准的立方体卫星非合作姿态估计

非合作目标相对姿态估计是空间在轨任务的重要问题。目前视觉成像系统通常采用特征点实现姿态测量,对单个特征点依赖性强,因此存在鲁棒性差的缺点。针对空间非合作目标中的立方体卫星在自主交会对接等任务中的姿态估计问题,采用双目视觉立体匹配并根据三角测量原理获取目标卫星的部分三维点集数据,利用点集配准解算该测量三维数据相对于已知模型的变换参数,最终实现立方体卫星的相对姿态估计。该方法基于稠密点集保证了较高的测量鲁棒性,并可扩展用于解决其他非合作目标的相对姿态估计问题。利用高精度转台的对比测量实验,验证了本文方法的精度和有效性。     

基于坐标配准的牙颌测量点云拼合技术研究

针对牙颌等待测物非接触式光学三维测量,提出了一种融入标定功能的夹具设计方法,实现了测量过程中待测物与标定靶的空间一致性;定义了单目视觉测量过程涉及到的坐标系统;提出了一种基于坐标配准的点云拼合技术,简化了点云拼合流程,实现了点云拼合理论零误差;应用张正友标定方法对摄像机进行了标定;通过实验验证,得到了具有一定精度的牙颌三维模型点云拼合数据,实现了较快的测量速度,为提高牙颌测量系统的整体精度提供了有力支撑。