双目视觉在移动机器人定位中的应用

为采用双目视觉进行室内移动机器人定位,开发了一种室内移动机器人定位系统。介绍了双目视觉在机器人定位中的原理,采用移动机器人和MicronTracker视觉系统构建了定位实验系统,进行了测距实验,并分析了测距精度,最大误差为8.644mm,在此基础上进行了移动机器人双目视觉定位实验。实验结果表明,双目视觉定位最大偏差为3.635cm,定位精度较高而且系统稳定性好,受环境因素影响小,可满足机器人的定位精度要求。     

悬臂式掘进机自主定位导航技术研究与试验

针对煤矿综掘工作面悬臂式掘进机定位系统存在的定位误差大、定位方式单一问题,在介绍悬臂式掘进机定位需求的基础上,分析基于双目视觉、捷联惯导融合的掘进机自主定位方案.在实验室搭建试验平台,完成基于双目视觉的位姿试验、基于捷联惯导的导航试验、基于双目视觉/捷联惯导融合的定位试验.结果表明:采用融合定位方案后,能够有效抑制掘进...     

码头散装机定位系统开发

码头散装机采用人工控制有不方便、费时、效率低下等缺点.为了克服这些缺点,就需要实现码头散装机工作时散装头与罐装船船口之间的精确定位.利用双目立体视觉理论,根据码头散装机双目立体视觉的定位模型,设计了基于工控机及PLC的硬件系统,其中工控机用于数据的采集和图像的处理,PLC用于控制散装头的位置.开发了定位系统软件,从而实现散装机自动定位系统.此系统经过长期现场实际测试,系统基本上能够满足实际工作的要求,能提高装载效率.     

基于双目视觉的目标定位系统设计

基于双目视觉原理进行目标定位可以得到目标的深度信息。本文对双目视觉关键技术中的摄像机标定和立体匹配进行深入研究,采用改进的平面标定法和基于外极线约束和灰度相关性的立体匹配算法。搭建双目视觉系统实验平台,编制目标定位程序。实验结果验证本文方法的准确性。     

柔性铰接板振动视觉测量与小波神经网络控制

为了解决航天器上用于供能的太阳帆板类柔性薄板结构的振动问题,针对一种移动柔性铰接板系统构建了双目视觉系统的振动测控实验平台,采用双目立体视觉方法来检测振动,并设计了自回归小波神经网络控制器（Self-Recurrent Wavelet Neural Network Controller, SRWNNC）来抑制振动。对双目视觉系统进行了标定,基于视差原理和图像处理算法,通过解算标志点的三维坐标来获取振动信号。建立了系统的有限元模型,并通过辨识得到校正后的系统模型参数。基于辨识得到的模型在仿真环境中训练SRWNNC,用于实验系统的振动主动控制。分别针对移动柔性铰接板系统固定基座和平移轨迹运动两种情况,进行了双目视觉振动检测和振动控制仿真和实验研究。仿真和实验结果表明,双目视觉传感器对振动信号的检测精度小于0.1 mm,SRWNNC也展现出比大增益PD控制器更好的抑振效果,验证了双目视觉振动检测和SRWNNC抑制振动的准确性和有效性。     

爬壁机器人双目视觉障碍检测系统

针对壁面障碍物的不确定性,设计了一种爬壁机器人双目视觉障碍检测系统。具体包括搭建双目平行视觉系统,根据双目视觉理论对摄像机进行标定,获取相机标定参数;通过标定参数和极线约束对双目图像进行校正,解决图像畸变不共面问题;利用块搜索模型和相似度函数获取视差,保证视差获取的快速性与鲁棒性;最后提出一种障碍物检测算法:建立壁面检测模型约束检测范围,引入面积阈值,过滤干扰并实现障碍物提取,提出一种障碍物定位算法,通过宽度、深度与偏距三个方面对障碍物进行定位,同时,通过线性插值解决障碍物中心视差丢失问题。实验结果表明:在保证实时性的基础上,该系统能够有效检测前方障碍物且准确提取率能够达到95.9%,定位误差为4.91%,满足爬壁机器人检测要求。     

面向AGV导航的双目立体相机研究

根据使用场景及应用需求，提出采用X角点构成视觉标签，利用视觉标签标记场景中关键路径点的方式实现AGV的定位和路径规划的视觉导航方法。搭建双目立体相机，基于段测试X角点检测算法，识别视觉标签、建立标签坐标系统，根据视觉标签库中的预存信息检索、确定AGV的地图位置；基于视觉标签局部坐标系统，确定AGV的姿态信息，在简化导航复杂度的同时，保证AGV路径控制和运行控制精度和可靠性，进而实现基于视觉标签的自动导航和运动控制。将双目立体相机应用于AGV现场试验，结果表明，所搭建的双目立体相机能够为AGV的视觉导航提供信息，开发的基于视觉标签的导航算法具有较好的鲁棒性，视觉标签的正确识别率达95%，双目立体相机定位误差小于2%，充分发挥了视觉导航的优势，能够完成园区内的可靠自动运行。     

基于双目视觉定位的机械臂智能抓取控制研究

随着科技的发展，机械臂开始往更加智能化、自动化的方向发展，单单依靠传统的通过示教器执行单一指令的机械臂已远远不能满足各类复杂的生产和服务。为了让机械臂更加智能化和科技化，通过赋予其双目视觉感知模块和智能控制系统，对机械臂智能抓取控制进行研究。采用HSR-Co605协作机械臂，基于双目视觉相机在ROS系统进行仿真建模、运动规划、障碍物规避等试验；在复杂环境下实现了机器人双目视觉模块自主识别定位物体，同时对周围障碍物进行避障规划，实现机械臂自主运动规划及智能抓取操作。在不同场景下进行了智能抓取试验，并对其试验结果进行了分析，为后续机械臂能更好地适应复杂的工作环境以及产业化发展提供参考。     

双目视觉定位技术在挤压成型上的应用

针对铝合金生产过程中铝锭被高温加热,盛锭筒与模座会变形,盛锭筒与模座的定位中心点会逐渐偏移而产生一个定位偏移量,导致产品不合格率上升等难题,提出了利用双目视觉定位技术,使用双摄像头同时拍摄盛锭筒两个方位的图像来构建盛锭筒圆形轮廓以计算中心点偏移量。如果偏移量超过设定的某一个阈值,则将由监控系统发出警报,通知工人使用人工方式来调整偏移。因此,研究的双目视觉定位系统对我国挤压成型生产具有重要意义。     

基于张正友平面模板法的双目立体视觉系统标定

为验证基于张正友平面模板法标定双目视觉系统方法的准确性与合理性,首先分析了双目立体视觉系统的原理,然后论述了双目立体视觉的系统标定原理、方法,以及利用张正友平面模板法进行标定的步骤,通过标定双目立体系统的内部参数和外部参数,应用视差原理,能够确定空间某点的三维坐标,实验验证了文中提出的基于张正友平面模板法标定双目视觉系统方法的准确性与合理性。     

Reparability measurement of vision sensor in active stereo visual system

The active visual inspection has made giant strides in development. Due to the complexity of field conditions, the binocular stereo vision sensor in active stereo visual inspection system is difficult to acquire the ideal image pair under the poor illumination environment, or cannot work normally because one of two cameras is damaged. To solve the practical problem, a reparability method of the vision sensor in active stereo visual inspection system is proposed. Based on the traditional measurement platform with a structured stripe projector and two industrial cameras, a reparability mathematical model is established, which merges the measurement mode of the stereo vision and the structured light vision to inspect feature points based on the reparability measurement model. Meanwhile, a mathematical model and calibration method of the structured light vision are developed based on the homography between the image and light plane. The method greatly improved the stability and reliability of measurement data. It is proven by experiment that the method is valid, which can accomplish reparability tasks commendably and achieve uninterrupted inspection of feature points in the actual industrial applications.     

一种基于双目视觉数字图像相关的机械密封端面变形测量系统的设计

基于双目视觉数字图像相关技术,设计了机械密封端面变形测量系统的方案。选用合适的高速数字摄像机、镜头、采集卡、光源、标定板、支架系统和服务器等构建了该系统的硬件,并基于双目视觉数字图像相关方法开发了相关软件。该系统可实现机械密封表面的三维形貌以及在力、热载荷作用下变形的全场测量,结构简单,使用方便。这为研究影响机械密封变形的关键因素及探索减小其变形的措施奠定了基础。     

Virtual binocular vision systems to solid model reconstruction

The geometry of a solid model can be determined in an effective manner if sufficient spatial information of its shape and corresponding edges can be obtained. The binocular vision system, in which images are obtained from calibrated cameras, has traditionally been the most popular method. In this paper, a virtual binocular vision system, which is composed of one CCD camera and a rotary platform, is proposed as an alternative for measuring three-dimensional objects. The fundamental matrix of the virtual binocular vision system is proposed such that the coordinates of feature points can be determined through an efficient searching and matching procedure. Subsequently, point clouds of the object can be obtained to construct a solid model by utilizing CAD software, such as CATIA and Pro-E. This model can in turn serve as a basis for further analysis and extended applications.     

可见光通信与双目视觉的室内定位

提出一种基于可见光通信与双目视觉测量的高精度室内定位方法,旨在为室内移动机器人提供一种精度高、成本低、不易受干扰的室内定位方案。该方法利用双目视觉传感器对LED光源进行成像测量,利用惯性测量单元传感器记录成像测量的三维姿态角,并通过可见光通信技术获取LED光源的坐标信息,最终计算双目视觉传感器相对于LED光源的三维坐标。根据该方法研制了一款基于可见光通信与成像的定位模块,该模块可以利用单个或两个LED光源进行成像定位。当定位模块采用1280×720分辨率的图像时,在2 m×2 m×3 m室内环境中可实现厘米级移动定位,定位频率大于5 Hz;当利用两个相距60 cm的LED光源进行定位时,在三维方向上的定位误差均小于5 cm,同时能够提供小于1.4°的定向纠正。该方法可以为室内移动机器人提供厘米级定位导航服务。     

基于神经网络的双目视觉传感器建模

根据双目视觉传感器的工作原理 ,分析了影响测量精度的因素 ,表明双目视觉传感器的物体空间坐标与图像坐标之间存在复杂的非线性映射关系 ,其数学模型无法用解析式精确地加以描述。因此 ,提出一种基于神经网络的双目视觉传感器建模方法。数值实验表明 ,该方法简便易行 ,建立的模型有较高的精度     

水下双目立体视觉对应点匹配与三维重建方法研究

针对水下双目立体视觉成像稠密立体匹配因不满足空气中极线约束问题,提出一种水下对应点匹配与三维测量方法, 可将水下双目相机采集的立体图像校正为符合共面行对齐原则的图像对,再套用空气中成熟的立体匹配方法得到水下左右相 机图像视差图,从而实现水下目标的三维重建。 首先,将进入相机的所有光线总和看成光场,采用四维光场参数表达对每一条 光线建模,据此建立相机的折射成像模型和双目立体视觉模型并计算光线的方向向量;根据光线的光场表达将光线转化为点矢 量的形式,计算方向图像上任意像点对应原图像的像素坐标并确定位置映射关系。 通过插值即可快速得到符合行对齐原则的 左、右方向图像,并最终获得每条光线对应的视差图。 仿真结果表明,方向图像的行对齐误差小于 0. 8 pixel。 水池实验采用事 先标定的靶球作为目标物,利用随机散点主动投射以增加目标物表面的纹理信息,对靶球多次测量的均方根误差为 2. 8 mm,具 有较高的测量精度。     

高速列车动态包络线测量一种现场快速标定方法

列车动态包络线是评定列车安全运行的一项重要指标,基于双目立体视觉的方法是目前能够实现速度超过200 km/h列车动态包络线测量的唯一方法.因受到大视场和标定时间的严格限制,便携的标定设备、易于搭建的靶标和快速的标定算法便成为标定过程需要满足的三个条件.本文提出一种新的基于双目立体视觉的大视场现场快速标定方法,设计轻型便携靶标,靶标上40个反光标记点表示铁轨坐标系,并用于计算双相机内外参数.并且,双相机仅需同时拍摄一张靶标图像,就能实现双相机内外参数快速一体化标定.实验结果表明,该方法测量精度可达±1 mm,能够满足高速列车动态包络线测量现场标定要求.     

基于 FPGA 的三目半全局匹配算法设计与实现

三目立体视觉系统能够克服双目立体视觉系统存在的遮挡等问题,进一步提高立体视觉系统测量精度。 然而增加传感 器数量会导致匹配算法计算量增大,影响系统实时性,从而限制三目立体视觉系统在各领域的实际应用。 为此,本文提出一种 三目半全局立体匹配算法及其硬件计算框架。 首先,在对三目立体视觉系统基本模型深入分析的基础上,提出一种硬件友好的 半全局匹配算法。 随后,根据 FPGA 硬件并行化计算和流水线处理的特点,对片上系统整体框架及各计算模块结构进行设计。 最后,基于 Zynq-7000 SoC FPGA 搭建一套完整硬件实验系统进行算法实现,分别使用数据集图像和真实场景图像对本文算法 进行评估。 实验结果表明,本文算法与传统双目半全局匹配算法相比,有效像素填充率提高 17. 31% ,错误率降低 13. 06% ,在真 实场景下可实现 60 fps 实时立体匹配,能够满足各类应用场景的实际需求。