正交双目视觉长轴类零件装配端位姿检测方法

为解决非正交双目立体视觉在长轴类零件三维位姿检测中需要多个特征点进行匹配,计算量大以及视野中难以获取整个零件的图像等问题,提出一种基于正交双目立体视觉检测长轴类零件装配端三维位姿方法.采用光轴正交的两个相机同时采集长轴类零件装配端的图像,分别采用亚像素法对所采得的图像进行处理,可以得到被检测长轴类零件装配端在两个相机图像坐标系内的位置和姿态,再依据正交双目立体视觉模型对两组位置信息进行融合得到其三维位姿.实验结果表明:利用两个CMOS相机构成的正交双目立体视觉能够快速、精确检测长轴类零件装配端的三维位姿.该方法只需要一个特征点进行匹配,计算量小、简单易行,适用于通过机器视觉引导工业机器人进行精密长轴类零件的快速装配.     

基于视觉信息的航天器位姿估计迭代算法

基于视觉信息的空间目标相对位姿估计问题是未来空间操作的关键所在,正交迭代算法是一种具有实时性好且全局收敛特点的单目位姿估计算法.为了有效利用多个摄像机荻取的数据,进一步提高位姿估计算法的综合性能,提出了一种双目正交迭代融合算法,取两个摄像机获取的所有特征点的目标空间共线性误差平方和作为误差函数,推导得到使两个摄像机总的...     

基于视觉信息的微型无人直升机位姿估计

采用基于视觉信息的姿态估计方法对微小型无人直升机位姿估计进行了研究.在分析视觉信息与直升机运动关系的基础上,可以看出,稳定解算航拍图像序列之间的单应矩阵是整个方法的关键.而解算单应矩阵需得到序列图像之间的特征匹配点.为了获得稳定的、抗噪性强的同平面特征匹配点,方法采用了基于尺度不变特征变换(SIFT)算法和基于随机抽样一致性(RANSAC)算法的匹配策略.在一套真实的微型无人直升机系统上的实验证明,通过该方法得到的位姿信息可以达到无人直升机自主飞行所需的精度要求.     

基于双目光束法平差的机器人定位与地形拼接

为了实现自主移动机器人完成复杂智能任务,如路径规划和避障等,针对移动机器人在复杂未知环境中精确定位并对周围环境进行致密地形构建问题,提出一种基于双目光束法平差的机器人定位与致密地形拼接算法.利用安装在移动机器人上的立体相机获取图像序列,跟踪前后帧图像序列中的对应特征点,基于双目光束法平差优化(BBA)精确估计机器人位置姿态.对左右相机采集图像对进行立体匹配获取致密三维地形信息,结合定位时获取的旋转平移姿态,实现了地形的构建与拼接.实验结果表明,该算法具有较好的实时性和鲁棒性.     

平行多基线立体视觉图像校正

介绍了现有双目立体视觉校正算法的原理和过程,分析了其应用于多基线立体视觉系统的局限性,得出其产生原因是各摄像机光心位置不共线造成图像平面不共面.保持三目立体视觉系统中两个摄像机的光心位置不变,利用光心和基线构建三角形,将第三个摄像机的光心投影到前两个摄像机光心连线构成的基线上,使各摄像机的光心共线,然后使用双目视觉校正算法对三个摄像机进行校正.结果表明,算法可正确有效地校正平行三目立体视觉图像对,并可推广至摄像机数目多于三个的平行多基线立体视觉系统.     

基于三视图几何约束的摄像机相对位姿估计

针对从影像中恢复摄像机位姿的问题,提出基于三视图几何约束的位姿估计算法.利用强制选择机制对影像进行特征点提取,通过光流法和前后向误差实现相邻三帧影像的特征点匹配;推导基于本质矩阵优化分解的位姿估计,利用对极几何约束构建目标函数,通过迭代优化确定旋转矩阵的唯一解,优化了唯一解的确定方法,提高了相对位姿估计效率,得到第1、2摄像机矩阵;基于三视图的几何约束关系,由三焦点张量和匹配特征点建立目标函数,由迭代过程得到第3摄像机相对于第1摄像机的位姿参数.结果表明,提出算法的鲁棒性、精度以及算法效率均优于传统算法,能够快速、准确地估计摄像机相对位姿,可以实现对旋翼无人机的轨迹跟踪.     

基于双目视觉的探针姿态检测

针对微操作中针类末端执行器姿态检测的问题,设计了一种基于双目视觉的姿态检测系统。结合探针在空间坐标系与二维图像之间的空间位置转换关系,得到二维图像与空间坐标系的映射矩阵,并且消除图像畸变,得到校正后的图像;针对探针图像中目标特征不明显的问题,提出一种将仿射变换矩阵与探针几何学特征相结合的方法,成功提取了图像特征点进行匹配,得到一系列中轴线上点的三维坐标;采用最小二乘法拟合直线,得出探针的姿态向量。实验结果表明:利用两个CCD相机构成的双目立体视觉系统能快速、精确地检测针类装配端的三维姿态,实验误差在±0.3°范围内,适用于通过机器视觉引导工业机器人进行微操作。     

基于月貌匹配的视觉导航方法

针对月面探测器在接近、下降、着陆阶段所要完成的精确导航任务,提出了一种基于月貌匹配的月面探测器的视觉导航方法.月面探测器下降过程中,与探测器固联的CCD相机所拍摄的月面图像相对于图像数据库存在较大的旋转和缩放.采用Scale Invariant Feature Transform(SIFT)算法提取月貌特征并在图像数据库中进行匹配,克服了存在较大的旋转和缩放的图像的匹配问题.最后,利用月貌匹配点的地理信息,通过2D/3D位姿估计方法,估计出探测器在地理坐标系下绝对的位置和姿态.仿真结果表明该方法有效,可以应用在月面探测器在接近、下降、着陆段的导航任务中.     

基于平面运动约束的移动机器人位姿估计

针对大部分基于单目相机的位姿估计方法只适用于平面场景的问题,提出了一种同时适用于 平面场景和立体场景的单目位姿估计方法．首先,将所有图像与参考帧进行特征匹配;然后,提取每 帧图像中都出现的特征点的像素坐标,并结合地平面约束和相机内参矩阵构建出观测矩阵;其次, 对观测矩阵进行奇异值分解得到各帧图像的位姿估计,并利用约束矩阵解决奇异值分解不唯一问 题;最后,利用光束平差法优化图像位姿,得到机器人位姿的最优估计．实验结果表明：该方法能准 确对移动机器人进行位姿估计．     

双目立体视觉方法测量雷管药量高度

介绍了双目立体视觉系统的基本原理、摄像机标定技术以及对得到的点云图进行的后续处理。采用维视图像的CCAS单双目视觉标定算法软件对所用的VS078FC摄像机进行了标定,结果精确度高,用时短,实用性强。应用Geomagic studio软件进行点云处理去除噪声,误差小,数据完整。     

Monocular Vision Based Relative Localization For Fixed-wing Unmanned Aerial Vehicle Landing

基于单目视觉的固定翼无人机自主着陆定位研究

许彧文,曹云峰,张洲宇

（南京航空航天大学 航天学院, 南京 210000）

中文说明：

近年来,无人机自主着陆技术已成为无人机导航、制导与控制系统的核心技术。为解决自主着陆过程中固定翼无人机与跑道之间基于视觉的相对位置和姿态估计问题,本文利用机载相机拍摄的序列图像,通过边缘检测的方式获取跑道角点信息,进一步基于正交迭代算法确定六自由度的位姿参数：首先基于频域残差对图像进行显著性分析,通过连通域标记和候选框筛选估计跑道所在的感兴趣区域;然后在感兴趣区域中提取跑道的边缘直线,由于着陆末端跑道纵向边缘具有明显的长度和相位特征,在利用霍夫变换定位纵向边缘的基础上,结合跑道平面梯度信息估计横向边缘位置,解决了传统的霍夫变换计算耗时,且难以检测端点的问题;最后将角点图像坐标作为输入,通过线性算法获取旋转矩阵初值,在此基础上以目标空间误差为误差函数,通过正交迭代优化参数估计结果,图像点坐标误差较小时,该方法相比线性算法精度明显提升,且具有良好的实时性。

关键词：自主着陆,视觉导航,感兴趣区域,边缘检测,正交迭代

     

Vision algorithms for fixed-wing unmanned aerial vehicle landing system

Autonomous landing has become a core technology of unmanned aerial vehicle (UAV) guidance, navigation and control system in recent years. As a novel autonomous landing approach, computer vision has been studied and applied in rotary-wing UAV landing successfully. This paper aims to fixed-wing UAV and focus on two problems: how to find runway only depending on airborne front-looking camera and how to align UAV with the designated landing runway. The paper can be divided into two parts to solve above two problems respectively. In the first part, the paper firstly presents an algorithm of region of interest (ROI) detection, which is based on spectral residual saliency map, and then an algorithm of feature vector extraction based on sparse coding and spatial pyramid matching (SPM) is proposed, finally, ROI including designated landing runway is recognized by a linear support vector machine. In the second part, the paper presents an approach of relative position and pose estimation between UAV and landing runway. Estimation algorithm firstly selects five feature points on the runway surface, and then establishes a new earth-fixed reference frame, finally uses orthogonal iteration to estimate landing parameters including three parameters of distance, height and offset, and three pose parameters of roll, yaw, pitch. The experimental results verify the effectiveness of the algorithms proposed in this paper.     

基于特征匹配算法的双目视觉测距

距离测量作为障碍物检测以及路径规划的前提和基础是机器人研究领域的一个重要分支。在众多测距方法中,由于双目立体视觉具有信息丰富、探测距离广等优点被广泛应用。本文将改进的SIFT特征匹配算法应用到双目视觉测距与标定系统中。首先建立双目视觉测距模型,测量值由空间物点在左右摄像机下的像素坐标值决定;其次根据该模型的特点提出了基于平行光轴的双目立体视觉标定方法;最后利用改进的SIFT特征匹配算法,提取匹配点的像素坐标完成视觉测距。实验结果表明,根据测量数据对障碍物进行三维重建,相对距离与真实场景基本吻合,能够有效地指导机器人进行避障。     

非合作目标在轨服务最终接近段视觉导航算法

为解决在轨服务最终接近段传统单目视觉相对导航方法受相机视场限制以及非合作航天器无法设置人工靶标的问题,提出了以非合作航天器太阳帆板三角形支架的部分结构为测量目标的视觉相对导航算法.首先,设计了"自拍杆"相机安装结构和相机实时标定方案,给出了视觉相机安装角的计算方法;然后,基于逆投影原理构建满足三角形支架实际空间几何构型约束的优化模型,采用蚁群搜索算法求解特征点的景深,并应用绝对定位方法估计航天器之间的相对位置和姿态;最后,以非合作航天器在轨服务最终2 m~0 m的接近段为背景进行数学仿真,在相对距离小于1 m时,航天器之间的相对位置和相对姿态确定精度分别优于3 mm和0.2°,验证了算法的有效性和可行性.数学仿真结果表明:该相对导航方案可行,导航算法具有较高的精度,且相对导航的精度随着航天器之间的相对距离的逐渐减少而逐渐提高;同时,该算法对投影点测量误差具有较好的鲁棒性,在投影点测量误差较大时仍具有较高的精度.     

考虑运动加速度干扰的无人机姿态估计算法

为解决动态环境下无人机导航系统姿态估计易受传感器噪声和运动加速度干扰的难题,提出一种考虑运动加速度干扰的无人机姿态估计算法。首先,建立运动加速度估计模型,根据基于卡尔曼滤波的加速度误差模型和由外部传感器提供的速度信息实现对运动加速度的精确估计,利用运动加速度估计模型获得的运动加速度对加速度计的原始值进行修正,降低动态环境下运动加速度对姿态估计的干扰。随后,搭建基于互补滤波的姿态估计模型,利用磁力计信息和修正后加速度信息构建陀螺仪修正量,对陀螺仪原始值进行修正,设计互补滤波器滤除来自加速度计和磁力计的高频噪声和来自陀螺仪的低频噪声,避免传感器噪声信号对姿态估计的干扰。最后,利用无人机试飞过程中采集的传感器信息对该算法进行实验验证。实验结果表明,该算法可以精确估计无人机机动过程中所产生的运动加速度,有效减弱传感器噪声和运动加速度对姿态估计的干扰,该算法显著提高了无人机导航系统在动态环境下姿态估计的精度和抗干扰能力。     

基于SIFT特征点的双目视觉定位

提出了一种结合了SIFF特征点的双目立体视觉定位方法.介绍了对尺度、旋转、视角等变化具有良好鲁棒性的SIFT特征向量,利用SIFT特征向量匹配算法在双目视觉系统采集的左、右图片中分别检测目标、获取匹配的目标SIFT特征点.经过空间匹配点选择、标定点坐标计算等步骤获取左、右图片中具有空间位置一致性的目标标定点,并在摄像机坐标系中恢复目标标定点三维信息.实验结果表明,利用该方法进行目标定位具有较强的适应性.有一定的实用价值.     

基于宽基线立体视觉的远距离三维重建

针对月球车视觉导航中远距离场景的三维重建问题,提出一种基于相机自标定的宽基线立体视觉方法.该方法首先提取立体图对的尺寸不变性(SIFT)特征并进行匹配,得到特征点对应关系;再使用外极线几何约束描述立体图像校正的直射变换,对其Sampson误差使用Levenberg-Marquardt(LM)算法求得最小二乘最优解,完成相机参数估计和图像校正;对校正后的图像使用种子像素视差扩张算法进行宽基线立体匹配,根据匹配得到的视差完成目标场景三维重建.实验表明:该方法解决了月球车相机的现场标定难题,并能够解决宽基线立体视觉面临的光照差异、透视畸变、遮挡等问题,对远距离山脉等自然场景的三维重建效果良好,重建精度较高.