基于线结构光视觉的方形状物体位姿估计

工业生产制造领域存在大量的方形状物体,与之相关的机器人自动化作业需要获取方形状物体的位姿信息,为此提出了一种基于线结构光视觉的方形状物体位姿估计方法.首先搭建硬件系统并完成标定;然后采集图像进行处理并提取出能够表达方形状物体位姿信息的特征点,对这些特征点进行矩形拟合,获取位姿参数;最后对所开发的检测系统进行了测试评估实...     

基于三维点云的堆叠箱式物体位姿检测算法研究

堆叠物体检测算法是机械臂在物流场景下实现货物自主分拣的关键感知技术,主要难点是如何在环境复杂、高度非结构化的工况中准确而高效的识别出待分拣物体,并得到其三维位姿。常用方法中,传统区域生长算法在高曲率部分表现欠佳,考虑特征较少,造成分割准确率较低,LCCP算法容易导致欠分割且时间效率较低。为了解决以上问题,提出了一种基于三维点云的堆叠箱式物体位姿检测算法。首先对数据采取降采样、离群点移除等预处理手段;然后建立点云K-D树并计算点云特征,基于改进区域生长的方法,结合邻域投票策略,进行平面提取;之后并行化实现平面再处理的过程;最后分析平面间的相邻性和凹凸性,进行物体提取并拟合三维包围盒,得到其三维位姿。实验结果表明该算法准确度较高、速度较快,具有一定的实际应用价值。     

采用辅助学习的物体六自由度位姿估计

为了在严重遮挡以及少纹理等具有挑战性的场景下,准确地估计物体在相机坐标系中的位置和姿态,同时进一步提高网络效率,简化网络结构,本文基于RGB-D数据提出了采用辅助学习的六自由度位姿估计方法。网络以目标物体图像块、对应深度图以及CAD模型作为输入,首先,利用双分支点云配准网络,分别得到模型空间和相机空间下的预测点云;接着,对于辅助学习网络,将目标物体图像块和由深度图得到的Depth-XYZ输入多模态特征提取及融合模块,再进行由粗到细的位姿估计,并将估计结果作为先验用于优化损失计算。最后,在性能评估阶段,舍弃辅助学习分支,仅将双分支点云配准网络的输出利用点对特征匹配进行六自由度位姿估计。实验结果表明：所提方法在YCB-Video数据集上的AUC和ADD-S<2 cm结果分别为95.9%和99.0%;在LineMOD数据集上的平均ADD(-S)结果为99.4%;在LM-O数据集上的平均ADD(-S)结果为71.3%。与现有的其他六自由度位姿估计方法相比,采用辅助学习的方法在模型性能上具有优势,在位姿估计准确率上有较大提升。     

智能换电站电池包锁止机构位姿视觉估计

面向电动汽车的电池换电需求,对换电站电池包对接中的锁止机构定位问题,提出了一种基于点云分割的电池包锁止机构6D位姿估计方法。该方法使用YOLOv5网络从场景中分割出锁止机构的点云,并使用体素滤波与移动最小二乘拟合进行点云的滤波与平滑;通过引入点云分割网络预测点云标签,为快速点特征直方图特征加入全局语义特征,弥补快速点特征直方图只有点云局部特征的缺陷,并根据该特征进行随机抽样一致性刚体点云配准,估计锁止机构点云的6D位姿,最后使用迭代最近点方法算法校正位姿估计结果。实验结果表明,基于点云分割的锁止机构6D位姿估计算法精度较高,可以克服环境噪声导致的误匹配,精确获取锁止机构位姿,其位姿估计的角度误差可以达到1.90°,位移误差可以达到1.4 mm,RMSE可以达到1.5 mm,为换电站电池对接定位提供了有效的解决途径。     

三维点云特征的工件识别与位姿估计

针对工业机器人在抓取工件过程中需要识别和定位工件的问题,提出了一种基于改进法矢计算的点云局部描述符SHOT的三维物体识别与位姿估计的方法.首先,对三维扫描仪获取工件表面点云进行预处理和分割,得到用于匹配的工件点云模板数据集;其次,采用均匀采样算法提取特征点集,通过SHOT特征描述符对场景点云与模板点云提取的特征点进行点...     

基于RGB图像的机械臂目标抓取位姿估计算法

针对抓取过程中目标物体部分被遮挡的问题,设计了一种基于多尺度特征融合的深度卷积神经网络提取3D目标的投影特征点,并根据不同投影特征点数采用不同的多点透视成像算法。网络使用计算机自动生成的合成数据进行训练,经过验证,使用合成数据训练的网络也能在真实场景中有效工作。最后,搭建了一个基于机器人操作系统的UR5机械臂抓取平台,将训练好的模型部署到该平台上进行抓取实验,结果表明所提方法能够估计出目标物体的位姿,并在实际场景中抓取位姿未知的物体。     

动态场景下基于实例分割和三维重建的多物体单目 SLAM

针对大多数SLAM系统在动态环境下相机位姿估计不准确与环境语义信息利用不充分的问题,提出一种基于实例分割的关键帧检测和贝叶斯动态特征概率传播的动态物体检测算法,并对环境中存在的静态物体三维重建,以此构建一个动态环境下的多物体单目SLAM系统。该系统对关键帧输入图像进行实例分割与特征提取,获取潜在运动物体特征点集合与静态物体特征点集合;利用非运动物体特征点集合获取帧间位姿变换,普通帧利用贝叶斯对动静态特征点进行概率传播,利用静态特征点集实现对相机位姿的精准估计;在关键帧中对静态物体进行联合数据关联,数据充足后进行多物体三维重建,构建多物体语义地图,最终实现多物体单目SLAM。本文在TUM与Boon公开数据集上的实验结果表明,在动态场景下,相较于ORB-SLAM2算法,绝对位姿误差的均方根误差平均降低54.1%和58.2%。     

焊缝位姿及焊枪位姿的模型

针对机器人弧焊条件下的特殊要求,建立了焊缝位姿和焊枪位姿模型,以坐标系的形式定量描述焊缝及焊枪的位置和方向,确定了能够准确且严格地描述焊缝的焊接位置和焊枪姿态的参数：焊缝倾角、焊缝转角及焊枪工作角和行走角,并给出了计算方法。上述参数不但计算简便,而且可以直接代表焊接位置和焊枪姿态对焊接质量的影响因素。模型对于焊接工艺的建模与仿真以及机器人焊接的建模与离线编程具有非常重要的意义。     

基于几何扩展卡尔曼滤波的四旋翼位姿估计算法

主要对基于四旋翼飞行器的位姿估计算法进行研究,设计了基于惯性导航系统和全球定位系统(GPS)的几何扩展卡尔曼滤波算法。首先采用旋转矩阵表示姿态,并构造了相应的旋转矩阵误差,同时将陀螺仪和加速度计的漂移通过几何变换表示在同一坐标系下求差以获得漂移误差。在此基础上,推导了几何扩展卡尔曼滤波算法。最后,通过MATLAB仿真验证所设计算法的性能,仿真实验表明,所提出的算法可实现四旋翼飞行器的位姿估计。     

基于模型的位姿估计中优化方法研究

介绍了基于模型的位姿估计中所使用的一些优化方法.为了提高位姿估计的精度,摄像机的标定参数必须足够精确,这就对标定过程的非线性优化算法提出了很高的要求,采用了一种新的优化目标函数,用来最小化控制点间的三维重建误差,从而使标定参数是全局最优;在双像机位姿估计中,引入了实时遗传算法进行全局搜索,加快了算法的收敛速度.最后的实验证明了这些方法的正确性并显示出这些方法在精度上比传统方法有了较大程度的提高.     

场景中平面物姿态鲁棒估计

针对场景中平面物姿态估计问题,提出了一种鲁棒的估计方法,首先将问题转化成一个最小化问题,然后搜索极大值,采用迭代算法将极大值估计屏蔽获得次大值,然后将两者进行比较,较大的那个即为最优估计,结果表明该方法可以提高姿态估计的鲁棒性。     

基于联合标定的图像分割

针对普适环境下人体区域的提取问题,提出一种基于彩色摄像头和深度摄像头联合标定的图像分割方法。首先根据深度摄像头采集的深度信息易处理和受外界环境影响小的优点,利用大律法从深度图像中快速提取出人体区域;然后建立世界坐标系中彩色图像坐标系和深度图像坐标系的对应关系,实现彩色信息和深度信息的相对位置映射;最后根据分割的深度图像及其在彩色图像中的映射,在彩色图像中完成人体区域分割。通过在复杂背景和不同光照条件下的图像分割实验,验证了本方法具有良好的精度和鲁棒性。     

基于粒子滤波的壁面爬行机器人位姿跟踪研究

为提高壁面爬行机器人的智能化水平,提出一种利用粒子滤波算法进行机器人位姿跟踪的方法。所述方法在机器人身上安装了发声器,将机器人位姿跟踪问题转换为声源跟踪问题处理。设计了一个声阵列传感器,采用可控波束形成定位技术观测机器人位姿,利用里程计描述机器人的位姿变换动态模型,并最终建立了基于贝叶斯估计的粒子滤波位姿跟踪算法。搭建了实验平台进行现场实验,结果表明该方法可行并有实际应用价值。     

基于图像识别的温室自动灌溉水车系统

研究了温室内灌溉对象的实时采集和识别技术,以及图像处理与分析软件系统的开发.建立了基于图像识别的自动灌溉水车系统,对信号采集、图像处理、数据传输交换等主要问题作了较深入的研究.提出了基于色彩因子的图像分割算法,和传统方法相比,在不影响分割效果的同时大大提高了图像分割处理的实时性和准确性.试验结果表明,该系统运行良好,具有广阔的应用前景.     

弧焊机器人焊炬姿态规划系统的研究

为提高弧焊机器人的适应性和自动规划功能，研究了一种空间全位置焊接条件下的焊炬姿态自动规划系统。该系统借助于相应的摄像机标定软件，计算测试软件和焊炬姿态规划软件，协调计算机视觉，信号采集，图像处理等模块检测焊缝的空间信息，然4后查询焊炬姿态优化数据库，运行离线偏程等离子模块，实现自动规划弧焊机器人的焊炬姿态，采用研制的爆炬姿态规划系统在空间全位置条件下进行焊接实验，结果表明，该系统能保证爆接中焊缝的成形良好。     

基于视觉的四足机器人彩色目标的识别

视觉系统是robocup四足组的重要组成部分,场上所有信息均通过视觉系统采集和传递。因此如何高效准确的处理彩色图像信息是整个视觉系统的关键问题。这里使用了一种改进了的基于阈值的颜色判定法,并采用游程连通性分析法进行彩色区域分割,从而达到了使机器人准确快速认知当前环境的目的。     

图像处理技术在特殊目标识别中的应用

探索了图像增强、图像分割、图像识别的实用方法，经多级图像处理，提高了对比度，锐化了目标边缘，使目标轮廓更加清晰，从而把重点识别目标从背号中有效分割出来，然后对处理后的图像进行目标真伪识别，并用Matlab程序予以实现，改善了机器视觉系统在目标识别方面的应用效果。     

基于CT图像的肺部肿瘤三维分割研究

肺部CT图像的三维分割计算机肺部肿瘤三维辅助诊断系统的关键技术之一,肿瘤与周围组织的复杂性造成分割困难。利用Connected Threshold及Fast Marching算法,通过两种途径实现了肺部肿瘤的三维分割,并经过实验证明这两种三维分割方法的有效性,为医务人员提供了更为直观逼真的肿瘤立体图像。     

基于HSI三分量独立性木材缺陷图像分割

HSI模型的彩色图像分割方法具有传统的RGB彩色图像分割所不具有的出色的分量独立性和色彩的真实性,具备良好的易分割的特点。提出首先将图像转化为HSI图像,然后根据各分量的特点单独进行分割,最后融合处理后的分量,得到准确的缺陷图样。该方法克服了单纯使用灰度图像分割不能准确定位缺陷边缘的弊端,同时对于木材图像纹理等细节信息具有较好的鲁棒性。试验的结果表明该方法即时准确有效。     

基于位姿反馈的三臂空间机器人抓捕轨迹规划

以三臂空间机器人为研究对象,针对经历奇异位形时出现的位姿误差问题,提出一种基于位姿误差反馈的轨迹规划算法。根据系统一般运动学方程并结合动量守恒方程建立系统运动学模型,利用位姿期望指令得到误差运动方程。以关节角速度为控制量,设计了基于位姿误差反馈的控制率,使闭环系统的跟踪误差按指数速度收敛。该方法能够减小机器人奇异点邻域内的位姿跟踪误差,且在离开奇异区域后能完全消除误差。仿真结果证明了该方法的有效性。