复杂场景点云数据的6D位姿估计深度学习网络

针对工业上常见的弱纹理、散乱摆放复杂场景下点云目标机器人抓取问题,该文提出一种6D位姿估计深度学习网络。首先,模拟复杂场景下点云目标多姿态随机摆放的物理环境,生成带真实标签的数据集;进而,设计了6D位姿估计深度学习网络模型,提出多尺度点云分割网络(MPCS-Net),直接在完整几何点云上进行点云实例分割,解决了对RGB信息和点云分割预处理的依赖问题。然后,提出多层特征姿态估计网(MFPE-Net),有效地解决了对称物体的位姿估计问题。最后,实验结果和分析证实了,相比于传统的点云配准方法和现有的切分点云的深度学习位姿估计方法,所提方法取得了更高的准确率和更稳定性能,并且在估计对称物体位姿时有较强的鲁棒性。     

特征自适应融合插值的点云语义分割算法

点云语义分割是场景理解的基础问题。大多数针对大场景点云的语义分割方法精心设计局部特征聚合模块以减少降采样点云过程中的信息损失，然而未能高效地利用多尺度局部特征推理点云语义信息。为此，文中提出一种多尺度特征自适应融合的插值方法，以实现更准确的大场景点云语义分割算法。首先，通过注意力机制的局部特征聚合模块学习点云内部的语义关系，描述局部模式的各项异性；然后，以不同的采样率随机地采样点云产生多尺度的稀疏局部特征图；最后，使用特征自适应融合的插值法代替广泛使用的最近邻插值法，恢复全分辨率的特征图，为原始密度的点云提供更准确的语义信息。在SemanticKITTI和S3DIS两个大场景点云数据集上对所提算法进行评估，结果表明，所提算法的平均交并比（mIoU）分别为54.24%、75.5%，平均准确率（mACC）分别达到88.92%、86.5%，比大多数主流算法的分割效果更加准确。     

基于视点特征直方图的激光点云模型的位姿估计

提出一种基于视点特征直方图的点云模型位姿估计 算法。首先在目标物体周围采 集三维点云,拼接后获得物体的完整点云模型;然后对点云模型计算其视点特征直方图, 构建特征数据 库;对待估计点云同样计算其特征直方图,使用KNN算法在数据库中搜索与之最接近的位 姿作为初始位 姿估计值;最后使用迭代最近点(ICP)算法将待估计点云精确配准到模型点云,从而获得坐 标系之间的相 对位姿。实验表明,这种方法对于物体位姿识别有很强的稳健性,能很好实现目标物体的 三维位姿计算。     

基于曲率关键点的点对特征三维目标识别

精准的三维(three-dimensional,3D) 目标识别对于机器人自主抓取至关重要,针对目前基于原始点对特征(point-pair feature,PPF) 的三维目标识别算法中存在识别速度慢、严重遮挡场景下识别率低的问题,提出了一种基于曲率关键点的点对特征三维目标识别算法。该算法根据点云法向量邻域夹角均值,快速估算点云曲率,以此提取关键点,通过对关键点计算点对特征,剔除了模型点对特征哈希表中存在的大量冗余点对。使用结合位姿聚类和假设检验的位姿优化算法,首先通过位姿聚类对候选假设位姿进行优化,其次位姿聚类后采用ICP (iterative closest point)算法对候选位姿进行细化,最后利用基于重合度计算匹配分数的假设检验算法滤除错误假设并得出最佳假设位姿。实验结果表明,在公开数据集上,所提方法能够获得95.2%的平均识别率,减少模型点对特征哈希表构建时间并且提高在严重遮挡场景下的识别率。     

基于最近迭代点的毫米波雷达点云数据处理方法

毫米波雷达具有小型化、低成本等特点,可全天候、全天时工作,在高级辅助驾驶系统中发挥着重要作用。基于多芯片级联方案的多发多收（multiple-input multiple-out, MIMO）技术可有效提高毫米波雷达的角度分辨率,使得毫米波雷达点云成像成为可能。针对毫米波雷达图像点云稀疏、噪点多等问题,本文提出了一种基于最近迭代点的毫米波雷达多帧融合和自适应邻域半径的DBSCAN算法。首先,利用MIMO毫米波雷达技术获得多帧观测场景目标点云图像。其次,利用辅助信息得到点云匹配的初值,通过最近迭代点算法估计平移旋转矩阵进行精确匹配,实现多帧数据融合以改善图像点云稀疏问题。然后,设计自适应阈值的DBSCAN算法去除噪声,获得目标的点簇信息,再对聚类后的点簇目标求取最小外接矩形,结合目标散射强度,实现对车辆和围栏等不同类型目标区分。最后,利用外场（典型停车场场景）测试数据,对本文所提算法的有效性进行了验证。     

风电场无人机巡检红外叶片图像拼接算法

针对无人机拍摄叶片红外图像背景冗余信息较多、拼接精度不高等问题，本文提出一种基于形态学改进Chan-Vese分割与局部特征匹配的红外风机叶片图像拼接算法，首先，对图像进行中值滤波降噪，使用形态学运算改进基于Chan-Vese模型的水平集算法，生成表达主体的掩膜。基于掩膜去除冗余背景提取局部Harris特征点；对掩膜进行二次形态学腐蚀处理，抑制边界锯齿像素上的伪特征点；最后，使用暴力匹配及随机抽样一致（Random Sample Consensus, RANSAC）算法筛选出有效匹配点对，计算单应性矩阵实现匹配拼接。与传统图像分割下Harris拼接算法相比，本文改进后的算法拼接精度有明显提高，在不同的测试场景下显示出较强鲁棒性。     

风电场无人机巡检红外叶片图像拼接算法

针对无人机拍摄叶片红外图像背景冗余信息较多、拼接精度不高等问题，本文提出一种基于形态学改进Chan-Vese分割与局部特征匹配的红外风机叶片图像拼接算法，首先，对图像进行中值滤波降噪，使用形态学运算改进基于Chan-Vese模型的水平集算法，生成表达主体的掩膜。基于掩膜去除冗余背景提取局部Harris特征点；对掩膜进行二次形态学腐蚀处理，抑制边界锯齿像素上的伪特征点；最后，使用暴力匹配及随机抽样一致（Random Sample Consensus, RANSAC）算法筛选出有效匹配点对，计算单应性矩阵实现匹配拼接。与传统图像分割下Harris拼接算法相比，本文改进后的算法拼接精度有明显提高，在不同的测试场景下显示出较强鲁棒性。     

面向室内动态场景的VSLAM

传统VSLAM算法基于静态场景实现,其在室内动态场景下定位精度退化,三维稀疏点云地图也会出现动态特征点误匹配等问题.文中在ORB-SLAM2框架上进行改进,结合Mask R-CNN进行图像的语义分割,剔除位于动态物体上的动态特征点,优化了相机位姿,得到了静态的三维稀疏点云地图.在公开的TUM数据集上的实验结果表明,结合...     

基于改进B-SHOT特征描述符的三维场景重建

针对三维场景重建中采用二进制方位直方图(B-SHOT)进行点云特征提取与匹配时,存在信息丢失导致匹配准确率降低的问题,文中采用一种改进的二值三维特征描述符DB-SHOT来进行特征提取与匹配以建立相邻点云之间的对应关系,结合随机抽样一致性算法(RANSAC)去除点云中的外点,并运用RANSAC的内点进行相邻位姿估计,进而进行相邻点云的融合。在保证匹配速度的前提下,解决B-SHOT信息丢失的问题,提高匹配准确率。通过采用标准数据集进行实验,验证了DB-SHOT作为三维场景重建特征描述符的可行性与有效性。     

大场景内建筑物点云提取及平面分割算法

提出一种从地面激光点云数据中提取建筑目标并进行分割的新方法,该方法利用半径渐变的主成分分析法确定各点局部几何特征(最佳半径,法向量、维度特征);根据几何特征将地面点从原始点云中剔除,将非地面点按距离聚类形成点云簇,并对点云簇进行整体特征分析,识别建筑物目标;依据点的局部特征设置区域增长法生长准则对建筑物目标进行平面分割并对分割结果进行优化。实验结果表明,该方法不仅能快速有效提取大场景中的建筑物目标进行分割,并且解决了传统区域增长法不稳定的问题,提高了建筑物点云平面分割的精确性和可靠性。     

基于单线激光雷达的目标车辆位姿检测方法

对目标车辆的信息进行高效、准确的检测是自动泊车、智能交通等领域的关键技术之一。针对智能泊车机器人对目标车辆进行近距离测量的需求,提出了一种基于单线激光雷达的车辆位姿检测方法。利用激光雷达扫描目标车辆底部区域,并使用DBSCAN聚类算法分割点云。将车轮点云簇视作L形特征,提出了一种基于特征点搜索的车轮拟合算法,同时给出了两种特征角点搜索准则。针对获取的车轮集合,提出了一种筛选目标车辆车轮的策略,假定了两种车辆位姿检测工况并设计了对应的算法。通过实车环境下的测试,验证了方法的实时性、准确性,满足了泊车机器人的位姿检测需求。     

基于点云的地平面初系数估测

提出了一种基于点云的地平面初系数估测算法。采用八叉树存储包含RGB和空间位置信息点云数据,通过比较相邻两帧树的叶节点来获取运动目标的局部点云。并使用随机采样一致性算法估计,由运动目标局部点云重心所构成的点集上的平面模型参数。同时,采用ISOCLUS算法对场景在法向空间和距离空间上进行两次聚类来分割平面。最终,以运动平面法向信息作为参考因素,从待选平面中标识出地平面点云数据。实验结果显示,该方法可有效地估测出地平面初系数。     

LSFP下的机器人视觉定位技术研究

针对当前点云的定位算法中,多平面分割效果差、误匹配以及定位精度不够高等问题,提出LSFP的定位思想和C-S分割算法,对目标物体进行定位。在深度相机场景下,利用点云处理算法初步获取目标的位姿,经手眼标定后,进行初步引导;再使用3D扫描仪进一步定位目标物体。结果表明：(1)C-S分割算法对多平面分割效果良好,能更准确地去除多余平面,减少点云数量。(2)在垂直于Z轴且Z轴坐标值为171 mm和-10 mm的平面上,仅PrimeSense的定位距离的均方根误差为7.3 mm和8.2 mm, LSFP下的定位距离的均方根误差为2.6 mm和3.2 mm。(3)LSFP定位思想能扩大场景定位的范围,提高物体的定位精度,具有良好的准确性。     

随机工件的点云场景CAD模型的快速识别与定位

工业机器人精准抓取工件的前提是能够获取到目标工件的位置与位姿的信息。提出一种在三维点云场景对随机摆放目标工件的快速、精准的识别与定位的方法。在复杂点云场景中随机采样并提取关键点组成随机点对表征局部特征,再与由物体CAD模型建立的三维匹配模板进行配准,获得一系列候选位姿。利用表面相似点占比多次优化位姿,确定目标工件最佳位姿。最后利用虚拟相机投影二维视图到图像坐标系直观呈现结果。选择汽车座椅连接件作为验证实验的实验对象,实验结果表明:目标工件平移方向上拟合误差可以达到0.3 mm左右,旋转的拟合误差可以达到0.8°左右,具有较高的稳定与高效性能。     

基于动态特征剔除的图像与点云融合的机器人位姿估计方法

针对动态物体影响传感器进行机器人位姿估计的问题,本文提出了一种基于动态特征剔除点云与图像融合的位姿估计方法。首先,YOLOv4和PointRCNN分别被用于识别图像和点云中的潜在运动目标并提取候选框。其次,在视觉定位方面,双目视觉与稀疏光流被用于路标点的构建与追踪,并根据候选框剔除动态特征点,随后构建重投影误差函数,通过基于RANSAC剔除的非线性优化方法求解相机位姿;在激光定位方面,提取前后帧的直线与平面特征点,并根据候选框进行筛选,基于特征点到直线或平面的距离构建误差函数,进而求解激光雷达位姿。为使系统不再局限于单一传感器的使用环境限制,通过自适应加权方法,有效融合了两种位姿结果。最后,通过KITTI数据集和动态场景采集的数据进行定量实验对比,验证了剔除动态特征后的位姿估计的精确性以及融合算法的有效性。     

融合注意力门控机制的大场景点云语义分割

室外大场景激光点云语义分割已成为3D场景理解、环境感知的关键性技术,在自动驾驶、智能机器人和增强现实(AR)等领域应用广泛。然而大场景的激光点云具有多目标、几何结构复杂,不同地物尺度变化大等特点,使得在稀疏的小目标点云(例如行人、摩托车等)上的分割性能较低。针对上述问题,本文提出一种融合注意力门控机制的室外点云语义分割算法,设计由注意力机制和多尺度上下文特征融合组成的注意力门控单元,提高对激光点云细粒度特征的表达,降低随机降采样过程中点云几何结构特征丢失程度,从而增强了网络对弱小目标的特征获取能力;同时设计基于共享MLP的平均池化单元,进一步简化自注意力局部特征聚合模块,有效地加速网络收敛,能高效地实现大场景点云的语义分割。本文方法在自动驾驶场景室外激光点云数据集SemanticKITTI上的实验表明,与文献RandLA Net相比,收敛速度提升483,平均交并比(mIoU)由539提升至545,提高06,尤其是在小目标上交并比(IoU)均有明显提高,person类和motorcycle类的交并比分别提高08和54。     

基于点云凹凸性和欧式聚类的工件分割方法

在激光点云下对电子元器件的分割中,工件之间容易出现散乱分布的复杂情况,导致传统点云分割算法无法实现正确的分割与计数。提出一种利用LCCP与欧式聚类的点云分割方法。使用基于表面凹凸性的LCCP算法进行点云粗分割,分离相互堆叠和碰撞面积不大的工件,并提取其余碰撞工件的粗分割点云簇;其次,利用基于法线估计的边界检测方法剔除所提取点云簇的点云边缘点,使相互接触的工件点云在空间上产生分离后,再使用欧式聚类算法进行细分割;最后合并粗分割与细分割的结果以完成分割。结果表明,在复杂情况下所提方法能准确分割目标工件,分割正确率相比于LCCP、区域生长和欧式聚类算法分别提升了35.9%、66.7%和80%,平均每10个目标耗时约290 ms,具有良好的准确性和实用性。     

自适应局部邻域特征点提取和匹配的点云配准

点云配准是三维重建的关键技术之一。针对点云匹配中迭代最近点算法(ICP)速率低、对初始位置要求高的问题,提出了一种基于自适应局部邻域特征点提取和匹配的点云配准方法。首先根据局部表面变化因子与平均变化因子的大小关系,自适应地提取特征点;其次利用快速点特征直方图（FPFH）综合描述每个特征点的局部信息,结合随机抽样一致性（RANSAC）算法实现粗配准;最后根据得到的初始变换矩阵和基于特征点的ICP算法实现精配准。对斯坦福数据集、含噪声的点云以及场景点云进行配准实验,实验结果表明:所提出的特征点提取算法能高效地提取点云的特征;相比于其他特征点检测方法,所提方法在粗配准中的配准精度和配准速度更高,且抗噪性能更好;与ICP算法相比,基于文中特征点的ICP算法在斯坦福数据集和场景点云中的配准速度提升了约10倍,在含噪声的点云中,能根据所提取的特征点高效地进行配准。该研究为提高三维重建和目标识别的匹配效率提供了一种高效的方法。     

道路场景下毫米波雷达点云聚类处理算法

毫米波雷达具有体积小、分辨率高,可在风、雨、雾等恶劣条件下工作的优点,但由于场景的复杂性在实际工作中会出现点云过分割、虚警等问题。因此,本文提出一种基于马氏距离与欧氏距离结合的自适应DBSCAN聚类算法,依据点云的距离选取相似度度量方法,在密度较大处选择马氏距离,在密度较小处选择欧氏距离,依据“属于同一目标点云,位置、速度、强度接近”这一规律进行筛选。聚类完成后,采用非参数核密度估计算法获取点簇内点云密度,根据点云分布特点估计目标位置,并依据最小二乘法完成多普勒速度分解,估计目标横纵向速度。最后,通过实际道路场景(隧道、公路)测试数据对本文算法的可靠性与稳定性进行验证。     

基于Transformer的道路场景点云分类与分割方法

针对多目标识别过程中点云分类和分割精度不高的问题,提出了一种基于改进Transformer模型的点云分类与分割方法DRPT(Double randomness Point Transformer),该方法在Transformer模型卷积投影层创建新的点嵌入,利用局部邻域的动态处理在数据特征向量中持续增加全局特征属性,从而提高多目标识别中点云分类和分割的精度。实验中采用了标准基准数据集(ModelNet40、ShapeNet部分分割和SemanticKITTI场景语义分割数据集)以验证模型的性能,实验结果表明:DRPT模型的pIoU值为859,比其他模型平均高出35,有效提高了多目标识别检测时点云分类与分割精度,是对智能网联技术发展的有效支撑。