一种自动、快速的Kinect标定方法

针对目前Kinect传感器人工标定方法误差大、速度慢等问题,提出一种自动、快速的Kinect传感器外参标定方法。首先,根据彩色图像提取的角点,生成彩色图像的角点集合;其次,为了实现角点点云的自动提取,对点云图像进行深度分割,提取棋盘格点云,采用三维哈夫(Hough)变换检测方法将棋盘格点云投影到深度图像的模板平面上,在深度图像模板中提取深度图像中的角点;然后,将深度图像中的角点映射到棋盘格点云中,形成角点点云;最后,将角点点云与彩色图像的角点集合进行配准,得到角点的3D空间坐标,进而计算出深度相机到彩色相机的姿态变换矩阵。实验结果表明,本文提出的算法在保证相机标定精度的前提下,将相机参数的计算时间从平均218ms降低到166ms,实现了自动、快速的Kinect相机标定。     

基于特征匹配的激光雷达和相机外参标定方法

智能驾驶系统的车载传感信息通常由激光雷达信息和相机信息融合而成,精确稳定的外参数标定是有效多源信息融合的基础。为提高感知系统鲁棒性,文章提出一种基于特征匹配的激光雷达和相机标定方法。首先,提出点云数据球心算法和图像数据椭圆算法提取特征点的点云三维坐标和像素二维坐标;接着,建立特征点在激光雷达坐标系和相机坐标系下的点对约束,构建非线性优化问题;最后,采用非线性优化算法优化激光雷达和相机的外参数。利用优化后的外参数将激光雷达点云投影至图像,结果显示,激光雷达和相机联合标定精度横向平均误差和纵向平均误差分别为3.06像素和1.19像素。文章提出的方法与livox＿camera＿lidar＿calibration方法相比,平均投影误差减少了40.8%,误差方差减少了56.4%,其精度和鲁棒性明显优于后者。     

单目相机-3维激光雷达的外参标定及融合里程计研究

针对单目相机与3维激光雷达的融合里程计问题,提出了双阶段外参标定方法和基于混合残差的融合里程计方法.双阶段相机-激光雷达外参标定结合了基于运动和基于互信息2种标定方法.第1阶段为基于运动的外参标定法,在无初值的情况下得到外参的粗估计.第2阶段为基于互信息的外参标定法,以第1阶段的结果作为初值,利用互信息原理校准激光雷达反射率和相机灰度值,来优化标定结果.为进一步提高标定精度,第2阶段采用了一种针对稀疏激光雷达点云的遮挡点检测方法.所提出的双阶段外参标定方法在无需预设初值的前提下保证了标定结果的精度.在此基础上,提出了一种基于混合残差的相机与激光雷达融合里程计方法.该方法同时利用图像的直接和非直接图像特征计算重投影残差和光度残差.然后将不同类型的残差统一到非线性优化框架下,实现里程计估计.针对激光雷达数据稀疏性带来的深度信息缺失的问题,提出了一种基于颜色信息的深度插值方法,有效补充了特征点数量.最后,基于实物和公共数据集实验,对所提出的外参标定和融合里程计算法的鲁棒性和精度进行了评估.实验结果表明,所提出的外参标定方法可以在没有初值的情况下,给出精确的外参估计;所提出的融合里程计方法在公共数据集上和实物实验中均表现出了良好的估计精度和鲁棒性.     

融合图像边缘的区域生长点云分割算法

为了解决传统区域生长点云分割算法因种子点选择不当或者生长策略设计不当导致的欠分割或过分割现象，本文提出利用图像中目标对象边缘得到目标点云边缘点作为种子点的区域生长点云分割算法.首先通过激光雷达与相机联合标定融合采集到的点云与图像，然后根据图像中目标对象边缘以及图像与点云的映射关系提取出目标对象点云的边缘点，接着以边缘点为种子点，根据边缘的性质设计出相关的生长策略，最后进行区域生长分割得到目标点云.实验结果表明，相比其它三种主流点云分割算法，本文算法可以从数据量大的稠密点云中以高精度分割出目标点云，并且有效避免欠分割与过分割现象.     

基于靶标内点与边缘角点双重约束的激光雷达与相机联合标定

针对激光雷达与相机联合使用过程中存在的空间位姿不一致问题，提出一种基于靶标内点与边缘角点双重约束的激光雷达与相机联合标定方法。该方法以刚体变换作为二者之间的变换模型，以任意矩形作为靶标，通过RANSAC 直线拟合获取交点获取靶标在图像中的角点，通过对原始点云进行分割与滤波操作后获得对应的靶标点云。获取靶标点云后，将其分为内点与边缘角点，并分别建立基于内点与边缘角点的损失函数模型，最后进行模型优化求解出最优配准参数。实验表明，在15-28m 范围内，三维点云的重投影准确率为94.67%，考虑到激光雷达本身     

基于梯形棋盘格的摄像机和激光雷达标定方法

针对无人车（UGV）自主跟随目标车辆检测过程中需要对激光雷达（LiDAR）数据和摄像机图像进行信息融合的问题,提出了一种基于梯形棋盘格标定板对激光雷达和摄像机进行联合标定的方法。首先,利用激光雷达在梯形标定板上的扫描信息,获取激光雷达安装的俯仰角和安装高度;然后,通过梯形标定板上的黑白棋盘格标定出摄像机相对于车体的外参数;其次,结合激光雷达数据点与图像像素坐标之间的对应关系,对两个传感器进行联合标定;最后,综合激光雷达和摄像机的标定结果,对激光雷达数据和摄像机图像进行了像素级的数据融合。该方法只要让梯形标定板放置在车体前方,采集一次图像和激光雷达数据就可以满足整个标定过程,实现两种类型传感器的标定。实验结果表明,该标定方法的平均位置偏差为3.5691 pixel,折算精度为13 μm,标定精度高。同时从激光雷达数据和视觉图像融合的效果来看,所提方法有效地完成激光雷达与摄像机的空间对准,融合效果好,对运动中的物体体现出了强鲁棒性。     

点云下地平面检测的RGB-D相机外参自动标定

目的 RGB-D相机的外参数可以被用来将相机坐标系下的点云转换到世界坐标系的点云,可以应用在3维场景重建、3维测量、机器人、目标检测等领域。 一般的标定方法利用标定物（比如棋盘）对RGB-D彩色相机的外参标定,但并未利用深度信息,故很难简化标定过程,因此,若充分利用深度信息,则极大地简化外参标定的流程。基于彩色图的标定方法,其标定的对象是深度传感器,然而,RGB-D相机大部分则应用基于深度传感器,而基于深度信息的标定方法则可以直接标定深度传感器的姿势。方法 首先将深度图转化为相机坐标系下的3维点云,利用MELSAC方法自动检测3维点云中的平面,根据地平面与世界坐标系的约束关系,遍历并筛选平面,直至得到地平面,利用地平面与相机坐标系的空间关系,最终计算出相机的外参数,即相机坐标系内的点与世界坐标系内的点的转换矩阵。结果 实验以棋盘的外参标定方法为基准,处理从PrimeSense相机所采集的RGB-D视频流,结果表明,外参标定平均侧倾角误差为-1.14°,平均俯仰角误差为4.57°,平均相机高度误差为3.96 cm。结论 该方法通过自动检测地平面,准确估计出相机的外参数,具有很强的自动化,此外,算法具有较高地并行性,进行并行优化后,具有实时性,可应用于自动估计机器人姿势。     

开放道路中匹配高精度地图的在线相机外参标定

目的 相机外参标定是ADAS（advanced driver-assistance systems）等应用领域的关键环节。传统的相机外参标定方法通常依赖特定场景和特定标志物,无法实时实地进行动态标定。部分结合SLAM（simultaneous localization and mapping）或VIO（visual inertia odometry）的外参标定方法依赖于点特征匹配,且精度往往不高。针对ADAS应用,本文提出了一种相机地图匹配的外参自校正方法。方法 首先通过深度学习对图像中的车道线进行检测提取,数据筛选及后处理完成后,作为优化问题的输入;其次通过最近邻域解决车道线点关联,并在像平面内定义重投影误差;最后,通过梯度下降方法迭代求解最优的相机外参矩阵,使得像平面内检测车道线与地图车道线真值重投影匹配误差最小。结果 在开放道路上的测试车辆显示,本文方法经过多次迭代后收敛至正确的外参,其旋转角精度小于0.2°,平移精度小于0.2 m,对比基于消失点或VIO的标定方法（精度为2.2°及0.3 m）,本文方法精度具备明显优势。同时,在相机外参动态改变时,所提出方法可迅速收敛至相机新外参。结论 本文方法不依赖于特定场景,支持实时迭代优化进行外参优化,有效提高了相机外参精确度,精度满足ADAS需求。     

采用棋盘格靶标的全自动相机标定方法

为了去除相机标定过程中的人为干预,提出了一种采用改进的棋盘格靶标的全自动相机标定方法。识别出每幅标定图像中的四个标志圆,利用四个标志圆圆心的图像坐标和物理坐标计算二维射影变换矩阵。依据该射影变换矩阵计算出棋盘格角点的初始图像位置,接着提取亚像素精度的角点位置。迭代求解需要标定的相机参数。由实验可知,该全自动相机标定方法的棋盘格角点识别能力和相机标定精度,与Bouguet的相机标定工具箱相当,且可以显著地减少标定时间和工作量。利用20幅分辨率为640×480的靶标图像标定相机仅需16 s。     

车载激光点云道路标线提取方法

针对车载激光点云中道路标线的强度随扫描距离与扫描入射角等因素变化较大而难以提取的问题,提出了一种在强度特征图像中进行边缘检测的道路标线提取方法。该方法首先将道路面点云投影成强度特征图像,然后在图像上检测图像边缘,并根据道路标线的几何特征进行连通分析,提取道路标线边缘,最后通过道路标线边缘信息从道路面点云中提取道路标线候选点云,并引入高斯混合模型剔除路面噪声点,得到最终的道路标线点云。3份测试数据的实验结果表明,该方法提取道路标线的平均完整率和平均正确率分别为93%和97%。     

基于双目视觉的板材平面测量研究

针对传统人工测量板材尺寸精度较低、工作量大、易导致板材表面受损等局限,基于双目视觉技术设计了一种板材尺寸视觉测量系统;通过双目相机采集棋盘格图像,采用MATLAB进行相机标定和图像校正,拍摄左右图像并通过半全局立体匹配算法(SGM,semi global matching)进行特征点立体匹配,重建出目标三维点云模型;为提高目标特征点坐标获取的准确性,提出基于HARRIS的亚像素检测方法;采用区域生长算法结合膨胀和腐蚀操作提取板材表面轮廓,根据三角测量原理计算出板材轮廓上各点的三维坐标从而实现板材的尺寸测量,并进行点云重建增强三维展示效果;实践结果表明亚像素检测方法在角点提取上存在优势,在实际板材测量应用中实现了高精度尺寸测量,满足了工业测量需求。     

伪点云修正增强激光雷达数据

目的 激光雷达在自动驾驶中具有重要意义,但其价格昂贵,且产生的激光线束数量仍然较少,造成采集的点云密度较稀疏。为了更好地感知周围环境,本文提出一种激光雷达数据增强算法,由双目图像生成伪点云并对伪点云进行坐标修正,进而实现激光雷达点云的稠密化处理,提高3D目标检测精度。此算法不针对特定的3D目标检测网络结构,是一种通用的点云稠密化方法。方法 首先利用双目RGB图像生成深度图像,根据先验的相机参数和深度信息计算出每个像素点在雷达坐标系下的粗略3维坐标,即伪点云。为了更好地分割地面,本文提出了循环RANSAC （random sample consensus）算法,引入了一个分离平面型非地面点云的暂存器,改进复杂场景下的地面分割效果。然后将原始点云进行地面分割后插入KDTree （k-dimensional tree）,以伪点云中的每个点为中心在KDTree中搜索若干近邻点,基于这些近邻点进行曲面重建。根据曲面重建结果,设计一种计算几何方法导出伪点云修正后的精确坐标。最后,将修正后的伪点云与原始激光雷达点云融合得到稠密化点云。结果 实验结果表明,稠密化的点云在视觉上具有较好的质量,物体具有更加完整的形状和轮廓,并且在KITTI （Karlsruhe Institute of Technology and Toyota Technological Institute）数据集上提升了3D目标检测精度。在使用该数据增强方法后,KITTI数据集下AVOD （aggregate view object detection）检测方法的AP_3D-Easy （average precision of 3D object detection on easy setting）提升了8.25%,AVOD-FPN （aggregate view object detection with feature pyramid network）检测方法的AP_BEV-Hard （average precision of bird’s eye view on hard setting）提升了7.14%。结论 本文提出的激光雷达数据增强算法,实现了点云的稠密化处理,并使3D目标检测结果更加精确。     

一种针孔相机与三维激光雷达外参标定方法

针对针孔相机和三维激光雷达的外参标定问题,提出了一种新的方法:利用相机坐标系和激光坐标系下棋盘面的对应性,将外参标定转换为三维空间中旋转、缩放矩阵的求解问题.每帧数据可以提供4个约束,最少只需3帧数据可求解外参矩阵.方法原理简单易懂,直观明了地解释了失效退化原因.仿真实验与真实数据实验表明:提出的方法可以得到高精度的外参矩阵,且在采样帧数较少的情况下依旧可以获得很好的标定效果.     

可变半径Alpha Shapes提取机载LiDAR点云建筑物轮廓

目的 机载激光雷达（light detection and ranging,LiDAR）能够快速获取建筑物表面的3维点云,为提取建筑物轮廓提供重要的数据支撑,但由于激光脚点的随机性和点云自身的离散性,常规固定半径Alpha Shapes（A-Shapes）算法难以兼顾轮廓提取的精细度和完整度,且在点数量较大情况下计算效率较低。因此,提出一种基于网格的可变半径Alpha Shapes方法用于提取机载LiDAR点云建筑物轮廓。方法 对3维点云进行投影降维,对投影后2维离散点的范围构建规则格网,接着根据网格内点云填充情况筛选出边界网格,计算边界网格的平滑度并加权不同的滚动圆半径,再以边界网格为中心生成3×3邻域网格检测窗口,利用滚动圆原理提取窗口内点集的边界点,迭代检测直到所有边界网格遍历完成,最后获取点云的完整轮廓。结果 在精度评价实验中,与固定半径A-Shapes方法和可变半径Alpha Shapes（variable radius Alpha Shapes,VA-Shapes）方法相比,若建筑物以直线特征为主且边缘点云参差不齐,则本文方法的提取效果不理想;若建筑物含有较多拐角特征,则本文方法的提取效果较好。在效率评价实验中,与A-Shapes方法、VA-Shapse方法以及包裹圆方法相比,若点云数据量较小,则4种方法的耗时差距不大;若数据量较大,则本文方法和包裹圆方法的耗时远小于固定半径A-Shapes方法。实验结果表明,本文提出的轮廓提取方法适用于多种形状的建筑物点云。从轮廓完整性、几何精度以及计算效率等几方面综合考虑,本文方法提取建筑物点云轮廓效果较好。结论 本文提出的基于网格的可变半径Alpha Shapes建筑物点云轮廓提取方法结合了网格划分和滚动圆检测的优点,能够有效提取机载LiDAR建筑物点云顶部轮廓,具有较高的提取效率和良好的鲁棒性,提取的轮廓精度较高。     

基于形状识别的X型棋盘格角点检测

棋盘格角点检测是相机标定的一个重要环节,其准确率直接影响相机标定的精度,常规角点检测存在对棋盘格图像质量要求较高、检测准确率不高的问题.对此,依据棋盘格图像灰度分布的对称性,利用双层增强滤波器将其角点区域增强为X形状,待检测角点即为X形状中两个分支的交点,将角点检测问题转换为X形状的识别.进行X形状识别时,首先提取待识别区域像素的极坐标作为形状识别的初始特征集合,经特征选择后依据角度特征进行X形状识别.最后在识别出的角点区域内通过直线拟合确定亚像素级角点.实验结果表明,所提出方法进行棋盘格角点检测的准确率较高,且抗干扰能力较强.     

散焦模糊量估计的相机加权标定方法

相机标定在计算机视觉领域中有着至关重要的作用.绝大多数相机标定方法假设相机为针孔模型,且需要良好聚焦的图像来保证相机内外参估计的准确性.然而,这些条件会受到相机景深的影响.在薄透镜相机模型假设下,提出了一种加权相机标定的方法,其权重考虑了控制点的模糊量信息.首先对棋盘格标定物上的每一个角点进行散焦模糊量估计,在标定过程中,将散焦模糊量的大小作为一个权重加入到标定能量函数最小化过程中,使得标定精度得到提高.该方法简单高效,不需要额外的数码设备或者特别定做的标定物.在Intel Core i7处理器的计算机下,使用合成数据以及真实数据上进行的实验结果表明,文中方法能够有效减小重投影误差,提高张正友标定方法的标定精度.     

基于小波变换的油液金属颗粒检测算法研究

为了实时掌握发动机滑油系统的磨损状况,需要在线监测系统连续监测发动机内部磨损情况.随着发动机的工作时间与磨损状态的不同,其金属磨粒的浓度、成分、尺寸等参数均发生不同的变化.因此,滑油油液中金属颗粒参数的变化可以作为重要指标来反映发动机的磨损状态,需要专门的传感器系统进行实时在线监测.但由于使用环境等因素影响,往往会使油液金属颗粒信号包含噪声,对信息检测造成影响.提出一种基于小波变换的油液金属颗粒检测算法,充分利用小波变换对时域和频域的良好局部化性质以及多分辨率分析的特点,并结合发动机实际工况下的信号特征对信号进行降噪及检测,并对算法进行了实验验证.结果表明,该算法可以有效地实现信号降噪及检测.