IMU松耦合的KinectFusion算法改进

针对KinectFusion算法中采用frame-to-model ICP进行位姿估计时经常发生位姿丢失的问题,提出了使用惯性测量传感器IMU进行松耦合的算法改进。通过使用IMU采集到位移数据结合ICP算法实现位姿估计,意图在快速移动或者采集的图像数据缺少有效配准点的情况下保证相机跟踪不丢失,增强KinectFusion算法的整体鲁棒性。通过实验,将提出的算法与原有的算法进行比较,结果表明这里算法在没有明显降低实时性的情况下,其鲁棒性上优于原有算法,可以满足移动机器人的实时SLAM需求。     

基于自适应惯导辅助特征匹配的视觉SLAM算法

为提高视觉同步定位与建图系统的定位、建图精度,克服传统算法中特征匹配搜索半径为固定值导致视觉里程计在高动态运动时特征误匹配率高的问题,本文提出一种搜索半径自适应的惯导辅助图像特征匹配方法。该方法首先对双目相机左右两帧图像进行特征提取与匹配,并获取地图点三维坐标,然后通过预积分惯性测量单元的量测值预测相机位姿,再根据误差传播定律计算预测位姿的协方差,最后利用预测位姿将地图点投影至图像得到对应像素坐标,从而根据像素坐标中误差确定地图点最有可能出现的区域半径。实验结果表明,该方法可有效缩小特征匹配的搜索半径,显著提高图像特征匹配的准确度,使跟踪线程位姿精度提高约38.09%,系统整体位姿精度提高约16.38%。该方法可为每个特征点提供自适应区域约束,提高特征点匹配的准确度,进而提升系统位姿估计精度,构建更高精度的稠密地图。     

基于多模板回归加权均值漂移的人体目标跟踪

针对移动机器人跟踪人体目标时目标因角度大幅变化引起外观改变造成的跟踪无效,提出了多模板回归加权均值漂移跟踪方法。该方法通过建立目标的多模板模型,应用均值漂移算法实现目标跟踪。首先,根据前一帧均值漂移结果和当前帧头肩粗定位结果确定目标模板集,使其包含目标人体的位姿和角度改变。然后,采用多模板回归加权均值漂移实现目标的精确定位。在多模板均值漂移中引入回归模型实现颜色纹理特征与目标模型相似度之间的映射,从而控制模板数量,保证目标检测的实时性。最后,分别在视频图像和机器人目标跟踪平台上对所提方法进行实验验证。结果显示,图像处理平均时间为86.4s/frame,满足机器人跟踪的实时性要求。该方法解决了目标特征在跟踪过程中发生变化的问题,提高了机器人跟踪时对目标人体特征变化的鲁棒性。     

基于稀疏直接法的特征增强视觉 SLAM 算法

针对基于特征点的视觉同步定位与建图(SLAM)算法在低纹理环境下特征提取能力弱、定位精度降低和鲁棒性差的问 题,本文提出了一种基于稀疏直接法的特征增强视觉 SLAM 算法。 首先对图像序列进行预处理,提高算法的特征提取能力;然 后融合基于图优化的稀疏直接法和特征点法求解位姿,在保证算法定位精度的前提下,提高算法的运行效率和鲁棒性。 由 TUM 数据集的实验结果表明,本文提出的算法定位精度优于当前 SLAM 算法,在 TUM 数据集中纹理稀疏的场景下,该算法提取 的特征点数目是 ORB-SLAM2 算法的 9. 6 倍,平均每帧跟踪耗时减少了 58% 。     

移动机器人混合的半稠密视觉里程计算法

为了提升快速运动环境中移动机器人视觉里程计的精度,提出一种移动机器人混合的半稠密视觉里程计算法。首先,利用鲁棒性强且适用于相机快速运动的特征点法快速追踪相机位姿,并根据深度不确定性分别建立3D-2D的重投影误差以及3D-3D几何误差,提出改进的运动位姿求解方法,为半稠密直接法提供更准确的初始位姿;其次,采用Sobel卷积核获取图像中梯度明显的像素点,进而通过最小化光度误差对关键帧进行配准,有效估计关键帧间相对运动;最后通过位姿图对关键帧位姿以及相邻帧间变换进行局部优化,减少轨迹漂移。两种公开数据集以及实际在线场景实验验证,本文算法可有效提高视觉里程计位姿精度,可以满足快速运动场景中自主定位的要求。     

基于相机状态方程多模增广的改进MSCKF算法

针对基于多状态约束卡尔曼滤波(MSCKF)的视觉-惯性里程计算法中相机状态方程增广过程的误差累积问题,提出了一种相机状态方程多模增广方法。该方法首先对视觉特征跟踪状态的稳定性进行判断,然后自动地选择基于视觉图像信息优化求解相机相对位姿参数或基于惯性传感器(IMU)状态递推结果联合相机外参初始化新图像帧相机位姿参数两种途径增广相机的状态方程,解决特征跟踪状态稳定情况下IMU误差的累积问题。实验部分通过EuRo C数据和实际应用数据对算法的性能进行了验证分析,结果表明,改进后的MSCKF算法能够在特征跟踪稳定状态下有效避免IMU误差的累积,进一步融合视觉与惯性系统之间的互补优势,提高载体的定位定向精度和稳定性。     

BRIEF算法在基于增强现实的产品装配引导中的应用研究

面向增强现实环境下采用零件自然特征的装配引导应用,提出一种基于BRIEF算法的虚实装配场景注册融合方法。利用BRIEF算法进行装配零件图像自然特征的提取,建立零件图像的特征描述符。通过海明距离进行装配引导过程中零件图像特征描述符的匹配,实现虚实装配零件的注册;同时将虚拟装配信息在真实装配场景中叠加,用于引导用户完成装配作业过程。实验结果表明:利用该算法进行虚实注册具有较好的鲁棒性和实时性,能够较好地应用于增强现实环境下的产品装配引导过程中。     

基于ORB关键帧匹配算法的机器人SLAM实现

针对复杂环境下机器人的同时定位与地图构建(SLAM)存在实时性与鲁棒性下降等问题,将一种基于ORB特征点的关键帧闭环检测匹配算法应用到定位与地图构建中。研究并分析了特征点提取与描述符建立、帧间配准、位姿变换估计以及闭环检测对SLAM系统的影响,建立了关键帧闭环匹配算法和SLAM实时性与鲁棒性之间的关系,提出了一种基于ORB关键帧匹配算法的SLAM方法。运用改进ORB算法加快了图像特征点提取与描述符建立速度;结合相机模型与深度信息,可将二维特征图像转换为三维彩色点云;通过随机采样一致性(RANSAC)与最近迭代点(ICP)相结合的改进RANSAC-ICP算法,实现了机器人在初始配准不确定条件下的位姿估计;使用Key Frame的词袋闭环检测算法,减少了地图的冗余结构,生成了具有一致性的地图;通过特征点匹配速度与绝对轨迹误差的均方根值对SLAM系统的实时性与鲁棒性进行了评价。基于标准测试集数据集的实验结果表明,ORB关键帧匹配算法能够有效提高SLAM系统建图速度与稳定性。     

基于切换控制的双相机视觉伺服方法

针对家电产品机器视觉在线检测应用场景中基于图像的视觉伺服不能保证全局收敛和单目视觉反馈不佳的问题，提出一种基于切换控制的双相机视觉伺服方法。首先使用全局相机估计目标位姿，引导机器人运动到期望位姿附近，确保视觉伺服方法能够收敛；然后根据机器人手上相机提供的图像偏差和深度信息，以及全局相机提供的目标速度和姿态实现双相机视觉伺服控制。相对于使用单应性矩阵的位置视觉伺服和混合视觉伺服方法，该方法能够定位与跟踪无标记目标，大幅提升跟踪的精度和稳定性。实验表明，基于切换控制的双相机视觉伺服方法可将控制周期缩短至33 ms,满足传送带速度在0.17 m/s范围内的机器人可获取清晰图像，实现实时跟踪检测。     

基于点线特征融合的立体视觉里程计

大多数视觉里程计通过跟踪图像序列中点特征几何位置的变化实现对相机位姿的估计。线是点的集合,相对于离散的点,帧间线特征的位置变化更具有显著性,因而有利于提高特征检测跟踪的鲁棒性。另外,在一些弱纹理场景中,点特征不够丰富,作为对点特征的补充,提出了一种融合点线特征的立体视觉里程计算法。构建新颖的点线重投影误差模型作为目标函数求解旋转矩阵和平移向量。模型中,使用Huber核函数减小特征误匹配对优化过程的影响。选取ORB算子检测点特征,LSD算子检测线特征,匹配时施加恒速约束、环形匹配、Bucketing约束和外观几何约束,提高特征匹配的速度及精度。采用公共数据集KITTI和EuRoC对算法进行评测,实验结果表明,该算法在多种场景中的鲁棒性能,相较于其他具有代表性的视觉里程计算法,在精度方面有提升。