基于深度学习SuperGlue算法的单目视觉里程计

基于特征点法的视觉里程计中,光照和视角变化会导致特征点提取不稳定,进而影响相机位姿估计精度,针对该问题,提出了一种基于深度学习SuperGlue匹配算法的单目视觉里程计建模方法.首先,通过SuperPoint检测器获取特征点,并对得到的特征点进行编码,得到包含特征点坐标和描述子的向量;然后,通过注意力GNN网络生成更具代表性的描述子,并创建M×N型得分分配矩阵,采用Sinkhorn算法求解最优得分分配矩阵,从而得到最优特征匹配;最后,根据最优特征匹配进行相机位姿恢复,采用最小化投影误差法进行相机位姿优化.实验结果表明,在无后端优化的条件下,该算法与基于ORB或SIFT算法的视觉里程计相比,不仅对视角和光线变化更鲁棒,而且其绝对轨迹误差和相对位姿误差的精度均有显著提升,进一步验证了基于深度学习的SuperGlue匹配算法在视觉SLAM中的可行性和优越性.     

Kinect相机的机器人视觉里程计

Kinect相机不仅能够获取彩色图像,还可以得到相应的深度信息.本文探讨了一种通过Kinect相机来实现里程计的方法,该方法由Kinect相机获取周围环境的连续帧信息,提取并匹配连续帧间的SIFT特征点,获取图像帧的描述子,通过特征点的位置变化计算机器人的位姿、里程编码等,从而实现视觉里程计的功能.     

基于彩色信息的尺度不变特征变换图像特征点提取与匹配

针对将彩色图像转化为灰度图像后再进行特征点提取与匹配会丢失彩色信息,可能导致误匹配这一问题,采用一种基于彩色信息的SIFT特征点提取及匹配算法(CSIFT)以实现彩色图像的特征点提取及匹配,结合目标的颜色特征与几何特征,以颜色不变量作为输入图像,再提取特征点并描述特征点周围的信息,通过最近邻匹配法求出图像间的匹配对。实验将该算法应用于视觉里程计中,对相机所拍的相邻两帧图像进行了特征点提取及匹配,并比较了该算法与传统SIFT算法的差异。实验结果表明该算法是有效的。     

单相机变焦图像深度估计技术研究

对单相机变焦图像深度估计的若干关键技术进行了详细的研究。首先,从变焦相机的自身特点出发,研究了变焦相机的参数标定方法;其次,研究了基于SIFT的特征点匹配算法,并结合变焦图像的几何约束实现了特征点的鲁棒匹配;最后,建立了变焦图像的三维重建模型。基于真实采集图像的实验结果证明了相关算法的有效性和实用性。     

基于双目视觉的四边形闭环跟踪算法

针对动态背景下视觉跟踪存在的错误率大、鲁棒性不强以及多目相机信息融合难等问题,提出一种基于双目匹配的视觉跟踪算法.结合双目相机的物理结构特点,该算法以四边形闭环方法对特征点进行匹配,实现特征点的双目匹配和立体跟踪,并优化匹配的搜索结构.算法首先采用高斯-拉普拉斯模板对图像进行滤波,利用Harris角点检测算法提取特征点并依次构造描述子序列,然后以绝对误差和作为匹配代价的衡量准则,建立四边搜索准则进行邻近搜索,同时引入RANSAC(随机采样一致性)算法进行可靠性筛选,最终通过4点构成的四边形闭环检测实现了特征点跟踪精度的改进.通过对不同分辨率、不同路况图像集进行测试实验,所提出的四边形跟踪算法特征跟踪正确率可达99.80%,鲁棒性和精度均优于光流法.     

增强室内视觉里程计实用性的方法*

针对现有视觉里程计在实时性、鲁棒性和准确性之间难以协调统一的问题,提出增强视觉里程计实用性的方法.分别运用基于图形处理器的定向加速分割测试特征和旋转感知的二进制鲁棒基元独立特征以及K最邻近加速提取、匹配图像的特征点.根据Kinect有效的深度量程剔除深度误差较大的特征点.求解相机帧间运动时,首先采用高效n点透视快速求解相机帧间运动参数的估计,然后将其作为Levenberg-Marquedt迭代法的初值,优化相机帧间运动参数.在运动参数解计算过程中,使用随机采样一致排除特征外点的干扰.实验表明,文中措施可以提高相机运动轨迹的解算速度,在室内环境下获得的相机运动轨迹更准确,鲁棒性更强,因此适用于室内机器人导航及定位.     

基于改进ORB的视觉里程计算法

ORB-SLAM2因高斯金字塔离散、量化尺度的因素,易造成尺度量化误差.针对这一缺陷,提出孪生过滤器算法.通过在对数极坐标系下进行描述子构造,减少其量化误差,并在同层金字塔中构造笛卡尔坐标系下孪生描述子,利用该描述子距离实现过滤,从而提高特征点的尺度不变性,增强其匹配准确率.同时,针对ORB-SLAM2的四叉树算法过度追求离散度而忽略特征点质量问题这一情况,提出深度有限四叉树算法.利用特征点提取阈值以及特征点所在金字塔层进行自适应深度阈值设置,减小弱特征点区域的划分次数,从而减少弱特征点提取数目.实验表明,所提出算法能够有效提高特征点离散度、正确匹配特征点数目和匹配精度,具有更高的轨迹精度.     

一种结合光流追踪的双目视觉里程计算法

针对特征点法视觉里程计频繁计算和匹配描述子导致系统实时性能变差的问题,提出一种结合光流追踪的双目视觉里程计算法;首先进行初始化,生成初始的关键帧和地图点,随后在追踪线程中使用光流追踪特征点获取匹配关系,计算并优化相机位姿;满足生成关键帧的条件后,将当前帧设置为关键帧,提取图像的ORB特征点,并使用描述子匹配获取与上一关键帧特征点的匹配关系,三角化生成新的地图点;最后在优化线程中将新的关键帧和地图点使用滑动窗口算法进行优化,剔除冗余关键帧和地图点;在KITTI数据集上的实验结果表明,所提出的算法轨迹误差与双目模式下的ORB-SLAM3算法处于同一水平,同时实时性能有大幅度提高,追踪每一帧图像的平均时间从52ms降至16ms,在保证高精度的情况下运行速度大大提高,具有较高的实用价值.     

顾及影像尺度与旋转的光流点跟踪算法

传统的光流点跟踪算法在处理相机不规则运动和影像弱纹理场景时存在点位分布不均、匹配精度不高等问题,针对该问题提出一种尺度旋转不变的改进光流点跟踪算法.在光流跟踪点的基础上,构建匹配相似三角形;在匹配三角形内提取当前尺度图像的DOG特征点,基于角度交会原理获取待跟踪点的初始位置;利用匹配三角形间的尺度旋转参数计算DOG特征点尺度旋转不变窗口,基于改进的光流跟踪法得到跟踪点坐标.选取两组典型的道路场景序列影像进行实验,其结果表明,该算法相比传统光流法能够在相机不规则运动和弱纹理场景下跟踪到更多的匹配点,跟踪点能够较好地分布在图像上,利用跟踪点估计的影像位姿结果精度也有一定提升.     

基于图像深度信息的尺度不变特征变换算法误匹配点对剔除

特征点匹配是基于特征点的图像配准技术中的一个重要环节。针对现有基于尺度不变特征变换(SIFT）图像配准技术特征点匹配不理想,也无法较客观、快速地筛选正确匹配点对的问题,提出结合图像深度信息进行特征点误匹配筛选剔除的方法。该算法首先根据模糊聚焦线索和机器学习算法估计出待配准图像的深度信息图,再提取SIFT特征点,并在特征点匹配环节利用随机抽样一致性(RANSAC)算法迭代循环,结合深度局部连续性的原理来进一步提高匹配精度。实验结果表明,该算法具有很好的误匹配点对剔除功能。     

基于改进BRISK算法的单目视觉里程计

在传统的BRISK算法中使用自定义的抽样模式来描述检测到的特征点,使用基于汉明距离的方法进行特征点匹配。BRISK的这种特征点描述与匹配的方法使得其匹配准确率不高。因此本文提出将匹配准确率较高的SURF算法与BRISK算法相结合,在BRISK特征点描述与匹配阶段使用SURF描述符和基于欧氏距离的匹配方法。实验结果表明,该算法在时间消耗下降不大的情况下,特征点匹配准确率有很大提高,且该算法具有较好的鲁棒性。     

城市虚拟地理场景非定标三维重建算法仿真

为建立城市地理场景,用于辅助城市规划高度逼真、运行可靠的虚拟场景,提出城市虚拟地理场景非定标三维重建算法.使用几何节点、灯光节点、组合节点等构成简单的虚拟城市场景结构,以深度遍历方式获取楼房、灯光等位置信息;确定相机坐标系与世界坐标系,采用消失点相机自定标方法建立方程组,获得相机内参数矩阵,结合Moravec基本思想,得出像元兴趣值,选择最大兴趣点作为特征点,利用最小二乘影像算法实现特征点匹配,计算特征点坐标,经过去噪处理,实现非定标三维重建.实验结果表明,重建方法可以减少定标工作量,降低对计算性能的要求,使重建后的虚拟场景更加逼真.     

基于时空测地线传播的RGB-D视频分割

针对前景和背景深度交叠或相机运动时基于深度统计的传统视频分割算法中存在的问题,提出一种基于时空测地线的方法,并证明该方法适合基于深度的视频分割.首先使用基于运动检测的方式进行初始化;然后使用基于特征点选择方式定义种子结点,特征点匹配方式构建时域链接,空间上8邻域像素连接形成空域链接,在连续两帧之间构建时空测地线传播图;最后在时空测地线传播图上使用泛化测地线距离变换将前一帧的分割结果传播到当前帧,并自适应地在传播和检测间切换消除累计误差.实验结果表明,该方法能够在复杂场景和相机运动情形下输出稳定的分割结果.     

一种估计深度相机位姿精度的闭式算法

针对深度相机,提出了估计位姿变换精度的闭式解算法.相对位姿由6自由度向量T=[x,y,z,α,β,γ]表示,计算该向量的协方差矩阵来表征相对位姿精度.定义3维点对到相对位姿的隐式函数,利用隐式定理计算该隐式函数相对于点对集合的偏导数,从而根据隐式函数变化趋势和深度相机测量误差来计算协方差矩阵.该方法要求3维点对匹配准确无误,所以本文同时提出在给定相对位姿情况下匹配3维点对算法,该算法充分利用深度相机可以同时返回深度信息和灰度信息的特点.最后在随机生成数据和真实数据上验证了相对位姿精度估计算法的有效性.     

基于特征点匹配的步态识别

基于图像特征点匹配的算法思想,结合步态能量图(GEI),提出了一种适用于2幅GEI匹配的步态识别方法.在GEI中采用改进的FAST算法提取特征点,并采用具有良好特征描述性能的BRIEF算法描述特征点.考虑到GEI匹配不要求特征点具有旋转不变性,提出了一种质心角约束条件加速特征点的匹配.在CASIA数据库B库上的实验结果表明:方法在识别率和特征计算时间上均具有良好的表现.     

基于K-Means聚类与深度学习的RGB-D SLAM算法

传统的RGB-D视觉同时定位与制图（SLAM）算法在动态场景中识别动态特征时会产生数据错误关联,导致视觉SLAM估计姿态精度退化。提出一种适用于动态场景的RGB-D SLAM算法,利用全新的跨平台神经网络深度学习框架检测场景中的动态语义特征,并分割提取对应的动态语义特征区域。结合深度图像的K均值聚类算法和动态语义特征区域对点特征深度值进行聚类,根据聚类结果剔除动态特征点,同时通过剩余特征点计算RGB-D相机的位姿。实验结果表明,相比ORB-SLAM2、OFD-SLAM、MR-SLAM等算法,该算法能够减小动态场景下的跟踪误差,提高相机位姿估计的精度和鲁棒性,其在TUM动态数据集上相机绝对轨迹的均方根误差约为0.019 m。     

基于kinect的改进RGB-D视觉里程计

针对RGB-D视觉里程计中kinect相机所捕获的图像深度区域缺失的问题,提出了一种基于PnP(perspective-n-point)和ICP(iterative closest point)的融合优化算法。传统ICP算法迭代相机位姿时由于深度缺失,经常出现特征点丢失导致算法无法收敛或误差过大。本算法通过对特征点的深度值判定,建立BA优化模型,并利用g2o求解器进行特征点与相机位姿的优化。实验证明了该方法的有效性,提高了相机位姿估计的精度及算法的收敛成功率,从而提高了RGB-D视觉里程计的精确性和鲁棒性。     

基于相机与摇摆激光雷达融合的非结构化环境定位

定位是机器人导航的关键问题,在缺乏结构信息的室外非结构化环境下,精确的三维定位面临更大挑战.本文提出一种基于相机与摇摆激光雷达融合的定位算法,重点解决在光照,地面起伏等因素影响下的机器人定位问题.本文结合激光雷达的深度信息和图像的颜色纹理信息,构建在时序帧间的特征点匹配关系;引入一种置信度评价方法,结合系统误差、数据关联、物体遮挡、特征跟踪等因素对特征点及其匹配关系进行评估,减少低质量特征的影响;最终将定位问题转化为特征点对的加权重投影误差优化问题予以解决.本文利用小型轮式移动机器人在越野和公园等典型非结构化环境下进行数据采集和实验验证.实验结果表明,与前沿的视觉定位算法相比,本文算法可有效提高在非结构化环境中的定位精度.     

基于ORB+PROSAC误匹配剔除算法的视觉SLAM研究

在视觉SLAM前端特征点匹配过程中,采用RANSAC算法剔除误匹配特征点存在迭代次数不稳定、效率低、鲁棒相差等问题,从而对相机定位产生影响。与ORB算法结合,本文引入一种渐进采样一致性算法,即PROSAC(ProgressiveSamplingConsensus),来消除迭代次数不稳定问题。利用Kinectv2相机对改进的RGB-D SLAM算法进行实验,获得三维点云地图和相机轨迹,实现了ORB+PROSAC的误匹配剔除算法。与ORB+RANSAC的结合方式相对比,本文算法验证鲁棒性更好,实时性更强。     

基于立体视觉的生态景观布局中三维特征标定

利用传统方法标定生态景观布局中存在的三维特征时,由于未矫正因薄棱镜畸变、离心畸变和径向畸变产生的图像畸变,导致特征标定效率和精度较低.针对上述问题,提出基于立体视觉的生态景观布局三维特征标定方法.采用立体视觉技术构建相机成像模型,在相机成像模型的基础上消除薄棱镜畸变、离心畸变和径向畸变产生的图像畸变,实现对生态景观图像的矫正处理.采用SIFT算法建立尺度空间,并获取尺度空间中存在的极值点,根据极值点在生态景观图像中定位关键点,并通过KD-树搜索方法进行关键点匹配,实现对生态景观布局中三维特征的标定.仿真结果表明,所提方法不仅特征标定效率和精准度均较高,且其标定率也较高,充分证明了上述方法的有效性.