基于扫摆式多相机跟踪的六自由度测量方法

目前视觉测量技术针对工业目标的六自由度测量，存在难以兼顾测量效率、精度与范围的问题。为此，本文提出了一种基于扫摆式多相机跟踪的六自由度测量方法，通过同站位不同角度多图像观测联合构成大尺寸坐标计算的冗余约束量，来实现高效率、高精度、大范围位姿测量。首先，提出相机旋转扫摆运动模型，快速估计相机位姿，并作为先验信息进行图像匹配与空间后方交会，得到精确相机位姿，进行空间前方交会；然后，提出了基于像点平差的位姿估计方法，直接利用物体移动前后的像点信息作为观测值，进行物体位姿的最优化估计。实验结果表明，测量效率提高了4倍，单点精度的最大误差不超过0.2 mm，姿态精度的最大误差不超过0.043°，证实提出方法能有效测量物体的六自由度位姿，一定程度上平衡了测量效率、精度与范围的矛盾。     

基于双目视觉与图像深度融合的机房三维重建方法分析

阐述基于双目视觉与图像深度融合的机房三维重建方法，采用双目视觉方案对目标深度信息进行测量，视觉SLAM技术根据左右目图像中的特征点匹配信息，基于本质矩阵恢复出当前帧相机相对于前一帧的位姿变换关系，构建当前帧相机系到参考系的位姿变换，从而在实现定位的基础上对目标进行三维重建。采用数据融合技术对多视结果与深度学习网络深度值进行融合，以解决重建点稀疏性的问题，提升三维机房重建精度以及机房数字孪生智能化监控能力。     

基于深度相机的机器人室内定位技术研究

机器人在室内运动时,需要创建环境地图并估计位姿,以实现自主定位和导航。针对机器人的同时定位与地图创建(SLAM)问题,采用动态贝叶斯网络描述SLAM状态转移过程。通过不断迭代更新机器人的位置估计和修正估计值,完成机器人的室内定位。基于深度相机采集的RGB图像信息,进行相邻帧图像的特征提取与匹配,估算机器人当前位姿。然后使用迭代最近点算法优化初始位姿。以初始位姿为节点,相邻帧的约束关系为边创建节点图。进一步采用Hogman算法对整个节点图进行动态优化,得到全局一致的室内地图。最后根据优化后的节点图,多帧数据叠加就可得到三维地图。实验采用华硕Xtion Pro Live深度相机,实验室地点为目标,成功创建了环境的三维地图,验证了方法的有效性和可行性。     

基于特征匹配的着陆导航敏感器相对校准算法

在光学辅助惯性导航系统中,观测信息的最优融合依赖于相机与惯性测量单元六自由度转换的精确校准。针对火星软着陆自主导航中的测量信息最优融合问题,提出了基于扩展卡尔曼滤波的导航敏感器相对位姿校准算法。该算法仅利用火星表面可获取的路标特征点信息,不借助额外的测量设备,对相机与惯性测量单元相对位姿进行精确的校准,同时,能够估计着陆器的位置、速度和姿态。考虑到着陆器机动和火星自旋的影响,建立了宽视场相机及惯性测量单元的高精度测量模型。最后通过数学仿真对所提出的校准算法的可行性和有效性进行了验证。     

双模态信息融合的飞行目标位姿估计方法

针对在飞行目标位姿估计中背景复杂、目标提取及位姿解算精度低、速度实时性差等问题,提出了一种激光与图像信息融合的飞行目标位姿估计方法。首先,建立彩色相机和激光雷达间的坐标变换模型实现两传感器像素级匹配,对同一时刻的图像和点云进行融合处理;其次,采用Vi Be算法与深度信息融合对图像中运动目标进行提取,并根据图像目标的位置框选出对应的点云;最后,利用PnP算法进行特征点粗配准,获取点云间初始旋转平移矩阵,并采用迭代最近点算法进行精配准,利用IK-D Tree加速临近点搜索,提高配准速度。使用仿真试验和半实物仿真试验对方法准确性和稳定性进行了验证,结果显示：二维图像目标检测算法正确率为97%,错误分类比为0.011 2%;位姿估计算法与传统迭代最近点算法相比精度提高了53.2%,单次耗时从261 ms降低至132 ms,效率提升约49.4%,与其他算法相比也具有一定优势。为飞行目标落点精准预测和制导控制提供解决思路。     

一种基于三维视觉的移动机器人定位与建图方法

针对移动机器人三维视觉SLAM(同步定位与建图)中定位精度低、实时性差等问题,提出一种基于由初到精的位姿估计和双重闭环策略的SLAM方法。首先对MSER(最大稳定极值区)检测算法进行椭圆拟合化处理并提取出图像中的ROI(感兴趣区);然后从ROI中提取出稀疏像素点并使用直接法得到初始位姿变换参数;接着结合改进的基于八叉树结构的ICP(迭代最近点)对相机位姿进行精估计;再结合关键帧选择机制提出一种双重闭环检测方法为构建的位姿图添加约束;最后通过g2o图优化框架对位姿图进行优化并完成点云的拼接。通过NYU和TUM标准数据集验证了算法的实时性与有效性,室内实验结果表明,在复杂环境下也能利用该方法进行准确的位姿估计,并构建出环境的三维点云地图。     

手眼相机位姿测量精度理论分析及验证

从理论和实验上对手眼相机位姿测量精度进行了研究。首先,根据靶标设计形式和P3P 算法介绍位姿测量原理。接着,从理论上分析了位置测量精度和姿态测量精度,即靶标沿X 轴平移位置测量精度和靶标绕X 轴、Y 轴、Z 轴旋转测量精度。然后,对通常的检测方法进行分析,提出了以产生相对位姿实现六维自由度变化的检测方法,提出用中误差对测量精度进行评价,并具体介绍了检测方法。最后,对手眼相机测量精度进行了实际检测,将实验数据与理论数据进行了对比分析。实验结果表明:距离测量精度最大为25.60 mm,旋转测量精度最大为1.4毅,均满足测量精度的要求。     

基于动态特征剔除的图像与点云融合的机器人位姿估计方法

针对动态物体影响传感器进行机器人位姿估计的问题,本文提出了一种基于动态特征剔除点云与图像融合的位姿估计方法。首先,YOLOv4和PointRCNN分别被用于识别图像和点云中的潜在运动目标并提取候选框。其次,在视觉定位方面,双目视觉与稀疏光流被用于路标点的构建与追踪,并根据候选框剔除动态特征点,随后构建重投影误差函数,通过基于RANSAC剔除的非线性优化方法求解相机位姿;在激光定位方面,提取前后帧的直线与平面特征点,并根据候选框进行筛选,基于特征点到直线或平面的距离构建误差函数,进而求解激光雷达位姿。为使系统不再局限于单一传感器的使用环境限制,通过自适应加权方法,有效融合了两种位姿结果。最后,通过KITTI数据集和动态场景采集的数据进行定量实验对比,验证了剔除动态特征后的位姿估计的精确性以及融合算法的有效性。     

基于最佳偏振角的线性位姿测量方法研究

在基于视觉图像的位姿测量中,非线性位姿测量算法的全局收敛存在不确定性,测量结果取决于初值的选取,不能保证位姿测量的鲁棒性。线性位姿测量算法对图像处理的要求比较高,如果定位特征点图像坐标提取不够精确,会导致位姿测量精度降低。在自然光条件下,相机采集定位特征点图像,图像中高亮度区域的存在对定位特征点提取精度产生影响,进而使有效定位特征点数量减少,影响位姿测量精度。针对上述问题,文中提出了一种基于最佳偏振角的线性位姿测量方法:在相机镜头前加装线偏振片,根据Stokes矢量建立偏振片最佳偏振角度求解模型,在使用最佳偏振角度的前提下采集定位特征点图像,提取图像坐标;建立线性位姿求解模型,计算被测物体位姿。实验结果表明,该方法能够有效减少图像中的高亮度区域,改善成像质量,提高线性位姿测量精度,在?60°~+60°的测量范围内,角度测量误差小于±0.16°,在0~20 mm的测量范围内,位移测量误差小于±0.05 mm。     

多特征点拓扑确定位姿测量算法研究

为解决单目视觉位姿测量时,由目标特征点较多导致图像点与目标点拓扑关系未知的问题,提出了一种多特征点拓扑确定位姿测量算法。较多特征点可在目标进行大角度运动时保证足够的特征点进行位姿解算,与较少特征点相比提高测量精度。该算法将拓扑确定的过程和位姿求解的迭代过程进行嵌套,同时进行拓扑确定和位姿计算。位姿计算的迭代过程基于平行透视投影模型,不需要目标重心投影点坐标作为迭代初始值。拓扑确定的过程转化为分配问题的求解过程。每次位姿迭代的过程中进行一次拓扑确定,拓扑确定的结果可以计算更优的位姿估计。通过多位姿测量实验和精度对比实验结果证明:该算法适合大范围、高精度的位姿测量,在-120~120范围内,位姿测量均方根误差为0。272。     

基于红外图像分析的六自由度跟踪设备

研制了一种六自由度跟踪设备,通过采集红外图像,提取出预先安放在环境中多个(n>6)红外标志点的二维坐标,推导了根据二维红外图像中标志点距离值获取摄像机六自由度位置的线性算法,试验结果证明了系统的有效性.     

基于热辐射信息保留的图像融合算法

针对现有的红外与可见光图像融合算法无法很好地保留红外图像热辐射信息这一问题,提出了一种基于热辐射信息保留的图像融合算法。通过NSCT（non-subsampled contourlet transform）变换对红外与可见光图像进行多尺度分解,得到各自的高频子带和低频子带,可见光低频子带部分经拉普拉斯算子提取特征后与红外低频子带部分叠加得到融合图像的低频系数,高频部分使用基于点锐度和细节增强的融合规则进行融合以得到高频系数,最后通过逆NSCT变换重构得到融合图像。实验表明,相较于其它图像融合算法,所提算法能在保留红外图像热辐射信息的同时,保有较好的清晰细节表现能力,并在多项客观评价指标上优于其它算法,具有更好的视觉效果,且在伪彩色变换后有良好的视觉体验,验证了所提算法的有效性和可行性。     

Real-time state estimation for spatial six-degree-of-freedom linearly actuated parallel robots

This paper presents a novel numerical method, Global Newton–Raphson with Monotonic Descent algorithms (GNRMD), to solve the effectively real-time spatial 6-DOF states of parallel robots in practice. Based on geometrical frame of parallel robots, the highly nonlinear equations of system states estimation are obtained using analytical approach. GNRMD algorithms modified from Global Newton–Raphson method are developed to solve the nonlinear equations in real-time application. The procedure of GNRMD algorithms are programmed in MATLAB/Simulink, and then compiled to a real-time PC with Microsoft Visual Studio .NET for implementation. Applying the proposed algorithms, the real-time spatial 6-DOF states of the parallel robots are estimated. In addition, the performances, accuracy, convergence, property of real-time and effectiveness, of the proposed method are analyzed and verified in experiment and theory. Furthermore, the presented algorithms are used in a DOF control scheme of parallel robots. Simulation and experimental results show the proposed algorithms are effective and feasible for spatial states estimation of parallel robots, and are suitable for a real-time control system required accurate feedback of system states.     

无人机视觉导航算法

为保证无人机着陆精度和安全性,提出了一种无人机自主着陆视觉导航位姿解算方法。首先对机载相机进行标定,获取相机参数;然后综合考虑地标形状和尺寸、地标角点几何分布和角点数量对位姿估计精度的影响,设计了T型着陆地标形状和尺寸参数,将地标轮廓提取和角点检测算法相结合,得到几何分布好、数量适中的8个角点用于位姿解算,保证了位姿解算精度;为减少LK （Lucas-Kanade）光流法稳定跟踪地标的处理时间,直接将提取的这8个角点作为LK光流法检测和跟踪的输入,保证了算法实时性;最后利用三维空间到二维像平面投影关系对飞行位姿参数进行实时解算。实验结果表明:算法具有较高估计精度,算法平均周期为76.756 ms （约13帧/s）,在速度较低的着陆阶段基本满足自主着陆视觉导航的实时性要求。     

Learning latent geometric consistency for 6D object pose estimation in heavily cluttered scenes

6D object pose (3D rotation and translation) estimation from RGB-D image is an important and challenging task in computer vision and has been widely applied in a variety of applications such as robotic manipulation, autonomous driving, augmented reality etc. Prior works extract global feature or reason about local appearance from an individual frame, which neglect the spatial geometric relevance between two frames, limiting their performance for occluded or truncated objects in heavily cluttered scenes. In this paper, we present a dual-stream network for estimating 6D pose of a set of known objects from RGB-D images. Our novelty stands in contrast to prior work that learns latent geometric consistency in pairwise dense feature representations from multiple observations of the same objects in a self-supervised manner. We show in experiments that our method outperforms state-of-the-art approaches on 6D object pose estimation in two challenging datasets, YCB-Video and LineMOD.     

基于虚拟控制点的像机姿态测量算法

像机姿态测量,包括确定像机的旋转矩阵与平移向量,在机器视觉领域中有着非常广泛的应用。针对控制点异面分布的情况,提出了一种基于虚拟控制点的像机姿态测量算法。算法的主要思想是利用少量虚拟控制点实现像机姿态的短时间迅速求解,然后通过目前非常成熟的正交迭代算法,对求解结果进行精细调节,从而在整体上提高测量算法的精确度与稳定性。实验结果表明,算法在性能上优于目前比较流行的几种像机姿态迭代求解算法,而且具有较强的抗噪声干扰和抗控制点误匹配的能力,可以应用在实际的测量环境当中,是一种有效的像机姿态测量算法。     

融合特征法与直接法的RGB-D稠密视觉SLAM算法

为了保持直接法的快速性与特征法的高精度和闭环能力,提出了一种融合直接法与特征法的RGB-D同时定位与地图创建(SLAM)算法。该算法主要包含3个并行线程:跟踪线程、局部建图线程和闭环线程。在跟踪线程中对非关键帧进行跟踪,通过最小化光度图像误差来进行相机的初始位姿估计以及像素点的对应关系计算,利用最小化局部地图点重投影误差进一步优化相机位姿,实现快速准确的跟踪与定位;在局部建图线程中对关键帧进行提取并匹配ORB特征,执行局部BA(光束平差法),对局部关键帧位姿和局部地图点的位置进行优化,提高SLAM的局部一致性;在闭环线程中执行对关键帧的闭环检测和优化,从而保证SLAM全局一致性。另外,根据RGB-D图像和相机位姿信息,通过基于Octomap的建图框架,构建完整准确的3D稠密环境地图。在TUM数据集下的实验表明,所提出的方法可以得到与基于特征法相当的精度,且所需时间更少。     

Cooperative Learning Algorithms for Data Fusion Using Novel $L_{1}$ Estimation

Two novel L₁ estimation methods for multisensor data fusion are developed, respectively in the case of known and unknown scaling coefficients. Two discrete-time cooperative learning (CL) algorithms are proposed to implement the two proposed methods. Compared with the high-order statistical method and the entropy estimation method, the two proposed estimation methods can minimize a convex cost function of the linearly fused information. Furthermore, the proposed estimation method can be effectively used in the blind fusion case. Compared with the minimum variance estimation method and linearly constrained least square estimation method, the two proposed estimation methods are suitable for non-Gaussian noise environments. The two proposed CL algorithms are guaranteed to converge globally to the optimal fusion solution under a fixed step length. Unlike existing CL algorithms, the proposed two CL algorithms can solve a more complex L₁ estimation problem and are more suitable for weight learning. Illustrative examples show that the proposed CL algorithms can obtain more accurate solutions than several related algorithms.     

基于多核稀疏编码的三维人体姿态估计

为了准确有效的重构多视角图像中的三维人体姿态,该文提出一种基于多核稀疏编码的人体姿态估计算法.首先,针对连续帧姿态估计的歧义问题,该文设计了一种用于表达多视角图像的HA-SIFT描述子,其中,人体局部拓扑、肢体相对位置及外观信息被同时编码;然后,在多核学习框架下建立同时考虑特征空间内在流形结构与姿态空间几何信息的目标函数,并在希尔伯特空间优化目标函数以更新稀疏编码、过完备字典与多核权值;最后,利用姿态字典原子的线性组合来估计对应未知输入的三维人体姿态.实验结果表明,与核稀疏编码、Laplace稀疏编码及Bayesian稀疏编码相比,文本方法具有更高的估计精度.