大视场双目主动视觉传感器的协同跟踪方法

针对大视场视觉监控的应用,提出了一种基于球面坐标的双目主动视觉传感器协同跟踪方法。首先采用图像特征匹配的方法估计摄像机的内部参数,然后引入球面经纬坐标系作为双目视觉传感器的公共坐标系,最后结合场景深度范围实现目标的协同跟踪。对于任意安装的双目视觉传感器,提出了一种建立球面公共坐标系的新方法,统一了不同参数下的情形,可以实现任意参数下的协同跟踪。实际监控场景下的视频实验,验证了方法的有效性和可行性。     

采用地平面约束的双目PTZ主从跟踪方法

在视频监控领域,包含PTZ（pan-tilt-zoom）相机的双目主从系统可以同时获取跟踪目标的全景信息和高分辨率信息,因此得到了广泛研究与应用。针对智能视频监控的需求,提出了一种基于地平面约束的双目PTZ主从跟踪方法。该方法分为离线标定和在线实时跟踪两个阶段。离线阶段,利用两相机不同视角间的目标匹配关系计算地平面所诱导的单应矩阵,提出了一种从两相机同步视频流中自动估计单应矩阵的方法,该方法与传统方法相比具有不需要标定物和人工干预的优点,然后采用匹配特征点的方法估计相机的主点和等效焦距。在线实时跟踪时,通过单应变换建立主从相机之间的坐标关联,并利用离线阶段标定的主点和等效焦距估计从相机控制参数,从而实现主从跟踪。与其他算法相比,该方法可以应用于宽基线的情形,能够适应目标深度的变化,满足了实时性的要求。室内、外场景的多组实验验证了所提方法的有效性。     

一种基于双目PTZ相机的主从跟踪方法

借鉴变色龙视觉的高度独立性、对称性、全局性与选择性兼顾等特点,该文提出一种基于双PTZ (Pan-Tilt-Zoom)相机的主从跟踪方法。由于两个相机的对称性和参数可变性、可控性,这种方法相对于静止加主动相机的主从跟踪系统,可以增大监控范围;相对于多静止加主动相机的系统,可减小硬件开销;相对于全向加主动相机的系统,更有利于信息融合。该文设计了基于球面坐标模型的主从控制方法,可方便实现两相机在任意pan-tilt-zoom参数下的主从模式跟踪,实现对目标的多尺度视觉关注。在室外场景中进行的多组实验验证了所提方法的有效性。     

低照度双目立体显著目标距离测定方法与实现

针对位置已固定的双目立体装置,提出了一种基于非平行模式测距原理的双目系统光轴-光心参数标定方法,减小了光轴-光心位置误测量带来的测距误差;为解决低照度下双目立体视觉中存在的立体匹配误匹配点多、目标识别度低的问题,采取了最大熵法结合整体光强变化的阈值选取方法提取显著目标,提高了目标识别率,搭建了显著目标测距系统.结果表明:采用文中的系统标定与阈值选取方法的双目立体视觉装置在低照度下具有较高的测距精度及目标识别率.     

一种机动目标多雷达协同跟踪方法

目标的机动性能不断提高,使得对目标跟踪提出越来越高的要求。针对多部雷达协同探测的目标联合跟踪问题,提出了基于扩展卡尔曼滤波的交互式多模型算法(IMM-EKF)。为了验证算法的有效性,对实测数据进行了处理。首先,对三部雷达接收的目标运动状态量测数据进行预处理,包括坐标转换、线性插值和数据融合,然后,根据数据预处理后目标航迹的特性,采用基于扩展卡尔曼滤波的交互式多模型算法(IMM-EKF)对目标进行在线跟踪。试验数据处理结果表明,IMM-EKF 算法对于机动目标跟踪的有效性。     

主动防护系统高速目标跟踪误差分析

文中主要分析了主动防护系统拦截点误差问题。从分析主动防护系统的火控反击流程说明了目标跟踪误差的大小决定着系统的拦截效果,仿真对比了卡尔曼滤波、α-β滤波和最小二乘法等跟踪滤波算法在主动防护系统高速目标情况下的拦截点误差。采用一种目标跟踪简化方法,仿真分析了该方法在不同目标速度情况下的拦截点误差。结果表明,文中方法在高速目标情况下的拦截点误差小于传统方法。     

基于双目视觉的车辆检测跟踪与测距

由于道路上存在各种不安全因素,车辆检测跟踪并测距是自动驾驶技术的重要组成部分。本文将YOLOv4-tiny作为检测器使之加快模型检测速度且更适合在车辆嵌入式设备中使用。考虑到目标检测失败的情况,本文在历史缓冲区中存储以前的跟踪细节(唯一ID)和每个对象的相应标签,提出了一个基于中值的标签估计方案(MLP),使用存储在前一帧的历史标签的中值来预测当前帧中对象的检测标签,使得跟踪错误最小化,并用双目摄像头获取图像检测车辆距离。测试新网络结构后,检测精度(Mean Average Precision,mAP)为80.14%,检测速度较YOLOv4相比提高了184%,检测到的距离误差平均在0.5%左右。     

基于双目视觉的自动跟踪系统设计

设计了一种基于双目视觉的目标自动跟踪系统。该系统通过双目相机获取图像信息后,先利用Yolov5s实时检测算法快速识别目标,再利用核相关滤波法对目标进行跟踪,最后采用半全局立体匹配算法结合加权最小二乘法进行目标深度的测量,获取距离信息和位置。根据目标位置控制系统的速度和方向,使系统与目标保持相对方位和设定的距离,实现自动跟踪。从结果上看,采用了该系统的拍摄机器人可以执行危险任务,解决安全问题。     

双目摄像机的自标定方法研究

摄像机标定是计算机视觉的关键技术之一。针对现有的标定技术计算过程复杂,标定物使用不方便等问题,提出了一种用于双目摄像机自标定的方法,该方法要求场景中有两组正交的平行直线即可进行标定,利用其在图像平面上形成的消失点之间的约束关系来建立标定方程,从而求解出摄像机的内外参数,再结合双目立体视觉原理标定双目摄像机的结构参数。将该方法在实验室现有设备上进行对比实验。实验结果表明,该方法简单、有效,可广泛应用于机器视觉研究、三维重建等多个领域。     

基于双目视觉的机器人引导系统研究

随着智能制造技术的快速发展,汽车制造也已逐步向少人化、无人化方向发展,而视觉技术的应用更是加快了汽车生产线无人化的进程。对双目视觉进行研究,相机平行布置并安装在机器人末端。通过以太网分别获取左右相机二维图像并上传到上位机,使用特征提取算法提取标定板上特征点的像素坐标导入标定模型计算出双目相机内外参数并生成相应的图像矫正矩阵,利用矫正矩阵分别矫正左右相机二维图像以消除镜头畸变;使用图像去噪、图像二值化化、特征提取、极线约束及模板匹配算法,计算出零件上特征点在左右图像上的视差,采用双目视差测距原理,计算特征点在相机坐标系下的三维坐标。通过眼在手上的手眼标定方式标定出相机坐标系到机器人工具坐标系的旋转矩阵,采用SVD奇异值分解算法计算模型坐标系到目标零件坐标系的偏移矩阵,通过坐标系变换算法将零件的偏移矩阵转换为机器人工具坐标系的偏移,再使用TCP/IP以太网通讯发送偏移量给机器人,从而实现机器人引导定位功能。测试结果表明,该双目视觉引导系统可满足基本的零件定位需求。     

Retrodirective array tracking prediction using active elementcharacterisation

The authors report on the comparison between the measured and predicted monostatic radiation pattern of a four-element retrodirective array (RDA) operating at 1 GHz. Predictions of array performance were carried our using an isolated element approach then an active element approach. Classical modelling of the RDA performance yielded a worst-case amplitude error with respect to measurement of 3.7 dB at 50° from boresight while an adapted model presented which allows active element pattern incorporation yields an error of only 0.5 dB at 50°. In addition, the individual active pattern characterisation approach allows for the first time a rationale for why measured RDA tracking capability is better than previously established theoretical prediction     

利用SUSAN算子的特征复合相关跟踪算法

文中提出了一种新的相关跟踪算法,该算法利用ＳＵＳＡＮ算子提取特征、选取灰度子模板进行相关匹配,再由特征匹配作精确定位和置信度分析,并利用特征信息对相关运算进行加权以降低小尺子模板对相关匹配定位精确度的影响。实验结果证明了该算法的有效性。     

基于三步搜索法的特征相关目标跟踪算法

针对相关匹配跟踪算法,提出一种新的基于三步搜索法的特征相关跟踪算法。该算法利用Moravec算子提取目标灰度特征,并根据特征点选取相应的子模板,然后利用三步搜索法进行多子模板的相关匹配。该方法可以在大幅度缩短相关匹配的搜索过程的基础之上适应运动目标的旋转、缩放等情况。实验证明该算法实际应用的可行性。     

Acoustic source tracking algorithm using track before detect

In order to improve tracking performance in a noisy and reverberant environment,an acoustic source tracking algorithm using track before detect was proposed.This algorithm used a modified steered response power as localization function which take into account a rectangular region to achieve more robust source location estimation than steered response power function and applied track-before-detect technology to avoid reduplicate calculation of the same rectangular region so that the algorithm could reduce the computation burden without decreasing the accuracy.The simulation results verified that the proposed algorithm can achieve more accurate tracking results than traditional tracking algorithm in a noisy and reverberant environment.     

一种引入预测机制的时空上下文跟踪算法

针对时空上下文(STC)算法在抗遮挡目标跟踪中的不足,提出使用上下文模型相似度作为判别遮挡的条件和改进上下文模型更新方程的修正系数,同时采用预测算法修正搜索区域,构建了一种基于时空上下文跟踪的抗遮挡目标跟踪算法,并通过标准目标跟踪视频库对原算法和改进后算法的跟踪性能进行仿真和对比。实验证明,在原算法的基础上提高了抗遮挡跟踪的鲁棒性,在一些图像序列中跟踪成功率的提高最高可达30%。     

基于Bayes弹道导弹主动段融合跟踪算法

弹道导弹主动段拦截中对导弹跟踪精度要求很高,如何将多种主动段探测装备得到的数据进行融合得到更加精确的数据是当前亟待解决的难题。针对此问题,文中研究了导弹预警卫星与雷达融合跟踪,提出了一种基于Bayes理论的弹道导弹主动段融合跟踪算法。该算法分别建立了导弹预警卫星和雷达对主动段探测模型和跟踪模型,应用POFACETS软件仿真了一种类型弹道导弹,并将其获得的导弹RCS数据应用到算法中,提高了算法的准确性。仿真实验表明,该融合跟踪算法可以获得比多个传感器算术平均值更精确的结果,具有较高的可靠性。     

Multi-resolution surfel maps for efficient dense 3D modeling and tracking

Building consistent models of objects and scenes from moving sensors is an important prerequisite for many recognition, manipulation, and navigation tasks. Our approach integrates color and depth measurements seamlessly in a multi-resolution map representation. We process image sequences from RGB-D cameras and consider their typical noise properties. In order to align the images, we register view-based maps efficiently on a CPU using multi-resolution strategies. For simultaneous localization and mapping (SLAM), we determine the motion of the camera by registering maps of key views and optimize the trajectory in a probabilistic framework. We create object models and map indoor scenes using our SLAM approach which includes randomized loop closing to avoid drift. Camera motion relative to the acquired models is then tracked in real-time based on our registration method. We benchmark our method on publicly available RGB-D datasets, demonstrate accuracy, efficiency, and robustness of our method, and compare it with state-of-the-art approaches. We also report on several successful public demonstrations where it was used in mobile manipulation tasks.     

An efficient real-time target tracking algorithm using adaptive feature fusion

Visual-based target tracking is easily influenced by multiple factors, such as background clutter, targets’ fast-moving, illumination variation, object shape change, occlusion, etc. These factors influence the tracking accuracy of a target tracking task. To address this issue, an efficient real-time target tracking method based on a low-dimension adaptive feature fusion is proposed to allow us the simultaneous implementation of the high-accuracy and real-time target tracking. First, the adaptive fusion of a histogram of oriented gradient (HOG) feature and color feature is utilized to improve the tracking accuracy. Second, a convolution dimension reduction method applies to the fusion between the HOG feature and color feature to reduce the over-fitting caused by their high-dimension fusions. Third, an average correlation energy estimation method is used to extract the relative confidence adaptive coefficients to ensure tracking accuracy. We experimentally confirm the proposed method on an OTB100 data set. Compared with nine popular target tracking algorithms, the proposed algorithm gains the highest tracking accuracy and success tracking rate. Compared with the traditional Sum of Template and Pixel-wise LEarners (STAPLE) algorithm, the proposed algorithm can obtain a higher success rate and accuracy, improving by 2.3% and 1.9%, respectively. The experimental results also demonstrate that the proposed algorithm can reach the real-time target tracking with 50+fps. The proposed method paves a more promising way for real-time target tracking tasks under a complex environment, such as appearance deformation, illumination change, motion blur, background, similarity, scale change, and occlusion.