基于实例分割的双目特征点匹配目标识别和定位研究

针对双目视觉定位中对物体类别与距离远近判定的实际需求,提出了一种结合实例分割与特征点匹配的定位方法,准确地实现了目标的识别和定位。该方法通过Mask Region with Convolution Neural Network Feature(Mask R-CNN)对双目相机采集到的左图像特进行目标检测和分割,采用SURF算法提取分割区域的特征点并与右图特征点进行匹配得到视差,利用双目视差测距原理计算出目标相对于摄像头的位置。同时,针对相机自身标定误差造成在远距离情况下目标定位误差逐渐变大的问题,采用了最小二乘法对视差进行拟合。实验结果表明,该方法不仅能够精准实现目标识别,而且与未经拟合处理结果相比,平均误差值由0.183 m降低到0.106 m,定位精度得到了显著提高。     

双目协同多分辨率主动跟踪方法

PTZ（pan-tilt-zoom）相机由于其具有可变视角和可变分辨率能力,在视频监控领域得到了广泛的应用。该文针对智能监控的需求,提出了一种基于双目PTZ相机的多分辨率主动跟踪方法。该方法分为离线标定和在线协同跟踪两部分。离线标定部分,提出了一种基于图像特征匹配的单目自标定和基于目标运动信息的双目自标定方法,该方法操作简单,无需标定物,在最大程度上减小了对人工干预的依赖,在此基础上推导了系统所具有的两个重要性质;在线协同跟踪部分,设计了一种分段静止的协同跟踪策略。通过实际监控场景下的视频实验,验证方法的有效性和可行性。实验结果表明,该方法可以在复杂环境下有效的主动跟踪目标,在智能监控领域具有较广泛的应用前景。     

鱼眼镜头图像畸变的校正方法

提出了一种校正鱼眼镜头图像畸变的新方法。通过追迹光学系统的主光线,获得它在投影平面上的径向位置与它在像平面上位置之间的关系曲线;然后用傅立叶级数拟合该关系曲线;并求出该级数的逆函数,结果就可以根据畸变图像复原没有畸变的图像。用该方法数值模拟两个鱼眼镜头系统的图像畸变校正;并用其中一个鱼眼镜头（尼康16 mm/F2.8）拍摄的两张图像进行了畸变校正实验。结果表明,当设置投影平面和物平面重合时,恢复的图像相对于物体的残余径向高度误差非常小（小于0.25%）。实验证明了该方法是可行的。     

智能视频监控系统中运动目标检测的研究

为了提高智能视频监控系统中运动目标检测的准确率和实时性,在传统对称差分算法的基础上提出了一种结合背景减法和时空熵图像的改进对称差分算法。首先,通过背景减法得到一个基本准确的运动目标,然后利用对称差分法得到差分图像,综合两者并求出时空熵图像,最后经形态学处理将运动目标准确快速地检测出来。实验结果表明,该算法计算简单、鲁棒性较好、抗噪声能力强,能对运动目标进行有效检测,可以广泛应用于智能视频监控系统中。     

智能视频监控系统中运动目标检测的研究北大核心

为了提高智能视频监控系统中运动目标检测的准确率和实时性,在传统对称差分算法的基础上提出了一种结合背景减法和时空熵图像的改进对称差分算法。首先,通过背景减法得到一个基本准确的运动目标,然后利用对称差分法得到差分图像,综合两者并求出时空熵图像,最后经形态学处理将运动目标准确快速地检测出来。实验结果表明,该算法计算简单、鲁棒性较好、抗噪声能力强,能对运动目标进行有效检测,可以广泛应用于智能视频监控系统中。     

基于双目视觉的机器人引导系统研究

随着智能制造技术的快速发展,汽车制造也已逐步向少人化、无人化方向发展,而视觉技术的应用更是加快了汽车生产线无人化的进程。对双目视觉进行研究,相机平行布置并安装在机器人末端。通过以太网分别获取左右相机二维图像并上传到上位机,使用特征提取算法提取标定板上特征点的像素坐标导入标定模型计算出双目相机内外参数并生成相应的图像矫正矩阵,利用矫正矩阵分别矫正左右相机二维图像以消除镜头畸变;使用图像去噪、图像二值化化、特征提取、极线约束及模板匹配算法,计算出零件上特征点在左右图像上的视差,采用双目视差测距原理,计算特征点在相机坐标系下的三维坐标。通过眼在手上的手眼标定方式标定出相机坐标系到机器人工具坐标系的旋转矩阵,采用SVD奇异值分解算法计算模型坐标系到目标零件坐标系的偏移矩阵,通过坐标系变换算法将零件的偏移矩阵转换为机器人工具坐标系的偏移,再使用TCP/IP以太网通讯发送偏移量给机器人,从而实现机器人引导定位功能。测试结果表明,该双目视觉引导系统可满足基本的零件定位需求。     

基于多相机系统标定的全景拼接算法研究

全景拼接技术是当前全景技术的重点,而多相机系统被越来越多的应用于全景技术中。文章提出了一种基于多相机系统标定的全景拼接方法,利用通过标定得到的相机系统相关参数,将多相机系统拍摄得到的图像进行畸变矫正与旋转变换处理,以提高全景拼接的效果。使用基于特征描述符的标定板对多相机系统进行标定,获得相机的内部参数和外部参数;利用Mercator投影,结合标定得到的内部参数对鱼眼图像进行畸变矫正,外部参数则用于对矫正后的图像进行旋转变换处理,使它们在同一世界坐标系下;用Harris算法对相邻待拼接图像的特征点进行检测匹配,进而拼接成全景图。通过实验验证,该全景拼接算法具有不错的拼接精度,没有出现误匹配的情况。     

基于双目视觉的受电弓碳滑板磨耗检测

将数字图像处理技术和机器视觉应用于受电弓碳滑板磨耗测量,是碳滑板磨耗测量的主要发展方向,文章提出了一种基于双目视觉的受电弓碳滑板磨耗检测方法。该算法首先对双目测量系统进行相机标定,得到双目相机的标定矩阵,然后对双目相机采集得到的碳滑板图像进行边缘提取,利用标定矩阵计算得到两个相机中碳滑板边缘点的对应关系,最后利用对应点计算出碳滑板边缘点的实际空间坐标,从而计算出碳滑板的厚度值。实验及数据处理结果表明：系统的测量误差较小,且此系统安装方便,受外界因素的影响较小。     

基于改进MACH算法的畸变目标识别

由于观察距离和角度的不同,待识别的目标图像相对模板图像会存在一定程度的角度畸变和比例畸变,大大限制了光学相关模式识别的发展。将最大平均相关高度(MACH)滤波器用于畸变目标识别,通过优化该滤波器的控制参数,并根据多次的计算机仿真实验和光学实验,使该改进型MACH 滤波器具有畸变公差高、相关点明亮等特点。用改进后的MACH 滤波器对角度畸变目标和比例畸变目标实施频域滤波,能有效增强相关峰强度,扩大畸变目标识别范围。作为实例,给出了复杂背景下识别汽车的计算机仿真实验和光学实验,有效验证了该算法的可行性。     

基于双目视觉的人体头部尺寸测量方法研究

为了CT系统进行定位片扫描时能够快速且准确的确定头部的扫描范围,提出了一种基于双目立体视觉的测量方法。方法能够在非接触环境下获取人体的头长和头宽。使用双目相机作为人体图像的采集设备,利用MATLAB、VS2017开发平台,使用张正友标定法标定双目相机获取相机内部参数。使用GrabCut图像分割算法对图像进行预处理,将前景的人体图像与背景分割。将立体校正后的左右图像通过SGBM算法进行立体匹配获得视差图,进而得到头部关键点的三维坐标,计算出人体的头长和头宽。实验结果表明该方法测量准确,误差小于1 cm。     

大视场双目视觉定位系统中多目标稀疏匹配

野外远距离、大视场、双目视觉物体定位监测系统是基于双目立体视觉原理的三维坐标测量系统。存在随机出现的多个无特征目标的正确匹配率低,导致目标定位精度降低的共性问题。正确判断首个目标出现,对于同一目标在同侧图像序列连续出现,形态特征由大到小变化或分裂的情况,利用质心判断方法排除伪目标,检测目标正确质心位置;然后,两段图像序列时间同步,同一时刻多个目标基于极线约束进行稀疏匹配,获得同一目标在两台相机中正确的对应关系。实验证明,现场连续采集的9帧图像中包含8个目标,利用上述方法完成目标检测及匹配,提高了准确率。     

基于卷积神经网络的胸环靶面畸变校正算法

实弹射击是部队的基础军事训练项目。现有报靶系统中基于计算机视觉的弹孔识别定位系统由于具有快速、精确、安全、人员成本低等优点而被广泛应用到该项目中。然而,计算机视觉系统处理的图像通常受镜头加工工艺以及相机轴向与被测对象所在平面不垂直的影响,导致被测对象的图像产生畸变,最终会给弹孔坐标位置的精准定位带来误差。为了提高基于计算机视觉的自动报靶系统的报靶精度,提出一种基于卷积神经网络的畸变校正算法,只需一张胸环靶面的模板图像即可模拟出大量训练数据集。训练完成后,输入一张畸变图片就可以得到该图片的畸变参数,并利用该参数完成对图像的畸变校正。与传统校正算法的对比结果表明,该算法校正效果较好,有利于提升基于计算机视觉的自动报靶系统的报靶精度。     

基于优先级纹理填充的全方位图像展开方法与研究

鱼眼镜头具有短焦距、大视场的特点,因而在很多领域得到了广泛的应用,但是,鱼眼镜头拍摄出来的照片有很严重的畸变,需要将拍摄的全景图像展开成全方位图像.由于双线性插值算法的局限性,使用双线性插值算法处理过的图像还存在不足之处,本文在双线性播值算法的基础上提出了一种基于优先级的纹理填充技术,解决了展开过程中图像出现断裂的现象.实验结果表明：本文算法处理过的全景图像具有很好的视觉效果.     

基于DSP的鱼眼图像实时校正系统的实现

鱼眼图像视角大,图像信息量丰富,但是其所拍摄的图像具有较大的畸变失真,需要对其进行畸变校正。基于嵌入式DSP系统,采用经纬映射法对鱼眼图像进行畸变校正,校正过程中不需要标定靶标,方便快捷,且其效果较好。实验结果表明,该系统能够获得较好的校正效果,使用嵌入式DSP系统,运算响应速度快,运算时间短,且能够满足实时性要求。     

形心匹配优化下的狭长空间近距离轨迹测量系统

在基于双目视觉的三维轨迹测量中,双目同名点的高精度匹配是提高测量精度的关键。在狭长空间的近距离测量场景下,针对双目拍摄角度不同导致仅用形心法定位匹配的轨迹测量精度不高的问题,研制了一种形心匹配优化下的狭长空间近距离轨迹测量系统。首先,在仅用形心法对目标物体定位匹配的基础上利用极线约束投影进行双目形心的二次定位;其次,提出了一种基于距离和方法权重的灰度互相关方法进行双目形心的亚像素匹配;最后,通过卡尔曼滤波对于目标物体的三维重建运动轨迹进行滤波修正。实验结果表明：该轨迹测量系统通过对多方法组合优化,显著提高了狭长空间近距离条件下的轨迹测量精度,在128 mm的全量程测量范围内对纹理较好目标物体的平均轨迹长度测量误差为13.14μm,测量精度约为0.01%,相比于仅用形心法定位匹配,轨迹长度测量精度提高了94.3%。     

立体拼接中全局控制点的定向

提出了一种基于光线交汇约束的全局控制点定向方法.精确标定过的单摄像机模拟双目交汇测量系统,在空间2个不同的角度对至少5个自由摆放的全局控制点成像,根据双目视觉测量模型可解算出传感器的转换矩阵R和带有比例因子的平移向量T.通过引入精确长度已知的基准尺提供空间标度,以求得转换因子,进而求得各点在传感器坐标系下的三维坐标.实验表明,该方法简单、精度高,适于现场测量.     

基于子块运动补偿的运动目标检测

鱼眼相机成像视角大,获得信息丰富,在车载应用中具有广阔应用前景.本文提出了一种适用于移动单目鱼眼相机的运动目标检测方法.首先,提出一种子块运动补偿模型补偿图像背景运动,解决了现有运动补偿模型对强视差背景补偿效果不好的问题.其次,在子块运动补偿模型参数求解时,通过引入自车运动参数简化模型参数个数,并结合直接方法求解,避免了传统基于特征点匹配方法求解参数时易受误匹配特征点影响的问题.然后,针对鱼眼相机的成像形变问题,本文提出了一种三平面校正方法获取鱼眼图像的子块运动补偿图像.最后,利用鱼眼图像的子块运动补偿图像和真实拍摄图像的差异信息实现运动目标检测.多种测试场景下的实验结果表明了本文方法的有效性.     

基于Harris-SIFT算法的双目立体视觉定位

针对基于尺度空间对图象保持不变性的SIFT算法在双目立体视觉应用时实时性差、误匹配等问题,提出一种运用Harris-SIFT算法进行双目立体视觉定位方法.通过介绍双目立体视觉的模型原理,利用Harris-SIFT算法从左右摄像机分别获取的图像中检测目标,并获取匹配目标的特征点,对两幅图像中目标物体的坐标标定,通过计算可得到目标物体的深度距离,还原其三维信息.实验证明,运用Harris-SIFT算法使该系统的实时性能和距离精度得到提高.     

基于光栅投影测量改进的类双目系统标定方法

系统标定是光栅投影测量系统中的关键一步。将投影仪看成相机的类双目系统标定方法具有操作简单、精度高、可靠性强的优势。在此系统标定方法的基础上,提出一种提高测量系统精度的系统标定方法。根据提取的标定板上圆标识的圆心坐标,利用计算机生成含有相对应十字标识的图像,用于相机标定,可避免圆标识轮廓对角点提取的影响,从而提高相机标定精度。同时,推导快速求取投影仪伽马的表达式用于相位校正,可建立投影仪像素与相机像素精确的对应关系,从而提高投影仪标定精度。结合投影仪和相机的标定结果,建立统一的世界坐标系完成整体系统的标定。实验结果表明:采用上述标定方法,可将投影仪和相机标定精度分别达到0.25 pixel和0.15 pixel;同时测量了一个长方体,精度达到0.142 7 mm。     

基于会聚型双目立体视觉的测距模型北大核心CSCD

传统的双目视觉模型基于特征对左右画面进行匹配,但当画面中出现多个高度相似且表面特征不明显的目标时,无法通过特征进行有效匹配。针对上述问题,本文采用基于特征和空间位置的方式进行目标匹配,并根据人类双眼锁定目标时,目标始终处于视野中心位置的原理,选择舵机来控制摄像头光轴会聚于目标,建立了一种基于会聚型双目立体视觉的测距模型。该模型能够通过控制舵机使摄像头自动汇聚于目标,并实现测距功能。理论推导及实验研究验证了该模型的可靠性及一定的实用性。