基于边缘检测与注意力机制的立体匹配算法

随着深度学习理论的不断进步,端到端的立体匹配网络在自动驾驶和深度传感等领域取得了显著的成果。然而,最先进的立体匹配算法仍然无法精确恢复物体的边缘轮廓信息。为了提高视差预测的精度,在本研究中,提出了一种基于边缘检测与注意力机制的立体匹配算法。该算法从立体图像对中学习视差信息,并支持视差图和边缘图的端到端多任务预测。为了充分利用二维特征提取网络学习到的边缘信息,本算法提出了一种全新的边缘检测分支和多特征融合匹配代价卷。结果表明,基于本文模型的边缘检测方案有助于提高视差估计的精度,所获取的视差图在KITTI 2015测试平台上的误匹配率为1.75%,与金字塔立体匹配网络相比,视差图的精度提高了12%,且运行时间减少约20%。     

基于跨尺度PatchMatch的立体匹配算法

针对现有的PatchMatch（3D标签优化）立体匹配算法存在对图像中弱纹理、视差不连续区域匹配精度低的问题,提出了一种结合超像素分割和跨尺度PatchMatch的立体匹配算法。首先,通过高斯下采样获得多尺度图像并对各尺度图像超像素分割。其次,基于四色定理腐蚀超像素边界使3D标签在超像素上迭代传播具有子模性和独立性,生成的子模能量用图割（Graph Cut,GC）算法得到最优解。最后,提出跨尺度能量函数模型,约束不同尺度下同名像素3D标签能量一致,使3D标签迭代传播可在不同尺度进行GC优化,获得最优视差图。在Middlebury数据集上的实验结果表明,本文算法对21组弱纹理、复杂纹理图像的平均误匹配率为2.20%,相比其他改进的PatchMatch立体匹配算法误匹配率降低了10.1%,且视差图误匹配可视化显示,弱纹理、视差不连续区域匹配效果优于其他改进的PatchMatch立体匹配算法。     

基于改进Census代价和优化引导滤波立体匹配算法

为了提高局部立体匹配的精度，提出了一种基于改进Census代价和优化引导滤波的立体匹配算法。针对传统Census代价计算在视差不连续区域代价计算不准确的问题，在Census变换过程中进行邻域像素有效性标记，通过给不同有效性处计不同代价值，降低无效像素对整体代价的影响；在引导滤波代价聚合阶段，采用两种大小的窗口计算线性系数，然后根据图像区域划分结果选取不同线性系数，解决了固定窗口尺寸造成的局部区域代价聚合不适应的问题；最后通过视差计算和视差优化得到最终视差图。在Middlebury v3立体匹配评估平台上进行实验，结果表明，本文算法在非遮挡区域和所有区域的平均误匹配率分别为 18.17%和23.81%，与很多现有算法相比表现更优。     

顾及图像分割信息的半全局立体匹配算法研究

针对传统半全局立体匹配算法(SGM)在高分辨率图像弱纹理以及视差不连续区域的误匹配问题,提出了一种顾及图像分割信息的SGM算法。该算法在代价计算阶段,首先根据图像分割信息自适应调整匹配窗口大小,采用不同状态信息的改进Census变换计算初始代价,解决传统算法对Census变换窗口中心像素依赖的同时减少了匹配时间;在代价聚合阶段,将图像分割信息与传统SGM算法的全局能量函数进行有机结合,提高算法在弱纹理以及深度不连续区域的匹配效果;最后通过左右一致性检测和子像素细化得到优化后的视差图。所提算法利用Middlebury平台标准数据进行验证,实验结果表明,平均误匹配率为4.54%,与传统SGM算法和一些改进算法相比,该算法能够在影像弱纹理和视差不连续区域获得更高匹配正确率。     

基于SGC算法的复杂背景无人机巡检图像输电线提取方法

针对复杂背景输电线路图像识别的难题,结合深度计算和阈值分割技术,开展了基于双目视觉的SGC立体匹配算法的研究及应用。对标准图像库及实际获取图像进行了测试,分析了算法的误匹配率和运行时间,结果表明,基于SGC立体匹配算法得到了效果良好的视差图,通过阈值分割可有效检测出复杂背景输电线路图像中的输电线。     

基于改进Census变换的自适应局部立体匹配

针对现阶段局部立体匹配在弱纹理区域具有匹配精度低且过度依赖中心像素的缺点,提出一种基于改进Census变换的自适应局部立体匹配算法。首先根据中心像素领域的纹理复杂度采用自适应支持窗口改进Census变换,引入Tanimoto系数与Hamming距离算法结合,并融合颜色或亮度差的绝对值用作新的初始匹配代价计算。通过十字交叉域算法进行代价聚合并采用赢家通吃算法计算视差,在视差优化阶段采用左右一致法、迭代投票、插值填充和亚像素细化,针对边缘模糊化将改进的自适应中值滤波用作抑制噪声得到最后的视差图。实验结果表明,本文所提出的算法在Middlebury数据集上的平均误匹配率为4.39%,相较于其他改进的Census变换算法有明显提升,并在抗噪能力上具有一定的鲁棒性和适应性。     

基于细节信息增强的无监督双目立体匹配算法

无监督立体匹配算法在自动驾驶等领域有重要的应用,然而无监督立体匹配算法在物体连续、边缘等细节信息区域的视差精度较低,本文提出了一种提高细节信息区域精度的无监督立体匹配算法。通过在特征金字塔网络中引入空间注意力机制和残差网络,设计了一种空间特征金字塔网络算法,抑制特征提取过程中边缘和小目标细节信息的丢失。构建了视差融合模块,将半全局立体匹配算法生成的原始视差和视差回归生成的初步视差进行置信度视差融合,提升连续细节信息区域的精度。对于网络损失函数,集成了原始视差监督损失和置信度遮挡损失,保留更多图像边缘和连续区域处的细节信息。实验结果表明,本文算法在KITTI 2015测试集中非遮挡区域和所有区域的误匹配率分别为6.24%和5.89%,与其他经典算法相比在细节信息区域的效果、精度方面有较大提升。     

深浅层特征结合的自监督立体匹配

针对现有的立体匹配算法物体细节部分估计效果较差、有监督算法依赖大量真实视差图等问题，本文提出了一种深浅层特征结合的自监督立体匹配算法。该算法在特征提取网络中嵌入通道注意力机制来提取图片的浅层和更具表征能力的深层特征。基于深层特征构建代价体积预测初始视差图，并用浅层特征指导初始视差图进行优化。此外在损失函数部分在左右视差一致性损失的基础上本文提出左右特征一致性损失，加强浅层特征信息对视差的约束作用，提高算法的鲁棒性。本文在KITTI 2015数据集上训练评估，并应用到拍摄的实际场景中。实验结果表明，本文提出的方法与其他算法相比能获得更好的效果，特别是在视差突然变化的细节区域。     

融合注意力和多尺度的优化立体匹配算法研究

当前基于卷积神经网络的立体匹配方法未充分利用图像中各个层级的特征图信息,造成图像在不适定区域的特征提取能力较差,因此,提出了一种基于PSMNet改进的优化立体匹配算法。在特征提取阶段,全新的特征金字塔模块(SPP)能更好的聚合不同尺度和不同位置的环境信息构建代价体,从而充分利用全局环境信息;在构建匹配代价体时,提出组相关的策略来充分地利用特征中的全局和局部信息;在代价聚合阶段,优化沙漏结构并引入通道注意力机制以便网络来提取具有高表示能力和高质量通道注意力向量的信息特征;为了进一步优化视差图,设计视差优化网络来改善初始的视差估计。在Scene Flow、KITTI 2012和KITTI 2015立体数据集上评估,所提模型在Scene Flow数据集上平均预测误差EPE降低到0.71 pixels,在KITTI 2012和KITTI 2015立体数据集上的误匹配率分别下降到1.20%和1.86%,在实验结果表明,方法取得了较优越的性能。     

基于立体视觉分析的显著性区域检测算法

针对传统单目视觉显著性模型存在细节丢失,不适用于复杂场景等问题,提出一种基于立体视觉分析的显著性区域检测算法。首先,采用基于图的分割方法将图像分割成不同区域,根据颜色和视差以及空间相干性计算颜色复杂度和视差复杂度。其次,对两者进行显著性聚合,计算像素对比度从而得到区域对比度。最后,引用视差信息计算局部对比度后,进行融合归一化,获得显著图。该算法适用于背景纹理复杂的立体图像显著性区域检测,检测的显著图细节突出,边缘锐利。实验结果表明,该算法优于其他显著性算法,符合人类视觉机制,在立体图像数据集上获得了75%正确率和88%召回率。     

改进的Yoon自适应加权立体匹配算法

分析了Yoon自适应加权立体匹配算法在权值计算与像素相异性度量上所存在的问题,并对其进行了改进。首先分析了Yoon自适应加权立体匹配算法颜色相似性和空间邻近性对权值(视差)的不同影响,据此提出新的空间临近性权值影响模型;然后将Birchfield相异性度量函数从2-邻域扩展到8-邻域,消除行采样对像素相异性度量的影响,使得匹配代价计算更为准确;最后通过对称加权确定视差。实验表明,新方法改善了Yoon算法在深度不连续区,低纹理区,高纹理区以及重复结构区的匹配性能,可获得更为精密的视差图。     

一种基于对齐度的多约束车辆特征匹配方法

针对基于双目立体视觉的汽车辅助驾驶系统,研究了一种基于对齐度的多约束快速匹配算法。对齐度准则利用图像对间的交互方差作为相似测度,不需要两幅图像的灰度线性相关性并且不受图像灰度差异的影响,比相关度准则有更强的适用性。确定左右两幅图像中的路面区和目标车辆后,采用Harris算子提取出目标车辆的特征点。匹配前利用角点的特征值约束去除不易匹配角点,然后采用对齐度准则进行匹配,最后根据视差梯度约束去除误匹配。实验结果表明了该方法的可靠性,能够获得较满意的检测结果。     

大基线条件下的视图生成

描述了多视点视频系统中实现视点适应的算法,其目的是获得真实的三维感觉,这需要通过从立体图像对中获得虚拟视图。本文的视图生成方法是一种基于视差的图像插值技术。在视图生成过程中,为避免出现较大的空洞,首先对视差图进行预处理。然后在大基线条件下设计了一种基于可见性分析的视图生成方法。实验结果表明,利用该方法可以获得较高质量的虚拟视图。     

基于 FAST 角点和 FREAK 描述符改进的无人机景象匹配算法

在无基准图的无人机返航过程中,实时图和航路点的景象匹配是无人机返航成功的关键。为提高景象匹配的实时性和鲁棒性,提出了基于加速分割检测特征(FAST)角点检测和快速视网膜关键点(FREAK)描述符的无人机景象匹配算法。首先,针对FAST角点检测方法的无尺度不变性、特征点数量冗余的缺点进行了改进;接着,对FREAK二进制描述符进行简化,以提高匹配速度;然后,采用K近邻比值法和RANSAC方法进行特征的初匹配和精匹配,并建立定位模型,从而获得航路点与无人机当前位置的实际距离和方位信息;最后,对算法的各项性能做实验验证。所提出的算法定位方向偏差在1°以内,像面距离偏差稳定在0.6 pixel,运行时间0.43 s,远小于尺度不变特征转换(SIFT)和加速鲁棒特征(SURF)算法的处理时间。在尺度变换和噪声等条件变化的情况下,相比SIFT和SURF等算法,所提算法取得了较好的正确匹配率,具有更好的鲁棒性。实验结果表明所提出的算法鲁棒性好,运算速度快,尤其在视角变换方面表现优秀,更适合无人机视觉辅助导航。     

基于深度学习的钢筋绑扎机器人目标识别定位

为了解决钢筋绑扎机器人对绑扎点识别准确率低,定位精度差的问题,提出一种基于深度学习的钢筋绑扎机器人目标识别与定位方法。首先采用YOLOv4算法对绑扎点目标框识别和裁剪,完成绑扎点初始定位;其次设计轮廓角点选取方法,利用角点计算绑扎点的图像坐标;之后通过融入CBAM注意力机制改进Monodepth算法的特征提取部分,解码部分引入路径增强PAN结构,以提高模型的特征提取能力,进一步提高立体匹配精度;最后通过双目立体视觉定位技术获得绑扎点深度信息,并由坐标变换求解钢筋绑扎机器人手眼坐标系映射关系,从而实现对绑扎点的精确识别和定位。实验结果表明：该方法针对绑扎点目标框的识别准确率达到了99.75%,每秒传输帧数达到54.65;在空间中的定位精度最大误差为11.6mm。可较好地识别定位绑扎点位置,为自动绑扎工作提供有力支持。