遥感影像立体匹配网络跨域迁移能力分析

鉴于数据跨域(cross-domain)现象对基于深度学习的立体匹配网络的迁移性能的影响,文章综合评价了当前立体匹配网络在无人机和航空遥感影像中的性能。针对PSMNet(2018)、DSMNet(2019)、CFNet(2021)、RAFT-Stereo(2021)、STTR(2021)5种典型算法,在合成、驾驶、无人机、航空这4种代表性影像数据集上设计了同域、跨域和精化实验,采用定量化指标测量了不同网络的精度表现,评价了各个网络在遥感影像上的场景适用性和跨域性能,为探索立体匹配网络在对地观测影像上的实用化运用提供了参考。经实验得到如下结论：受视差分布、场景类型等因素的影响,当前立体匹配网络在无人机和航空遥感影像上的误差较大,适用性不高;域归一化、多尺度代价体可以提高立体匹配网络的跨域表现,但提升效果有限;将Transformer等自然语言处理模块用于立体匹配任务可以提高网络表现,但同时也对训练数据有更高的要求,当前无人机和航空影像数据集还不能满足训练数据需求。     

基于卷积神经网络的高效精准立体匹配算法

针对基于卷积神经网络的立体匹配算法普遍存在参数量巨大、精度不足等问题,提出一种基于卷积神经网络的高效精准立体匹配算法.首先设计了一个融合多尺寸上下文信息的特征提取网络,提高不适定区域(Ill-posed regions)的匹配精度;其次,改进现有的相似度计算步骤,在保证匹配精度的同时,大量减少了网络的参数量;最后,提出一种轻量级的基于注意力机制的视差精修算法,从通道与空间维度上关注并修改初始视差图错误的像素点.与GC-Net在标准数据集Sceneflow上的对比实验表明,该算法在参数量减少14%的同时,匹配精度提高超过了50%.     

基于自适应权重的全局图割立体匹配算法

针对立体匹配中存在纹理、遮挡区域和深度不连续的问题,提出一种基于自适应权重的全局图割立体匹配算法,一方面,采用单像素自适应权重加窗匹配能够减少深度不连续和稀疏纹理处匹配的误差;另一方面,对于图割中的平滑项表示和遮挡处理,使用一定平滑约束和遮挡约束构建能量函数而取得最优解。实验结果表明,该算法能保证匹配的可靠性。     

基于免疫算法的立体匹配

立体匹配是立体视觉中的关键问题,提出了基于免疫算法的多分辨率立体匹配方法,为了提高匹配的准确性,同时利用和图象的灰度和梯信息进行匹配,并给出了匹配的准则函数;将免疫算法用于该问题的求解,以避免局部最优;实验结果证明了该方法的有效性。     

基于深度域适应CNN决策树的跨语料库情感识别

在跨语料库语音情感识别中,由于目标域和源域样本不匹配,导致情感识别性能很差。为了提高跨语料库语音情感识别性能,本文提出一种基于深度域适应和卷积神经网络（Convolutional neural network, CNN）决策树模型的跨语料库语音情感识别方法。首先构建基于联合约束深度域适应的局部特征迁移学习网络,通过最小化目标域和源域在特征空间和希尔伯特空间的联合差异,挖掘两个语料库之间的相关性,学习从目标域到源域的可迁移不变特征。然后,为了降低跨语料库背景下多种情感间的易混淆情感的分类误差,依据情感混淆度构建CNN决策树多级分类模型,对多种情感先粗分类再细分类。使用CASIA,EMO-DB和RAVDESS三个语料库进行验证。实验结果表明,本文的跨语料库语音情感识别方法比CNN基线方法平均识别率高19.32%~31.08%,系统性能得到很大提升。     

基于模糊判别的立体匹配算法

立体视觉一直是计算机视觉领域所研究的一个中心问题,而立体匹配则是立体视觉技术中最关键也是最困难的部分,就得到适用于基于图象绘制技术中视图合成的准确、高密度视差图（Disparity Map）而言,现有的一些方法存在一定的局限性。考虑到立体匹配过程中存在的不确定性和模糊性,本文将已获得广泛应用的模糊理论引入立体匹配领域,提出了基于模糊判别的立体匹配算法,并用实际图象与合成图象进行了实验验证,结果表明该算法效果良好,具有实用价值。     

基于自适应权重的遮挡信息立体匹配算法

针对传统局部立体匹配算法在深度不连续区域误匹配率高的问题,提出一种基于自适应权重的遮挡信息立体匹配算法。首先,采用左右一致性检测算法检测参考图像与目标图像的遮挡区域;然后利用遮挡信息,在代价聚合阶段降低遮挡区域像素点所占权重,在视差优化阶段采用扫描线传播方式选择水平方向最近点填充遮挡区域的视差;最后,根据Middlebury数据集提供的标准视差图为视差结果计算误匹配率。实验结果表明,基于自适应权重的遮挡信息匹配算法相对于自适应权重算法误匹配率降低了16%,并解决了局部立体匹配算法在深度不连续区域误匹配率高的问题,提高了算法的匹配精确性。     

基于双目视觉的立体匹配算法研究

根据立体匹配原理,采用双目摄像头对图像进行采集,通过对摄像机的标定和图像立体校正、图像分割与立体匹配得到最后的视差图;根据最后的视差图以及算法的速度来评价算法的性能。实验结果表明,图像的视差图十分接近真实视差图,效果明显。     

一种基于自适应支持权重优化的立体匹配算法

立体匹配是图像处理领域的经典问题和研究热点之一。针对原始ASW立体匹配算法中存在的运算时间过长以及遮挡区域的误匹配率高的问题,提出了一种改进优化方法。在自适应支持权重方法的基础上结合Rank变换方法,从参数选择以及立体匹配性能这两个方面对自适应支持权重进行改进,然后对得到的初始视差进行有效视差校准从而得到最终视差。最后利用仿真实验得到匹配精度较高的图像序列视差图,并通过实验结果对比验证了该方法具有很好的可行性。     

基于自适应权重的立体匹配优化算法

为解决现有立体匹配算法对低纹理以及视差不连续区域匹配效果较差的问题,提出一种改进的立体匹配优化算法。在传统自适应权重算法匹配代价的基础上,融合高斯差分图像差分信息,即左右图像高斯差分图的差分,重新定义其初始匹配代价,增加算法在视差不连续区域的鲁棒性,并加入边缘约束和视差边缘约束迭代聚类以及基于高斯差分图的自适应窗口算法,保证改进算法在低纹理区域的匹配性能,消除坏点与视差空洞。将该算法与传统自适应权重匹配算法分别在Middlebury数据集上进行匹配实验,结果表明,该算法平均性能提升了15.05%,明显优于传统自适应权重匹配算法。     

多尺度融合的立体匹配算法

针对局部立体匹配方法存在的匹配窗口大小选择困难、弱纹理或高光区域立体匹配精度较低等问题,文中结合卷积神经网络(CNN)与图像金字塔方法,提出多尺度融合的立体匹配算法.训练CNN,用于自动学习待匹配图像对的图像特征,完成匹配代价计算.构建图像金字塔,对待匹配图像对进行多尺度表达.构建弱纹理区域模板,将各层待匹配图像划分为弱纹理区域和丰富纹理区域,将弱纹理区域图像变换成小尺度图像进行匹配度计算,降低弱纹理图像的误匹配率.在变换回大尺度图像时与丰富纹理区域匹配结果融合,保持匹配精度.在KITTI数据集上的实验表明,文中算法具有较好的图像匹配效果.     

跨域图像检索综述

受成像载体、成像光谱和成像条件等的影响,跨域图像在不同领域的应用日益增多,跨域图像检索已成为了许多领域研究的热点和前言。然而图像的跨域检索面临着图像视觉偏差的问题,通过传统同域图像检索的方法无法有效地得到结果。通过文献调研,系统梳理了近年来跨域图像检索领域的代表性方法。对跨域图像检索任务作出了简要说明并指出了关键问题;根据图像域的不同转换阶段,将跨域图像检索方法分为两类：基于特征空间迁移和基于图像域迁移的跨域图像检索方法,并对两类方法进行了系统总结和分析;整理了跨域图像检索在不同领域的数据集,对比了各类方法的性能;总结了现有跨域检索方法并对未来的研究方向进行了展望。     

立体匹配的免疫算法

立体匹配是计算机视觉的重要问题之一,文章提出了基于免疫算法的立体匹配方法,将免疫算法用于立体匹配问题中,避免局部最优,以便得到最优视差图;实验结果证明了该方法的匹配的精度高、速度快。     

具备跨源域学习能力的模糊聚类算法研究

针对传统迁移学习聚类算法因单一源域到单一目标域且两者类别数必须一致的约束而达不到良好的聚类效果的问题,本文提出了一种跨源域学习的聚类算法,该算法具有三大优点：1) 该算法不仅扩大源域数目且取消了源域类别数的限定,算法可以自适应选择源域进行学习,因此算法的迁移学习能够得到较大的提升;2)由于算法所利用的源域知识不会暴露原数据,因此算法具有良好的源域数据隐私保护性;3)通过调节平衡参数可以使算法退化为传统的聚类算法,因此该算法的聚类性能是有所保障的。通过在模拟数据集和真实数据集上的实验,验证了文中算法较之现有迁移学习聚类算法具有更好的迁移能力,且聚类性能及鲁棒性也有较大的提升。     

基于色彩相似度的自适应立体匹配

提出了一种结合权值矩阵和相似性系数矩阵构造的区域匹配方法。该方法首先运用色彩相似性和距离临近性对窗内的每一点相对于待匹配点的自适应权值进行分配,得到一个权值矩阵,为了提高在视差不连续区域的匹配精度,使用了边界点矩阵来降低相对应点的权值。然后在RGB色彩空间中根据待匹配点和对应点的匹配窗内的每一点的颜色绝对差值和来自适应分配相似性系数矩阵。最后利用上述方法对Middlebury网站上提供的四幅立体图像对Tsukuba、Venus、Teddy和Cones进行了实验,总体正确率分别达到了91.82%、96.19%、76.6%和86.9%。     

基于灰度段的立体匹配算法

立体匹配一直是计算机视觉领域的一个中心研究问题.为了得到适用于IBR(image-basedrendering)技术中视图合成的比较精确的高密度视差图,提出了一种基于灰度段的立体匹配算法.该算法以灰度段作为匹配基元,并将应用于语音识别的DTW(dynamictimewarping)方法引入灰度段的匹配算法中.相对于点基元,灰度段基元覆盖的图像空间要大得多,且不易受噪声、光度变化等因素的影响,因此可以减少误匹配发生的几率,更容易进行匹配,比特征线段、二次曲线等匹配基元计算要简便得多.实验结果表明,该算法效果良好,具有实用价值.     

基于决策边界优化域自适应的跨库语音情感识别

域自适应算法被广泛应用于跨库语音情感识别中;然而,许多域自适应算法在追求减小域差异的同时,丧失了目标域样本的鉴别性,导致其以高密度的形式存在于模型决策边界处,降低了模型的性能。基于此,提出一种基于决策边界优化域自适应（DBODA）的跨库语音情感识别方法。首先利用卷积神经网络进行特征处理,随后将特征送入最大化核范数及均值差异（MNMD）模块,在减小域间差异的同时,最大化目标域情感预测概率矩阵的核范数,从而提升目标域样本的鉴别性并优化决策边界。在以Berlin、eNTERFACE和CASIA语音库为基准库设立的六组跨库实验中,所提方法的平均识别精度领先于其他算法1.68～11.01个百分点,说明所提模型有效降低了决策边界的样本密度,提升了预测的准确性。     

基于多尺度和多层级特征融合的立体匹配方法

基于卷积神经网络的立体匹配方法未充分利用图像中各个层级的特征图信息,造成对图像在不适定区域的特征提取能力较差.提出一种融合多尺度与多层级特征的立体匹配方法.通过在双塔结构卷积神经网络模型的前端设计一个池化金字塔层,提取图像的多尺度低层结构特征.在该网络模型的后端融合最后三层网络的高级语义特征来提取图像特征,并对图像特征...     

基于深度域适应的跨域目标检测算法综述

近年来,基于深度学习的目标检测算法在自动驾驶、人机交互等众多域上有着成功的应用,且因其检测性能较高引起学者的广泛关注。传统的深度学习方法一般基于源域与目标域服从同一分布的假设,但该假设不具备现实性,严重地降低了模型的泛化性能。如何对齐源域与目标域的分布,提高目标检测模型的泛化性成为近两年的研究热点。对跨域目标检测算法进行了综述,介绍了跨域目标检测的预备知识：深度域适应和目标检测,将跨域目标检测分解为两个子问题进行了概述,从底层逻辑理解其发展进程;给出了跨域目标检测算法的最新进展,从差异、对抗、重构、混合和其他等几个分类角度切入,梳理了每个类别的研究脉络并对比了在不同数据集上的性能;通过对目前跨域目标检测算法的梳理和总结,就其未来的研究方向进行展望。