多重约束下的近景影像线特征匹配方法

目的 针对影像匹配时提取特征线断裂而影响匹配结果及可靠性的问题,提出多重约束条件下的近景影像线特征匹配方法。方法 首先,采用SIFT算法获取同名点,并使用RANSAC算法进行优化,通过同名点计算仿射变换矩阵;建立格网点,利用仿射变换、Harris兴趣值及最小二乘法提高密集匹配结果的精度;其次,采取Freeman链码优先级算法提取直线,根据搜索区域内密集匹配点与直线位置关系完成特征线的初始匹配;最后通过线段重合度对初始匹配结果进行优化,并利用核线约束确定同名直线端点。结果 选取存在旋转、尺度、遮挡的近景影像进行线特征匹配实验,结果表明,与其他直线匹配方法相比,本文方法不仅在直线匹配成功数目上约为经典算法的1.07~4.1倍,而且直线匹配正确率也提升0.6%~53.3%,具有较好的准确性和鲁棒性。结论 通过多重约束有效地减小了立体影像中线特征匹配时的搜索范围,提高了直线匹配速率,且该方法适用于不同类型几何变化下的近景影像数据,并能较好地改善直线断裂及遮挡问题。     

利用Hough变换的匹配对提纯

目的 针对传统的匹配对提纯算法存在容错性差、效率低等问题,提出了一种利用Hough变换的匹配对提纯算法。方法 假设正确的匹配对一致性地服从一个变换模型。首先,为两幅图像的变换关系选择一个合适的数学模型,利用Hough变换确定模型方程参数的解。然后检验原始匹配对,保留符合模型方程的匹配对,从而达到提纯的目的。结果 与传统的RANSAC(random sample consensus)等算法相比,本文算法具有更高的容错率、召回率与更优的运行效率,且是稳定的。实验结果表明,在误配率低于85%时算法能完全剔除误匹配,且误配率高达95%时依然有50%的可能性成功剔除误匹配。结论 把Hough变换引入到匹配对提纯的应用中,该算法在所选模型准确或近似准确的情况下能鲁棒地提纯匹配对。由于模型方程参数个数决定参数空间维数,维数高导致投票及搜索最大值点的时间、空间复杂度大,因此该算法适用于模型参数较少(不大于4)的情况。     

平滑约束与三角网比例剖分像对稠密匹配

目的 像对稠密匹配是视觉定位、影像融合、超分辨率重建等高级图像处理技术的基础,由于像对可能受多种摄影条件的影响,导致难以获得高效的稠密匹配结果,为此提出一种结合密度聚类平滑约束与三角网等比例剖分的像对稠密匹配方法。方法 为了快速获得同名点集,采用ORB（oriented FAST and rotated BRIEF）算法获取稀疏匹配点集,利用积分图筛选出以该特征点为中心的邻域中密度直达的特征点数目,计算像对间每个特征点对的偏移角、位置信息以及欧氏距离后进行密度估计聚类,通过平滑约束条件扩充聚类中的特征点对,从而快速获得内点集。证明了三角剖分在仿射变换下的等比例性质,以内点集为基础构建三角网,利用该性质分别计算像对中对应三角网内部等比例点的位置,并利用这些等比例点校验两个三角区域的相似性,进一步提纯内点集。最后,利用提纯后的内点集计算稠密匹配点位置,作为最后的稠密匹配结果。结果 在多个具有尺度缩放、重复纹理、旋转的公共数据集上进行像对匹配实验,实验结果表明,本文方法具备一定的抗旋转、尺度变化与重复纹理能力,能够较好地避免由于某些局部外点造成仿射变换矩阵估计不准确而影响整体平面稠密匹配准确率的情况,同时保证快速获得足够稠密的匹配结果。结论 实验结果验证了本文方法的有效性与实用性,其结果可应用于后期高级图像处理技术中。     

三维图匹配算法

目的 现有的图匹配算法大多应用于二维图像,对三维图像的特征点匹配存在匹配准确率低和计算速度慢等问题。为解决这些问题,本文将分解图匹配算法扩展应用在了三维图像上。方法 首先将需要匹配的两个三维图像的特征点作为图的节点集;再通过Delaunay三角剖分算法,将三维特征点相连,则相连得到的边就作为图的边集,从而建立有向图;然后,根据三维图像的特征点构建相应的三维有向图及其邻接矩阵;再根据有向图中的节点特征和边特征分别构建节点特征相似矩阵和边特征相似矩阵;最后根据这两个特征矩阵将节点匹配问题转化为求极值问题并求解。结果 实验表明,在手工选取特征点的情况下,本文算法对相同三维图像的特征点匹配有97.56%的平均准确率;对不同三维图像特征点匹配有76.39%的平均准确率;在三维图像有旋转的情况下,有90%以上的平均准确率;在特征点部分缺失的情况下,平均匹配准确率也能达到80%。在通过三维尺度不变特征变换（SIFT）算法得到特征点的情况下,本文算法对9个三维模型的特征点的平均匹配准确率为98.78%。结论 本文提出的基于图论的三维图像特征点匹配算法,经实验结果验证,可以取得较好的匹配效果。     

融合边缘保持与改进代价聚合的立体匹配算法

目的 立体匹配是计算机双目视觉的重要研究方向,主要分为全局匹配算法与局部匹配算法两类。传统的局部立体匹配算法计算复杂度低,可以满足实时性的需要,但是未能充分利用图像的边缘纹理信息,因此在非遮挡、视差不连续区域的匹配精度欠佳。为此,提出了融合边缘保持与改进代价聚合的立体匹配。方法 首先利用图像的边缘空间信息构建权重矩阵,与灰度差绝对值和梯度代价进行加权融合,形成新的代价计算方式,同时将边缘区域像素点的权重信息与引导滤波的正则化项相结合,并在多分辨率尺度的框架下进行代价聚合。所得结果经过视差计算,得到初始视差图,再通过左右一致性检测、加权中值滤波等视差优化步骤获得最终的视差图。结果 在Middlebury立体匹配平台上进行实验,结果表明,融合边缘权重信息对边缘处像素点的代价量进行了更加有效地区分,能够提升算法在各区域的匹配精度。其中,未加入视差优化步骤的21组扩展图像对的平均误匹配率较改进前减少3.48%,峰值信噪比提升3.57 dB,在标准4幅图中venus上经过视差优化后非遮挡区域的误匹配率仅为0.18%。结论 融合边缘保持的多尺度立体匹配算法有效提升了图像在边缘纹理处的匹配精度,进一步降低了非遮挡区域与视差不连续区域的误匹配率。     

点线光流预测机制的图像序列运动直线跟踪

目的 针对复杂场景图像序列中运动直线特征的提取、跟踪问题,提出一种基于点、线光流预测机制的图像序列运动直线跟踪方法。方法 首先根据图像直线的表达式定义点、线光流基本约束方程,由基本约束方程推导出关于点光流与直线光流对应关系的3个重要推论。然后依据点、线光流对应关系,利用图像序列中直线特征上的像素点光流计算直线光流的估计值并根据直线光流阈值筛选图像序列运动直线。最后由筛选出的运动直线及直线光流估计值计算直线的预测坐标并在Hough域内进行跟踪匹配,得到图像序列运动直线跟踪结果。结果 通过合成及真实图像序列实验验证,本文方法能够准确地筛选出图像序列中感兴趣的运动直线,并对运动直线进行稳定地跟踪、匹配,直线跟踪结果未产生干扰直线的误匹配,直线跟踪时间消耗不超过12 s。结论 相对于传统的直线跟踪、匹配方法,本文方法具有较高地直线跟踪精度和较好的鲁棒性,更适用于复杂场景下的运动直线跟踪、匹配问题。     

像对匹配的模板选择与匹配

目的 图像模板匹配法常用于寻找像对间区域的对应关系,目前尚存的问题有：1）随着摄影基线的增加,待匹配区域在目标影像中有效信息逐渐降低;2）匹配区域的选择对匹配结果准确性影响较大。为了解决上述问题,提出一种基于分值图的图像模板选择与匹配方法。方法 首先利用图像多通道特征,提出采用抽样矢量归一化相关算法SV-NCC （sampling vector-normalized cross correlation）度量两幅图像间区域一致性,增加多通道特征间的有效信息对比,以此降低噪声与光照对模板匹配的影响。其次,在矢量空间中对图像进行分块聚类,将模板区域根据颜色特征分为几类,统计匹配图像的每个区域类中心颜色在待匹配图像中相似数量的倒数作为度量值,其值越大则颜色或颜色组合在目标图像中相似的概率越小,以该位置为基础选取模板进行匹配的准确率越高。最后,给出依据分值图排序模板区域的方法,并选取高分值区域作为最终的模板选择区域。结果 实验采用公共数据集从两个方面对本文方法进行客观评价：1）在摄影基线变换不大的情况下,SAD与SV-NCC方法的准确率均较高,达到90%以上。随着摄影基线的增大,采用SAD方法匹配准确率降低速率更快,在第6幅Graf图像的测试中匹配准确率低于20%,而SV-NCC方法匹配准确率高于40%;2）随着摄影基线的增大,落在高分值图区域匹配的正确率高于未落在高分值图区域匹配的正确率,由此可见高分值图区域的合理选择将提高模板匹配方法的准确率,验证了本文分值图与选择最佳模板匹配位置方法的有效性。结论 该方法从定量和定性比较上都体现了较好的像对匹配能力,其匹配结果适用于影像融合、超分辨率重建及3维重建等技术中的先期处理步骤。     

实时鲁棒的特征点匹配算法

目的 针对传统的图像特征点匹配算法数据量大,计算耗时长的特点,提出一种实时鲁棒的特征点匹配算法（RRM）。方法 通过微分操作确定图像的边缘区域,找出边缘区域中很有可能成为特征点的锚点,即梯度局部最大的点。对于每个检测出来的特征点,通过计算Intensity Centroid来确定特征点的方向,并且使用改进的Brief来对特征点进行描述,使之具有旋转不变性。最后,结合Hamming距离和对称匹配检验对特征点进行匹配。结果 本文算法与多种算法进行对比,在光照发生变化的情况下,RRM表现出明显的优越性和稳定性,正确匹配率达到83%左右,而其他算法的准确匹配率随着光照的变暗明显下降;在视角、尺度和旋转变化条件下,RRM也具有较高的准确匹配率。结论 实验结果表明,RRM在保证匹配精度的前提下,有效地解决了传统特征点匹配方法中的缺点。因此,本文算法能更好地应用于图像拼接、目标跟踪和对象识别等领域。     

梯度约束SFS的月面地形重构

目的 解决月面着陆器在下降过程中可能得不到足够的匹配点进行着陆区地形恢复的问题。方法 基于特征边缘线梯度比例约束的明暗恢复形状（shape from shading）算法。首先以Lommel-Seeliger模型模拟月表反射情况,建立辐照度方程;然后以地形特征边缘提取结果为基础,经过最小二乘拟合与表面光滑模型约束后,演化得到剩余影像点的梯度比例因子,实现对辐照度方程的正则化约束。结果 经过测试得到模拟影像的平均相对恢复精度可以达到-0.199,真实影像月面可以达到0.051和0.022。结论 本文算法能够有效地进行3维地形恢复,且恢复精度优于经典SFS算法中对实际地形恢复效果最好的Tsai算法。     

面向重复纹理及非刚性形变的像对高效稠密匹配方法

目的 像对稠密匹配是3维重建和SLAM（simultaneous localization and mapping）等高级图像处理的基础,而摄影基线过宽、重复纹理、非刚性形变和时空效率低下等问题是影响这类方法实用性的主要因素,为了更好地解决这类问题,本文提出一种面向重复纹理及非刚性形变的高效稠密匹配方法。方法 首先,采用DeepMatching算法获得降采样后像对的匹配点集,并采用随机抽样一致算法剔除其中外点。其次,利用上一步得到的匹配结果估计相机位姿及缩放比例,以确定每个点对稠密化过程中的邻域,再对相应点对的邻域提取HOG描述符并进行卷积操作得到分数矩阵。最后,根据归一化后分数矩阵的数值以及下标距离的方差确定新的匹配点对以实现稠密化。结果 在多个公共数据集上采用相同大小且宽高比为4：3的像对进行实验,实验结果表明,本文方法具备一定的抗旋转、尺度变化与形变的能力,能够较好地完成宽基线条件下具有重复纹理及非刚性形变像对的匹配。与DeepMatching算法进行对比实验,本文方法在查准率、空间效率和时间效率上分别提高了近10%、25%和30%。结论 本文提出的稠密匹配方法具有较高的查准率和时空效率,其结果可以运用于3维重建和超分辨率重建等高级图像处理技术中。     

多重约束条件下的LBD描述子与直线段匹配

目的 针对直线描述子匹配算法缺乏有效的几何约束,且易受弱纹理、尺度变化的影响,提出一种结合多重约束条件的LBD描述子的直线段匹配算法（LBDs）。方法 该算法以LSD算法提取的直线段作为匹配基元,利用SIFT匹配得到的同名点构建同名三角网约束确定候选直线;参考影像上以目标直线段为中心轴建立该直线段的矩形支撑域;根据目标直线段端点及其支撑域四角点在搜索影像上的核线约束建立候选直线段的对应支撑域;利用仿射变换统一目标直线段及候选直线段支撑域的大小;将直线段支撑域分解为大小相等的条形带,通过计算每个条形带的描述符得到该直线段的描述子,依次完成目标直线段与候选直线段LBD描述子的构建;分别计算目标直线段与每个候选直线段描述子向量间的欧氏距离,将满足最近邻距离比准则的候选直线段作为匹配结果;最后选取角度约束对匹配结果检核,确定同名直线。结果 实验选取网上公开的3组分别存在角度、旋转、尺度变换的近景影像对作为实验数据,采用LBDs分别对其进行直线段匹配实验,并与其他直线段匹配算法进行对比分析,实验结果表明,LBDs获取同名直线数目约为其他算法的1.061.41倍,匹配正确率也提高了2.411.6个百分点,从匹配效率上来看,LBDs更为耗时,但兼顾该算法匹配获得同名直线数目、匹配正确率及运行时间,LBDs的鲁棒性更强,匹配结果的准确性与可靠性较高。结论 结合多重约束条件构建的LBD描述子对于存在角度、旋转和尺度变化的影像进行直线匹配过程中具有稳定性。     

图像匹配方法研究综述

目的 图像匹配作为计算机视觉的核心任务,是后续高级图像处理的关键,如目标识别、图像拼接、3维重建、视觉定位、场景深度计算等。本文从局部不变特征点、直线、区域匹配3个方面对图像匹配方法予以综述。方法 局部不变特征点匹配在图像匹配领域发展中最早出现,对这类方法中经典的算法本文仅予以简述,对于近年来新出现的方法予以重点介绍,尤其是基于深度学习的匹配方法,包括时间不变特征检测器（TILDE）、Quad-networks、深度卷积特征点描述符（DeepDesc）、基于学习的不变特征变换（LIFT）等。由于外点剔除类方法常用于提高局部不变点特征匹配的准确率,因此也对这类方法予以介绍,包括用于全局运动建模的双边函数（BF）、基于网格的运动统计（GMS）、向量场一致性估计（VFC）等。与局部不变特征点相比,线包含更多场景和对象的结构信息,更适用于具有重复纹理信息的像对匹配中,线匹配的研究需要克服包括端点位置不准确、线段外观不明显、线段碎片等问题,解决这类问题的方法有线带描述符（LBD）、基于上下文和表面的线匹配（CA）、基于点对应的线匹配（LP）、共面线点投影不变量法等,本文从问题解决过程的角度对这类方法予以介绍。区域匹配从区域特征提取与匹配、模板匹配两个角度对这类算法予以介绍,典型的区域特征提取与匹配方法包括最大稳定极值区域（MSER）、基于树的莫尔斯区域（TBMR）,模板匹配包括快速仿射模板匹配（FAsT-Match）、彩色图像的快速仿射模板匹配（CFAST-Match）、具有变形和多样性的相似性度量（DDIS）、遮挡感知模板匹配（OATM）,以及深度学习类的方法MatchNet、L2-Net、PN-Net、DeepCD等。结果 本文从局部不变特征点、直线、区域3个方面对图像匹配方法进行总结对比,包括特征匹配方法中影响因素的比较、基于深度学习类匹配方法的比较等,给出这类方法对应的论文及代码下载地址,并对未来的研究方向予以展望。结论 图像匹配是计算机视觉领域后续高级处理的基础,目前在宽基线匹配、实时匹配方面仍需进一步深入研究。     

利用梯度信息快速提取直线边缘特征

立足于视觉检测系统的实时性需要,提出一种利用梯度信息的快速直线边缘提取方法。该方法首先利用梯度信息和两点确定一条直线进行线段基元的快速定位和扫描;然后对扫描得到的线段基元进行基于几何距离最小化的最佳直线拟合;最后使用端点投影距离的方法对线段基元进行共线性检测,连接共线的线段基元并对连接结果重新进行最佳直线拟合,得到最终的直线边缘特征。实验结果表明:该方法进行直线边缘特征提取的速度比目前文献中最快的Hough变换改进算法提高了1倍左右,适应能力强,可以满足视觉检测系统对直线边缘特征提取的实时性和精度要求。     

基于边缘的图象配准改进算法

现有的图象配准方法对旋转处理比较困难,且处理效率不高。本文提出一种基于边缘的图象配准改进算法,该算法首先用小波的快速方法提取边缘特征点,通过线拟合模型消除噪声;然后得出特征点的边缘方向,定义“角度直方图”来估计两幅待配准图象间的旋转角,应用线性加权方法消除奇异点,最后得到图象间的精确变换关系。     

结合距离变换与边缘梯度的分水岭血细胞分割

目的 针对医学图像中细胞提取和粘连细胞分割问题,提出一种结合距离变换利用边缘梯度的分水岭血细胞显微图像分割方法。方法 首先,通过距离变换由细胞二值图生成距离地形图,取其局部极值点或点集作为前景标记,进行第1次距离分水岭变换;接着将第一步骤所得的分水岭脊线作为背景区域的标记,前景标记不变,视梯度幅度图为地形图,再一次进行梯度分水岭变换,得到细胞分割结果。两次分水岭变换前,均采用强制极小值的方法修改地形图,来控制地形图只在选取的标记处存在局部极小值。结果 该方法由距离图提取前景标记,将距离分水岭变换所得的脊线作为梯度分水岭变换的背景标记,能有效地分离粘连目标。相比于基于距离图分水岭变换,本文方法不过多依赖二值图像信息,保留了基于梯度图像的分水岭变换边缘定位准确的优点,又解决了其无法分割粘连目标和过分割的问题。结论 经多幅临床细胞图像分割实验验证,该方法可以实现图像中细胞的提取以及粘连细胞的自动分割,满足医学图像分割的要求。     

基于改进LSD和AP聚类的路径边缘识别策略

起重机金属结构攀爬机器人的路径边缘识别策略分为 3 个步骤。①图像预处理,利 用改进的过颜色算子进行灰度化;②使用基于支持向量机(SVM)最优分类线的方法确定梯度阈 值,并增设主方向角约束,改进线段分割检测(LSD)算法,得到直线段检测图像;③对直线段进 行特征提取,构建聚类数据集,基于数据集动态变化的特点,将基于先验信息的判别模型与近邻 传播(AP)聚类算法相结合,改进 AP 聚类算法,对直线段进行聚类,筛选出构成路径边缘的直线 段,并拟合得到最终的路径边缘线。实验结果表明,相较 AP 聚类和其他聚类算法,改进 AP 聚 类算法的筛选准确率最高;基于改进 LSD 和 AP 聚类的路径边缘识别策略的识别成功率为 96%, 且满足精度和实时性要求。     

自适应特征点检测的可见-红外图像配准

目的 针对可见—红外图像之间配准点的数量不足、分布严重不均匀以及配准点之间的错配率高这3个核心问题,提出一种基于自适应特征点检测的可见—红外图像配准方法。方法 本文提出的自适应特征点检测方法,以Harris corner作为基本特征点;以特征点数目与空间分布为检测目标,从而自动地估计合适不同空间位置的特征点的检测阈值。在特征点对匹配中,将梯度方向与互信息相融合有效地添加了相似性函数的空间位置信息。结果 自适应Harris corner检测方法能够有效地提供空间分布均匀、数量充足的特征点。而梯度方向与互信息相融合的相似性匹配函数提高特征点的匹配率20%,降低配准误差50%。结论 本文提出的多传感器图像配准方法能够快速、准确地实现可见光图像与红外图像之间的配准,在CCD-IR图像融合领域具有很好的实用价值。     

一种去除运动目标重影的图像镶嵌方法研究

针对图像镶嵌过程中如果图像序列中存在运动目标就会引起重影的问题,文中提出了一种新的去除运动目标重影的图像镶嵌方法。算法首先对视频图像进行了运动分割,在图像匹配阶段采用边缘特征点进行匹配,并由马尔可夫随机场模型生成运动目标的二值模板,剔除掉运动目标二值模板上的边缘点,从而保证图像匹配的准确率。在镶嵌阶段使用活动轮廓模型生成一条最优镶嵌线,产生的镶嵌线充分考虑了图像的边缘特征和梯度信息,确保了镶嵌后图像两边纹理差异更小。从连续视频帧中选取多帧图像进行实际的图像镶嵌,实验结果表明文中算法取得了较好的效果。