红外与可见光图像配准研究现状与展望

红外与可见光图像配准是常见的多模态图像配准,它广泛应用于军事、遥感等领域,有必要对其研究现状进行综述。在描述了红外与可见光图像配准问题后,首先简述了图像配准的一般方法,分为基于图像区域的配准方法和基于图像特征的配准方法,重点述评了局部不变特征方法中的SIFT算法和SURF算法;然后按文献发表时间顺序对红外与可见光图像配准的国外和国内研究现状进行了详细述评;总结了红外与可见光图像配准研究中存在的问题;最后对其进行展望,并指出未来的研究重点是以SIFT算法和SURF算法为研究基础去构造对模态不敏感的不变特征和其相应的描述子。     

红外与可见光图像配准方法分类及现状

红外与可见光图像配准作为一类重要的多传感器图像配准方法,在自动控制、机器人、遥感及军事应用等领域发挥着重要作用.介绍了红外与可见光图像配准问题的本质及难点,从原理上总结了大部分配准算法的基本步骤,并将现有的配准方法分为两类:基于区域的配准方法和基于特征的配准方法.从算法的可行性角度出发,分析了几种具有代表性的配准方法及其优缺点,最后对其未来的发展进行了展望.     

基于互信息和梯度的红外与可见光图像配准新方法

红外与可见光图像配准是常见的多传感器图像配准,在军事、遥感等领域有着广泛的应用。提出了一种基于互信息和图像梯度的红外与可见光图像的自动配准方法：首先,获得图像的梯度信息,然后根据定义的扩展结构获得边缘区域图像,选择最大归一化互信息作为相似性测度,使用Powell算法获得最佳配准参数。实验结果证明,本文方法较传统的基于互信息和梯度的配准方法,提高了配准的速度和精度,可以作为一种有效的粗配准的方法。     

基于多模态的车辆行人检测技术研究

针对单一传感器在复杂路况以及恶劣天气情况下车辆行人检测效果不佳,搭建了一套可见光、可见光偏振、短波红外和长波红外多模态数据采集系统,构建了一个多模态数据集,并提出了一种多模态车辆行人检测算法。首先,提出了一种基于改进型SIFT特征点的多尺度部分强度不变特征的异源图像配准算法;然后,提出基于YOLOv5多模态数据目标检测网络。最终实现了平均精度在日间数据集1.0%的提升,日间夜间混合数据集10.9%的提升。     

多模态医学图像融合技术概述

介绍多模态医学图像融合的意义和多模态医学图像融合的方式，重点介绍多模态医学图像融合的实现及主要的医学图像配准方法，并讨论了目前的多模态医学图像融合方法中存在的主要问题，直观地从整体上阐述多模态医学图像融合技术。     

多传感器数据融合中的配准技术

配准是多传感器数据融合中的一个重要环节。文中介绍了图像配准的一般方法，配准技术在数据融合的应用，并着重介绍了基于点特征的红外／可见光图像自动配准算法。     

基于传感器参数和改良CPD算法的红外与可见光图像点云配准

为实现前下视红外图像与可见光图像的有效配准,提出了一种基于传感器参数和改良CPD算法的红外与可见光图像自动配准算法.首先,利用传感器的姿态和高度信息,对前下视红外图像进行几何透视校正,消除图像间的旋转和比例缩放等差异;然后,对可见光图像和校正后的红外图像提取边缘特征点,基于相似变换模型,利用改良的CPD算法对其实现精配准.实测数据验证表明,该方法能实现对红外与可见光图像的良好配准,配准精度达到1个像素左右.     

基于ITK实现多模态医学图像配准

多模态医学图像配准是医学图像配准领域的一项关键技术.目前,医学图像配准技术已经拥有了不少成熟的算法,但因其算法本身的复杂性或编程的复杂性,给许多致力于医学图像的分析处理和应用研究但又缺乏软件开发经验的研究人员增加了研究工作的难度.以基于互信息的多模态医学图像配准算法为例,将ITK有关类库函数应用于医学图像配准中.给出了基于ITK实现图像配准的处理流程、数据输入输出方式以及算法的编译和运行方法.实例表明,基于ITK的配准算法简化了医学图像配准程序的开发工作,为医学图像引导临床诊断的研究应用提供参考.     

基于信息融合的PCB红外热像检测关键技术研究

利用红外热像技术对PCB(Printed Circuit Board,印制电路板)的板载元件工作状态进行探测,是一种新型的非接触式的检测方法。针对传统检测方法未将PCB的可见光图像作为检测信息的有益补充,本文把两种图像进行融合,将有用的信息有机地结合了起来。首先检测可见光与红外图像的最大稳定极值区域特征,利用简化的SURF描述子实现多模态图像的配准。接下来采用结合非下采样轮廓波变换和压缩感知技术进行红外与可见光图像融合,获得兼具元器件位置和工作属性等信息的图像。最后使用ID3决策树获得被测故障的最大的类别信息,通过实验表明了基于信息融合的红外热像技术进行PCB检测的可行性,同时也对局限性进行了分析和阐述。     

基于相似三角形匹配的红外与可见光图像配准方法

提出了一种基于相似三角形匹配的红外与可见光图像配准方法:首先将提取出的Harris角点组成三角形,然后利用本文提出的搜索算法,从红外与可见光图像中找出一对最优的相似三角形,并利用相似三角形的性质,计算出相关的匹配点,最后通过RANSAC算法拟合出配准参数,对图像进行配准。实验结果证明:此算法与传统的基于特征点的图像配准方法相比精度更高,具有较强的鲁棒性,可以解决刚体变换下红外与可见光图像配准的问题。     

基于轮廓特征的红外与可见光图像配准方法研究

红外光与可见光处于不同波段,其图像间的相关性较小.传统的基于特征的图像配准方法(如利用角点、边缘点等),在特征点选择时容易造成误匹配,这是由于有时特征点间的距离比较近造成的.针对此问题,本文提出了一种基于图像轮廓特征的红外与可见光图像配准方法.首先通过设置目标过滤器来提取明显的轮廓,再利用部分Hausdorff距离对轮廓进行匹配,计算出匹配轮廓对的面积和质心,并以此作为配准依据来对两种不同的图像进行配准.然后通过实验证明该方法的配准精度更高且克服了特征点误匹配的难点,这就可以解决刚性变换中红外与可见光图像间的配准问题.     

一种基于对称性边缘的多光谱图像配准方法

多光谱成像技术是遥感领域的一项重要技术。多光谱图像配准技术可以提高遥感图像的应用效率和能力。基于边缘结构在多光谱图像中较为稳定这一特性,提出了一种基于对称性边缘的多光谱图像配准方法,该方法主要包含“图像比例调整”、“对称性边缘提取”和“互信息配准”等三个步骤。基于天宫二号宽波段成像仪的遥感数据设计了一种多子图配准方案,验证了所提方法在可见光、短波红外和长波红外三个谱段之间图像配准的有效性。设置对比实验,将所提配准方法与其他多光谱图像配准方法进行比较,结果表明该方法在天宫二号宽波段遥感图像的配准中具有较高的精度。     

光学被动热补偿方式实现红外与可见光图像融合物镜设计

图像融合的配准精度是关系到图像融合质量的一个重要性能指标。本文所述的红外与可见光图像融合物镜系统采取平行光路布局、光学被动热补偿的方式提高图像融合的配准精度。本文首先分析对比了机械热补偿方式与光学热补偿方式对提高图像配准精度的贡献;其次根据图像融合物镜系统的性能指标对红外物镜和可见光物镜进行光学被动热补偿的优化设计,并分析了对可见光物镜进行光学被动热补偿设计的必要性;第三从光学布局型式及畸变变化来分析图像融合物镜系统的图像配准精度;最后根据图像融合物镜系统的成像质量和图像配准效果,可得出融合图像质量好、能满足指标要求的结论。     

基于多尺度红外与可见光图像配准研究

利用尺度空间理论对多分辨率的红外与可见光图像配准算法进行研究,提出利用红外与可见光图像的多尺度特征点及边缘作为配准的特征,利用特征尺度确定用于相似度匹配的子图像大小,使用LTS-Hausdorff(least trimmed square Hausdorff)距离判断子图像的相似性。利用尺度空间理论及多尺度下图像的特征能更加全面的对图像进行描述。在利用多尺度特征获取到匹配对后,再利用随机一致性检测对匹配对进行提纯并获取空间变换的参数,然后使用该参数对红外与可见光图像进行配准与融合。实验结果表明,基于多尺度的图像配准方法,能有效对红外与可见光图像进行配准。     

基于深度学习的电力设备红外与可见光图像配准

针对现有电力设备红外与可见光图像配准难度大、配准时间长等问题,提出一种基于深度学习的电力设备红外与可见光图像配准融合的方法。本文将特征提取与特征匹配联合在深度学习框架中,直接学习图像块对与匹配标签之间的映射关系,用于后续的配准。此外为了缓解训练时红外图像样本不足的问题,提出一种利用红外图像及其变换图像学习映射函数的自学习方法,同时采用迁移学习来减少训练时间,加速网络框架。实验结果表明:本文方法与其他4种配准算法相比性能指标均有显著提升,本文平均准确率为89.909,同其余4种算法相比分别提高了2.31%、3.36%、2.67%、0.82%,本文平均RMSE（Root Mean Square Error）为2.521,同其余4种配准算法相比分别降低了14.68%、15.24%、4.90%、1.04%,算法平均用时为5.625 s,较其余4种算法分别降低了5.57%、6.82%、2.45%、1.75%,有效提高了电力设备红外与红外可见光图像配准的效率。     

基于扩散方程和相位一致的异源图像配准算法

针对同一场景下的红外与可见光图像特征点难以提取和匹配的问题,提出一种基于扩散方程和相位一致模型的红外与可见光图像的配准算法。首先提出了收敛速度更快的扩散方程,并用该方程对红外图像除噪;其次利用改进的相位一致模型提取红外与可见光图像的视觉相似性结构;在相似性结构上提取特征点,进行二进制描述;最后采用汉明距离实现特征点匹配。实验结果表明,该算法能够有效滤除红外与可见光图像的差异,减小计算开销的同时实现图像的自动配准。     

基于显著性检测的不同视角下红外与可见光图像融合

融合红外图像的热源目标和可见光图像的清晰背景可以实现低照度条件下与场景关联的异常行为识别。现有以特征匹配为主的融合方法,受监控场景下可见光与红外成像的尺度、视角、目标特性等差异影响,配准及融合效率及准确性受限。针对该问题,本文提出了基于显著性检测的不同视角下红外与可见光图像融合方法。通过预设热敏感目标,计算可见光与红外的视场转换模型,预先配准红外与可见光视场。使用Mask R-CNN网络提取红外图像中的行人目标显著性区域,根据视场转换模型点将每个目标区域与可见光图像局部融合。最后,通过违规入侵行为辨识为目标进行实验验证。实验表明,论文提出的融合方法能够有效地将红外图像的热敏目标信息与可见光的场景进行融合,可以准确地判断是否发生违规入侵行为。     

基于显著性和ORB的红外和可见光图像配准算法

针对红外与可见光图像配准过程过受灰度差异影响大、特征点难配准的问题,提出基于显著性检测和ORB特征点的图像配准算法。首先利用优化的HC-GHS显著性检测算法得到图像的显著性结构图；其次利用ORB算法在显著性结构图上进行特征点检测,利用泰勒级数筛选出鲁棒性强的特征点,并根据特征点的方向进行分组匹配的策略；最后利用汉明距离实现特征点的匹配。实验表明本文算法能准确实现红外与可见光图像之间的配准,在红外噪声干扰、尺度变化下都具有良好效果。     

一种基于深度和局部特征的分布式光电图像配准方法北大核心CSCD

针对分布式光电成像系统采集的红外和可见光图像在配准时易受噪声影响,配准精度不高问题,提出一种基于卷积神经网络深度特征和RIFT局部特征的图像配准算法。首先基于改进的AVIRnet提取待配准红外和可见光图像的卷积深度特征,利用深度特征进行初匹配,得到初步的空间关系;然后在重叠图像区域内提取RIFT特征点;最后对局部特征点进行修正,得到最终的匹配点对,估算出精确的变换矩阵。实验结果表明:本文方法通过深度特征和局部特征两次匹配,对非线性辐射差异具有不变性,满足了分布式光电红外和可见光图像配准的精度要求。