基于视觉特性的红外与可见光图像融合

给出一种基于人类视觉特性的红外可见光图像融合算法,以增强融合图像的场景信息和目标指示特性。采用无下采样Contourlet变换对两幅源图像进行多尺度分解;在低频分量部分,调整可见光图像的全局亮度,以基于局部能量的方法提取并增强红外目标,以局部方差取大方法获得景物轮廓,余则采用可见光图像像素值;在高频分量部分,采用脉冲耦合神经网络选取高频分量;通过无下采样Contourlet变换的逆变换得到融合图像。改进算法可保留可见光图像的清晰度,红外目标突出,景物比在单一可见光图像中更易辨别。     

视觉显著性指导的红外与可见光图像融合算法

为了获取适合人眼观测的高质量红外与可见光融合图像,提出了一种基于视觉显著性指导的红外与可见光图像融合算法。首先,利用改进的流形排序法分别检测红外与可见光图像的视觉显著性区域;然后,采用非下采样轮廓波变换对红外和可见光图像进行多尺度、多方向分解,从而获取各自低频子带和高频子带,并将视觉显著性的检测结果用于指导分配低频子带的融合权重,即依据显著度大小赋予不同的权值,而高频子带的融合则依据局部标准差准则赋值;最后,通过非下采样轮廓波逆变换获得融合图像。实验结果表明:这种算法不仅可以保全可见光图像中的细节信息,而且能够精确地突显出红外目标信息,具有较好的视觉效果, 增强了红外与可见光复合前视系统的识别性能。     

红外与可见光复合寻的制导中的快速图像配准方法

对现有多传感器图像配准方法在红外与可见光复合寻的制导应用中存在的计算量大等不足,提出了一种基于部分Hausdorff距离的快速方法和一种两集合相似度的定义,从而实现了有效减小误匹配特征点对的红外与可见光图像快速配准方法.此算法通过分别提取两幅图像边缘上显著特征点,再根据提出的快速方法和两集合相似度定义,粗略估计出图像间的旋转角度、平移量;然后依据此估计值,缩小特征点匹配时匹配特征点搜索范围,求得一致特征点对;最后用最小二乘法求解最优变换参数.实验结果表明了该方法的有效性、快速性.     

基于无监督深度学习的红外图像与可见光图像融合算法

红外和可见光图像表征了互补的场景信息. 现有的基于深度学习的融合方法大多通过独立提取网络分别提取两个源图像特征,从而丢失了源图像之间的深度特征联系. 基于此,提出了一种新的基于无监督深度学习的红外图像与可见光图像融合算法,针对不同模态的特点采用不同的编码方式提取图像特征,利用一个模态的信息补充另一个模态的信息,并对提取到的特征进行融合,最后根据融合特征重建融合图像. 该算法可在两个模态的特征提取路径之间建立交互,不仅可预融合梯度信息和强度信息,且能增强后续处理的信息. 同时设计了损失函数,引导模型保留可见光的细节纹理,并保持红外的强度分布. 将所提算法与多种融合算法在公开数据集上进行对比实验,结果表明,所提算法获得了良好的视觉效果,客观指标评价方面对比现有的优秀算法也有一定的提升.     

基于红外特征与区域相似的图像融合算法

为了提高图像融合算法的速度，改善融合图像的质量．提高观察者对场景的认知能力，提出了一种介于像素级融合与特征级融合之间的基于红外特征和区域相似的图像融合方法．该方法利用目标的红外特征对红外图像进行目标区域分割。从而实现对目标区域和背景区域的分别融合；同时利用图像的结构相似度对源图像中的目标区域进行相似判定，并利用不同的融合规则对冗余区域和互补／冲突区域分别进行融合．与目前常用的基于多分辨率分解的图像融合方法相比，它既充分利用了目标的红外特征和可见光图像的细节信息，更好地对图像中亮暗相反的区域进行了处理．改善了融合效果，又提高了运算速度．     

基于区域分割与提升小波变换的图像融合算法

针对精确制导武器系统中,利用传统方法获取的融合图像使得红外目标模糊、识别率低、定位性差及不能继承可见光图像色彩特性而出现光谱扭曲与失真的现象,提出了一种基于区域分割和提升小波变换的红外与可见光图像融合方法。首先结合区域生长与边缘提取图像分割法,将红外图像背景区域与目标区域分开;其次采用像素邻域能量取大法,将红外目标区域映射到可见光背景中;最后将上步得到的融合图像与原图像进行低频加权,高频平均梯度的提升小波融合变换,防止因图像分割所形成的拼接错误而导致重要信息丢失现象。实验结果表明:融合后的图像,目标凸显,背景自然,能够达到准确定位与快速识别的目的,并对隐藏目标的检测有着重要的指导意义。     

基于Gabor滤波和显著性检测的红外与可见光图像融合

红外和可见光图像的融合既要突出红外图像中重要的亮度特征,又要使融合图像保留清晰的视觉效果。因此,提出了基于Gabor滤波和显著性检测的融合方法。首先,采用显著性检测得到红外和可见光图像的显著层,再使用Frankle-McCann Retinex增强算法对可见光图像进行增强,之后用Gabor滤波器将红外图像和增强后的可见光图像分解为细节层和基础层。然后,采用“最大绝对”的融合策略对显著层与细节层进行融合,最后进行图像重构。实验结果表明,得到的结果与其他八种经典算法比较中表现优异,尤其是AG、EI、IE、SF等指标方面尤为突出。     

基于视觉显著性和NSCT的红外与可见光图像融合

结合非下采样轮廓波变换的平移不变性,提出了一种基于视觉显著性的红外与可见光图像融合算法。首先,利用引导滤波器改进显著性检测算法并将其用于红外图像;然后,对红外图像和可见光图像进行非下采样轮廓波变换以得到各自的低频与高频子带;最后,在低频与高频子带的融合中分别采用红外图像显著性指导法与绝对值取大法。实验结果表明,与多种相关算法相比,该算法所得融合图像在突出红外目标的同时还具有丰富的可见光背景信息,具有更好的视觉融合效果和客观质量评价。     

一种基于区域分割的红外可见光图像融合方法

提出了一种基于提升小波和区域分割的红外可见光图像融合方法。先对红外图像和可见光图像进行提升小波分解,得到各自的高频和低频子图像,利用红外图像的热效应特征显著的特点对红外图像的低频子图像进行检测分割,用分割得到的二值图像来指导低频子图像的融合决策,对于高频子图像,采用区域方差匹配度决策法,最后对融合后的小波系数进行重构得到融合图像。实验结果表明,这种算法能够合理有效地保留红外图像的热目标信息以及可见光图像中丰富的光谱信息,提高了图像的可理解性,客观评价准则与目视效果吻合良好。     

一种空对地可见光图像制导跟踪算法

为解决复杂背景下空对地可见光图像制导跟踪问题,提出一种基于特征匹配的跟踪算法。首先,通过等间隔采样与改进Kirsch边缘检测相结合的方法进行特征点采样;然后,采用金字塔模板光流法提取目标特征;最终,采用模板匹配法识别目标特征完成对地面目标的制导跟踪。实验结果表明：算法速度可以满足最大129Hz帧率的相机进行实时跟踪,稳定跟踪速率优于7.75ms/F,具有跟踪速度快和抗干扰能力强的特点。该算法完全满足空对地复杂背景下跟踪的需求。     

RGB-D图像三维特征点的保结构检测方法

针对颜色-深度图像(RGB-D)特征融合困难、联合识别效率低的问题,提出了一种三维特征点的保结构检测方法,为图像配准、三维重建、目标识别与分类等问题提供稳定特征点.该方法利用透视投影在二维像平面上描述物点,建立了物点的三维保结构模型.基于扩散方程和尺度空间的联系,利用有限差分法将深度信息融入尺度空间中,给出了RGB-D尺度空间的一种表示方法.依据特征点与高斯拉普拉斯函数极值的对应关系,在RGB-D尺度空间上检测极值,获取了图像的保结构三维特征点.实验结果表明,与二维尺度不变特征转换(Scale-Invariant Feature Transform,SIFT)方法相比,RGB-D图像三维特征点的保结构检测方法有效融合了物体表面的颜色和结构信息,能够检测并匹配更多的图像特征点.     

可见光图像中飞机目标的特征选择及提取

针对目前大部分飞机目标识别算法都依赖建立的样本库,导致对样本库外的飞机不能很好识别的问题,分析了可见光图像中飞机目标在模式识别中的特征选择及提取方法.比较几种不同特征选择及提取方法,依据人工判读识别飞机目标的思维方法以及可见光图像的特点,提出了可见光图像中飞机目标的5个典型识别特征的提取方法,最后利用模糊模式识别方法完成对飞机目标的识别.实验结果表明:该算法能够对可见光图像中的飞机目标进行较好识别,准确率较高,平均识别率达到了90%以上.     

基于多特征融合和混合核SVM的目标识别方法

针对可见光和红外传感器具有不同感知特性的问题,提出了一种基于多传感器特征信息融合和混合核SVM的图像目标识别方法,方法包含多特征提取、主成分分析和混合核SVM分类三个部分.在特征提取中利用可见光和红外图像的互补性,分别提取同一场景可见光与红外图像的灰度共生矩阵以及灰度直方图统计特征,得到一组目标融合的特征量,进一步进行目标分类与识别;利用主成分分析法降低特征的维度,减少计算量;利用混合核SVM方法对目标特征进行分类识别.结果表明,在室内环境中对不同人群密度等级进行分类时,所提出方法的精度可达88.21%.     

一种基于局部不变特征的SAR图像配准新算法

针对SAR图像配准中匹配效率低、误匹配对多和配准精度差的问题,提出一种基于局部不变特征的SAR图像配准新算法。首先,使用加速分割检测特征（ features from accelerated segment test, FAST）检测算法,检测 SAR图像的FAST角点;使用DAISY描述子对FAST特征进行描述,得到SAR图像不变特征。其次,采用基于KD树的欧氏距离匹配策略,实现特征点对的粗匹配;采用RANSAC算法去除误匹配,实现特征点对精匹配。然后,采用仿射变换模型,实现图像插值和图像变换,实现SAR图像粗配准。最后,建立配准精度评估反馈机制,实现配准优化。通过使用不同时相、不同工作模式HJ－1C星载SAR和不同极化、不同波段机载AIRSAR图像配准实验,提出算法与经典不变特征配准算法相比,具有适配性好、配准效率高的优点。     

基于SURF特征相关的红外图像自动拼接

提出一种鲁棒性较好的图像拼接算法解决红外图像序列的自动拼接问题。首先应用图像子区域相位相关得到图像间近似重合子区域和图像间近似仿射变换参数;接着根据得到的参数值对SURF特征计算和特征匹配进行优化,提高了图像配准速度;然后以特征点对的对称投影位置误差最小化为目标,应用RANSAC和LM算法对图像间透视变换矩阵进行优化;最后应用得到的透视变换建立图像序列整体配准关系,并采用线性过渡法进行重叠区域融合得到最终的拼接图像。     

图像特征检测与匹配方法研究综述

几十年来,图像特征检测与匹配一直是图像处理的最核心领域之一,是计算机视觉的基石.没有特征检测与匹配就没有SLAM、Sfm、AR、通用图像检索、图像配准、全景图像等视觉任务.本文在回顾几十年来的经典检测算法的基础上,阐述了引用最新的以深度学习为首的机器学习算法后,在本领域取得的最新进展,包括特征点、局部特征子、全局特征子、匹配及优化、端到端框架等所有关键点,展示了算法各自的优缺点.总而言之,面对工业界的宽基线、实时、低算力检测的要求,图像特征检测和匹配仍然是一项未能完整攻克的任务,融合特征点、局部特征子、全局特征子、匹配及优化的多任务全局框架成为未来发展的趋势.     

采用多层卷积稀疏表示的红外与可见光图像融合

为提升光学图像在低照度条件下的可用性,对红外图像与可见光图像进行融合从而结合两者的优势是一种有效的技术手段。稀疏表示理论在红外与可见光图像融合领域已经得到了广泛的应用,然而基于稀疏表示理论的图像融合方法所采用的局部建模方式易于导致语义信息损失和对误匹配的低容忍度两大缺陷。卷积稀疏表示的全局建模能力对克服上述不足具有巨大的优势,本研究借鉴卷积神经网络的结构设计了一种前馈式基于多层卷积稀疏表示的红外与可见光图像融合网络,该网络包含5层:第1、2层为卷积稀疏层,通过预训练的字典滤波器获取源图像的卷积稀疏响应;第3层为融合层,通过活性图评价以获取融合结果;第4、5层为重建层,基于融合结果结合字典滤波器重建融合图像。实验结果表明,所提出的图像融合方法有效抑制了稀疏表示理论应用于图像融合的两大不足,在客观评价指标方面明显优于基于稀疏表示、基于单层卷积稀疏表示和基于卷积神经网络的图像融合算法,在算法的计算复杂度和运行时间方面优于基于稀疏表示和基于卷积神经网络的图像融合算法。     

多尺度图像增强可见光与红外图像融合

针对同一场景在可见光和红外传感器得到的图像其高频细节部分存在着较大差异这一特点,首先对已经配准的红外传感器和可见光得到的图像进行小波变换,在多尺度下对两幅图像进行边缘提取。然后以局部模方为活性测度,局部模方的比值为匹配测度,并且利用图像的边缘特征指导融合策略,经过合成模块和多尺度逆变换得到融合图像。最后对融合后的图像进行图像增强,并对其进行客观评价,证明了本文方法的有效性。     

双目视觉在类人机器人测距中的应用

为实现类人机器人对复杂目标高精度识别并测量出目标实际距离,提出一种双目目标识别与测距方法. 首先利用棋盘标定法对摄像机进行标定并捕获图像;然后利用局部二值模式算子（LBP）和优化后支持向量机（SVM）对目标进行识别;在识别的基础上,再采用尺度不变特征变换（SIFT）算法对特征点进行匹配并根据三角测距原理计算出目标实际距离. 实验结果表明该方法不但减少了人为参数指定,并且提高了特征点匹配效率,测距精度能够达到94%以上,满足类人机器人高精度测距和实时性要求.     

基于特征点匹配的拼接算法研究与实现

针对图像问因具有旋转及光线强度差异等现象而导致的拼接效果不佳及拼接速度慢的问题,提出一种基于特征点的配准算法。该算法首先利用相位相关法确定图像重叠区域,然后采用改进Harris角点检测算法检测角点,再根据相似测度NCC（NormalizedCrossCorrelation）方法提取出匹配特征点对,最后用渐进渐出的方法实现拼接图像的融合。实验证明,该算法比传统算法在角点数目上减少了四分之一,有效地去除了拼接产生的鬼影现象。能有效地提高图像拼接的速度和精度。