结合目标提取和压缩感知的红外与可见光图像融合

针对红外与可见光图像融合易受噪声干扰从而使目标信息减弱的问题,提出了一种基于目标区域提取和压缩感知的融合算法。首先,在频率域上对红外图像进行显著区域检测得到其对应的显著度图,并在显著图指导下结合区域生长法提取红外图像的目标区域,有效抑制噪声与复杂背景的干扰。然后,用非下采样剪切波变换对待融合的图像进行分解,采用不同的融合策略分别对目标与背景区域的高、低频子带进行融合。针对背景区域提出一种新的基于多分辨率奇异值分解和压缩感知的融合规则,最后,进行非下采样剪切波逆变换得到融合图像。与其他算法的对比实验结果表明,本文算法能更好地突出目标区域,保留图像细节信息,抑制噪声干扰;图像质量评价指标中的信息熵、标准差、互信息、边缘保持度分别提高了3.94%,19.14%,9.96%和8.52%。     

基于压缩感知的NSCT图像融合

现有的非下采样轮廓波变换图像融合方法随着分解级数的增加,其所包含的高频信息数据量会急剧增加,带来较大的运算量.针对这一问题,提出一种基于压缩感知的NSCT图像融合算法.利用压缩感知的测量矩阵对待融合图像经NSCT分解后得到的高频信息进行测量,以减少高频信息的数据量,并在压缩域融合后重构,最后与融合后的低频信息进行NSC...     

基于补偿机制的NSCT域红外与可见光图像融合

针对传统基于非下采样Contourlet变换和脉冲耦合神经网络的图像融合方法易出现图像失真的缺点,本文提出一种基于小波变换与PCNN补偿的NSCT域内红外与可见光图像融合方法。首先将红外和可见光图像分别进行NSCT分解,得到低频分量和高频分量;然后对低频分量进行二维小波分解,得到1个低频子带和3个方向子带,对其低频子带采用局部能量加权的方法进行融合,其余3个子带采用绝对值取大的方法进行融合;NSCT分解的高频子带融合规则分为对最高层的融合和其他层的融合,最高层采用绝对值取大的方法进行融合,而其余层采用的是基于改进型的PCNN的方法进行融合;最后将得到的低频子带和高频子带进行NSCT重构获得融合图像。合成及真实图像集实验结果表明,本文算法相对于传统的融合方法增加了图像的纹理和细节信息,有效地抑制了图像失真问题,具有较高的融合精度与较快的融合效率。     

采用非采样Contourlet变换与区域分类的红外和可见光图像融合

提出基于多尺度变换和区域相结合的红外与可见光图像融合方法,用于有效保留红外图像与可见光图像中的空间信息及热目标信息,提升融合图像的可观测性和可理解性。首先,基于非采样Contourlet变换(NSCT)方法对红外和可见光图像进行初步融合,采用基于局部能量的规则融合低通子带系数,根据尺度内各方向子带的相关性原则融合带通方向子带系数。然后,计算初次融合后所得的融合图像与源图像的结构相似性(SSIM),根据源图像与初次融合图像的结构相似程度对图像进行区域分类,得到相似区域分类标识图。最后,依据区域内各自的相似度特性,分别采用不同的融合策略进行二次融合,从而得到最终的融合结果。实验结果表明:该方法能够充分提取源图像的区域特征和纹理特征,融合结果在主观和客观评价上均优于目前流行的融合方法。与仅使用NSCT法进行融合相比,实验所采用的两组图像的质量评价指标分别提高了16%、85%、54%、36%和18%、102%、84%、41%。表明该方法在主客观评价上均优于双树复杂小波变换(DTCWT)、NSCT、冗余离散小波变换(RDWT)等方法。     

基于剪切波变换的可见光与红外图像融合算法

针对不同传感器的图像融合问题,提出一种基于剪切波变换的可见光与红外图像融合算法.首先通过剪切波变换对多源图像进行多尺度多方向分解,获取图像的低频子带与高频子带系数.在融合过程中,针对高、低频子带系数所反映图像尺度特征的差异性,采用相应的区域显著性方法进行量化描述.鉴于两源图的不同物理特性导致同一场景景物灰度分布存在差异的现象,采用区域相似性进行量化区别.综合区域显著性与区域相似性2个参数制定融合规则,实现多尺度分解系数的优化组合,经剪切波反变换重构各融合后的子带系数,获取最终的融合图像.实验结果表明,该算法与相关融合算法相比,在主观视觉效果与客观量化指标性能上均有所改善.     

基于边缘检测小波变换的红外与可见光图像融合方法

简要地论述了图像融合中主要的三种像素级融合算法,即简单方法、基于塔形分解以及基于小波分解的融合方法,在现有的红外与可见光图像融合方法之上,提出了以边缘检测为基础的一种小波变换图像融合方法,并对融合效果进行了评价。实验结果表明,经该方法对红外与可见光图像的融合可以提供更多、更有效的信息,提高了图像的分辨效果和人眼对场景目标的发现和识别概率,融合效果较为理想。     

基于多特征的红外与可见光图像融合

针对传统图像融合方法易导致融合图像整体对比度低及细节反差小的问题,提出一种多特征加权多分辨率图像融合方法。首先,对多尺度分解后的低频系数进行边缘特征、平均梯度特征的提取,同时对高频系数进行相关信号强度比特征的提取。然后,通过边缘特征级融合指导像素级图像融合得到高频系数;针对合成模块中简单加权法易引起边缘或纹理局部模糊的问题,提出分两种情况分别合成同一位置的多尺度分解系数。最后,通过平均梯度特征自适应加权得到融合图像的低频系数,并对低频和高频系数进行多尺度逆变换得到融合图像。实验表明,本文方法的融合性能优于经典的融合方法,其融合质量评价指标中的标准差、空间频率、信息熵和平均梯度分别提高了15.12%、4.30%、6.15%和3.44%。     

基于非下采样双树复轮廓波变换和稀疏表示的红外和可见光图像融合

提出了一种基于非下采样双树复轮廓波变换(NSDTCT)和稀疏表示的红外和可见光图像融合方法,以改善传统的基于小波变换的图像融合方法的不足。该方法首先利用形态学变换处理源图像,利用NSDTCT变换进行图像分解得到低频子带系数和高频子带系数。根据高低频系数的不同特点,提出改进的稀疏表示(ISR)的融合规则用于低频子带;然后将改进的空间频率作为脉冲耦合神经网络的外部输入,提出基于自适应双通道脉冲耦合神经网络(2APCNN)的融合策略用于高频子带。最后通过NSDTCT逆变换获得融合后的图像。实验结果表明:本文方法在客观指标和视觉效果方面均优于传统图像融合的方法。与传统的NSCT-SR方法相比,实验的两组图像中4个客观指标:互信息(MI)、边缘信息保留量QAB/F,平均梯度(AG)和标准差(SD)分别提高了9.89%、6.39%、104.64%、55.09%和9.53%、17.77%、95.66%、52.89%。     

基于视觉显著性的红外与可见光图像融合

多波段图像融合可以有效综合各个波段图像中包含的特征信息。针对可见光和红外图像,提出了一种结合红外图像视觉显著性提取的双波段图像融合方法,一方面旨在凸显红外图像的目标信息,另一方面又尽可能的保留了可见光图像的丰富细节信息。首先,在局部窗口内实现红外图像的显著性图提取,并通过窗口尺寸的变化形成多尺度的显著性图,并对这些显著性图进行最大值的优选叠加,以获取能反映整幅红外图像各个尺寸目标的显著性图;其次,通过结合显著性图与红外图实现显著性图的加权增强;最后,利用增强的红外显著性图进行双波段图像的融合。通过两组对比实验,数据表明该方法给出的融合图像视觉效果好,运算速度快,客观评价值优于对比的7种融合方法。     

基于快速交替引导滤波和CNN的红外与可见光图像融合

为了解决红外与可见光图像融合中出现细节信息丢失,边缘模糊以及伪影的问题,本文提出一种快速交替引导滤波,在保证融合图像质量的前提下有效提高运行效率,结合CNN（卷积神经网络）以及红外特征提取进行有效的融合。首先,对源图像利用四叉树分解和贝塞尔插值来提取红外亮度特征结合可见光图像得到初始融合图像。其次,通过快速交替引导滤波获取源图像的基础层与细节层信息,基础层通过CNN与拉普拉斯变换得到融合后的基础图像,细节层通过显著性测量的方法得到融合后的细节图像。最后,将初始融合图、基础融合图以及细节融合图进行相加得到最终融合结果。本算法涉及到的快速交替引导滤波以及特征提取性能使得最终融合结果中包含丰富的纹理细节信息,边缘清晰。经实验表明,本算法所得融合结果在视觉方面具有较好的保真度,客观评价指标较对比方法其信息熵、标准差、空间频率、小波特征互信息、视觉保真度以及平均梯度分别平均提高了9.9%,6.8%,43.6%,11.3%,32.3%,47.1%。     

基于视觉显著性的可见红外图像融合

多波段图像融合可以有效综合各个波段图像中包含的特征信息。针对可见光-红外图像,本文提出了一种结合红外图像视觉显著性提取的双波段图像融合方法,一方面旨在凸显红外图像的目标信息,同时又能尽可能的保留可见光图像的丰富细节信息。首先,在局部窗口内实现红外图像的显著性图提取,并通过窗口尺寸的变化形成多尺度的显著性图,并对这些显著性图进行最大值的优选叠加,以获取能反映整幅红外图像各个尺寸目标的显著性图;其次,通过结合显著性图与红外图实现显著性图的加权增强;最后,利用增强的红外显著性图进行双波段图像的融合。通过两组对比实验,数据表明该方法给出的融合图像视觉效果好,运算速度快,客观评价值优于对比的7种融合方法。     

应用第二代Curvelet变换的遥感图像融合

提出了一种基于第二代Curvelet变换遥感图像融合算法。将具有高空间分辨力的Pan图像与Ms图像的待融合波段图像进行直方图匹配,并对直方图匹配后的Pan图像与待融合波段Ms图像分别进行Curvelet变换分解,得到各自的低频子带系数和各带通方向子带系数;采用一定的融合规则对Curvelet变换系数进行组合得到融合图像的Curvelet系数;最后对组合后的系数进行Curvelet重构得到该波段具有高空间分辨力的Ms图像。对IKONOS卫星遥感图像的仿真实验结果表明:与传统的基于亮度-色调-饱和度彩色空间变换融合算法相比,该算法使融合后的Ms图像整体光谱保持度提高了10.54％,而与传统的基于小波变换的图像融算法相比,其空间质量提高了0.81%~1.12%, 有效解决了基于亮度-色调-饱和度彩色空间变换融合算法中光谱失真严重和基于小波变换图像融合算法中空间质量较低的缺点,使得融合后的Ms图像在最大可能地保持原始Ms图像光谱特性的同时,显著提高了融合图像的空间质量。     

采用显著性分析与改进边缘方向直方图特征的红外与可见光图像配准

为了实现红外图像与可见光图像的信息融合,弥补单一模态图像的不足,提出了一种基于显著性分析与改进的边缘方向直方图EOH(Edge Orientation Histogram)特征的红外与可见光图像配准算法。该算法首先利用显著性分析技术找到可见光图像中的重要信息,得到显著性图;将其与可见光图像融合,实现可见光图像中重要信息的划分。然后,利用自适应FAST(Features from Accelerated Segment Test)算法,探测可见光与红外图像上的特征点;利用改进的EOH,描述特征点。最后,根据描述计算特征点的相似性,在可见光与红外图像上找出对应的特征点,实现红外与可见光图像的匹配。在3种不同情况下对红外与可见光图像数据进行了配准实验。结果表明:在红外图像与可见光图像采集条件相似情况下,特征点正确匹配率为96.55%,而在图像采集条件差异较大的情况下,特征点正确匹配率可达74.21%。该算法可实现红外与可见光图像的精确快速匹配,即使红外图像与可见光图像采集的角度与位置均存在较大差异的情况下,仍可以满足红外与可见光图像匹配对精度和稳定性的要求。     

基于压缩感知的人脸超分辨技术

人脸超分辨是一个欠定的求逆问题,压缩感知理论提供了一种有效的逆问题求解方法.本文提出了一种基于压缩感知的人脸超分辨方法,该方法包含三个步骤:字典学习、稀疏编码和求解全局MAP方程.第一步,使用K-SVD算法获得能稀疏表示高分辨率人脸图像的字典;第二步利用训练好的字典,求解输入低分辨率图像块的最稀疏表达,由稀疏系数和稀疏字典求得超分辨图像块,组装成超分辨图像;最后,为了满足全局一致性限制条件和改进超分辨效果,对完整图像求解MAP方程.实验结果表明,与其它同类人脸超分辨方法相比,本文方法得到了更好的超分辨效果.