基于方向金字塔框架变换的遥感图像融合算法

为了综合利用多光谱遥感图像与全色遥感图像之间的互补信息,提出了一种方向金字塔框架变换(SPFT),并基于此变换提出了一种遥感图像融合算法。具体融合过程是将多光谱图像的每个波段分别与高分辨力全色图像进行融合,首先将高分辨力全色图像与多光谱图像的待融合波段进行直方图匹配,然后对该波段图像以及直方图匹配后的高分辨力全色图像分别进行方向金字塔框架变换分解,融合过程就是对两图像方向金字塔框架变换分解后的系数进行组合,最后对组合后的系数进行方向金字塔框架逆变换即可得到该波段图像与高分辨力全色图像的融合图像。实验结果表明该算法在性能上优于基于亮度-色调-饱和度(1HS)的彩色空间变换以及基于离散小波框架变换(DWFT)的遥感图像融合方法,尤其对源图像之间存在配准误差的情况。     

基于可见光的多波段偏振图像融合新算法

采用了一种新的基于小波变换的偏振图像融合算法.首先,将两个波段中的每一波段三幅偏振图像利用小波变换分解成低频和高频部分,低频的小波系数平均值作为融合后的低频系数,高频细节系数根据不同区域特征选择方法以及对应输入图像小波系数的窗口区域方差来确定融合后高频小波系数,得到一个波段一幅图像.接着,将得到的图像再进行小波分解,采用低频图像的小波系数最小值作为融合后的低频系数,高频图像根据纹理一致性测度的纹理检测确定融合规则,用来调整高频小波系数,将来自不同图像的特征与细节融合在一起,并对融合图像质量进行了对比评价.实验结果表明,融合后的偏振图像不仅反映了场景的偏振信息,而且还包含了丰富的光谱信息,目标与背景的衬比度也得到了增强,为进一步的目标检测和识别提供了便利.     

Multiscale top-hat selection transform based infrared and visual image fusion with emphasis on extracting regions of interest

To effectively combine regions of interest in original infrared and visual images, an adaptively weighted infrared and visual image fusion algorithm is developed based on the multiscale top-hat selection transform. First, the multiscale top-hat selection transform using multiscale structuring elements with increasing sizes is discussed. Second, the image regions of the original infrared and visual images at each scale are extracted by using the multiscale top-hat selection transform. Third, the final fusion regions are constructed from the extracted multiscale image regions. Finally, the final fusion regions are combined into a base image calculated from the original images to form the final fusion result. The combination of the final fusion regions uses the adaptive weight strategy, and the weights are adaptively obtained based on the importance of the extracted features. In the paper, we compare seven image fusion methods: wavelet pyramid algorithm (WP), shift invariant discrete wavelet transform algorithm (SIDWT), Laplacian pyramid algorithm (LP), morphological pyramid algorithm (MP), multiscale morphology based algorithm (MSM), center-surround top-hat transform based algorithm (CSTHT), and the proposed multiscale top-hat selection transform based algorithm. These seven methods are compared over five different publicly available image sets using three metrics of spatial frequency, mean gradient, and Q. The results show that the proposed algorithm is effective and may be useful for the applications related to the infrared and visual image fusion.     

基于改进对比度的有限离散剪切波图像融合

为了提高多聚焦图像的融合精度,结合有限离散剪切波变换(FDST)良好的局部化特性及平移不变性,提出了一种基于有限离散剪切波变换与改进对比度相结合的图像融合新算法。对经过严格配准后的多聚焦图像进行FDST分解,得到低频子带系数和不同尺度不同方向的高频子带系数;对低频子带系数采用区域平均能量匹配度自适应融合算法,高频子带系数的选取则根据低频与高频系数关联得到的对比度进行融合;应用有限离散剪切波逆变换重构得到融合图像,并对融合结果进行主观视觉和客观评价。通过仿真实验,算法在主观视觉效果上有着明显的优越性。在不同融合算法比较的融合结果中,熵值、互信息量和边缘相似度分别平均提高了1.4%、34.6%和8.0%,各项客观评价指标优于其他算法。     

基于非采样提升小波-Contourlet变换的图像融合算法

为克服非采样Contourlet变换中金字塔分解的不足,首先在提升小波变换的基础上,通过取消其奇偶分裂环节得到具有平移不变性的非采样提升小波变换,然后用此变换来取代非采样Contourlet变换中的金字塔分解,得到新的非采样提升小波-Contourlet变换。将此变换与一定的融合规则相结合,提出了一种基于非采样提升小波-Contourlet变换的图像融合算法。实验表明,该算法相对于非采样Contourlet变换能从源图像中提取更多有用信息注入到融合图像中,可得到更高性能的融合图像。     

基于改进的拉普拉斯金字塔变换的图像融合方法

介绍了传统的拉普拉斯变换存在的缺点以及改进的拉普拉斯变换的基本原理和重构方法,分析了新的重构算法能够在重构时抑制噪声的特点。提出了在图像融合过程中会引入噪声的问题,并通过实验分析了图像融合过程中引入的噪声情况。使用新的重构算法能够在图像重构过程中,而不是在系数处理过程中,有效抑制融合噪声。给出了基于改进的拉普拉斯变换方法进行图像融合的基本架构,并对变换系数的设置与融合过程的处理进行了详细的介绍。仿真实验的主客观性能比较表明,基于改进的拉普拉斯变换的图像融合方法比其它几种基于金字塔变换的融合效果要好得多。     

A novel image fusion method using WBCT and PCA

A novel image fusion algorithm based on wavelet-based contourlet transform （WBCT） and principal component analysis （PCA） is proposed. The PCA method is adopted for the low-frequency components. Using the proposed algorithm to choose the greater of the active measures, the region consistency test is performed for the high-frequency components. Experiments show that the proposed method works better in preserving the edge and texture information than wavelet transform method and Laplacian pyramid （LP） method do in image fusion. Four indicators for the fusion image are given to compare the proposed method with other methods.     

多源图像融合算法实时优化方法北大核心CSCD

针对红外与可见光图像融合的实时性要求,介绍了一种解决目前高清或超高清多源图像拉普拉斯金字塔图像融合算法的实时实现方法。基于视频数据流设计了拉普拉斯金字塔并行流水线处理结构,分析了各流水线之间的时延及优化思路。通过片上缓存的方式补偿时延时间差,实现了算法的流水等长,保证了处理数据的完整性。该方法可以在赛灵思7系列及以上的可编程门阵列(field programmable gate array,FPGA)芯片上实现双通道1080×1920@60 Hz视频图像的5层拉普拉斯金字塔融合。实验结果显示,该实时并行处理方法融合效果良好,一帧图像的融合仅需10.535 ms,处理时延小于1 ms。     

一种基于小波系数综合能量特征的多算子图像融合算法

提出了一种新的多算子小波分解图像融合算法,算法对输入图像进行多尺度小波分解,综合考虑同层各子带及相邻层子带小波系数图像特征描述的相关一致性,基于局部空间复合能量和局部相对能量差特征测度,采用多算子自适应融合规则构造融合图像,得到含有丰富细节特征的融合图像。     

基于形态学4子带分解金字塔的图像融合

提出了一种基于数学形态学滤波的多分辨力图像融合。这种融合方法使用了形态学开闭运算构造了低通与高通滤波器,将原始图像分解为4子带图像金字塔和4子带方向衬比度图像金字塔。然后利用方向衬比度和区域标准差进行图像融合得到融合的4子带图像金字塔,最后应用子带图像重构得到融合图像。融合实验表明,该方法优于传统的形态学金字塔图像融合,衬比度金字塔图像融合和小波分解图像融合。     

基于嵌入式多尺度分解和可能性理论的多波段纹理图像融合

将多尺度变换和“高频取大、低频加权平均”融合规则相结合是融合双波段图像的有效方法。但用该类方法融合多波段图像时,序贯式加权常常会导致原图像间固有的差异信息在融合图像中被弱化,从而影响后续的目标识别和场景理解。该问题在融合具有纹理特征的多波段图像时更为突出。为此,提出了一个基于嵌入式多尺度分解和可能性理论的多波段纹理图像融合新方法。首先,利用一种多尺度变换方法把多波段原图像分别分解为高频和低频成分,并对多波段图像中标准差最大的一幅原图像的低频成分利用另一种多尺度方法进行分块,再以该分块图像的大小和位置为标准对其余波段的原图像进行分块。然后,基于可能性理论的相关融合规则逐一融合对应的多波段块图像,再把块融合图像进行拼接,以拼接结果作为低频融合图像。最后,将该低频融合图像和利用取大规则融合得到的高频成分一起通过多尺度逆变换获得最终的融合图像。这种方法不仅将像素级和特征级融合方法综合在一起, 而且将空间域和变换域技术综合在一起, 并通过对大小块采用不同融合规则解决了目标边缘的锯齿效应问题。实验表明该方法效果显著。     

基于HIS 小波变换和MOPSO的全色与多光谱图像融合

有效的全色图像和多光谱图像的融合方法必须保证光谱和空间信息的最大化. 采用HIS小波融合算法框架, 提出了新的高频系数提取方法和一种新的全色和多光谱图像融合方法. 根据小波变换后高频中的细节以及边缘信息都具有方向性, 而噪声点一般都是孤立点这一物理特性, 设计了一种基于一阶高斯微分的高频系数提取方法.以多个融合评价指标为目标函数, 对HIS小波融合算法中采用不同融合规则得到的结果图像, 通过多目标粒子群优化算法优化加权组合得到最终结果. 对实际TM多光谱图像和SPOT全色图像进行了融合实验比较研究, 结果表明, 改进的高频系数提取方法得到的融合图像在光谱信息和空间信息上都有较好的改善, 用多目标粒子群优化算法得到的结果图像在光谱信息保留上具有较明显的优势且空间信息也得到了较大的提高.     

基于目标识别的红外与微光图像融合方法

 为了在融合图像中突出运动目标,提出了一种基于动态目标检测和识别的图像融合算法。先对红外图像序列中的运动目标进行检测和提取,同时对红外和微光图像进行融合,最后将提取到的红外目标与融合图像进行二次融合。试验结果表明,该算法获得的融合图像不仅具有普通融合算法信息丰富的特点,还具有鲜明的红外目标指示特性。     

Fusion of remote sensing images based on pyramid decomposition with Baldwinian Clonal Selection Optimization

In this paper, we put forward a novel fusion method for remote sensing images based on the contrast pyramid (CP) using the Baldwinian Clonal Selection Algorithm (BCSA), referred to as CPBCSA. Compared with classical methods based on the transform domain, the method proposed in this paper adopts an improved heuristic evolutionary algorithm, wherein the clonal selection algorithm includes Baldwinian learning. In the process of image fusion, BCSA automatically adjusts the fusion coefficients of different sub-bands decomposed by CP according to the value of the fitness function. BCSA also adaptively controls the optimal search direction of the coefficients and accelerates the convergence rate of the algorithm. Finally, the fusion images are obtained via weighted integration of the optimal fusion coefficients and CP reconstruction. Our experiments show that the proposed method outperforms existing methods in terms of both visual effect and objective evaluation criteria, and the fused images are more suitable for human visual or machine perception.     

基于梯度一致性约束的多光谱/全色影像最大后验融合方法

多光谱/全色影像融合可以得到高空间分辨率的多光谱影像,在影像解译和分类等方面具有十分重要的意义。提出一种基于梯度一致性约束的遥感影像融合方法。该方法在最大后验概率框架下,通过梯度一致性约束建立理想高空间分辨率多光谱影像和全色影像之间的关系,并结合多光谱影像观测模型和Huber-Markov影像先验,构建融合目标函数,最后采用梯度下降法求解得到融合影像。本文方法在目标函数中引入了梯度一致性约束,克服了现有的同类方法受限于波段数量的缺陷,同时在求解中自适应确定每个波段的迭代步长,充分顾及了各波段的光谱特性,从而既确保了融合影像的光谱信息保真度,也提高了融合影像的空间信息融入度。通过IKONOS和WorldView-2影像对该方法进行了验证,并和GS,AIHS和AMBF等融合方法从定性和定量两方面进行了比较分析。实验结果表明,相比于其他方法,该方法可以在更好保持光谱信息的同时增强影像的空间分辨率,具有更广泛的适用范围和更佳的融合效果。     

有限离散剪切波域的红外可见光图像融合

针对目前图像融合过程中的不足之处,结合有限离散剪切波具有高的方向敏感性和抛物尺度化特性,提出了一种有限离散剪切波变换下的图像融合算法。首先对严格配准的多传感器图像进行有限离散剪切波变换,得到低频子带系数和不同尺度不同方向的高频子带系数;然后对低频子带系数采用全局特征值和像素点之间的差异性与区域空间频率匹配度相结合的融合算法,高频方向子带系数采用方向权重对比度与相对区域平均梯度和相对区域方差相结合的方案;最后通过有限离散剪切波逆变换得到融合图像。实验结果表明,与其他的融合算法相比较,本文算法不但有良好的主观视觉效果,而且3幅图像的客观评价指标分别平均提高了0.9%、3.8%、3.1%,2.6%、3.8%、2.9%和1.5%、125%、59%,充分说明了本文融合算法的优越性。     

Color fusion of SAR and FLIR images using a natural color transfer technique

Fusion of synthetic aperture radar (SAR) and forward looking infrared (FLIR) images is an important subject for aerospace and sensor surveillance. This paper presents a scheme to achieve a natural color image based on the contours feature of SAR and the target region feature of FLIR so that the overall scene recognition and situational awareness can be improved. The SAR and FLIR images are first decomposed into steerable pyramids, and the contour maps in the SAR image and the region maps in the FLIR image are calculated. The contour and region features are fused at each level of the steerable pyramids. A color image is then formed by transferring daytime color to the monochromic image by using the natural color transfer technique. Experimental results show that the proposed method is effective in providing a color fusion of SAR and FLIR images.     

Multi-sensor image fusion using discrete wavelet frame transform

An algorithm is presented for multi-sensor image fusion using discrete wavelet frame transform (DWFT).The source images to be fused are firstly decomposed by DWFT. The fusion process is the combining of the source coefficients. Before the image fusion process, image segmentation is performed on each source image in order to obtain the region representation of each source image. For each source image, the salience of each region in its region representation is calculated. By overlapping all these region representations of all the source images, we produce a shared region representation to label all the input images. The fusion process is guided by these region representations. Region match measure of the source images is calculated for each region in the shared region representation. When fusing the similar regions, weighted averaging mode is performed; otherwise selection mode is performed. Experimental results using real data show that the proposed algorithm outperforms the traditional pyramid transform based or discrete wavelet transform (DWT) based algorithms in multi-sensor image fusion.     

基于改进的空域相关的多聚焦图像融合

提出了一种简单有效的像素级多聚焦图像融合方法。针对正交小波变换缺乏平移不变性而产生视觉失真的缺陷,采用Atrous算法将原图像分解在不同频率域上。Atrous算法先将滤波器h0(n),h1(n)各点间插入适当的零值后再与低频信号做卷积,故又称为"多孔算法"。将具有抑制噪声性能的空阈相关法作为高频子图像的融合规则,选取相关性强边缘特征显著的点作为最终融合子图像的像素点。实验表明,由此融合的图像能完好的保留边缘纹理信息。融合后的图像在客观评价和主管视觉效果上均有提高。