求解低秩矩阵融合高动态范围图像

目的 利用低秩矩阵恢复方法可从稀疏噪声污染的数据矩阵中提取出对齐且线性相关低秩图像的优点,提出一种新的基于低秩矩阵恢复理论的多曝光高动态范围（HDR）图像融合的方法,以提高HDR图像融合技术的抗噪声与去伪影的性能。方法 以部分奇异值（PSSV）作为优化目标函数,可构建通用的多曝光低动态范围（LDR）图像序列的HDR图像融合低秩数学模型。然后利用精确增广拉格朗日乘子法,求解输入的多曝光LDR图像序列的低秩矩阵,并借助交替方向乘子法对求解算法进行优化,对不同的奇异值设置自适应的惩罚因子,使得最优解尽量集中在最大奇异值的空间,从而得到对齐无噪声的场景完整光照信息,即HDR图像。结果 本文求解方法具有较好的收敛性,抗噪性能优于鲁棒主成分分析（RPCA）与PSSV方法,且能适用于多曝光LDR图像数据集较少的场合。通过对经典的Memorial Church与Arch多曝光LDR图像序列的HDR图像融合仿真结果表明,本文方法对噪声与伪影的抑制效果较为明显,图像细节丰富,基于感知一致性（PU）映射的峰值信噪比（PSNR）与结构相似度（SSIM）指标均优于对比方法：对于无噪声的Memorial Church图像序列,RPCA方法的PSNR、SSIM值分别为28.117 dB与0.935,而PSSV方法的分别为30.557 dB与0.959,本文方法的分别为32.550 dB与0.968。当为该图像序列添加均匀噪声后,RPCA方法的PSNR、SSIM值为28.115 dB与0.935,而PSSV方法的分别为30.579 dB与0.959,本文方法的为32.562 dB与0.967。结论 本文方法将多曝光HDR图像融合问题与低秩最优化理论结合,不仅可以在较少的数据量情况下以较低重构误差获取到HDR图像,还能有效去除动态场景伪影与噪声的干扰,提高融合图像的质量,具有更好的鲁棒性,适用于需要记录场景真实光线变化的场合。     

基于无监督深度图像生成的盲降噪模型

鉴于有监督神经网络降噪模型的数据依赖缺陷,提出了一种基于无监督深度生成（UDIG）的盲降噪模型。首先,利用噪声水平评估（NLE）算法测定给定噪声图像中的噪声水平值并输入到主流FFDNet降噪模型中,所得到降噪后的图像（称为初步降噪图像）作为UDIG降噪模型的输入。其次,选用编码器—解码器架构作为UDIG模型的骨干网络并用UDIG模型的输出图像（即生成图像）分别与初步降噪图像、噪声图像之间的均方误差之和构建混合loss函数;再次,以loss最小化为优化目标,通过随机梯度下降（SGD）网络训练算法调整网络模型的参数值从而获得一系列生成图像;最后,当残差图像（噪声图像与生成图像之间）的标准差逼近之前NLE算法所测定的噪声水平估计值时及时终止网络迭代训练过程,从而确保生成图像（作为降噪后图像）的图像质量最佳。实验结果表明：与现有的主流降噪模型（算法）相比,UDIG降噪模型在降噪效果上具有显著优势。     

基于显著性深层特征的无参考图像质量评价算法

针对通用型无参考图像质量评价（NR-IQA）算法,提出一种基于伪参考图像显著性深层特征的评价算法。首先,在失真图像的基础上,利用微调的ConSinGAN模型生成相应的伪参考图像作为失真图像的补偿信息,弥补NRIQA算法缺少真实参考信息的不足;然后,提取伪参考图像的显著性信息,将伪参考显著性图像与失真图像输入到VGG16网络中提取深层特征;最后,融合二者的深层特征并将其映射到由全连接层组成的回归网络中,从而产生与人类视觉一致的质量预测。为了验证算法的有效性,在四个大型公开的图像数据集TID2013、TID2008、CSIQ与LIVE上进行实验,结果显示所提算法在TID2013数据集上的斯皮尔曼秩相关系数（SROCC）比H-IQA算法提升了5个百分点,比RankIQA算法提升了14个百分点,针对单一失真类型也具有稳定的性能。实验结果表明,所提算法总体表现优于现有主流全参考图像质量评价（FR-IQA）和NR-IQA算法,与人类主观感知表现一致。     

基于显著性深层特征的无参考图像质量评价算法

针对通用型无参考图像质量评价（NR-IQA）算法,提出一种基于伪参考图像显著性深层特征的评价算法。首先,在失真图像的基础上,利用微调的ConSinGAN模型生成相应的伪参考图像作为失真图像的补偿信息,弥补NRIQA算法缺少真实参考信息的不足;然后,提取伪参考图像的显著性信息,将伪参考显著性图像与失真图像输入到VGG16网络中提取深层特征;最后,融合二者的深层特征并将其映射到由全连接层组成的回归网络中,从而产生与人类视觉一致的质量预测。为了验证算法的有效性,在四个大型公开的图像数据集TID2013、TID2008、CSIQ与LIVE上进行实验,结果显示所提算法在TID2013数据集上的斯皮尔曼秩相关系数（SROCC）比H-IQA算法提升了5个百分点,比RankIQA算法提升了14个百分点,针对单一失真类型也具有稳定的性能。实验结果表明,所提算法总体表现优于现有主流全参考图像质量评价（FR-IQA）和NR-IQA算法,与人类主观感知表现一致。     

红外与可见光图像快速融合算法

为了增强融合效果,提高融合速度,提出一种快速有效的红外与可见光图像融合算法.首先采用局部直方图均衡和中值滤波对红外与可见光图像进行对比度增强和去噪处理;然后对增强后图像进行线性融合,生成伪彩色融合图像;最后简化Lab颜色空间与RGB颜色空间之间的转换模型,并在简化的Lab空间实现全局颜色迁移,将可见光参考图像的一阶统计信息融合进伪彩色图像,获得自然感的真彩色图像.对比实验结果表明,采用文中算法生成的融合图像更加清晰、自然,速度更快、更简单.     

基于双分支融合的反馈迭代金字塔去模糊和超分辨率算法

针对低分辨率模糊图像实施超分辨率重建后出现大量伪影和边缘纹理不清晰问题,提出了一种双分支融合的反馈迭代金字塔算法.首先采用不同的分支模块分别提取低分辨率模糊图像中潜在的去模糊特征和超分辨率特征信息;然后采用自适应融合机制将两种不同性质的特征进行信息匹配,使网络在去模糊和超分辨率重建模块中更加关注模糊区域;其次使用迭代金字塔重建模块将低分辨率模糊图像渐进重建为逼近真实分布的超分辨率清晰图像;最后重建图像通过分支反馈模块生成清晰低分辨率图像,构建反馈监督.在GOPRO数据集中与现有算法的对比实验结果表明,所提算法能够生成纹理细节更加清晰的超分辨率图像.     

基于改进伪中值滤波和非局部均值滤波的红外图像滤波方法

首先对伪中值滤波算法进行了改进:噪声检测过程融入像素点灰度值、几何距离等因素,实现噪声点从图像像素点中的逐步分离;采用加权滤波的方法滤除噪声。其次对改进非局部均值滤波算法的先验信息获取方法进行了改进:对噪声图像进行提升小波变换,采用一种新型阈值函数选择低频分解系数,对高于阈值的系数进行重构得到参考图像,计算参考图像的相似度权值并将其作为改进非局部均值滤波算法的先验信息。最后基于2种改进算法提出了一种红外图像滤波方法,即依次采用改进伪中值滤波算法和基于先验信息的改进非局部均值滤波算法对红外图像进行滤波处理,然后将其与参考图像进行融合,以修正被过度滤波的图像。实验结果表明,该方法针对高密度噪声的红外图像有较好的滤波效果。     

抗混叠轮廓波HMT模型的医学图像融合

为了更好地对医学图像进行融合,提出了一种利用抗混叠轮廓波HMT模型的图像融合新算法。该算法首先对原始轮廓波变换的频谱混叠问题展开研究,明确LP分解中的两个低通滤波器不满足Nyquist抽样定律是造成混叠的主要原因。接着,在对低通滤波器考虑带限约束条件下,设计了一种能抑制混叠的利用双通道滤波器组结构的多尺度分解方案,用于代替原始轮廓波变换的LP分解,结合方向滤波器组,实现了一种抗混叠的轮廓波变换。在此基础上,提出一种采用隐马尔可夫树（HMT）来刻划变换系数尺度间相关性的医学图像成像模型,并以期望最大化算法估计模型参数,得到融合图像。CT与MR图像以及MR-T1与MR-T2图像的融合实验表明,该算法的融合结果无论在视觉质量及定量指标上都明显优于基于小波变换和原始轮廓波变换的方法。     

改进TV图像去噪模型的全景图像拼接算法

全景图像生成过程中易受到噪声的影响。针对该问题,提出一种改进的全变分（Total Variation,TV）图像去噪模型应用于全景图像的拼接。对图像去噪过程中建立的泛函函数进行卷积运算,利用卷积操作降低噪声点的灰度值,求解泛函函数所对应的拉格朗日方程极小值,达到图像去噪的效果;采用SIFT（Scale Invariable Feature Transfomation）特征匹配算法对去噪后的图像进行特征提取和匹配;对待拼接图像进行加权融合处理,优化视觉效果。仿真实验结果表明,与经典算法相比,该研究能够较理想地去除图像中的噪声,降低全景图像拼接过程中的干扰,提高视觉效果。     

耦合图像间的数据融合算法

耦合数据的融合算法主要通过利用其中一个数据集的信息提高对其他耦合数据集的估计精度和完善对相关潜变量的解释。针对现实中存在的大量耦合图像,基于耦合数据融合中的耦合矩阵和张量分解优化（CMTF-OPT）算法,提出一种针对耦合图像的耦合图像分解优化（CIF-OPT）算法。相应的理论分析及实验结果表明,不同噪声影响下用CIF-OPT算法进行耦合图像融合后的效果均具有鲁棒性,且融合效果优于其他耦合算法（如：CMTF-OPT算法）。特别地,针对其中缺失数据元素的图像,CIF-OPT算法可以利用与其耦合的图像,对缺失数据元素的图像进行精确的数据恢复。     

用于EVS的改进小波变换图像融合算法

为增强小波变换图像融合算法的实时性,提高视觉增强系统(EVS)可见光图像与红外图像实时融合的效率,提出了一种基于矩阵QR分解和小波变换的图像融合算法.该算法对原始图像的像素矩阵进行QR分解,再利用正交矩阵的性质,根据小波变换图像融合算法对QR分解得到的上三角矩阵进行分解融合,利用QR分解得到的正交矩阵逆变换得到融合图像.实验结果表明,该算法能获得较好的实时性,同时保证较好的融合效果.     

基于PCNN和最优化评价准则的曲波域图像融合

利用曲波变换能够准确捕获图像高维奇异信息的特点,提出了一种在曲波域中基于脉冲耦合神经网络和最优化评价准则的图像融合方法。该方法用曲波变换对输入图像进行多尺度分解,再利用脉冲耦合神经网络的全局耦合特性对高频子带曲波系数进行选取,定义图像融合的目标函数,根据最优化目标函数确定低频曲波系数的融合权值,进行曲波逆变换得到融合图像。实验结果以及与其他算法的比较分析表明了算法的有效性和优越性。     

多目标粒子群优化PCNN参数的图像融合算法

目的 脉冲耦合神经网络（PCNN）在图像融合上往往因为参数设置问题而达不到最佳效果,为了提高图像融合的质量,提出了一种基于多目标粒子群优化PCNN参数的图像融合算法。方法 首先用多目标粒子群对PCNN模型参数进行优化得到最优PCNN参数模型,然后利用双复树小波（DTCWT）对图像多尺度分解,将高频分量通过优化好的PCNN模型进行高频融合,低频分量通过拉普拉斯分量绝对和（SML）来进行低频融合,最后通过DTCWT逆变换实现图像的融合。结果 分别与DTCWT,拉普拉斯金字塔变换（LP）以及非下采样Contourlet变换（NSCT）进行实验对比,融合图像Clock,Lab的融合结果在客观指标上的互信息（8.062 3,7.908 5）、图像的品质因数（0.716 2,0.714 2）和标准差（51.213,47.671）都优于其他方法,熵和其他方法差不多,融合结果能够获得更好的视觉效果以及较大的互信息值和边缘信息保留值。结论 该方法有较好融合图像的能力,可适用于计算机视觉、医学、遥感等领域。     

基于PCNN与区域特征的红外与可见光图像融合

针对红外图像与可见光图像融合中容易产生红外目标不明显、对比度不高的问题,提出了一种新的融合算法。该算法创新地将PCNN与区域特征应用到NSCT域内低频和带通子带系数的选择上。通过NSCT分解得到待融合图像的子带系数。运用PCNN对分解后的子带系数进行处理,得到子带系数的点火映射图。低频子带点火映射图采取基于区域标准差的方法选取融合系数。带通子带点火映射图采取基于区域能量的方法选取融合系数。融合图像通过NSCT逆变换可以得到。仿真实验表明与其他算法相比,该算法能够得到红外目标突出、质量更好的融合图像,图像客观评价指标提升明显。     

基于改进的稀疏表示和PCNN的图像融合算法研究

为提高图像融合的清晰度,本文提出一种基于改进的稀疏表示和脉冲耦合神经网络（pulse coupled neural network,PCNN）的图像融合。利用非下采样剪切波变换（non-subsampled shearlet transform,NSST）对源图像进行分解变换,得到相应的低频子带和高频子带具有不同的信息。对于低频子带,采用改进的稀疏表示进行融合,利用K奇异值分解（K-singular value decomposition,K-SVD）算法,并对源图像进行自适应学习的多个子字典构造成联合词典。对于高频子带,则改进PCNN融合系数的选择方法,利用改进的空间频率作为神经元反馈输入来激励PCNN模型,并根据点火输出的总幅度最大的融合规则选择高频系数。最后,将融合后的低频子带和高频子带系数进行NSST逆变换,重构出融合图像。实验结果表明:该算法很好地保留了图像的边缘信息,并且得到的图像在相关的客观评价标准上也取得了良好的效果,表明了本算法的有效性。     

基于增补小波变换和PCNN的NSCT域图像融合算法

针对传统NSCT图像融合算法存在的不足,提出一种基于增补小波变换和PCNN的NSCT域图像融合算法。首先对源图像进行NSCT分解,生成一系列低频和高频分量。对低频分量利用二维小波分解,生成一个低频和三个方向分量,对低频分量利用局部区域能量加权方法融合,三个方向分量利用改进的高斯加权SML方法融合;对NSCT分解的高频分量,分为对最高层和其它层的融合,最高层利用改进的高斯加权SML方法融合,其余层利用边缘梯度信息激励PCNN方法融合。最后对NSCT进行逆变换得到融合图像。实验结果证实了所提算法的有效性。     

非下采样Contourlet变换与脉冲耦合神经网络相结合的SAR与多光谱图像融合

由于获取地物波谱信息的波段范围及成像方式的不同,SAR与多光谱图像所得到的信息有很大差异,而且SAR图像会受到严重的相干斑噪声干扰,因此SAR与多光谱图像的融合很难获得满意的效果。考虑到非下采样Contourlet变换(NSCT)相比于其他多尺度几何分析方法的优势,提出了一种NSCT与脉冲耦合神经网络(PCNN)相结合的SAR与多光谱图像融合方法。源图像首先经过NSCT分解获得不同尺度多个方向下的分解系数,将分解系数的高斯拉普拉斯算子能量作为脉冲耦合神经网络模型的输入,具有较大点火频率的系数将被选择作为融合图像的系数,最后经过NSCT重构得到最终的融合图像。实验结果表明,这种算法无论在主观视觉还是在客观指标上都要优于之前的许多算法。     

一种改进的PCNN图像融合算法

针对使用小波变换及简单融合规则的图像融合算法的不足,提出了一种改进的基于脉冲耦合神经网络（Pulse Coupled Neural Networks,PCNN）融合规则的非下采样轮廓波变换（Nonsubsampled Contourlet Transform,NSCT）图像融合方法。对已配准待融合图像进行NSCT分解,采用改进的PCNN融合规则对Contourlet域系数进行融合,得到融合图像的NSCT系数,经逆变换重构得到融合图像。实验结果表明该算法在主观视觉和客观评价指标上都取得了较好的融合效果。     

脉冲耦合神经网络自适应图像融合算法研究

作为一种新型的神经网络模型,脉冲耦合神经网络（PCNN）已经在众多领域得到了应用。针对现有脉冲耦合神经网络图像融合算法存在的不足,提出了一种新的自适应PCNN图像融合算法。提取原始待融合图像的互补特征作为PCNN的外部输入,并通过提取待融合图像的对比度特征自适应确定PCNN的链接强度参数;分析了传统PCNN获取最优图像融合结果的方法,探索性地将结构相似度引入到PCNN融合结果的评价中,为PCNN最优融合结果的获取提供了很好的借鉴作用。通过红外和可见光等图像的仿真实验结果表明,提出的融合算法是有效的。     

基于脉冲耦合神经网络的异源图像融合方法

针对基于主成分分析与二代小波变换的图像融合算法中鲁棒性不高、融合图像质量较低的问题,提出了基于鲁棒性主成分分析与脉冲耦合神经网络的融合方法.所提出的算法将可见光与红外图像进行二代小波变换,转换为高频与低频信号,接着采用不同的融合策略针对低频和高频信号进行融合.针对低频信号,利用鲁棒性主成分分析法还原低秩矩阵并采用加权平均的融合策略进行融合;针对高频信号,将其送入至脉冲神耦合神经网络中进行融合得到融合后的小波系数.将融合后的小波系数进行逆变换,得到最终融合图像.实验结果表明,相比于基于主成分分析与二代小波变换的图像融合算法,利用所提出的出算法得到的融合图像中熵指标、空间频率指标、结构相似度指标和峰值信噪比指标均得到了不同程度的提升.因此,所提出的算法能够更好地提取目标信息,使融合图像中目标的轮廓边缘更加清晰,同时将提升小波分解出的高频信息利用PCNN进行融合,更加突出细节信息.