针对动态目标的高动态范围图像融合算法研究

高动态范围成像技术能够全面有效地反映拍摄场景信息,有利于在复杂环境下获得更高的成像质量。目前基于多曝光图像序列的高动态范围图像融合算法需要高精度配准的输入图像序列,无法克服动态问题带来的影响,无法针对存在动态目标的多曝光图像序列进行高动态范围图像融合。基于此,提出了一种高动态范围图像融合算法。该算法利用基于色彩梯度的微分光流法获得由相机抖动以及场景目标运动导致的多曝光图像之间的动态目标偏移量;结合标定的逆相机响应函数构建高动态范围图像融合权重函数,对存在动态问题影响的多曝光图像进行高动态范围图像融合。实验结果表明,提出的算法无需提前对输入图像序列进行精确配准,能够有效克服动态问题影响,实现动态目标的高动态范围图像融合。     

特征增强SSD算法及其在遥感目标检测中的应用

为了提高对复杂场景下多尺度遥感目标的检测精度,提出了基于多尺度单发射击检测(SSD)的特征增强目标检测算法.首先对SSD的金字塔特征层中的浅层网络设计浅层特征增强模块,以提高浅层网络对小目标物体的特征提取能力;然后设计深层特征融合模块,替换SSD金字塔特征层中的深层网络,提高深层网络的特征提取能力;最后将提取的图像特征与不同纵横比的候选框进行匹配以执行不同尺度遥感图像目标检测与定位.在光学遥感图像数据集上的实验结果表明,该算法能够适应不同背景下的遥感目标检测,有效地提高了复杂场景下的遥感目标的检测精度.此外,在拓展实验中,文中算法对图像中的模糊目标的检测效果也优于SSD.     

基于块匹配的低光度图像对融合方法

针对低光度条件下长曝光图像与短曝光图像的融合问题,提出了一种基于块匹配的图像融合方法,将低光度图像对融合成为一张更好的图像.首先提出基于金字塔多尺度模型的双向鬼影检测算法,该算法降低了噪声和欠曝对鬼影检测的影响,用于准确检测低光度场景中图像对之间由于物体运动造成的不一致区域;随后利用块匹配算法重建鬼影区域;最后运用改善边缘特性的泊松融合算法提取两次曝光图像中的信息生成结果图像.实验结果表明,该方法有效地保留了短曝光图像的边缘锐度,并保持了长曝光图像的色彩、亮度和细节.     

基于特征融合的遥感图像舰船目标检测方法

针对常用的目标检测算法对遥感图像中的舰船目标进行检测时存在检测精度与实时性兼顾不佳的问题,提出了基于特征融合的遥感图像舰船目标检测算法来检测复杂场景下的多尺度舰船目标.该算法以多尺度单发射击检测框架为基础,增加反卷积特征融合模块和池化特征融合模块,增强网络特征提取的能力.同时设计聚焦分类损失函数来解决训练过程中正负样本失衡的问题.在高分遥感舰船目标数据集上的实验结果表明,所提方法能够有效地增强复杂场景下舰船目标的检测精度.此外,该算法对遥感图像中的模糊舰船目标的检测效果也优于多尺度单发射击检测框架.     

基于图像特征融合的遥感场景零样本分类算法

利用不同图像特征之间的互补性,可提升遥感场景零样本分类性能。将图像特征的融合与零样本分类结合,提出一种基于图像特征融合的遥感场景零样本分类算法。采用解析字典学习方法,计算各图像特征的稀疏系数,并串接起来作为融合后图像特征,以减少冗余信息且保留各图像特征自身特点;引入监督信息,提高融合特征的鉴别性;将融合特征与场景类别词向量进行结构对齐,提升对新类别场景的迁移识别效果。在UC-Merced和航拍图像数据集两种遥感场景集上,对相同层次及不同层次的场景图像特征分别进行融合实验。实验结果表明:对于总体分类准确度和运算耗时,所提算法均优于其他零样本分类算法及通用的特征融合算法,证明了方法的有效性。     

面向嵌入式平台的轻量级光学遥感图像舰船检测

针对现有基于深度学习的轻量级目标检测算法对复杂遥感场景图像中舰船目标检测精度低、检测速度慢的问题,提出了一种面向嵌入式平台的轻量级光学遥感图像舰船实时检测算法（STYOLO）。首先,针对主干网络内存访问成本较高的问题,利用高效网络架构ShuffleNet v2作为主干网络对图像进行特征提取,降低内存访问成本,提高网络并行度;其次,利用Slim-neck特征融合结构作为特征增强网络,以融合较低层级特征图中的细节信息,增强对小目标的特征响应,在多尺度信息融合区域施加坐标注意力机制,强化目标关注以提高较难样本检测以及抗背景干扰能力;最后,提出一种跨域迁移和域内迁移相结合的学习策略,减少源域与目标域的差异性,提升迁移学习效果。实验结果表明：基于光学遥感图像舰船检测公开数据集HRSC2016,与同类型快速检测算法YOLOv5s相比,所提算法的检测精度提高了2.7个百分点,参数量减少了61.77%,在嵌入式平台Jetson Nano上检测速度达到102.8 frame/s,能够有效实现对光学遥感图像中舰船目标的实时、准确检测。     

基于兴趣区域掩码卷积神经网络的红外-可见光图像融合与目标识别算法研究

建立权重独立的双通道残差卷积神经网络,对可见光与红外频段下的目标图像进行特征提取,生成多尺度复合频段特征图组。基于像点间的欧式距离计算双频段特征图显著性,根据目标在不同成像频段下的特征贡献值进行自适应融合。通过热源能量池化核与视觉注意力机制,分别生成目标在双频段下的兴趣区域逻辑掩码并叠加在融合图像上,凸显目标特征并抑制非目标区域信息。以端到端识别网络作为基础,利用交叉损失计算策略,对含有注意力掩码的多尺度双频段融合特征图进行目标识别。结果表明,所设计的识别网络能够有效地融合目标红外热源物理特征和可见光图像纹理特征,提高了信息融合深度,保留目标热辐射与纹理特征的同时降低了背景信息干扰,对全天候复杂环境下的多尺度热源目标具有良好的识别精度与鲁棒性。     

基于图像块分解的多曝光图像融合去鬼影算法

在传统的多曝光图像融合方法中,一旦目标发生移动则会在最终融合图像中出现"鬼影"现象。现有的去"鬼影"算法大部分都继承了参考图像中的大量信息,倘若参考图像中出现曝光不足/曝光过度现象,便会影响到最终的融合结果。基于此,提出了一种基于图像块分解的多曝光图像融合去鬼影算法。首先将参考图像划分为曝光正常及曝光不足/过度两大区域,并有针对性地对这两部分区域进行处理。为了更加精准地检测出鬼影区域,将多曝光图像块分解成信号结构、信号强度和平均强度3个概念相独立的部分,采用图像块结构一致性检测的方式来进行鬼影检测。最后,去除结构不一致的图像块并对这3个部分分开融合,重构所需图像块并将其聚合至最终融合图像。实验结果表明,与现有的去"鬼影"算法相比,所提算法取得了更好的视觉效果,且计算效率得到了较大提升。     

基于阶梯网络与交叉融合的端到端图像去雾

针对卷积神经网络类图像去雾方法存在的细节丢失、颜色失真、去雾不彻底等问题,提出一种基于阶梯网络与注意力交叉融合的端到端图像去雾算法.整体网络模型包含特征提取、特征融合、图像重建三个模块,其中特征提取包括有雾图像细节和轮廓特征的提取,由阶梯网络的不同阶梯层提取实现;特征融合模块以注意力机制的交叉融合实现,并结合自适应残差...     

一种基于方向窗特性的Contourlet域的多聚焦图像融合算法

针对同一场景多聚焦图像的融合问题,提出了一种基于方向区域特性的Contourlet域多聚焦图像融合算法.该算法对图像进行Contourlet变换,分解为不同尺度、不同方向的高低频子带|低频和高频子带分别采用方向区域的方差匹配度和能量作为融合规则|最后通过反变换得到融合图像.结果表明,所提出的方向区域方法能够更好地体现二维图像中的曲线或直线状边缘特征,是一种有效可行的图像融合算法.     

一种基于方向窗特性的Contourlet域的多聚焦图像融合算法

针对同一场景多聚焦图像的融合问题,提出了一种基于方向区域特性的Contourlet域多聚焦图像融合算法.该算法对图像进行Contourlet变换,分解为不同尺度、不同方向的高低频子带;低频和高频子带分别采用方向区域的方差匹配度和能量作为融合规则;最后通过反变换得到融合图像.结果表明,所提出的方向区域方法能够更好地体现二维图像中的曲线或直线状边缘特征,是一种有效可行的图像融合算法.     

基于注意力残差编解码网络的动态场景图像去模糊

动态场景下的图像去模糊技术是一个具有挑战性的计算机视觉问题。模糊图像不仅影响主观感受,还会影响后续的智能化分析的性能。提出了一种基于注意力残差编解码网络的动态场景图像去模糊方法。首先,编码阶段采用多个残差模块提取特征,加入空间注意力模块感知模糊的空间位置信息;其次,通过在网络中采用全局-局部残差连接策略融合多层卷积特征,减少信息丢失;最后,解码阶段生成具有清晰边缘结构的复原图像。实验结果显示,提出的算法在公开数据集上获得的峰值信噪比值为31.76 dB,结构相似性值为0.912。客观和主观质量评估表明,本文算法能够有效地复原包含丰富边缘轮廓信息的清晰图像,在对比算法中获得最优的性能。     

基于多光谱图像融合的掌纹识别方法

生物特征识别在信息安全领域发挥着重要作用,掌纹识别作为一种新型生物特征识别方式,具有低失真、非侵入性和高唯一性等优势。传统掌纹研究大多使用自然光成像系统以灰度格式获取,识别精度很难进一步提升。为了获得更多的身份鉴别信息,提出利用多光谱掌纹图像代替自然光掌纹图像。针对现有掌纹识别算法由于没有考虑到不同光谱的特性而导致纹理细节丢失,识别精准率低的问题,提出了一种基于多光谱图像融合的掌纹识别算法。该方法通过对不同光谱下的掌纹图像进行快速自适应二维经验模式分解（FABEMD）,将多光谱掌纹图像分解成一系列频率由高到低的二维固有模态函数(BIMF)和一个残余分量,残余分量可被视为该光谱图像低频信息的初步估计。图像采集过程中光照条件很难保持稳定,而近红外光谱图像在进行FABEMD分解时对光照变换敏感,容易导致分解后的BIMF背景信息过于冗余;因此对分解后的近红外掌纹图像进行背景重建及特征细化,在对背景冗余信息进行平滑处理的同时可以有效增强高频信息的特征表达。为避免直接融合处理后引发的图像过度曝光问题,提出对近红外特征压缩后再融合。此外,提出了一种结合了注意力机制的改进残差网络（IRCANet）,用于融合后的掌纹图像分类,在网络中引入分阶段残差结构,缓解了网络的退化问题,在学习过程中有效地减少信息丢失,对于融合后的多光谱掌纹图像,分阶段残差结构能够稳定地将图像信息在网络间传输,但对图像中的高低频信息区分效果不够显著,为了使网络关注更多区分性特征,利用特征通道间的相互依赖性,在分阶段残差结构中结合了通道注意力(Channel Attention)机制。最终,在香港理工大学（PolyU）多光谱掌纹数据集上进行的综合实验表明,该方法可以取得良好的效果,算法识别准确率能达到99.67%且具有良好的实时性。     

基于特征重聚焦网络的多尺度近岸舰船检测

针对监控视频中的多尺度近岸舰船检测问题,提出了一种基于特征重聚焦网络的舰船目标检测算法,设计了由多维特征聚合模块(MFAM)与注意力特征重构模块(AFRM)组成的特征重聚焦策略.其中,MFAM基于输入的特征金字塔构建特征聚合块,进一步融合多尺度舰船不同层次特征的语义信息.AFRM基于多分支空洞卷积以及通道与空间注意力机制提升网络对目标非局部信息的表征和对背景干扰的抑制,并构建了用于目标检测的特征重聚焦金字塔.在Seaships7000舰船公开数据集上的实验结果表明,相比其他算法,本算法对监控视频中多尺度近岸舰船的检测效果更好.     

基于多滤波算法融合的红外小目标检测

针对海天背景下红外视频图像序列中小目标检测的精度问题,提出一种基于多滤波融合的算法。通过分析红外小目标及背景噪声的成像特征与时空特性,将Tophat算法与改进的Robinson guard滤波器相结合,有效抑制背景、突显目标;采用自适应阈值分割提取候选目标,并使用Unger平滑滤波以及多目标关联滤波剔除噪声和伪目标。多组红外小目标图像序列的检测实验结果表明,提出的算法平均检测率高达99%,在不同场景下均有较高的检测精度。     

基于多曝光图像融合的沙尘图像增强

针对沙尘图像存在细节模糊、对比度低和颜色偏移等问题,提出了基于多曝光图像融合的沙尘图像增强算法。首先对蓝通道进行补偿,以弥补沙尘图像的蓝光损失;其次对图像的RGB三通道分别进行标准化,以减小通道直方图之间的偏离,从而去除偏色。为了提高图像中不同区域的细节,采用线性参数控制的方法生成多幅曝光图像。通过用对比度、饱和度和良好曝光度的质量度量计算权重图,以选择出曝光图像中的最佳像素;然后分别构建权重图和曝光图像的高斯金字塔和拉普拉斯金字塔。最后将图像金字塔融合,并重建出结果图像。主观和客观实验表明:与其他算法相比,本文算法能够有效去除偏色以及提高图像的对比度和清晰度,结果图像视觉效果良好。     

基于改进Census变换的多特征背景建模算法

针对视频图像易受噪声干扰和背景变化复杂的特点,改进传统Census变换特征值对中心像素的依赖问题,建立Census模板以保持Census变换对光线变化的稳健性。将改进后的Census变换特征值、图像像素值、更新频数、最近更新时间和动态指数等多种特征融合,建立了一种新的背景建模算法。利用帧间亮度差,自适应选择融合多种特征更新背景模型,依据动态指数衡量背景变化复杂程度,建立不同的更新规则,提升模型对光线突变和复杂场景处理的稳定性。经测试多组标准视频序列,本算法检测精度优于其他算法,有效改善了光线突变对前景目标提取的影响,提高了对光线突变和复杂场景的稳健性,减少了运动目标的孔洞和像素漂移产生的假前景。     

自适应参考图像的可见光与热红外彩色图像融合算法

可见光与红外热图像的彩色图像融合技术是现今国内外高性能夜视技术发展的重要方向之一,该技术有效提高了人们对目标的探测和场景理解能力。目前常用的色彩传递算法多属于基于单幅参考图像的全局色彩传递算法,彩色融合图像的色调受到参考图像的影响较大,在实际应用中难以保证对各类场景的适应性。针对常规YUV空间色彩传递彩色图像融合算法的环境适应性问题,通过对植物、城镇和海天三类典型场景的分类与统计,发现了典型场景在UV通道的均值和标准差具有的较为明显的分类特性,由此提出了一种基于UV通道均值和标准差的自适应参考图像构造方法,使得可见光与热红外彩色图像融合算法具有较常规算法更好的环境适应性,融合图像的色彩具有较好的自然感,且算法处理量较小,对现有实时硬件融合处理算法的运算速度影响不大,是一种环境适应性强的自然感彩色融合处理算法。     

基于语义目标匹配的三维跟踪注册方法

提出了一种基于语义目标匹配的三维跟踪注册方法。通过改进的单发多框检测(SSD)深度卷积神经网络对图像进行语义分割,获取场景中不同目标的像素级语义分割结果。在求取相机姿态的目标函数时,融合了图像的灰度约束与几何约束对相机的姿态进行估计。所提方法减小了特征点的缺乏或误匹配问题对三维跟踪注册算法性能的影响,且能够适应不同结构的场景。研究结果表明,该方法的误差不超过2.2pixel,基本满足了实时性的要求。     

融合全卷积神经网络和视觉显著性的红外小目标检测

为提高复杂背景和噪声干扰下红外小目标检测性能,提出了融合深度神经网络和视觉目标显著性的单阶段红外小目标检测算法.首先设计了基于编码器-解码器架构的轻量级全卷积神经网络对红外图像进行分割,实现背景抑制和目标增强;然后利用红外小目标的显著性特征进一步抑制虚警;最后采用自适应阈值法分离出小目标.网络结构中通过引入多个下采样层降低计算量并增大感受野;通过引入多尺度特征提升背景抑制能力;通过引入注意力机制提升模型训练效果.在真实红外图像上的测试表明,本文算法在检测率、虚警率和运算时间等方面都优于典型红外小目标检测算法,适合进行复杂背景下的红外小目标检测.