基于双模态融合网络的目标检测算法

针对红外图像和可见光图像的融合目标检测问题,提出一种基于双模态融合网络的目标检测算法。在同时输入红外和可见光图像对后,利用设计的红外编码器提取红外图像空间特征信息;通过设计的可见光编码器将可见光图像从垂直和水平两个空间方向聚合特征,通过精确的位置信息对通道关系进行编码;最后,采用提出的门控融合网络自适应调节两路特征的权重分配,实现跨模态特征融合。在KAIST行人数据集上,与基准算法YOLOv5-n单独检测可见光图像和红外图像的结果相比,所提算法检测精度分别提升15.1%和2.8%;与基准算法YOLOv5-s相比,检测精度分别提升14.7%和3%;同时,检测速度在两个不同基准算法模型上分别达到117.6 FPS和102 FPS。在自建的GIR数据集上,所提算法的检测精度和速度也同样具有明显优势。此外,该算法还能对单独输入的可见光或红外图像进行目标检测,且检测性能与基准算法相比有明显提升。     

基于多特征融合的复杂背景下弱小多目标检测和跟踪算法

针对红外弱小多目标的检测和跟踪难题,提出一种基于多特征融合的复杂背景下弱小多目标检测和跟踪算法.融合红外弱小运动目标的灰度特征、梯度特征、运动特征等多个典型特性,进行复杂背景下弱小多目标的检测和跟踪.实验证明:该算法应用于复杂背景下低信噪比的红外弱小多目标图像序列能得到较理想的结果,算法检测概率高、检测速度快、具有较强鲁棒性.     

红外序列图像多运动目标检测

针对背景不动情况下提取红外图像运动目标,提出了一种基于连续四帧序列图像精确检测多运动目标的算法,并用软件仿真了该算法处理图像的效果并与其他方法进行了对比。经试验证明该方法算法简单,实时性好。对单目标、多目标、室内、室外、简单和复杂背景的红外序列都可以得到较好的检测效果。能够有效地去除背景和噪声,精确地确定运动目标位置,有利于后续的目标跟踪,算法适于实时应用。     

海天复杂背景下红外目标的检测跟踪算法

在分析海天复杂背景下红外目标图像特征的基础上,提出适合该环境的红外目标检测算法.该算法采用行均值相减的方法抑制海平面非线性温度场的影响,并进行中值滤波处理.对于更加复杂的环境,选用数学形态滤波法抑制背景中的大面积云团或海浪,从而确定出目标区域来进行目标图像的分割及增强.同时,综合使用图像捕获区域指定、运动目标检测法、弱目标的增强提取、记忆外推功能、数据融合加权跟踪方法,来保证在海天复杂背景下红外目标的可靠跟踪.实验表明,该算法能较好地处理海天复杂背景下红外目标的检测,且算法易于硬件实现,提高目标检测的实时效率.     

多尺度形态算子融合图像滤波技术及滤波质量评价

针对舰载红外警戒系统的红外和电视图像,提出了一种新的海空背景下受强杂波、噪声污染的图像目标滤波算法和滤波效果的定量评价算子。算法采用多尺度的形态算子对输入的图像并行滤波,大尺度形态算子抑制图像噪声,小尺度形态算子提取目标边缘细节信息。处理后的图像进行基于树状小波帧变换的图像信息融合,融合图像可完备提取不同尺度滤波后的图像信息。针对目标检测跟踪的图像滤波算法的评价,提出了目标与背景的交叉分辨力评价算子及评价准则。仿真实验表明。该滤波算法要优于中值滤波、自适应滤波、小波变换滤波算法,滤波质量的定量评价算法是合理的、有效的。算法适用于舰载红外警戒系统。     

一种基于区域生长的红外与可见光的图像融合方法

针对目前红外与可见光目标跟踪的视频序列融合难以满足实时性问题，利用红外图像目标与背景显著的灰度差异特征，结合目标跟踪中目标分割时常用到的区域生长法，通过区域生长方法从红外图像中提取目标区域，再将得到的红外目标区域与已经过图像配准的可见光图像的背景区域进行融合处理，最终得到既具有红外图像较好的目标指示特性又具有可见光图像清晰场景信息的融合图像。实验表明：该算法不仅简单易行，而且所得到的融合图像视觉效果优于其他融合算法得到的图像。     

改进的K均值聚类红外目标检测方法

利用图像方差能很好地反映目标边缘信息的特点,提出一种基于方差的K均值聚类红外目标检测算法。利用形态学方法对红外图像进行预处理,运用相应的模板计算得到红外图像的方差图像,利用K均值聚类算法对方差图像进行聚类,从而分离出目标类别和背景类别。实验表明,该算法提取的红外图像中目标信息的兰德指数最高,说明该算法能有效地提取红外图像中目标信息,从而达到目标检测的目的。     

基于多特征融合的复杂背景下弱小多目标检测和跟踪算法

针对红外弱小多目标的检测和跟踪难题,提出一种基于多特征融合的复杂背景下弱小多目标检测和跟踪算法.融合红外弱小运动目标的灰度特征、梯度特征、运动特征等多个典型特性,进行复杂背景下弱小多目标的检测和跟踪.实验证明：该算法应用于复杂背景下低信噪比的红外弱小多目标图像序列能得到较理想的结果,算法检测概率高、检测速度快、具有较强鲁棒性.     

基于伪模态转换的红外目标融合检测算法

为提高红外图像目标检测的精度和实时性,提出一种基于伪模态转换的红外目标融合检测算法.首先,利用双循环的生成对抗网络无需训练图像场景匹配的优势,获取红外图像所对应的伪可见光图像;然后,构建残差网络对双模态图像进行特征提取,并采取add叠加方式对特征向量进行融合,利用可见光图像丰富的语义信息来弥补红外图像目标信息的缺失,从而提高检测精度;最后,考虑到目标检测效率问题,采用YOLOv3单阶段检测网络对双模态目标进行三个尺度的预测,并利用逻辑回归模型对目标进行分类.实验结果表明,该算法能够有效地提高目标检测准确率.     

基于对称差分和光流估计的红外弱小目标检测

针对复杂天空背景条件下低信噪比的红外弱小目标检测问题,提出了一种基于对称差分和光流估计相结合的目标检测算法。对序列红外图像做对称差分运算,通过图像差减运算和自适应阈值分割提取目标可能的运动区域,并对区域做扩张和叠加处理,得到连续帧间目标可能出现的区域。计算每个区域红外图像的光流场,对光流场进行阈值分割,辅以数学形态学滤波等方法,检测区域中的目标。该算法充分利用对称差分运算计算量小和光流检测准确度高的特点,在保证检测准确度的同时大大减少了目标检测算法的计算量。实验及结果分析表明,基于对称差分和光流估计的目标检测算法能实时有效地检测出复杂天空背景下的红外弱小目标。     

红外运动小目标的检测

通过分析天空背景下红外运动小目标、噪音以及背景的特征,提出一种检测方法·首先利用向量小波变换对运动图像进行预处理;其次采用图像差分进行目标的粗检测,提取出候选目标;最后可根据运动目标和噪音的特征对候选目标进行识别,检测出真实的运动小目标·实验证明,该方法可有效检测天空背景下红外运动小目标·     

红外序列图像中运动弱小目标检测

为检测红外序列图像中的运动弱小目标,分析了目标在序列图像中的运动特性和概率分布特性,以及目标和噪声在序列中的能量分布特性。提出连续M帧高阶累积方法来增强运动弱目标能量,用假设检验对目标和背景进行分割,通过搜寻序列运动能量中心来实现目标的多帧关联检测。通过仿真实验证明了算法对红外弱小目标检测有效性。     

红外序列图像弱小动目标检测的研究

针对云天背景下的红外运动弱小目标,提出了一种融合检测的方法。根据视觉的固视微动特性进行单帧图像的目标增强,利用帧差分方法检测多帧图像的动目标,最后将这两种处理结果进行基于调制的融合,并经过图像分割,从而达到动目标检测的目的。仿真结果表明该检测方法能够有效地实现复杂背景下的弱小动目标检测。     

The infrared and visible image fusion algorithm based on target separation and sparse representation

Although the fused image of the infrared and visible image takes advantage of their complementary, the artifact of infrared targets and vague edges seriously interfere the fusion effect. To solve these problems, a fusion method based on infrared target extraction and sparse representation is proposed. Firstly, the infrared target is detected and separated from the background rely on the regional statistical properties. Secondly, DENCLUE (the kernel density estimation clustering method) is used to classify the source images into the target region and the background region, and the infrared target region is accurately located in the infrared image. Then the background regions of the source images are trained by Kernel Singular Value Decomposition (KSVD) dictionary to get their sparse representation, the details information is retained and the background noise is suppressed. Finally, fusion rules are built to select the fusion coefficients of two regions and coefficients are reconstructed to get the fused image. The fused image based on the proposed method not only contains a clear outline of the infrared target, but also has rich detail information.     

基于区域分割和Counterlet变换的图像融合算法

提出了一种基于区域分割和Contourlet变换的图像融合算法。首先,对各源图像做区域分割,并利用区域能量比和区域清晰比的概念来度量和提取区域信息;然后,对各源图像进行多尺度非子采样Contourlet分解,分解后的高频部分采用绝对值取大算子进行融合,低频部分则采用基于区域的融合规则和算子进行融合;最后进行重构得到融合图像。对红外与可见光图像进行了融合实验,并与基于像素的àtrous小波变换和Contourlet变换的融合效果进行了比较。结果表明,采用本文算法的融合图像既保留了可见光图像的光谱信息,又继承了红外图像的目标信息,其熵值高于基于像素的融合方法约10%,交叉熵仅为基于像素的融合方法的1%左右。     

潜在低秩表示框架下基于卷积神经网络结合引导滤波的红外与可见光图像融合

为提高融合图像的可视性,解决传统红外与可见光图像融合算法中存在的边缘特征缺失、细节模糊的问题,提出了一种潜在低秩表示框架下基于卷积神经网络结合引导滤波的红外与可见光图像融合算法。该算法首先利用潜在低秩表示对源图像进行分解,得到源图像的低秩分量和显著分量。其次,利用卷积神经网络根据源图像的特征信息,得到权值图。再次,通过引导滤波算法对权值图进行边缘锐化,然后再将优化后的权值图分别与源图像的低秩分量和显著分量融合,得到融合图像的低秩分量和显著分量。最后,将融合图像的低秩分量和显著分量叠加,得到最终的融合图像。实验结果表明,该算法在主观评价和客观指标上均优于传统的红外与可见光图像融合算法。     

基于伪维格纳分布的图像融合

提出了一种基于伪维格纳分布(PWVD)的融合方法.利用一维N像素的滑动窗口在各个方向上对各待融合图像进行伪维格纳变换,选择均方根最大的方向为各待融合网像的PWVD分解方向,分解形成待融合图像不同频段的能量谱图,然后,针对各待融合不同频段的能量谱图,融合原则足高频段取区域能量最大,低频段取能量方差最大,形成具有不同频段的融合能量谱网,最后,对能量谱网进行PWVD逆变换,形成融合图像.对红外与可见光图像、多聚焦图像、电子计算机X射线断层扫描(CT)图像与磁共振(MR)图像和红外与合成孔径雷达(SAR)图像进行了融合实验,并对融合图像和待融合图像进行了信息熵对比.实验结果表明,采用本文算法的融合图像保留了待融合图像的绝大部分信息.     

一种基于区域特性的红外与可见光图像融合算法

提出了一种基于区域分割和à trous小波变换的红外与可见光图像融合算法.首先,对红外与可见光图像进行区域分割及区域关联,并按关联映射图所划分区域提取红外与可见光图像的的能量信息及梯度信息;然后,对红外与可见光图像进行多尺度à trous小波变换分解,分解后的低频部分按照文中所提出的区域能量比和区域清晰比指标进行区域融合,高频部分采用绝对值取大算子进行融合;最后进行重构得到融合图像.结果表明,该算法既可保持可见光图像的光谱信息,又可有效获取红外图像的热目标信息.     

一种基于NSCT变换的红外与可见光图像融合算法

针对红外与可见光图像融合,提出了一种基于NSCT变换的图像融合方法。对经NSCT变换的低频子带系数采用基于区域能量自适应加权的融合规则,对高频子带系数采用混合的融合方法,即对于低层,采用基于区域方差选大的融合方法,对于高层采用像素点的绝对值选大的融合方法。实验结果表明,该融合算法可以获得更多的细节信息,能获得较理想的融合图像。     

基于深度玻尔兹曼模型的红外与可见光图像融合

为了克服红外与可见光图像融合时噪声干扰及易产生伪影导致目标轮廓不鲜明、对比度低的缺点,提出一种基于深度模型分割的图像融合方法.首先,采用深度玻尔兹曼机学习红外与可见光的目标和背景轮廓先验,构建轮廓的深度分割模型,通过Split Bregman迭代算法获取最优能量分割后的红外与可见光图像轮廓;然后再使用非下采样轮廓波变换对源图像进行分解,并针对所分割的背景轮廓采用结构相似度的规则进行系数组合;最后进行非下采样轮廓波反变换重构出融合图像.数值试验证明,该算法可以有效获取目标和背景轮廓均清晰的融合图像,融合结果不但具有较高的对比度,还能抑制噪声影响,具有有效性.