基于特征融合的RGBT双模态孪生跟踪网络

热红外成像技术被广泛地应用于军事、遥感和安防等领域中的目标跟踪,但热红外图像对对比度较低、目标模糊等跟踪场景效果一般。因此,将热红外图像与可见光图像进行融合提高跟踪性能具有重要意义。与基于可见光或热红外图像的单模态跟踪算法相比,基于可见光/热红外(RGB/Thermal, RGBT)图像的双模态跟踪算法对光照变化、云雾遮挡具有更强的鲁棒性。提出了一种基于特征融合的RGBT双模态孪生跟踪网络架构。该网络将双模态图像中提取的深度特征进行融合,提高目标外观特征的判别力。该网络可以利用训练数据进行端到端的离线训练。公开数据集RGBT234上的实验结果表明,所提出的RGBT双模态孪生特征融合跟踪网络能够实现复杂场景下鲁棒持续的目标跟踪。     

RGBT双模态加权相关滤波跟踪算法

与基于可见光的单模态跟踪算法相比,基于可见光/热红外(RGB-Thermal, RGBT)的双模态跟踪算法对光照变化具有更强的鲁棒性。但在实际应用场景中,双模态跟踪算法仍然会受到局部遮挡目标形变的影响。为了解决以上问题,本文提出了一种可见光/热红外RGBT双模态加权相关滤波跟踪算法。该算法首先利用可见光图像和热红外图像联合求解权重图,然后利用权重图引导相关滤波器求解过程,最后根据权重图推断前景目标是否被遮挡。该算法在公开数据集RGBT234上的结果表明,本文提出的RGBT双模态加权相关滤波跟踪算法能够有效处理目标局部遮挡和目标畸变等情况,实现复杂场景下鲁棒持续的目标跟踪。      

可见光和红外图像决策级融合目标检测算法

为了提高可见光和红外图像决策级融合目标检测算法的性能,提出了一种基于模型可靠性的决策级融合策略。首先采取图像预处理技术提高红外图像的整体质量,之后对可见光与热红外目标检测模型分别进行训练测试,根据模型测试结果得到融合策略所需参数,依据所提出的融合策略对模型检测结果进行融合,得到最后的融合检测结果。实验结果表明,相比于单一目标检测模型的检测结果,所采用的融合算法在白天的漏检率比可见光检测模型降低了8.16%,夜间漏检率比红外检测模型降低了9.85%。     

基于双模态特征增强的目标检测算法研究与应用北大核心CSCD

为提升目标检测算法在复杂环境下的精确性和实用性,将多源信息和深度学习技术相结合,提出了一种基于双模态特征增强的目标检测方法。该方法以红外和可见光图像作为输入,利用颜色空间转换、边缘提取、直方图均衡化等传统图像处理方法丰富图像信息,达到数据增强效果;特征提取部分采用卷积神经网络结构分别提取目标红外及可见光信息,并设计混合注意力机制分别从通道和空间位置角度提升有效特征权重;同时,针对目标双模态信息,引入了自适应交叉融合结构,提高特征多样性;最后,利用交替上下采样将目标全局和局部特征充分融合,并以自主选择方式提取目标相关特征实现检测。通过在标准数据集以及实际场景数据集上的实验结果表明,所提方法有效融合并增强了目标多模态特征,提升了目标检测效果,并能较好的应用于电网场景中,辅助机器人完成目标设备检测。     

融合红外特征的可见光图像目标检测算法研究

为提升复杂场景下基于可见光图像的目标检测性能,将深层卷积神经网络与多源信息融合技术相结合,提出了一种自适应融合红外特征的可见光目标检测算法.该算法以红外和可见光图像作为输入,通过卷积、激活结合残差结构的方式分别提取目标红外和可见光特征,并利用空间和通道注意力机制提升目标所属类别以及所在图像区域的特征权重.其次,将提取的红外特征以自适应加权的方式融入对应维度的可见光特征中,充分弥补目标在单模态模型下的局限.最后,针对多尺度目标,设计了金字塔采样结构,通过交替上采样和下采样方式来充分融合目标全局及局部特征,增强网络尺度不变性.通过实验验证,所提注意力机制、特征自适应融合以及金字塔采样结构都能有效提升目标检测效果,相比于同类型红外-可见光目标检测方法,该方法可以充分融合目标多模态特征,并有效降低噪声干扰,使网络具有更高的检测性能.同时,在实际电网设备检测中,所提方法也表现出较高泛化能力和鲁棒性,可以准确高效的实现目标设备的识别及定位.     

基于改进YOLOv5的复杂背景红外弱小目标检测算法

针对传统算法依赖于对红外目标与环境背景的精确分离和信息提取,难以满足复杂背景和噪声等干扰因素下的检测需求。论文提出一种基于改进YOLOv5（You Only Look Once）的复杂背景红外弱小目标检测算法。该算法在YOLOv5基础上,添加注意力机制提高算法的特征提取能力和检测效率,同时改进原YOLOv5目标检测网络的损失函数和预测框的筛选方式提高算法对红外弱小目标检测的准确率。实验选取了来自不同复杂背景的7组红外弱小目标数据集,将这些图像数据集进行标注并训练,得到红外弱小目标检测模型,然后从模型训练结果和目标检测结果的角度评估算法和模型的正确性。实验结果表明:改进的YOLOv5算法训练出来的模型,检测准确性和检测速度对比实验列出的几种目标检测算法均有明显的提升,平均精度均值（mean Average Precision,mAP）可达99.6%以上,在不同复杂背景下均可有效检测出红外弱小目标,且漏警率、虚警率低。     

面向双模态红外图像融合算法选取的联合可能性落影构造

针对现实场景中双模态红外图像融合对异类差异特征协同优化融合的需求,且现有差异特征属性无法根据差异特征多个属性的变化针对性地调整融合算法进行有效驱动,导致融合效果差的问题,提出了面向双模态红外图像融合算法选取的联合可能性落影构造方法。首先计算双模态红外图像多融合算法下不同差异特征的融合有效度、统计差异特征分布特性;再构造差异特征融合有效度的可能性分布,通过最小二乘估计法拟合可能性分布函数;然后通过择优比较法对不同差异特征融合有效度的可能性分布进行对比分析,确定差异特征可能性分布函数投影权重,构造联合可能性落影函数;最后分析联合可能性落影函数截集水平,结合差异特征分布特性构建融合性能指标动态选取最优融合算法。实验结果表明,本文方法所选出的最优融合算法在主客观综合分析上优于其他算法,验证了本文将联合可能性落影运用于双模态红外图像最优融合算法选取中有效性和合理性。     

基于目标提取与NSCT的图像融合技术研究

针对红外图像目 标突出、背景对比度差、可见光图像分辨率高以及对热目标不敏感且隐蔽目标无法发现等问 题,本文 提出了一种能够突出两种图像的优势信息且不降低图像分辨率的图像融合方法。首先采用 Renyi熵提取红外目标,并通过非下采样Contourlet变换(NSCT)对可见光图像进行自适应增 强;然 后将图像增强后的可见光图像与目标图像进行融合,得到融合图像。通过对比,本文融合图 像的视觉 效果明显优于其他方法的融合图像。最后,采用多种指标进行评价。结果表明,基于目标提 取的图 像融合方法可以有效突出目标信息,提高图像的亮度和对比度,特别适于低能见度下的目标 检测与图像增强。     

基于显著性检测的不同视角下红外与可见光图像融合

融合红外图像的热源目标和可见光图像的清晰背景可以实现低照度条件下与场景关联的异常行为识别。现有以特征匹配为主的融合方法,受监控场景下可见光与红外成像的尺度、视角、目标特性等差异影响,配准及融合效率及准确性受限。针对该问题,本文提出了基于显著性检测的不同视角下红外与可见光图像融合方法。通过预设热敏感目标,计算可见光与红外的视场转换模型,预先配准红外与可见光视场。使用Mask R-CNN网络提取红外图像中的行人目标显著性区域,根据视场转换模型点将每个目标区域与可见光图像局部融合。最后,通过违规入侵行为辨识为目标进行实验验证。实验表明,论文提出的融合方法能够有效地将红外图像的热敏目标信息与可见光的场景进行融合,可以准确地判断是否发生违规入侵行为。     

基于二维正态云模型算法的红外图像弱小目标检测

针对红外图像弱小目标检测的特点,采用二维正态云模型算法。首先利用一维云的特性建立二维云模型,由两个相互独立的一维云模型函数组成,目标像素的分布点为一个云滴,整个像素分布区域形成的云团反映了图像中目标的特性;接着依据目标判别条件函数来通过函数发生器产生正态云模型;最后在红外图像弱小目标检测误差函数下构造各云层的目标函数。实验仿真显示本文算法对红外图像弱小目标检测效果最好,能检测率高,虚警率低,耗时少。     

基于LSD和FLD融合的道路裂缝图像预处理方法研究

针对道路中的路标、路沿等直线类干扰物影响道路裂缝识别的问题,提出一种基于LSD(Line Segment Detector)和FLD(Fast Line Detector)融合的道路裂缝图像预处理方法。首先,基于LSD算法和FLD算法对裂缝图像进行直线检测,获取直线类干扰物的线段坐标值;其次,根据直线检测算法返回的线段坐标值进行断线重连,解决了直线检测算法提取线段不连续的问题;最后,根据线段重连后获取的直线类干扰物的掩膜图和裂缝图像原图,运用FMM(Fast Marching Method)图像修复算法达到消除直线类干扰物的目的。经过大量实验分析可得：该方法能够有效地消除裂缝图像中的直线类干扰物,使得裂缝检测的准确率提升了7.1%。     

语义驱动的颜色恒常决策算法

不同颜色恒常性算法适用于不同场景下的图像,算法融合是扩展颜色恒常性算法适用范围常用的方法之一,而现有融合性算法在算法选择依据上忽略了语义信息在图像纹理特征描述中的作用,导致光源估计时的精度不高。针对该问题,提出一种语义驱动的颜色恒常决策算法。首先,利用PSPNet(Pyramid Scene Parsing Network)模型对经过一阶灰度边缘算法(1st Gray Edge)偏色预处理后的目标图像进行场景语义分割,并计算场景中各个语义类别的占比;其次,根据语义类别及占比在已训练的决策集合中寻找相似的参考图像,并使用欧氏距离计算两者的语义相似度;最后,将语义相似度与基于多维欧氏空间确定的阈值进行判别,根据判别结果选择合适算法为目标图像实行偏色校正。在Color Checker和NUS-8 camera两种数据集中的实验结果表明,所提算法光源估计角度误差较单一算法均大幅度下降,且较同类型融合性算法分别下降14.02%和8.17%,提高了光源估计的鲁棒性和准确度。     

一种基于蚁狮最大熵算法与引导滤波的图像融合算法

传统红外与可见光图像融合算法中易出现目标提取不够充分、细节丢失等问题,导致融合效果不理想,从而无法应用于目标检测、跟踪或识别等领域。因此,该文提出一种基于蚁狮优化算法(ALO)改进的最大香农(Shannon)熵分割法结合引导滤波的红外与可见光图像融合方法。首先,使用蚁狮最大熵分割法(ALO-MES)对红外图像进行目标提取,然后,对红外和可见光图像使用非下采样剪切波变换(NSST),并对获得的低频和高频分量进行引导滤波。由提取的目标图像与增强后的红外和可见光低频分量通过低频融合规则得到低频融合系数,增强后的高频分量通过双通道脉冲发放皮层模型(DCSCM)得到高频融合系数,最后经NSST逆变换得到融合图像。实验结果表明,所提算法能够得到目标明确、背景信息清晰的融合图像。     

PMMW装甲目标小波包分析与辐射特性研究

毫米波系统具有全天候或低能见度条件下工作的能力,但毫米波被动探测图像的限制是分辨率。小波包消噪是对退化图像进行处理的一种有效算法,给出了毫米波被动探测装甲目标的小波包分析去噪。为进一步刻画毫米波被动探测目标辐射的表征方法,在分析毫米波被动探测能力的基础上,建立了目标毫米波被动探测辐射截面分辨能量体的新概念,并给出3 mm被动辐射计探测单层隐身迷彩装甲目标的辐射截面能量分辨体的实测与分析研究。     

多传感器信息融合的前方车辆检测

为提升辅助驾驶系统对于道路环境中车辆的感知能力,通过机器视觉与毫米波雷达信息融合技术对前方车辆进行了检测。融合系统中对摄像头和毫米波雷达进行了联合标定,借助三坐标测量仪确定两者的数据转换的关系,优化了深度学习算法SSD的候选框,提高了车辆的检测速度,选用长焦和短焦两种摄像头进行前方图像采集,并将两者重合图像进行融合,提升了前方小目标图像的清晰度,同时对毫米波雷达数据进行了处理,借助雷达模拟器确定合适阈值参数实现对车辆目标的有效提取,根据雷达有效目标数据对摄像头采集的图像进行选择与建立感兴趣区域,通过改进的SSD车辆识别算法对区域中的车辆进行检测,经过测试,车辆的检测准确率最高达到95.3%,单帧图像平均处理总时间为32 ms,该算法提升系统前方车辆检测的实时性和环境适应性。     

基于小波变换与灰度形态学滤波的双波段红外图像弱目标融合检测

针对舰载红外搜索与跟踪系统中的弱目标检测问题,本文首先提出了一种采用小波变换与灰度形态学滤波相结合的背景抑制与目标增强算法;然后基于所提出的背景抑制与目标增强算法设计了一种双波段红外图像弱目标融合检测方法;最后采用实际的双波段红外图像序列对所提出的背景抑制与目标增强算法和所设计的双波段红外图像弱目标融合检测方法进行了实验测试,并给出了详细的分析与比较。实验结果显示所提出的背景抑制与目标增强算法在较大程度上改善了在信噪比条件下的红外图像弱目标检测效率,而双波段红外图像的应用进一步提高了系统的目标检测性能。     

基于改进高斯卷积核的变电站设备红外图像检测方法

在无锚点算法CenterNet模型的基础上,针对基于红外图像的目标检测算法检测精度低、耗时长的问题,给出了一种基于改进高斯卷积核的变电站设备红外图像检测方法,该目标检测方法模型网络结构精简,模型计算量较小。通过现场变电站巡检机器人设备收集数据样本,进行算法模型的训练及验证,实现红外图像变电站设备精准识别及定位。本文以变电站巡检机器人搭配红外热成像仪采集到的红外图像库为基础,用深度学习方法对数据集进行训练和测试,研究变电站红外图像的目标检测技术。通过深度学习技术判断设备中心点位实现目标分类和回归。实验结果表明,该方法提高了变电站目标检测方法的识别定位精度,为变电站设备红外图像智能检测提供了新的思路。     

一种基于目标区域特征的红外与可见光图像信息融合方法

基于异源图像的信息互补关系, 提出了基于目标特征区域的小波变换融合方法。首先采用基于模糊C-均值聚类(FCM)的方法, 提取红外图像的目标特征区域, 用于异源图像目标特征区域的局部信息融合, 达到在可见光图像中加入红外目标信息的效果。其次以第一步融合的图像替换原有的可见光图像, 并采用小波变换的方法实现与红外图像的融合, 获得最终的融合图像。采用图像质量评价标准对本文算法和其他融合算法的实验结果进行分析对比, 证明所提出方法的有效性。     

基于显著导向的可见光与红外图像融合算法

为了克服当前较多可见光与红外图像融合方法主要利用图像能量特征来融合图层内容,忽略了图像的显著信息,导致融合图像中存在对比度较低等不足,本文以图像的显著信息为导向来融合可见光与红外图像。首先,借助L0和L1范数来设计平滑变换,对可见光与红外图像进行分解,获取边缘等特征保持较好的基础层和细节层。然后,利用频率调谐(FT)方法,获取红外图像中的显著信息,并以此为依据,建立基础层的融合模型,获取融合基础层图像。通过图像的信息熵特征,构建细节层的融合准则,从不同细节层图像的信息关联性出发,获取融合细节层图像。通过对融合细节层和融合基础层图像进行求和操作,输出融合图像。最后,在TNO数据集上进行了测试,结果显示,与当前技术相比,本文算法拥有更高的融合效果,可以更好地凸显目标信息与保持纹理细节。