基于多模态特征融合的自主驾驶车辆低辨识目标检测方法#br#

针对自主驾驶车辆在真实驾驶环境下对低辨识目标的识别问题,提出了基于多模态特征融合的目标检测方法。基于Faster R-CNN算法设计多模态深度卷积神经网络,融合彩色图像、偏振图像、红外图像特征,提高对低辨识目标的检测性能;开发多模态（3种）图像低辨识度目标实时检测系统,探索多模态图像特征融合在自动驾驶智能感知系统中的应用。建立了人工标注过的多模态（3种）图像低辨识目标数据集,对深度学习神经网络进行训练,优化内部参数,使得该系统适用于复杂环境下对行人、车辆目标的检测和识别。实验结果表明,相对于传统的单模态目标检测算法,基于多模态特征融合的深度卷积神经网络对复杂环境下的低辨识目标具有更好的检测和识别性能。     

基于多模态特征融合的自主驾驶车辆低辨识目标检测方法

针对自主驾驶车辆在真实驾驶环境下对低辨识目标的识别问题,提出了基于多模态特征融合的目标检测方法。基于Faster R-CNN算法设计多模态深度卷积神经网络,融合彩色图像、偏振图像、红外图像特征,提高对低辨识目标的检测性能;开发多模态(3种)图像低辨识度目标实时检测系统,探索多模态图像特征融合在自动驾驶智能感知系统中的应用。建立了人工标注过的多模态(3种)图像低辨识目标数据集,对深度学习神经网络进行训练,优化内部参数,使得该系统适用于复杂环境下对行人、车辆目标的检测和识别。实验结果表明,相对于传统的单模态目标检测算法,基于多模态特征融合的深度卷积神经网络对复杂环境下的低辨识目标具有更好的检测和识别性能。     

基于多尺度特征的YOLOv5铸件自动检测算法研究

针对铸件检测存在精度不够高和易漏检、误检等问题,提出一种基于多尺度特征的YOLOv5铸件自动检测算法。该算法使用双目相机采集铸件图像,并构建铸件图像数据集;为提取更全面的铸件特征,采用多尺度特征融合模块,增加一个检测层检测不同尺度的铸件;为获取更多细节特征,在特征金字塔网络中嵌入卷积注意力机制（CBAM）,以提高铸件图像关键特征的提取能力;同时用Hardswish替换卷积层中的SiLU激活函数来减少模型参数量。实验结果表明,该算法检测m AP值达到了96.5%,较原YOLOv5算法提升了2.6%,能实现铸件自动检测对检测精度及实时性的要求。     

基于目标图像组合算法的改进YOLOv5模型

针对YOLOv5目标检测模型训练时间长、检测精度偏低问题,提出一种目标图像组合算法,考虑必要的图像背景及图像覆盖对目标图像进行分割,设计减少图像失真的重组策略提高单张训练集图像内目标个数,降低模型训练时长。改进先验框生成策略,以绝对差值作为距离函数,对训练集目标边框的长和宽分别进行一维K-means聚类,提高先验框对训练集的适应度。提出多层并列卷积结构,对输入特征经过三层并列卷积后的输出进行融合,增强特征表征能力。以VOC2007和VOC2012训练集和验证集作为训练图像,采用目标图像组合算法,模型训练时间减少30%以上,改进先验框生成策略使先验框对训练集的适应度达到0.735。在VOC2007测试数据集上测试,改进YOLOv5模型平均准确率均值（mAP）由79.1%提升至80.3%。     

结合双模多尺度CNN特征及自适应深度 KELM的浮选工况识别

针对可见光图像特征驱动的浮选工况识别方法的不足,提出一种基于双模态图像多尺度CNN特征及自适应深度自编码核极限学习机(Kernel Extreme Learning Machine,KELM)的浮选工况识别方法。先对泡沫的可见光、红外图像进行非下采样剪切波多尺度分解,设计双通道CNN网络对双模态多尺度图像进行特征提取及融合,将多个双隐层自编码极限学习机串联成深度学习网络对CNN特征逐层抽象提取,然后通过核极限学习机映射到更高维空间进行决策,最后改进量子细菌觅食算法并应用于深度自编码KELM识别模型参数优化。实验结果表明:采用双模多尺度CNN特征较单模多尺度、双模单尺度CNN特征的识别精度提高了2.65%,自适应深度自编码KELM模型具有较好的分类精度和泛化性能,各工况识别的平均准确率达到95.98%,识别精度和稳定性较现有方法有较大提升。     

基于目标检测的选区激光熔融成形过程熔池与飞溅监测

在选区激光熔融成形过程中,飞溅与熔池包含了能够体现加工质量的重要特征信息,从成形过程采集到的熔池图像中,获得这些信息,实现选区激光熔融的过程监测是近年来研究的重点之一。为了更加精确且有效地从图像中提取熔池和飞溅的信息,提出了一种基于YOLOv5目标检测模型,实现了对成形过程图像中飞溅与熔池的实时定位与捕获。首先,以YOLOv5s目标检测网络为基础,调整骨干网络的深度与宽度,修改检测头的数量。之后,引入自校正卷积与CBAM注意力机制模块,设计了新的特征整合结构,通过上述步骤,提升了网络的检测性能。将工业相机采集到的图像制作为目标检测数据集,进行模型的训练与测试,结果表明该网络能够从原始图像中对飞溅与熔池目标进行准确的定位,在具有良好的检测精度的同时,网络模型的参数量极少,更加符合工业应用的需求。网络的检测精度mAP@0.5:0.95达到了0.466,为基于图像的选区激光熔融过程监测提供了一种新的方法。     

改进YOLOv2卷积神经网络的多类型合作目标检测

针对大型构件三维精密测量中构件结构复杂、测量环境变化等导致的合作目标检测精度低的问题,提出一种改进YOLOv2卷积神经网络的多类型合作目标检测方法。首先,利用WGAN-GP生成对抗网络扩增合作目标图像样本数量;其次,采用卷积层密集连接代替YOLOv2基础网络的逐层连接增强图像特征信息流,引入空间金字塔池化汇聚图像局部区域特征,构建改进YOLOv2卷积神经网络的多类型合作目标检测方法;最后,采用增强的目标图像样本数据集训练改进YOLOv2卷积神经网络的多类型合作目标检测模型,实现多类型合作目标检测。实验结果表明:采用多类型合作目标图像数据集测试,多类型合作目标检测精度达到90.48%,目标检测速度为58.7 frame/s。该方法具有较高的检测精度和速度,鲁棒性好,满足大型构件三维精密测量中多类型合作目标检测的要求。     

基于无监督深度估计的带雾图像生成方法

基于卷积神经网络的雾霾环境视觉目标检测,通常直接利用无雾条件下清晰的数据集对网络进行训练,网络无法通过训练集获取雾霾图像下目标的特征权重配置,因而检测效果不佳.为了提高雾霾环境下目标检测效果,从数据集构建角度入手,提出了一种在无雾图像上生成带雾图像的方法.首先以KITTI-objection数据集作为原始无雾图像,利用改进的Monodepth无监督深度估计方法生成原始图像的深度图像.然后构造几何先验深度模板,以图像熵为权值与深度图进行融合,并根据大气散射模型,由深度图像得到雾图像.最后,采用基于二阶的Faster-RCNN和基于一阶的YOLOv4两种典型的目标检测架构,对原始数据集、雾数据集、混合数据集进行训练,并对室外自然雾霾场景数据集RESIDE-OTS进行检测.实验结果表明,使用混合数据集训练下的模型检测效果最好,在YOLOv4模型下mAP值提升了5.6％,在Faster R-CNN网络下mAP值提升了5.0％,从而有效提升了雾霾环境下卷积神经网络的目标识别能力.     

基于无监督深度估计的带雾图像生成方法

基于卷积神经网络的雾霾环境视觉目标检测,通常直接利用无雾条件下清晰的数据集对网络进行训练,网络无法通过训练集获取雾霾图像下目标的特征权重配置,因而检测效果不佳.为了提高雾霾环境下目标检测效果,从数据集构建角度入手,提出了一种在无雾图像上生成带雾图像的方法.首先以KITTI-objection数据集作为原始无雾图像,利用改进的Monodepth无监督深度估计方法生成原始图像的深度图像.然后构造几何先验深度模板,以图像熵为权值与深度图进行融合,并根据大气散射模型,由深度图像得到雾图像.最后,采用基于二阶的Faster-RCNN和基于一阶的YOLOv4两种典型的目标检测架构,对原始数据集、雾数据集、混合数据集进行训练,并对室外自然雾霾场景数据集RESIDE-OTS进行检测.实验结果表明,使用混合数据集训练下的模型检测效果最好,在YOLOv4模型下mAP值提升了5.6％,在Faster R-CNN网络下mAP值提升了5.0％,从而有效提升了雾霾环境下卷积神经网络的目标识别能力.     

基于无监督深度估计的带雾图像生成方法（英文）

基于卷积神经网络的雾霾环境视觉目标检测,通常直接利用无雾条件下清晰的数据集对网络进行训练,网络无法通过训练集获取雾霾图像下目标的特征权重配置,因而检测效果不佳。为了提高雾霾环境下目标检测效果,从数据集构建角度入手,提出了一种在无雾图像上生成带雾图像的方法。首先以KITTI-objection数据集作为原始无雾图像,利用改进的Monodepth无监督深度估计方法生成原始图像的深度图像。然后构造几何先验深度模板,以图像熵为权值与深度图进行融合,并根据大气散射模型,由深度图像得到雾图像。最后,采用基于二阶的Faster-RCNN和基于一阶的YOLOv4两种典型的目标检测架构,对原始数据集、雾数据集、混合数据集进行训练,并对室外自然雾霾场景数据集RESIDE-OTS进行检测。实验结果表明,使用混合数据集训练下的模型检测效果最好,在YOLOv4模型下mAP值提升了5.6%,在Faster R-CNN网络下mAP值提升了5.0%,从而有效提升了雾霾环境下卷积神经网络的目标识别能力。     

基于视觉引导的工业棒材上料系统研究

为了提高生产效率,设计一种基于视觉引导的工业棒材上料系统。首先,为了实现视觉引导进行工业棒材上料,设计了工业棒材上料总体方案,并对上料机械结构模型进行选型设计。然后,为了实现棒材的自动识别和位姿检测,提出了一种基于改进YOLOv5的旋转目标识别与定位算法。该方法在YOLOv5主干特征网络上,添加高效ECA通道注意力机制模块,利用其避免降维,并通过适当跨通道交互策略提高特征提取能力;为了增强不同尺度的特征信息融合,将原特征增强网络替换成BiFPN加权双向特征金字塔网络,进行自上而下和自下而上的多尺度特征融合,提高棒材识别准确率并获取平面位置信息;在此基础上,采用双目视觉进行立体匹配获取棒材的深度位置信息,最终实现棒材立体位姿检测。对所提上料系统进行实验验证,棒材识别的平均精度为99.4%,抓取棒材成功率达到90%及以上。     

改进多尺度特征融合的工业现场目标检测算法

为了提高工业现场等复杂场景下的小目标检测的准确率,降低工业现场的安全事故发生率,基于 YOLOv3 提出了一种改进多尺度特征融合方法。该方法增加了Inception _ shortcut 模块,优化网络的输出宽度,使用工业现场的监控视频作为数据集以及利用 k-means 算法对检测目标重新聚类,引入了 PANet 多尺度特征融合结构,精简了 YOLOv3 的网络检测输出层。在创建工业现场安全帽、安全绳数据集 FHPD 、FSRPD 以及 PASCAL VOC2007 数据集上的实验结果表明,改进算法的 mAP 比原始 YOLOv3 提高了许多。改进的多尺度特征网络融合增加了参数,但检测速度仍满足算法的实时性要求。     

一种远距离行人小目标检测方法

远距离行人小目标成像像素少、缺乏纹理信息,深度卷积神经网络难以提取小目标细粒度特征,难以准确识别与检测。本文提出一种远距离行人小目标检测方法。首先,在YOLOv4的基础上引入浅层特征改进特征金字塔,提取行人小目标细粒度特征,提出引力模型特征自适应融合方法,增加多层次语义信息之间的关联度,防止小目标特征信息流失。然后,采用增强型超分辨率生成对抗网络增加行人小目标特征数量,提高行人小目标检测准确率。最后,选取图像像素中占比范围为0.004%～0.026%的行人小目标建立试验数据集,通过与Faster RCNN、ION、YOLOv4对比实验验证。结果表明,本文方法mAP_0.5提高了25.2%、26.3%、11.9%,FPS达到24,研究成果在远距离安防监测监控领域具有重要应用价值。     

超低照度下微光图像的深度卷积自编码网络复原

微光/红外图像彩色融合是目前国内外夜视技术的重要发展方向,在超低照度下(环境照度小于2×10-3 lux),由于成像器件限制,微光图像具有低信噪比、低对比度等特点,导致目标难以辨识,成为制约彩色夜视技术的关键。为了提高目标的探测和识别率,提出了一种基于卷积自编码网络的微光图像复原方法,利用卷积自编码网络从微光图像训练集中学习超低照度下微光图像特征,实现去噪和对比度增强。实验结果表明,本文提出的方法得到的峰值信噪比(Peak Signal to Noise Ratio,PSNR)较经典的BM3D算法平均提高1.67dB,结构相似度(Structural Similarity Index,SSIM)的值平均提高0.063,均方根对比度的值(Root Mean Square Contrast,RMSC)平均提高0.19。对微光图像复原具有很好的效果,能够有效地提高信噪比和对比度水平。     

改进的响尾蛇双模式细胞模型的图像融合

由于基于经典Waxman融合模型得到的伪彩色融合图像目标不够清晰,本文提出了一种改进的感受野融合模型。对红外图像和可见光图像分别进行了ON对抗增强和OFF对抗增强;将红外ON对抗增强图像馈入中心-环绕感受野模型的中心兴奋区域,可见光OFF对抗增强图像馈入环绕抑制区,得到融合图像的B分量;将红外OFF对抗增强图像馈入中心-环绕感受野模型的环绕抑制区域,可见光ON对抗增强图像馈入中心兴奋区,得到融合图像的G分量;将可见光ON对抗增强图像直接作为融合图像的R分量;然后,输出RGB伪彩色融合图像。最后,用Waxman方法和本文提出的方法分别对两组源图像进行融合,并用信息熵和平均梯度对融合结果进行了评价。结果表明,采用提出的模型,第一组融合图像的信息熵和平均梯度比Waxman融合模型分别高出0.314 6和0.004 1,第二组融合图像的信息熵和平均梯度比Waxman融合模型分别高出0.255 1和0.002 7。得到的数据显示本文提出的融合模型的融合效果优于经典Waxman模型。     

基于改进特征金字塔的小目标增强检测算法

小尺寸的物体由于其在图像中分辨率相对较低的原因,在检测任务中容易被丢失和误判。针对目前目标检测算法对小尺寸目标检测精确度远低于其他尺寸目标检测精度的问题加以改进,将小尺寸目标特征增强融入特征金字塔结构。利用多尺度特征融合的特征增强能力丰富小尺寸目标特征层的特征信息,从而使小尺寸目标检测精准度得到提升。将改进特征金字塔结构应用于YOLOv3网络,实验对比研究表明,小尺寸目标检测精准度可以达到0.179,较原网络提升了22.6%。     

模拟生物视觉机制的彩色人脸识别方法

为了充分利用彩色图像提供的信息提高人脸识别的性能,提出了一种模拟生物视觉机制的彩色人脸识别方法。该方法首先构造一种模拟人类的色彩感知机制的对立色模型,将彩色人脸图像描述为对立色形式。然后,模拟初级视皮层的信息处理机制,从图像对立色描述的亮度分量和色度分量分别提取人脸的纹理特征和色彩特征。最后,分别对纹理特征和色彩特征进行分类识别,并将二者的识别相似度融合得到最终的人脸识别结果。该方法利用对立色模型提高了色彩特征对光照变化的鲁棒性,并且综合利用彩色图像的色彩和纹理信息提高了人脸识别的精度,特别是对模糊图像的识别精度。在彩色FERET人脸库和AR人脸库上的实验表明,相对于直接对灰度图像进行识别的方法,该方法对清晰图像的识别率提高了4.5%～16.3%,而对模糊图像的识别率提升更加显著。     

激光焊匙孔特征的近红外与X射线传感分析

由于多传感匙孔特征参数可以有效地反映大功率激光焊接质量状态,本文研究了匙孔特征信息的提取方法并建立了焊缝成形预测模型。以大功率盘形激光焊接304不锈钢为试验对象,应用近红外高速摄像机和X射线视觉成像系统同时提取了焊接过程中的熔池动态图像,并分割出匙孔区域。针对近红外图像,应用矩方法导出匙孔的不变矩特征,同时定义并提取匙孔面积和最前端点纵坐标两个特征;针对X射线图像则提取匙孔深度和熵两个特征。在不同激光功率条件下得到匙孔特征并进行特征融合分析,然后建立了3个BP神经网络焊缝成形预测模型。探索了匙孔形态、焊接条件和焊接状态三者之间的联系,实现了对焊接过程的在线监测。试验结果表明,将两个传感器获取的匙孔特征信息融合并进行主成分分析变换后,熔宽和熔深的预测绝对误差平均值分别为0.18mm和0.57mm,比基于单个传感器获取匙孔特征建立的BP神经网络分别减小了0.03mm和0.31mm,显示提出的方法能够有效在线监测大功率盘形激光焊接状态。     

基于WEMD和生成对抗网络重建的红外与可见光图像融合

针对红外与可见光图像融合中边缘模糊、对比度较低的问题,提出一种二维窗口经验模式分解(WEMD)和生成对抗网络重建的红外与可见光图像融合算法.将红外和可见光图像进行WEMD分解得到内蕴模式函数分量和残余分量,将内蕴模式函数分量通过主成分分析进行融合,残余分量用加权平均进行融合,重构得到初步融合图像,再将初步融合图像输入生...     

颜色传递技术的快速彩色图像融合

以红外和可见光图像为研究对象,提出了一种基于颜色传递技术的快速彩色图像融合算法。该算法直接用灰度融合图像和源多波段图像的差异信号构成源YCBCR分量,然后在YCBCR空间运用统计颜色传递技术形成一幅具有与目标图像相似色彩效果的彩色融合图像。算法中利用像素平均融合法和多分辨率融合法作为灰度融合方法,形成两种不同的融合策略以分别满足高实时性和高融合质量的需求。实验结果表明,提出的彩色图像融合算法能够有效地生成一幅具有自然日光色彩效果的融合图像,算法中即使采用像素平均法进行灰度融合同样可以获得令人满意的融合效果。