基于多尺度特征多对抗网络的雾天图像识别

目的 当前的大型数据集,例如ImageNet,以及一些主流的网络模型,如ResNet等能直接高效地应用于正常场景的分类,但在雾天场景下则会出现较大的精度损失。雾天场景复杂多样,大量标注雾天数据成本过高,在现有条件下,高效地利用大量已有场景的标注数据和网络模型完成雾天场景下的分类识别任务至关重要。方法 本文使用了一种低成本的数据增强方法,有效减小图像在像素域上的差异。基于特征多样性和特征对抗的思想,提出多尺度特征多对抗网络,通过提取数据的多尺度特征,增强特征在特征域分布的代表性,利用对抗机制,在多个特征上减少特征域上的分布差异。通过缩小像素域和特征域分布差异,进一步减小领域偏移,提升雾天场景的分类识别精度。结果 在真实的多样性雾天场景数据上,通过消融实验,使用像素域数据增强方法后,带有标签的清晰图像数据在风格上更趋向于带雾图像,总的分类精度提升了8.2%,相比其他的数据增强方法,至少提升了6.3%,同时在特征域上使用多尺度特征多对抗网络,相比其他的网络,准确率至少提升了8.0%。结论 像素域数据增强以及多尺度特征多对抗网络结合的雾天图像识别方法,综合考虑了像素域和特征域的领域分布差异,结合了多尺度的丰富特征信息,同时使用多对抗来缩小雾天数据的领域偏移,在真实多样性雾天数据集上获得了更好的图像分类识别效果。     

一种基于对抗学习的实时跟踪模型设计

目标跟踪指在视频帧中找到感兴趣目标的运动位置,广泛应用于环境感知、安防监控和无人驾驶等领域。为进行高效的目标跟踪,建立一种基于对抗学习和特征压缩的相关滤波器目标跟踪模型。为了同时兼顾精度与速度,在模型中引入特征提取优化、特征压缩和特征聚合等步骤。在提取图像特征前,采用对抗学习方法解决特征提取模型中训练数据与任务数据分布不匹配的问题。在特征压缩阶段,应用双通道自编码器结构和特征聚合来增强模型对图像风格的泛化能力。实验结果表明,与非实时跟踪算法相比,该模型在精度损失不超过3%的情况下能取得明显的速度提升,其跟踪速度高达103FPS。     

基于生成式对抗网络的图像超分辨率重建算法

针对传统图像超分辨率重建算法存在网络训练困难与生成图像存在伪影的问题,提出一种利用生成式对抗网络的超分辨率重建算法。去除生成式对抗网络的批量归一化层降低计算复杂度,将其中的残差块替换为密集残差块构成生成网络,使用VGG19网络作为判别网络的基础框架,以全局平均池化代替全连接层防止过拟合,引入纹理损失函数、感知损失函数、对抗损失函数和内容损失函数构成生成器的总目标函数,利用纹理损失增强局部信息匹配度,采用激活层前的特征信息计算感知损失获取更多细节特征,使用WGAN-GP理论优化网络模型的对抗损失加速收敛,运用内容损失提升图像低频信息的准确性。实验结果表明,该算法重建图像的平均峰值信噪比为27.97 dB,平均结构相似性为0.777,与SRGAN和EDSR等算法相比,其在未延长较多运行时间的情况下,重建结果的纹理细节更清晰且亮度信息更准确,更符合视觉感官评价要求。     

基于生成感知差异的无参考图像质量评价模型

人眼视觉系统中的视觉感知差异是图像质量评价过程中的重要组成部分,通过感知失真图像与原始图像之间的视觉差异,可对图像的失真程度进行判断,然而在无参考图像质量评价中无法获取原始未失真的图像,且缺乏对失真图像的视觉感知差异。通过对深度学习中的生成对抗网络进行分析,提出一种基于生成视觉感知差异的无参考图像质量评价模型。利用生成对抗网络产生与失真图像相对应的视觉感知差异图像,并将其与失真图像输入质量评价网络以进一步学习图像的失真信息,从而达到评估图像质量的目的。在TID2008和TID2013数据库上的实验结果表明,与CNN、SOM、CORNIA等模型相比,该模型能够使失真图像质量预测准确度提升1个百分点以上,且对不同种类失真也表现出良好的预测性能。     

基于改进YOLOv3的轨道定位点检测技术研究

实时、精确地确定列车在轨道路径上的位置是保障行驶安全、提升运输效率、提供最佳服务的前提.为了解决传统绝对定位技术存在的一些不足,提出一种基于改进YOLOv3的轨道定位点检测方法.根据定位点目标大小,调整网络输入尺寸及其特征提取网络Darknet-53的结构;由于定位点样本数量稀缺,故采用旋转、增噪等手段进行样本扩充,并使用K-means算法对自制的训练集聚类分析;依据官方网络参数说明及实际图片特征,优化网络的训练参数.实验结果表明,改进后YOLOv3算法的召回率提高了23百分点,检测速度提升了31帧/s,即在提高定位可靠性的同时,也满足轨道巡检系统的实时检测速度要求.     

一种基于SMOTE的不平衡数据集重采样方法

不平衡数据集是指在数据集中,某一类样本的数量远大于其他类样本的数量,其会影响分类结果,使基本分类器偏向多数类.合成少数样本过采样技术(SMOTE)是处理数据不平衡问题的一种经典过采样方法,以两个少数样本对应的线段为端点生成一个合成样本.提出一种基于SMOTE的少数群体过采样方法,改进生成新样本的方式,在合成样本的过程中参考两个以上的少数类样本,增加合成样本的多样性.实验结果表明,在不同的基本分类器下该方法可以获得更好的接收者操作特征曲线面积(ROC-AUC)和稳定性.     

基于双向生成对抗网络的图像超分辨率算法

基于深度学习的图像超分辨率重建算法不能很好地处理现实生活中有多种复杂噪声干扰的低分辨率图片,提出一种双向的生成对抗网络,引入下采样网络及重建网络联合学习的方法.下采样网络模拟生成现实生活中有复杂噪声及受运动干扰的低分辨率图片,重建网络将模拟生成的低分辨率图片恢复为细节清晰的高分辨率图片.实验结果表明,该算法能够重建出视觉效果良好的超分辨率图像,在Set5、DIV2 K等通用测试集上,其客观评价指标(PSNR、SSIM)对比于SRGAN方法分别提高了约0.9 dB,0.25.     

基于胶囊网络进行可区别特征学习的零样本识别方法研究

传统的零样本学习方法大多采用一个分离的两步管道,从预先训练的CNN模型中提取图像特征,再利用固定的图像特征来学习嵌入空间,导致零样本学习任务并不能捕捉到辅助信息中丰富的语义信息.对此,借助胶囊网络,提出一种端到端、可训练的模型.相比卷积网络,胶囊网络对物体的平移、旋转和缩放等变化表现出更强的鲁棒性.该模型赋予嵌入空间更强的泛化能力,为零样本学习提供了更多辅助线索,实验结果显示该方法优于现有的识别方法.     

小样本红外图像的样本扩增与目标检测算法

深度卷积神经网络模型在很多公开的可见光目标检测数据集上表现优异, 但是在红外目标检测领域, 目标 样本稀缺一直是制约检测识别精度的难题. 针对该问题, 本文提出了一种小样本红外图像的样本扩增与目标检测算 法. 采用基于注意力机制的生成对抗网络进行红外样本扩增, 生成一系列保留原始可见光图像关键区域的红外连 续图像, 并且使用空间注意力机制等方法进一步提升YOLOv3目标检测算法的识别精度. 在Grayscale-Thermal与 OSU Color-Thermal红外–可见光数据集上的实验结果表明, 本文算法使用的红外样本扩增技术有效提升了深度网 络模型对红外目标检测的精度, 与原始YOLOv3算法相比, 本文算法最高可提升近20%的平均精确率(mean average precision, mAP).     

利用频谱变换的水声信号分类框架

在水声信号分类应用中,由于保密或采集条件限制等原因,样本通常会不足,导致深度学习框架的分类精度不高.为解决小样本水声信号分类精度不高的问题,提出一种结合频谱变换和深度学习框架的方法.通过对各类频谱变换测试,发现LOFAR频谱变换能显著提高声音信号中的特征表现.使用GAN网络对频谱变换后的样本扩充,使用改进的CNN网络对频谱图进行分类.实验结果表明了上述框架可以生成高质量的样本,显著提高水声信号的分类精度.