数据受限条件下的多模态处理技术综述

随着多媒体技术的发展,可获取的媒体数据在种类和量级上大幅提升。受人类感知方式的启发,多种媒体数据互相融合处理,促进了人工智能在计算机视觉领域的研究发展,在遥感图像解译、生物医学和深度估计等方面有广泛的应用。尽管多模态数据在描述事物特征时具有明显优势,但仍面临着较大的挑战。1）受到不同成像设备和传感器的限制,难以收集到大规模、高质量的多模态数据集;2）多模态数据需要匹配成对用于研究,任一模态的缺失都会造成可用数据的减少;3）图像、视频数据在处理和标注上需要耗费较多的时间和人力成本,这些问题使得目前本领域的技术尚待攻关。本文立足于数据受限条件下的多模态学习方法,根据样本数量、标注信息和样本质量等不同的维度,将计算机视觉领域中的多模态数据受限方法分为小样本学习、缺乏强监督标注信息、主动学习、数据去噪和数据增强5个方向,详细阐述了各类方法的样本特点和模型方法的最新进展。并介绍了数据受限前提下的多模态学习方法使用的数据集及其应用方向（包括人体姿态估计、行人重识别等）,对比分析了现有算法的优缺点以及未来的发展方向,对该领域的发展具有积极的意义。     

基于空间语义模型的高分辨率遥感图像目标检测方法

该文提出一种基于空间语义模型的方法,用于高分辨率遥感图像复杂场景中典型地物目标的自动检测。该方法通过分割获取图像对象,引入主题模型统计对象的多维特征,提高了对象特性描述的精度。在此基础上,对图像中有意义的地物目标及它们之间的空间关系建模表达和定量计算,通过获取场景的语义解析树,辅助实现对复杂地物目标的准确提取和定位。在测试数据集上的实验结果表明,该文方法具有较高的智能化程度和较强的稳定性。     

基于散射信息和元学习的SAR图像飞机目标识别

SAR图像由于数据获取难度大,样本标注难,目标覆盖率不足,导致包含地理空间目标的影像数量稀少。为了解决这些问题,该文开展了基于散射信息和元学习的SAR图像飞机目标识别方法研究。针对SAR图像中不同型号飞机空间结构离散分布差异较大的情况,设计散射关联分类器,对飞机目标的离散程度量化建模,通过不同目标离散分布的差异来动态调整样本对的权重,指导网络学习更具有区分性的类间特征表示。考虑到SAR目标成像易受背景噪声的影响,设计了自适应特征细化模块,促使网络更加关注飞机的关键部件区域,减少背景噪声干扰。该文方法有效地将目标散射分布特性与网络的自动学习过程相结合。实验结果表明,在5-way 1-shot的极少样本新类别识别任务上,该方法识别精度为59.90%,相比于基础方法提升了3.85%。减少一半训练数据量后,该方法在新类别的极少样本识别任务上仍然表现优异。      

AIR-SARShip-1.0:高分辨率SAR舰船检测数据集

近年来,深度学习技术得到广泛应用,然而在合成孔径雷达(SAR)舰船目标检测研究中,由于数据获取难、样本规模小,尚难以支撑深度网络模型的训练。该文公开了一个面向高分辨率、大尺寸场景的SAR舰船检测数据集,该数据集包含31景高分三号SAR图像,场景类型包含港口、岛礁、不同级别海况的海面等,背景涵盖近岸和远海等多样场景。同时,该文使用经典舰船检测算法和深度学习算法进行了实验,其中基于密集连接端到端网络方法效果最佳,平均精度达到88.1%。通过实验对比分析形成指标基准,方便其他学者在此数据集基础上进一步展开SAR舰船检测相关研究。      

基于可变形卷积神经网络的遥感影像密集区域车辆检测方法

车辆检测是遥感图像分析领域的热点研究内容之一,车辆目标的智能提取和识别,对于交通管理、城市建设有重要意义。在遥感领域中,现有基于卷积神经网络的车辆检测方法存在实现过程复杂并且对于车辆密集区域检测效果不理想的缺陷。针对上述问题,该文提出基于端到端的神经网络模型DF-RCNN以提高车辆密集区域的检测精度。首先,在特征提取阶段,DF-RCNN模型将深浅层特征图的分辨率统一并融合;其次,DF-RCNN模型结合可变形卷积和可变形感兴趣区池化模块,通过加入少量的参数和计算量以学习目标的几何形变。实验结果表明,该文提出的模型针对密集区域的车辆目标具有较好的检测性能。     

纤维缠绕机张力控制系统的设计

本文对纤维缠绕机张力控制系统的总体方案进行设计,包括张力的施力方式、张力控制方法,对张力系统的主要的组成部件的选择进行了分析选定,并提出了机床的PID控制方法,阐述了如何利用PID张力控制系统进行运动控制.实践证明该方法是切实可行的.     

基于监督对比学习正则化的高分辨率SAR图像建筑物提取方法

近年来,高分辨合成孔径雷达(SAR)图像的智能解译技术在城市规划、变化监测等方面得到了广泛应用.不同于光学图像,SAR图像的获取方式、图像中目标的几何结构等因素制约了现有深度学习方法对SAR图像地物目标的解译效果.该文针对高分辨SAR图像城市区域建筑物提取,提出了基于监督对比学习的正则化方法,其主要思想是增强同一类别像...     

基于分等级对象语义图模型的复杂目标自动识别方法研究

目标自动识别是图像处理领域的研究热点。针对现有方法的不足,该文提出一种新的基于分等级对象语义图模型的复杂目标自动识别方法。该方法通过构建分等级对象语义图模型增强对目标与背景间、目标部件间语义约束的利用,引入置信对象网络统计局部特性,利用消息机制传递对象间相互影响,实现概率语义分析。训练中还将产生式和判别式方法结合,提高了目标识别的准确度。在自然和遥感部分目标类别数据集上的测试结果表明,该方法能完成对多种类型和复杂结构目标的识别和提取,具有一定的实用价值。     

基于MFF-GAN的图像集视觉总结

现有图像集视觉总结方法主要使用浅层视觉特征,或者直接应用已训练的卷积神经网络模型提取图像深层特征,选取的图像不具代表性。为此,分析并研究图像集视觉总结的图像特征表示方法,提出多特征图融合生成对抗网络(MFF-GAN)模型。该模型中的判别器通过多特征图融合的方式提取图像特征,使提取的特征能表示图像细节和高层语义信息,并在多特征图融合层后添加自编码网络对特征进行降维,避免特征维度灾难问题。NUS-WIDE数据集上的实验结果验证了M FF-GAN模型的有效性,并表明其能有效提升图像集视觉总结多样性。