基于改进Transformer的细粒度图像分类模型

细粒度图像具有不同子类间差异小、相同子类内差异大的特点。现有网络模型在处理过程中存在特征提取能力不足、特征表示冗余和归纳偏置能力弱等问题，因此提出一种改进的Transformer图像分类模型。首先，利用外部注意力取代原Transformer模型中的自注意力，通过捕获样本间相关性提升模型的特征提取能力；其次，引入特征选择模块筛选区分性特征，去除冗余信息，加强特征表示能力；最后，引入融合的多元损失，增强模型归纳偏置和区分不同子类、归并相同子类的能力。实验结果表明，所提方法在CUB-200-2011、Stanford Dogs和Stanford Cars三个细粒度图像数据集上的分类精度分别达89.8%、90.2%和94.7%，优于多个主流的细粒度图像分类方法，分类结果较好。     

基于视频时空特征提取分类的动作分析评估模型

为拓展机器视觉技术在医工结合场景下的应用,文中基于改进的时空Transformer模型,提出一种动作规范识别模型。该模型由数据嵌入层、时空Transformer层、决策融合层组成。数据嵌入层利用Openpose模型从sRGB图像中提取人体骨骼数据,降低环境部署成本;时空Transformer层使用时空模块和块间模型对图像数据特征进行训练和分类,提升原模型的分类精度;决策融合层实现对应用场景的规范性判别。实验测试结果表明：所提算法的TOP1和TOP5精度指标在所有对比算法中均为最优;在以心肺复苏术为例进行的实际应用测试中,该算法的综合性能较为理想,能够满足工程需要。     

基于红外的SSA CNN GRU电路板芯片故障诊断

针对电路板温度数据诊断率不佳的问题,本文提出了基于红外的SSA CNN GRU电路板芯片故障诊断模型。首先,根据红外热像仪采集芯片温度数据,建立多维特征模型；然后,在故障诊断模型输入端和CNN GRU通道分别添加注意力机制,构建双注意力结构,自适应识别有效数据段和提取红外图像有效特征；接着,利用麻雀搜索算法优化注意力机制权值分配,获取全局最优超参数；最后搭建SSA CNN GRU故障诊断模型,实现芯片故障模式的高精度诊断。实验采用电源电路板进行可靠性分析,实验结果表明,本文算法在诊断精度可达9873,且稳定性、可靠性方面均优于对比算法。     

一种基于集成卷积神经网络的SAR图像目标识别算法

针对合成孔径雷达(Synthetic Aperture Radar, SAR)图像目标识别问题，提出了一种基于集成卷积神经网络(Convolutional Neural Network, CNN)的SAR图像目标识别方法。首先对原始数据集进行数据增强的预处理操作，以扩充训练样本；接着通过重采样的方法从训练样本中获取不同的训练子集，并在训练各基分类器时引入Dropout和Padding操作，有效增强了网络泛化能力；然后采用Adadelta算法与Nesterov动量法结合的思想来优化网络，提高了网络的收敛速度和识别精度；最后采用相对多数投票法对基分类器的分类结果进行集成。在MSTAR数据集上进行的实验结果表明，集成后的模型识别准确率达到99.30%,识别性能优于单个卷积神经网络，具有较强的泛化能力和较好的稳健性。     

基于迁移学习的遥感图像场景分类

在遥感图像场景分类中,基于卷积神经网络 (convolutional neural network,CNN) 的分 类算法存在对训练数据的依赖性,且在缺乏训练数据时分 类效果差等问题,提出一种基于迁移学习的分类算法。首先,选取现有的多个CNN预训练模型,利用迁 移学习的优势对模型进行微调,目的是提取图像不同的高层特征;然后,融合图像的多种高 层特征,使得特征信 息更加丰富;最后,将融合后的高层特征输入到基于逻辑回归的遥感图像分类器中,得到遥 感影像的分类结果。 在UCMerced_LandUse遥感数据集中进行实验,与现有算法进行比较分析,所提算法在3种评 价指标上有明显提 升。通过分析实验结果表明,该算法在仅有10%的训练数据下,能够 达到92.01%的分类准确率和91.61%的Kappa系数。     

基于主动学习的图像分类技术：现状与未来

图像分类作为计算机视觉领域中的重要研究方向之一，应用领域非常广泛.基于深度学习的图像分类技术取得的成功，依赖大量的已标注数据，然而数据的标注成本往往是昂贵的.主动学习作为一种机器学习方法，旨在以尽可能少的高质量标注数据达到期望的模型性能，缓解监督学习任务中存在的标注成本高、标注信息难以大量获取的问题.主动学习图像分类算法根据样本选择策略，从未标记样本数据集合中选择出信息量丰富，对分类模型训练贡献更高的样本进行标注，以更新已标注训练数据池，如此循环直至满足给定的停止条件或模型标注预算耗尽.本文对近年来提出的主动学习图像分类算法进行了详细综述，并根据所用样本数据处理及模型优化方案，将现有算法分为三类：基于数据增强的算法，包括利用图像增广来扩充训练数据，或者根据图像特征插值后的差异性来选择高质量的训练数据；基于数据分布信息的算法，根据数据分布的特点来优化样本选择策略；优化模型预测的算法，包括优化获取和利用深度模型预测信息的方法、基于生成对抗网络和强化学习来优化预测模型的结构，以及基于Transformer结构提升模型预测性能，以确保模型预测结果的可靠性.此外，本文还对各类主动学习图像分类算法...     

基于CTCNet对球结膜进行糖尿病视网膜病变分类

糖尿病视网膜病变(diabetic retinopathy, DR)是一种糖尿病性微血管病变,会在球结膜微血管上有所体现,球结膜血管图像的获取比眼底图像更加便捷,但微血管的特征变化微小且难以量化。为了能够对患者进行早期辅助诊断,本文依据球结膜微血管形态与DR的关联,首先对球结膜图像进行预处理,使用限制对比度自适应直方图均衡(contrast limited adaptive histogram equalization, CLAHE)算法进行图像增强,随机处理使数据增强,然后结合卷积神经网络(convolutional neural network, CNN)和Transformer各自的网络优势构建CTCNet,对处理后的球结膜血管图像进行DR分类,分类准确率达到了97.44%,敏感度97.69%,特异性97.11%,精确度97.69%,通过实验对比CNN和Transformer, CTCNet网络性能优于其他模型,能够有效识别DR。     

采用航迹特征的智能机型识别

针对空战目标识别中机型自动识别比较困难的问题，提出了采用航迹特征的智能目标识别方法。利用卷积神经网络（Convolutional Neural Network，CNN）分层学习特征的能力，训练CNN算法模型自动地从航迹数据中学习有用的特征并分类。利用沿海实地采集的15个类别的飞机航迹数据，经一系列数据预处理后作为智能识别算法的训练和测试数据，在验证实验中描述了算法网络的相关配置,对比了CNN与其他分类器的识别结果。实验结果表明，CNN具有很好的识别性能。     

融合快照集成与知识迁移的人体行为识别算法

用卷积网络进行人体行为识别是毫米波雷达的一个热门研究方向。由于卷积网络结构的缺陷性,而且目前用于人体行为识别公开的雷达领域数据样本量过少,传统深度学习算法对雷达微多普勒图像的识别率不高,且在训练过程中容易出现过拟合的现象。针对上述问题,本文提出一种融合快照集成与迁移学习的雷达人体行为识别算法。首先,针对深度卷积网络无法提取图像全局特征的问题,该算法通过搭建Vision Transformer(VIT)模型引入注意力机制。其次,通过VIT模型在公开自然数据集上进行任务迁移和特征空间的迁移,解决微多普勒图像的识别过拟合的问题。最后,利用基于快照集成的投票机制算法,提升模型对复杂雷达微多普勒图像的识别能力。试验结果表明,在目标任务数据集样本量少、背景复杂的情况下,该算法能在不增加训练成本的前提下提升微多普勒图像的识别准确率,在VIT模型下该算法识别准确率达到了89.25%,优于经典卷积神经网络。     

多尺度特征融合与极限学习机结合的交通标志识别

针对卷积神经网络只能使用相同尺寸图像和卷积核的网络进行特征提取,导致提取的特征不全面,在交通标志识别中因车载摄像头与交通标志的位置不断变化影响交通标志的识别精度等问题,提出了一种基于多尺度特征融合与极限学习机结合的交通标志识别方法。首先,将预训练适应3种不同尺寸图像的网络模型作为实验的初始模型;然后,融合3个网络模型构建多尺度卷积神经网络,将3个预训练网络的参数级联到融合模型的全连接层,对融合模型的全连接层进行训练,采用随机梯度下降算法更新网络参数;最后,将融合后的模型作为特征提取器提取特征,把提取到的多尺度特征送入极限学习机,实现交通标志识别。实验采用德国交通标志数据库(GTSRB)对算法性能进行测试,实验结果显示,多尺度特征融合与极限学习机结合的网络识别精度为99.23%,识别速度为46ms。相对于预训练的网络,网络的分类精度分别提高了2.35%,3.22%,3.74%。多尺度特征融合能够有效提取交通标志图像的特征信息,极限学习机可以提高分类精度和分类时间,该方法能满足交通标志识别的准确性和实时性的要求。     

基于Transformer的道路场景点云分类与分割方法

针对多目标识别过程中点云分类和分割精度不高的问题,提出了一种基于改进Transformer模型的点云分类与分割方法DRPT(Double randomness Point Transformer),该方法在Transformer模型卷积投影层创建新的点嵌入,利用局部邻域的动态处理在数据特征向量中持续增加全局特征属性,从而提高多目标识别中点云分类和分割的精度。实验中采用了标准基准数据集(ModelNet40、ShapeNet部分分割和SemanticKITTI场景语义分割数据集)以验证模型的性能,实验结果表明:DRPT模型的pIoU值为859,比其他模型平均高出35,有效提高了多目标识别检测时点云分类与分割精度,是对智能网联技术发展的有效支撑。     

基于Vision Transformer的小儿肺炎辅助诊断

为改善基层医疗机构儿童肺炎诊疗水平，提高基层医生分析临床医学影像的效率和质量，提出了一种基于Vision Transformer(ViT)的小儿肺炎辅助诊断模型。首先利用ResUNet对儿童胸片进行肺区域分割，将左右肺区域从胸片中分割出来以降低其他组织对肺炎诊断的干扰。然后，将分割后的图像输入改进的混合ViT模型进行诊断，该模型使用传统卷积神经网络的特征映射作为Transformer的输入，并在卷积神经网络中引入自注意力机制，增强卷积以加强其获取全局相关性的能力。最后，对卷积神经网络的骨干网络和Transformer模型进行端到端的训练，使模型能够达到良好的图像分类结果。在Chest X-Ray Images肺炎标准数据集上进行了实验，实验结果表明，所提模型的肺炎识别准确率、精确率和召回率分别达到97.27%、97.69%和98.60%。即该模型具有较好的可行性，可使基层儿童肺炎的临床诊断准确率得到很大提升。     

基于分块CNN的多尺度SAR图像目标分类算法

针对合成孔径雷达（Synthetic Aperture Radar, SAR）图像目标分辨率差异大,多尺度SAR图像目标分类准确率不高的问题,提出了一种基于迁移学习和分块卷积神经网络（Convolutional Neural Network, CNN）的SAR图像目标分类算法。首先通过大量与目标域相近的源域数据对分块CNN的参数进行训练,得到不同尺度下的CNN特征提取网络;其次将CNN的卷积和池化层迁移到新的网络结构中,实现目标特征的提取;最后用超限学习机（Extreme Learning Machine, ELM）网络对提取的特征进行分类。实验数据采用美国MSTAR数据库以及多尺度SAR图像舰船目标数据集,实验结果表明,该方法对多尺度SAR图像的分类效果优于传统CNN。     

基于卷积神经网络与注意力机制的高光谱图像分类

由于浅层卷积神经网络(convolutional neural network,CNN)模型感受野的限制,无法捕获远距离特征,在高光谱图像 (hyperspectral image,HSI) 分类问题中无法充分利用图像空间-光谱信息,很难获得较高精度的分类结果。针对上述问题,本文提出了一种基于卷积神经网络与注意力机制的模型(model based on convolutional neural network and attention mechanism,CNNAM),该模型利用CA (coordinate attention)对图像通道数据进行位置编码,并利用以自注意力机制为核心架构的Transformer模块对其进行远距离特征提取以解决CNN感受野的限制问题。CNNAM在Indian Pines和Salinas两个数据集上得到的总体分类精度分别为97.63%和99.34%,对比于其他模型,本文提出的模型表现出更好的分类性能。另外,本文以是否结合CA为参考进行了消融实验,并证明了CA在CNNAM中发挥重要作用。实验证明将传统CNN与注意力机制相结合可以在HSI分类问题中获得更高的分类精度。     

基于共轭梯度法的CNN图像分类模型研究

本文针对处理图像分类的卷积神经网络(CNN)模型,设计并应用修正的三项PRP共轭梯度法(M-PRPCG)训练模型以提高图像分类的准确率。首先,基于CIFAR-10图像分类数据集构建ResNet18和VGG16卷积神经网络(CNN)模型;然后在训练集上,采用修正的三项PRP共轭梯度法(M-PRPCG)训练模型;最后在测试集上进行验证。实验结果表明,修正的三项PRP共轭梯度法(M-PRPCG)训练的ResNet18和VGG16模型相比于Adam算法训练的模型在图像分类准确率上分别提高了3.46%和1.97%。     

稀疏自动编码器视觉特征融合的多弹分类算法研究

准确识别卫星设备等拍摄到的待发射（或飞行途中）导弹类型,实现及时有效防御,是国内外军事领域研究的热点之一。由于战争状态中导弹具有掩饰色,且因外形差别不显著,现有基于底层特征进行导弹分类识别难度较大甚至无法识别。针对这一问题,提出一种基于稀疏自动编码器（Sparse Auto-Encoder,SAE）高层视觉特征融合底层特征提取的新算法,为了提高分类精度,引入迁移学习,借助STL-10样本库局部特征,并将导弹图像局部特征向量一并送入池化层卷积神经网络（Convolution Neural Network,CNN）提取导弹目标对象图像全局特征,通过Softmax回归模型实现导弹分类识别。实验表明,文中提出SAE融合底层特征的导弹分类识别算法较传统基于底层特征及SAE高层特征分类算法具有更高的准确性及鲁棒性。另外,为了避免因新型导弹目标对象缺乏训练而导致分类性能下降甚至失效,算法引入迁移学习实现局部特征提取,实验验证了算法的可行性和准确性。     

基于YOLOv5和少样本学习的高空作业安全带检测

针对电厂高空作业人员安全带佩戴检测问题,现有研究大多利用深度检测模型直接检测,不仅需要大量样本训练模型;而且由于高空作业背景杂乱、人员目标小,导致不易检测等。为此,本文提出一种基于目标检测和少样本细粒度分类的两阶段检测方法：首先利用YOLOv5检测视频图像中的高空作业人员,再用少样本细粒度分类方法识别其是否佩戴安全带。针对佩戴和不佩戴安全带人员的细微差别,本文设计了一种基于局部描述符的少样本度量学习模型,在公用数据集预训练模型基础上,利用少量训练样本对模型微调,用于安全带佩戴识别。实验结果表明,在支持集图像数为60时,识别精度达到了97.86%。本文方法可实现少样本情况下对高空作业人员安全带佩戴情况的精确检测。     

基于多视角融合的细粒度图像分类方法

细粒度图像分类的目标是区分同一个常见类下的不同子类,由于数据集往往存在较大的类内差异和较大的类间相似性,细粒度图像分类相比于传统图像分类具有更大的挑战性。以往工作中,基于组件的方法和基于注意力的方法致力于挖掘图像中的判别力区域,而忽视了用来区分易混淆类别的微弱差异。为了解决以上问题,本文提出了一个基于多视角融合的细粒度图像分类方法,包含两个分支,其中一个分支基于特征图挖掘图像的局部特征,另一个分支则学习图像的全局特征。同时引入一种嵌入损失,与传统多分类交叉熵损失函数结合增强特征的判别性,进而提升模型的分类性能。所提方法仅使用图像级标签,在CUB-200-2011,Stanford Cars和FGVC Aircraft这三个基准数据集上的分类准确率分别达到了88.3%,94.3%和92.4%,实验结果表明所提方法相比其它细粒度图像分类方法具有一定的优越性。      

基于迁移学习SAE的无人机目标识别算法研究

无人机在复杂战场环境下,因敌我双方无人机外形、颜色等特征较为相似,如何准确地对敌方无人机识别是实现其自主导航及作战任务执行的关键。由于受敌方无人机飞行速度、形状、尺寸、姿态等的改变及气象环境因素的影响,无法准确地对其进行识别与分类。针对这一问题,提出基于迁移学习卷积稀疏自动编码器（Sparse Auto-Encoder,SAE）实现对航拍多帧图像中敌方目标对象的识别与分类。算法首先借助SAE对源领域数据集中大量无标记样本进行无监督学习,获取其局部特征;然后,采用池化层卷积神经网络（CNN）算法提取目标图像全局特征;最后,送入Softmax回归模型实现目标对象的识别与分类。实验结果表明:与传统非迁移学习的SAE算法及基于底层视觉特征学习的识别算法相比,该算法具有更高的准确性。     

一种融合Gabor滤波与3D/2D卷积的高光谱图像分类算法

为了减轻卷积神经网络模型对训练样本的依赖性 和提高高光谱图像的分类性能,本 文提出了一种融合Gabor滤波与3D/2D卷积的高光谱图像分类算法。首先,三维Gabor滤 波器用于处理原始高光谱数据以生成空谱隧道信息;其次,利用三维卷积操作提取生成的 空谱隧道信息的深层特征;然后,再利用二维卷积进一步提取图像的空间信息;最后,通 过Softmax分类器完成高光谱图像分类。为验证模型性能,将提出的方法与CNN、2D- CNN、3D-CNN-LR、SSRN算法在Indian Pines、Pavia University、Salinas数据集上进行 对 比实验。实验结果表明,提出的方法在三个数据集上的总体识别精度分别达到99.51%、99.94%、99.99%,均高于其 他方法,能够有效提高分类性能,是一种简单而高效的高光谱图像分类算法。