基于注意力与标签相关性的胸部X光片疾病分类

针对传统的胸部辅助诊断系统在胸部X光片疾病分类方面图像特征提取效果差、平均准确率低等问题,提出了一个注意力机制和标签相关性结合的多层次分类网络.网络的训练分为两个阶段,在阶段1为了提高网络特征提取能力,引入注意力机制并构建一个双分支特征提取网络,实现综合特征的提取,在阶段2考虑到多标签分类中标签之间相关性等问题,利用图卷积神经网络对标签相关关系进行建模,并与阶段1的特征提取结果进行结合,以实现对胸部X光片疾病的多标签分类任务.实验结果表明,本方法在ChestX-ray14数据集上各类疾病的加权平均AUC达到0.827,有助于辅助医生进行胸部疾病的诊断,有一定的临床应用价值.     

区域级通道注意力融合高频损失的图像超分辨率重建

目的 通道注意力机制在图像超分辨率中已经得到了广泛应用,但是当前多数算法只能在通道层面选择感兴趣的特征图而忽略了空间层面的信息,使得特征图中局部空间层面上的信息不能合理利用。针对此问题,提出了区域级通道注意力下的图像超分辨率算法。方法 设计了非局部残差密集网络作为网络的主体结构,包括非局部模块和残差密集注意力模块。非局部模块提取非局部相似信息并传到后续网络中,残差密集注意力模块在残差密集块结构的基础上添加了区域级通道注意力机制,可以给不同空间区域上的通道分配不同的注意力,使空间上的信息也能得到充分利用。同时针对当前普遍使用的L1和L2损失函数容易造成生成结果平滑的问题,提出了高频关注损失,该损失函数提高了图像高频细节位置上损失的权重,从而在后期微调过程中使网络更好地关注到图像的高频细节部分。结果 在4个标准测试集Set5、Set14、BSD100（Berkeley segmentation dataset）和Urban100上进行4倍放大实验,相比较于插值方法和SRCNN（image super-resolution using deep convolutional networks）算法,本文方法的PSNR（peak signal to noise ratio）均值分别提升约3.15 dB和1.58 dB。结论 区域级通道注意力下的图像超分辨率算法通过使用区域级通道注意力机制自适应调整网络对不同空间区域上通道的关注程度,同时结合高频关注损失加强对图像高频细节部分的关注程度,使生成的高分辨率图像具有更好的视觉效果。     

基于AT-PGGAN的增强数据车辆型号精细识别

目的 车型识别在智能交通、智慧安防、自动驾驶等领域具有十分重要的应用前景。而车型识别中，带标签车型数据的数量是影响车型识别的重要因素。本文以"增强数据"为核心，结合PGGAN（progressive growing of GANs）和Attention机制，提出一种基于对抗网络生成数据再分类的网络模型AT-PGGAN（attention-progressive growing of GANs），采用模型生成带标签车型图像的数量，从而提高车型识别准确率。方法 该模型由生成网络和分类网络组成，利用生成网络对训练数据进行增强扩充，利用注意力机制和标签重嵌入方法对生成网络进行优化使其生成图像细节更加完善，提出标签重标定的方法重新确定生成图像的标签数据，并对生成图像进行相应的筛选。使用扩充的图像加上原有数据集的图像作为输入训练分类网络。结果 本文模型能够很好地扩充已有的车辆图像，在公开数据集StanfordCars上，其识别准确率相比未使用AT-PGGAN模型进行数据扩充的分类网络均有1%以上的提升，在CompCars上与其他网络进行对比，本文方法在同等条件下最高准确率达到96.6%，高于对比方法。实验结果表明该方法能有效提高车辆精细识别的准确率。结论 将生成对抗网络用于对数据的扩充增强，生成图像能够很好地模拟原图像数据，对原图像数据具有正则的作用，图像数据可以使图像的细粒度识别准确率获得一定的提升，具有较大的应用前景。     

面向车型识别的夜间车辆图像增强网络RIC-NVNet

目的 由于夜间图像具有弱曝光、光照条件分布不均以及低对比度等特点,给基于夜间车辆图像的车型识别带来困难。此外,夜间车辆图像上的车型难以肉眼识别,增加了直接基于夜间车辆图像的标定难度。因此,本文从增强夜间车辆图像特征考虑,提出一种基于反射和照度分量增强的夜间车辆图像增强网络（night-time vehicle image enhancement network based on reflectance and illumination components,RIC-NVNet）,以增强具有区分性的特性,提高车型识别正确率。方法 RIC-NVNet网络结构由3个模块组成,分别为信息提取模块、反射增强模块和照度增强模块。在信息提取模块中,提出将原始车辆图像与其灰度处理图相结合作为网络输入,同时改进了照度分量的约束损失,提升了信息提取网络的分量提取效果;在反射分量增强网络中,提出将颜色恢复损失和结构一致性损失相结合,以增强反射增强网络的颜色复原能力和降噪能力,有效提升反射分量的增强效果;在照度分量增强网络中,提出使用自适应性权重系数矩阵,对夜间车辆图像的不同照度区域进行有区别性的增强。结果 在模拟夜间车辆图像数据集和真实夜间车辆图像数据集上开展实验,从主观评价来看,该网络能够提升图像整体的对比度,同时完成强曝光区域和弱曝光区域的差异性增强。从客观评价分析,经过本文方法增强后,夜间车型的识别率提升了2%,峰值信噪比（peak signal to noise ratio, PSNR）和结构相似性（structural similarity, SSIM）指标均有相应提升。结论 通过主观和客观评价,表明了本文方法在增强夜间车辆图像上的有效性,经过本文方法的增强,能够有效提升夜间车型的识别率,满足智能交通系统的需求。     

融合多头注意力机制的新冠肺炎联合诊断与分割

目的 新冠肺炎疫情席卷全球,为快速诊断肺炎患者,确认患者肺部感染区域,大量检测网络相继提出,但现有网络大多只能处理一种任务,即诊断或分割。本文提出了一种融合多头注意力机制的联合诊断与分割网络,能同时完成X线胸片的肺炎诊断分类和新冠感染区分割。方法 整个网络由3部分组成,双路嵌入层通过两种不同的图像嵌入方式分别提取X线胸片的浅层直观特征和深层抽象特征;Transformer模块综合考虑提取到的浅层直观与深层抽象特征;分割解码器扩大特征图以输出分割区域。为响应联合训练,本文使用了一种混合损失函数以动态平衡分类与分割的训练。分类损失定义为分类对比损失与交叉熵损失的和;分割损失是二分类的交叉熵损失。结果 基于6个公开数据集的合并数据实验结果表明,所提网络取得了95.37%的精度、96.28%的召回率、95.95%的F1指标和93.88%的kappa系数,诊断分类性能超过了主流的ResNet50、VGG16(Visual Geometry Group)和Inception_v3等网络;在新冠病灶分割表现上,相比流行的U-Net及其改进网络,取得最高的精度(95.96%),优异的敏感度(78.89%)、最好的Dice系数(76.68%)和AUC(area under ROC curve)指标(98.55%);效率上,每0.56 s可输出一次诊断分割结果。结论 联合网络模型使用Transformer架构,通过自注意力机制关注全局特征,通过交叉注意力综合考虑深层抽象特征与浅层高级特征,具有优异的分类与分割性能。     

跨模态多标签生物医学图像分类建模识别

目的 生物医学文献中的图像经常是包含多种模式的复合图像,自动标注其类别,将有助于提高图像检索的性能,辅助医学研究或教学。方法 融合图像内容和说明文本两种模态的信息,分别搭建基于深度卷积神经网络的多标签分类模型。视觉分类模型借用自然图像和单标签的生物医学简单图像,实现异质迁移学习和同质迁移学习,捕获通用领域的一般特征和生物医学领域的专有特征,而文本分类模型利用生物医学简单图像的说明文本,实现同质迁移学习。然后,采用分段式融合策略,结合两种模态模型输出的结果,识别多标签医学图像的相关模式。结果 本文提出的跨模态多标签分类算法,在ImageCLEF2016生物医学图像多标签分类任务数据集上展开实验。基于图像内容的混合迁移学习方法,比仅采用异质迁移学习的方法,具有更低的汉明损失和更高的宏平均F1值。文本分类模型引入同质迁移学习后,能够明显提高标签的分类性能。最后,融合两种模态的多标签分类模型,获得与评测任务最佳成绩相近的汉明损失,而宏平均F1值从0.320上升到0.488,提高了约52.5%。结论 实验结果表明,跨模态生物医学图像多标签分类算法,融合图像内容和说明文本,引入同质和异质数据进行迁移学习,缓解生物医学图像领域标注数据规模小且标签分布不均衡的问题,能够更有效地识别复合医学图像中的模式信息,进而提高图像检索性能。     

可变形NTS-Net的螺栓属性多标签分类

目的 螺栓是确保输电线路安全牢靠的基石,螺栓缺销、松动和锈蚀等缺陷是造成输电线路损坏甚至重大事故的重要原因之一。本文针对螺栓缺陷存在视觉不可分的问题,提出了一种改进NTS-Net（navigator-teacher-scrutinizer network）的螺栓属性多标签分类方法。方法 为了增强模型对不规则轮廓的处理能力,采用可变形卷积的ResNet-50网络作为特征提取网络从原图中提取全局特征。利用NTS-Net学习得到图像信息量最大的判别性局部区域。为了考虑不同局部特征对不同属性标签的不同影响,在局部特征与全局特征融合时引入通道注意力机制,提取特征的通道权重,获取关键通道特征以改善多标签分类效果。结果 实验结果表明,本文在螺栓多属性分类数据集上的平均分类精确率为84.5%,比采用传统的多标签分类精确率提升了10%~20%。结论 本文通过可变形卷积提升网络的特征提取能力以及引入通道注意力机制实现了对NTS-Net提供的局部特征的高效利用,为解决螺栓多属性分类中存在的问题提供了一种新的思路。     

基于视觉感知的智能扫地机器人的垃圾检测与分类

目的 为了提高扫地机器人的自主性和智能化程度，为扫地机器人配备视觉传感器，使其获得视觉感知能力，通过研究有效的垃圾检测分类模型与算法，实现对垃圾的定位与识别，引导扫地机器人对垃圾进行自动识别与按类处理，提高工作的目的性和效率，避免盲动和减少能耗。方法 选择检测速度较快的YOLOv2作为主网络模型，结合密集连接卷积网络，嵌入深层密集模块，对YOLOv2进行改进，提出一种YOLOv2-dense网络，该网络可以充分利用图像的高分辨率特征，实现图像浅层和深层特征的复用与融合。结果 测试结果表明，智能扫地机器人使用本文方法可以有效识别不同形态的常见垃圾类别，在真实场景中，测试识别准确率为84.98%，目标检测速度达到26帧/s。结论 实验结果表明，本文构建的YOLOv2-dense网络模型具有实时检测的速度，并且在处理具有不同背景、光照、视角与分辨率的图片时，表现出较强的适应和识别性能。在机器人移动过程中，可以保证以较高的准确率识别出垃圾的种类，整体性能优于原YOLOv2模型。     

基于多尺度特征多对抗网络的雾天图像识别

目的 当前的大型数据集,例如ImageNet,以及一些主流的网络模型,如ResNet等能直接高效地应用于正常场景的分类,但在雾天场景下则会出现较大的精度损失。雾天场景复杂多样,大量标注雾天数据成本过高,在现有条件下,高效地利用大量已有场景的标注数据和网络模型完成雾天场景下的分类识别任务至关重要。方法 本文使用了一种低成本的数据增强方法,有效减小图像在像素域上的差异。基于特征多样性和特征对抗的思想,提出多尺度特征多对抗网络,通过提取数据的多尺度特征,增强特征在特征域分布的代表性,利用对抗机制,在多个特征上减少特征域上的分布差异。通过缩小像素域和特征域分布差异,进一步减小领域偏移,提升雾天场景的分类识别精度。结果 在真实的多样性雾天场景数据上,通过消融实验,使用像素域数据增强方法后,带有标签的清晰图像数据在风格上更趋向于带雾图像,总的分类精度提升了8.2%,相比其他的数据增强方法,至少提升了6.3%,同时在特征域上使用多尺度特征多对抗网络,相比其他的网络,准确率至少提升了8.0%。结论 像素域数据增强以及多尺度特征多对抗网络结合的雾天图像识别方法,综合考虑了像素域和特征域的领域分布差异,结合了多尺度的丰富特征信息,同时使用多对抗来缩小雾天数据的领域偏移,在真实多样性雾天数据集上获得了更好的图像分类识别效果。     

多标签高光谱图像地物分类

目的 在高光谱地物分类中,混合像元在两个方面给单标签分类带来了负面影响：单类地物在混入异类地物后,其光谱特征会发生改变,失去独特性,使类内差异变大;多类地物在混合比例加深的情况下,光谱曲线会互相趋近,使类间差异变小。为了解决这一问题,本文将多标签技术运用在高光谱分类中。方法 基于高光谱特性,本文将欧氏距离与光谱角有机结合运用到基于类属属性的多标签学习LIFT（multi-label learning with label specific features）算法的类属属性构建中,形成了适合高光谱多标签的方法。基于标签地位的不相等,本文为多标签数据标注丰度最大标签,并在K最近邻KNN（k-nearest neighbor）算法中为丰度最大的标签设置比其余标签更大的权重,完成对最大丰度标签的分类。结果 在多标签分类与单标签分类的比较中,多标签表现更优,且多标签在precision指标上表现良好,高于单标签0.5% 1.5%。在与其余4种多标签方法的比较中,本文多标签方法在2个数据集上表现最优,在剩余1个数据集上表现次优。在最大丰度标签的分类上,本文方法表现优于单标签分类,在数据集Jasper Ridge上的总体分类精度提高0.2%,混合像元分类精度提高0.5%。结论 多标签分类技术应用在高光谱地物分类上是可行的,可以提升分类效果。本文方法根据高光谱数据的特性对LIFT方法进行了改造,在高光谱多标签分类上表现优异。高光谱地物的多标签分类中,每个像元多个标签的地位不同,在分类中可以通过设置不同权重体现该性质,提升分类精度。     

改进残差网络在玉米叶片病害图像的分类研究

针对传统的玉米叶片病害图像识别方法正确率不高、速度慢等问题,提出一种基于改进深度残差网络模型的玉米叶片图像识别算法。提出的改进策略有：将传统的ResNet-50模型第一层卷积层中7×7卷积核替换为3个3×3的卷积核;使用LeakyReLU激活函数替代ReLU激活函数;改变残差块中批标准化层、激活函数与卷积层的排列顺序。进行数据预处理,将训练集与测试集的比例划分为4∶1,采用数据增强的方式对训练集进行扩充,将改进的ResNet-50模型经过迁移学习得到在ImageNet上预训练好的权重参数。实验结果表明,改进的网络在玉米叶片病害图像分类中得到了98.3%的正确率,与其他网络模型相比准确率大幅提升,鲁棒性进一步增强,可为玉米叶片病害的识别提供参考。     

基于改进MobileNetV2神经网络的视网膜OCT图像多分类

光学相干断层成像(optical coherence tomography, OCT)是一种具有无接触、高分辨率等特点的新型眼科医学诊断方法, 现在已经作为医生临床诊断眼科疾病的重要参考物, 但人工分类疾病费时费力, 视网膜病变的早期发现和临床诊断至关重要. 为了解决该类问题, 本文提出了一种基于改进MobileNetV2神经网络对视网膜OCT图像多分类识别方法. 此方法利用特征融合技术处理图像并设计增加注意力机制改进网络模型, 二者在极大程度上提高OCT图像的分类准确率. 与原有算法相比, 分类效果具有明显提升, 本文模型的分类准确率、召回值、精确度、F1值分别达到98.3%、98.44%、98.94%、98.69%, 已经超越人工分类的准确率. 此类方法不仅在实际诊断中加快诊断流程、降低医生负担、提高诊断质量, 同时也为眼科医疗研究提供新的方向.     

提高小样本高光谱图像分类性能的变维卷积神经网络

目的 为了解决基于卷积神经网络的算法对高光谱图像小样本分类精度较低、模型结构复杂和计算量大的问题,提出了一种变维卷积神经网络。方法 变维卷积神经网络对高光谱分类过程可根据内部特征图维度的变化分为空—谱信息融合、降维、混合特征提取与空—谱联合分类的过程。这种变维结构通过改变特征映射的维度,简化了网络结构并减少了计算量,并通过对空—谱信息的充分提取提高了卷积神经网络对小样本高光谱图像分类的精度。结果 实验分为变维卷积神经网络的性能分析实验与分类性能对比实验,所用的数据集为Indian Pines和Pavia University Scene数据集。通过实验可知,变维卷积神经网络对高光谱小样本可取得较高的分类精度,在Indian Pines和Pavia University Scene数据集上的总体分类精度分别为87.87%和98.18%,与其他分类算法对比有较明显的性能优势。结论 实验结果表明,合理的参数优化可有效提高变维卷积神经网络的分类精度,这种变维模型可较大程度提高对高光谱图像中小样本数据的分类性能,并可进一步推广到其他与高光谱图像相关的深度学习分类模型中。     

基于对抗域适应的心电信号深度学习分类算法

心血管疾病已成为威胁人类生命健康的主要疾病之一。心电图是临床上常见的诊断心律失常的重要方法并被广泛用于监测心脏病患者的健康状况。由于现有的医疗资源匮乏,使用人工智能的方法来分析和诊断从而克服这些局限性的需求愈加迫切,在临床中使用自动检测和分类方法,可以帮助医生对疾病做出准确、快速的诊断。本文对8种常见的心律失常类型进行分类,提出一种基于对抗域自适应的心电信号深度学习分类的方法,解决并改善训练样本标注不足和个体差异导致的数据分布差异现象等问题。该方法包括3个模块：多尺度特征提取A模块、域识别B模块和多分类器C模块。A模块由2组不同的并行卷积块组成,增加了特征提取的宽度。B模块由3个卷积块和1个全连接层组成,用于充分提取浅层特征。在C模块中,将时间特征和深度学习提取特征串联在全连接层上,增强特征多样性。实验结果表明,该方法在准确率、敏感性和阳性预测值上可达到98.8%、97.9%和98.1%,所提出的模型可以帮助医生在常规心电图中准确地检测不同类别的心律失常。     

基于卷积计算的多层脉冲神经网络的监督学习

针对脉冲神经元基于精确定时的多脉冲编码信息的特点,提出了一种基于卷积计算的多层脉冲神经网络监督学习的新算法。该算法应用核函数的卷积计算将离散的脉冲序列转换为连续函数,在多层前馈脉冲神经网络结构中,使用梯度下降的方法得到基于核函数卷积表示的学习规则,并用来调整神经元连接的突触权值。在实验部分,首先验证了该算法学习脉冲序列的效果,然后应用该算法对Iris数据集进行分类。结果显示,该算法能够实现脉冲序列复杂时空模式的学习,对非线性模式分类问题具有较高的分类正确率。     

双核压缩激活神经网络艺术图像分类

目的 为了充分提取版画、中国画、油画、水彩画和水粉画等艺术图像的整体风格和局部细节特征,实现计算机自动分类检索艺术图像的需求,提出通过双核压缩激活模块（double kernel squeeze-and-excitation,DKSE）和深度可分离卷积搭建卷积神经网络对艺术图像进行分类。方法 根据SKNet（selective kernel networks）自适应调节感受野提取图像整体与细节特征的结构特点和SENet（squeeze-and-excitation networks）增强通道特征的特点构建DKSE模块,利用DKSE模块分支上的卷积核提取输入图像的整体特征与局部细节特征;将分支上的特征图进行特征融合,并对融合后的特征图进行特征压缩和激活处理;将处理后的特征加权映射到不同分支的特征图上并进行特征融合;通过DKSE模块与深度可分离卷积搭建卷积神经网络对艺术图像进行分类。结果 使用本文网络模型对有无数据增强（5类艺术图像数据增强后共25 634幅）处理的数据分类,数据增强后的分类准确率比未增强处理的准确率高9.21%。将本文方法与其他网络模型和传统分类方法相比,本文方法的分类准确率达到86.55%,比传统分类方法高26.35%。当DKSE模块分支上的卷积核为1×1和5×5,且放在本文网络模型第3个深度可分离卷积后,分类准确率达到87.58%。结论 DKSE模块可以有效提高模型分类性能,充分提取艺术图像的整体与局部细节特征,比传统网络模型具有更好的分类准确率。     

基于改进卷积神经网络的肺炎影像判别

目前肺炎类型判别主要依靠医生的经验,但一些肺炎的CT影像极为近似,即使有经验的医生,也容易判别错误,造成误诊。为此提出卷积神经网络分类算法,该算法由3个卷积层、3个亚采样层及1个完全连接层组成,并且对卷积层进行了特殊结构处理,由反向传播算法调整网络参数,并对反向传播过程提出了改进。临床实验证明,该方案较现在普遍研究的分类算法,如adaboost算法和svm算法具有更高的识别率和准确度,并且改进的卷积神经网络防止了训练数据时过拟合现象的产生。     

基于三维特征矩阵和冲压激励网络的多通道脑电情感识别

提出一种基于冲压激励网络的情感状态识别方法.首先,从不同通道的脑电信号中提取时域特征,并根据电极通道的相对位置构造三维特征矩阵;然后,将冲压激励块与三维卷积神经网络相结合构建冲压激励网络进行高层抽象特征提取;最后,使用全连接层进行情感状态分类.实验在DEAP数据集上开展,实验结果表明,冲压激励网络在利用脑电信号中的时域显著性信息和电极空间位置信息的基础上,可自适应地纠正特征的注意力,优化每个特征的权重并强化重要特征,同时利用不同特征的互补信息来提高识别精度;此外,冲压激励网络的挤压操作可获取输入数据的全局信息,具有较快的收敛速度.     

结合改进卷积神经网络与通道加权的轻量级表情识别

目的 表情是人机交互过程中重要的信息传递方式,因此表情识别具有重要的研究意义。针对目前表情识别方法存在背景干扰大、网络模型参数复杂、泛化性差等问题,本文提出了一种结合改进卷积神经网络(convolutional neural network,CNN)与通道加权的轻量级表情识别方法。方法 首先,采用标准卷积和深度可分离卷积组合神经网络结构,再利用全局平均池化层作为输出层,简化网络的复杂程度,有效降低网络参数;其次,网络引入SE(squeeze-and-excitation)模块进行通道加权,通过在不同卷积层后设置不同的压缩率增强表情特征提取能力,提升网络模型精度;最后,用softmax分类函数实现各类表情的准确分类。结果 本文网络参数量为6 108 519,相较于识别性能较好的Xception神经网络参数减少了63%,并且通过对网络模型的实时性测试,平均识别速度可达128 帧/s。在5个公开的表情数据集上验证网络模型对7种表情的识别效果,与7种卷积神经网络方法相比,在FER2013 (Facial Expression Recognition 2013)、CK+ (the extended Cohn-Kanade) 和JAFFE (Japanses Female Facial Expression) 3个表情数据集的识别精确度提高了5.72%、0.51%和0.28%,在RAF-DB (Real-world Affective Faces Database)、AffectNet这两个in-the-wild表情数据库的识别精确度分别提高了2.04%和0.68%。结论 本文提出的轻量级表情识别方法在不同通道具有不同的加权能力,获取更多表情关键特征信息,提高了模型的泛化性。实验结果表明,本文方法在简化网络的复杂程度、减少计算量的同时能够准确识别人脸表情,能够有效提升网络的识别能力。