基于深度学习的乳腺癌病理图像分类研究综述

准确、高效的乳腺癌病理图像分类是计算机辅助诊断的重要研究内容之一。随着机器学习技术的发展，深度学习日渐成为一种有效的乳腺癌病理图像分类处理方法。分析了乳腺癌病理图像分类方法及目前存在的问题；介绍了四种相关的深度学习模型，对基于深度学习的乳腺癌病理图像分类方法进行梳理，并通过实验对比分析现有模型的性能；最后对乳腺癌病理图像分类的关键问题进行了总结，并讨论了未来研究的发展趋势。     

基于多模态多标记迁移学习的早期阿尔茨海默病诊断

针对当前基于机器学习的早期阿尔茨海默病（AD）诊断中训练样本不足的问题,提出一种基于多模态特征数据的多标记迁移学习方法,并将其应用于早期阿尔茨海默病诊断。所提方法框架主要包括两大模块：多标记迁移学习特征选择模块和多模态多标记分类回归学习器模块。首先,通过稀疏多标记学习模型对分类和回归学习任务进行有效结合;然后,将该模型扩展到来自多个学习领域的训练集,从而构建出多标记迁移学习特征选择模型;接下来,针对异质特征空间的多模态特征数据,采用多核学习技术来组合多模态特征核矩阵;最后,为了构建能同时用于分类与回归的学习模型,提出多标记分类回归学习器,从而构建出多模态多标记分类回归学习器。在国际老年痴呆症数据库（ADNI）进行实验,分类轻度认知功能障碍（MCI）最高平均精度为79.1%,预测神经心理学量表测试评分值最大平均相关系数为0.727。实验结果表明,所提多模态多标记迁移学习方法可以有效利用相关学习领域训练数据,从而提高早期老年痴呆症诊断性能。     

基于DC-DenseNet的乳腺癌病理图像分类

乳腺癌病理图像的自动分类具有重要的临床应用价值。设计一种新颖的卷积神经网络模型(DC-DenseNet),该模型在DenseNet基础上将扩张卷积集成到密集块来实现多尺度的特征提取。此外，还提出一种新的学习率优化器，它不需要复杂的微调学习率就可以表现出优异的性能。对BACH数据集划分为良性、恶性、原位癌和浸润性癌四个类进行分类预测研究，并将所提的方法与AlexNet、VGG-19、DenseNet161模型进行综合对比。实验结果表明所提方法有效提高了乳腺癌的分类预测精度，在四个类上的平均识别率达到了94.10%。     

基于BERT的图像和文本多模态融合分类模型

在临床诊断过程中，医生会同时结合医学图像和病理报告文本综合判定病情。针对现有的人工智能（AI）辅助诊断系统未充分利用文本检查内容的问题，提出一种基于BERT模型的图文多模态分类模型（ITMMB），在特征层实现医学图像和病理文本的多模态融合和分类。采用残差网络（ResNet）对图像预处理获得图像词嵌入向量，同时采用分词技术处理文本获得文本嵌入词向量，并将两类嵌入词向量送入BERT模型完成最终分类；此外，为适应BERT模型需要并获得更好的分类性能，优化了ResNet的残差模块、学习权重、损失函数和池化层。在Open Images数据集上的实验结果表明，与仅通过单一的医学图像或病理文本进行辅助诊断的模型相比，ITMMB的微平均F1分数分别提高38.76和4.66个百分点，能有效辅助医生临床诊断。     

基于多特征提取的图像语义描述算法

针对图像语义描述方法中存在的图像特征信息提取不完全以及循环神经网络（RNN）产生的梯度消失问题,提出了一种基于多特征提取的图像语义描述算法。所构建模型由三个部分组成：卷积神经网络（CNN）用于图像特征提取,属性提取模型（ATT）用于图像属性提取,而双向长短时记忆（Bi-LSTM）网络用于单词预测。该模型通过提取图像属性信息来增强图像表示,从而精确描述图中事物,并且使用Bi-LSTM捕捉双向语义依赖,从而进行长期的视觉语言交互学习。首先,使用CNN和ATT分别提取图像全局特征与图像属性特征;其次,将两种特征信息输入到Bi-LSTM中生成能够反映图像内容的句子;最后,在Microsoft COCO Caption、Flickr8k和Flickr30k数据集上验证了所提出算法的有效性。实验结果表明,与m-RNN方法相比,所提出的算法在描述性能方面提高了6.8~11.6个百分点。所提算法能够有效地提高模型对图像的语义描述性能。     

基于注意力机制学习域内变化的跨域行人重识别方法

针对行人重识别任务跨域迁移时性能严重衰退的问题,提出了一种基于注意力机制学习域内变化的跨域行人重识别方法。首先,以ResNet50为基础架构并对其进行调整使其适合行人重识别任务,并引入实例-批归一化网络（IBN-Net）以提高模型的泛化能力,同时增加区域注意力分支以提取更具鉴别性的行人特征。对于源域的训练,将其作为分类任务,使用交叉熵损失进行源域的有监督学习,同时引入三元组损失来挖掘源域样本的细节,从而提高源域的分类性能。对于目标域的训练,通过学习域内变化来适应源域和目标域间的数据分布差异。在测试阶段,以ResNet50 pool-5层的输出作为图像特征,并计算查询图像与候选图像间的欧氏距离来度量两者的相似度。在两个大规模公共数据集Market-1501和DukeMTMC-reID上进行实验,所提方法的Rank-1准确率分别达到80.1%和67.7%,平均精度均值（mAP）分别为49.5%和44.2%。实验结果表明,所提方法在提高模型泛化能力方面性能较优。     

阿尔茨海默症诊断与病理区域检测的反事实推理模型

目的 随着全球人口老年化趋势日益加剧,阿尔茨海默症（Alzheimer''s disease,AD）的及时诊断与病理区域的可视化及其准确定位具有重要的临床意义。目前的研究中,基于块级和区域级的检测,由于采用非线性交互很难解释影响模型决策的病理区域。针对此问题,提出了一种AD病理区域定位及诊断的联合学习框架。方法 利用反事实推理的思想,基于前景背景注意力掩码构建注意力引导的循环生成对抗网络（attention-guided cycle generative adversarial network,ACGAN）可视化AD患者的病理区域,并使用生成的病理区域知识指导增强诊断模型。具体来说,通过在ACGAN模型的生成器中设计注意力掩码来引导生成方案,使模型更好地聚焦于疾病的病理区域,有效地捕捉突出的全局特征。并通过ACGAN模型中病理区域生成器实现结构磁共振图像（structural magnetic resonance imaging,sMRI）在源域和目标域之间的转换清晰地划分出细微的病理区域。利用生成的病理区域知识作为指导,并结合三维坐标注意力与全局局部注意力,获取三维图像之间的依赖关系及三维空间的位置信息,优化诊断模型。结果 为了验证方法的有效性,在公开的ADNI（Alzheimer’s disease neuroimaging initiative）数据集上对模型进行评估,与传统的卷积神经网络（convolutional neural network,CNN）模型及几种较为先进的AD分类诊断模型相比,本文使用病理区域知识指导增强诊断模型显示出优越的诊断性能,相比于性能较好的方法,ACC（accuracy）、F1-score、AUC（area under curve）分别提高了3.60%、5.02%、1.94%。并对生成的病理区域图像进行定性及定量评估,本文方法得到的病理区域图像归一化互相关分数和峰值信噪比均优于对比方法。结论 与现有方法相比,本文模型可以学习sMRI图像在源域和目标域之间的转换,能够准确地捕获全局特征及病理区域。并将学习到的病理区域知识用于AD诊断模型的改进,使分类诊断模型取得了卓越性能。     

融合空间和通道特征的高精度乳腺癌分类方法

组织病理学图像是鉴别乳腺癌的黄金标准,所以对乳腺癌组织病理学图像的自动、精确的分类具有重要的临床应用价值。为了提高乳腺组织病理图像的分类准确率,从而满足临床应用的需求,提出了一种融合空间和通道特征的高精度乳腺癌分类方法。该方法使用颜色归一化来处理病理图像并使用数据增强扩充数据集,基于卷积神经网络（CNN）模型DenseNet和压缩和激励网络（SENet）融合病理图像的空间特征信息和通道特征信息,并根据压缩-激励（SE）模块的插入位置和数量,设计了三种不同的BCSCNet模型,分别为BCSCNetⅠ、BCSCNetⅡ、BCSCNetⅢ。在乳腺癌癌组织病理图像数据集（BreaKHis）上展开实验。通过实验对比,先是验证了对图像进行颜色归一化和数据增强能提高乳腺的分类准确率,然后发现所设计的三种乳腺癌分类模型中精度最高为BCSCNetⅢ。实验结果表明,BCSCNetⅢ的二分类准确率在99.05%~99.89%,比乳腺癌组织病理学图像分类网络（BHCNet）提升了0.42个百分点;其多分类的准确率在93.06%~95.72%,比BHCNet提升了2.41个百分点。证明了BCSCNet能准确地对乳腺癌组织病理图像进行分类,同时也为计算机辅助乳腺癌诊断提供了可靠的理论支撑。     

基于有效通道注意力的遥感图像场景分类

针对基于人工设计特征的方法不能提取高层次遥感图像信息以及以往利用VGGNet、ResNet等卷积神经网络（CNN）无法关注到遥感图像中显著分类特征的问题,提出了一种基于有效通道注意力（ECA）机制的遥感图像场景分类新模型——ECA-ResNeXt-8-SVM。为了建立高效模型,一方面,设计了嵌入ECA模块的深度特征提取网络ECA-ResNeXt-8,通过端到端的学习使网络更关注分类特征明显的通道;另一方面,利用支持向量机（SVM）代替全连接层作为已提取到的深度特征的分类器,从而进一步提高模型的分类准确率与泛化能力。该模型在实验数据集UC Merced Land-Use上的分类准确率达到95.81%,相较于使用SE-ResNeXt50与ResNeXt50网络,分别提高了6%与18%,且在分类准确率为75%时所提模型的训练时间比上述两个网络分别减少了82%与81%。实验结果表明,所提模型能够有效地减少模型的收敛时间并提升遥感图像场景分类的准确率。     

改进卷积神经网络在遥感图像分类中的应用

针对传统卷积神经网络（CNN）稀疏网络结构无法保留全连接网络密集计算的高效性和实验过程中激活函数的经验性选择造成结果不准确或计算量大的问题,提出一种改进卷积神经网络方法对遥感图像进行分类。首先,利用Inception模块的不同尺度卷积核提取图像多尺度特征,然后利用Maxout模型学习隐藏层节点的激活函数,最后通过Softmax方法对图像进行分类。在美国土地使用分类数据集（UCM_LandUse_21）上进行的实验结果表明,在卷积层数相同的情况下,所提方法比传统的CNN方法分类精度提高了约3.66%,比同样也基于多尺度深度卷积神经网络（MS_DCNN）方法分类精度提高了2.11%,比基于低层特征和中层特征的视觉词典等方法分类精度更是提高了10%以上。因此,所提方法具有较高的分类效率,适用于图像分类。     

基于生成对抗网络的CT图像数据扩增

训练基于深度学习的计算机辅助诊断系统可以有效地从肺部CT图像中检测出是否受到COVID-19感染, 但目前面临的主要问题是缺乏高质量带标注的CT图像用于训练. 为了有效的解决该问题, 本文提出了一种基于生成对抗网络来扩增肺部CT图像的方法. 新方法通过生成不同感染区域的标签并通过泊松融合以增加生成图像的多样性; 通过训练对抗网络模型实现图像的转换生成, 以达到扩增CT图像的目的. 为验证生成数据的有效性, 基于扩增数据进一步做了分割实验. 通过图像生成实验和分割实验, 结果都表明, 本文提出的图像生成方法取得了较好的效果.     

基于深度学习的超声图像左心耳自动分割方法

从超声图像中分割出左心耳（LAA）是得出临床诊断指标的重要步骤,而准确自动分割的首要步骤和难点就是实现目标的自动定位。针对这一问题,提出了一种结合基于深度学习框架的自动定位和基于模型的分割算法的方法来实现超声图像中LAA的自动分割。首先,训练YOLO模型作为LAA自动定位的网络架构;其次,通过验证集确定最优的权重文件,并预测出LAA的最小包围盒;最后,在正确定位的基础上,将YOLO预测的最小包围盒放大1.5倍作为初始轮廓,利用C-V模型完成LAA的自动分割。分割结果用5项指标加以评价：正确性、敏感性、特异性、阴性、阳性。实验结果表明,所提方法能够实现不同分辨率条件和不同显示模式下LAA的自动定位,小样本数据在1000次迭代时已经达到最优的定位效果,正确定位率达到72.25%,并且在正确定位的基础上,C-V模型的分割准确率能够达到98.09%。因此,深度学习技术在实现LAA超声图像的自动分割上具备较大的潜力,能够为基于轮廓的分割算法提供良好的初始轮廓。     

基于小样本无梯度学习的卷积结构预训练模型性能优化方法

针对卷积结构的深度学习模型在小样本学习场景中泛化性能较差的问题,以AlexNet和ResNet为例,提出一种基于小样本无梯度学习的卷积结构预训练模型的性能优化方法.首先基于因果干预对样本数据进行调制,由非时序数据生成序列数据,并基于协整检验从数据分布平稳性的角度对预训练模型进行定向修剪;然后基于资本资产定价模型(CAP...     

A new change-detection method in high-resolution remote sensing images based on a conditional random field model

A new change-detection method for remote sensing images based on a conditional random field (CRF) model is proposed in this paper. The method artfully uses memberships of Fuzzy C-means as unary potentials in the fully connected CRF (FCCRF) model without training parameters, and pairwise potentials of the CRF model are defined by a linear combination of Gaussian kernels, with which a highly efficient approximate inference algorithm can be used. The proposed FCCRF model is expressed on the complete set of pixels in both the observed multitemporal images, which can incorporate long range contextual information of remote-sensing images and enable greatly refined change-detection results. Experimental results demonstrate that the proposed approach leads to more accurate pixel-level change-detection performance and is more robust against noise than traditional algorithms.     

基于主动学习和半监督学习的多类图像分类

多数图像分类算法需要大量的训练样本对分类器模型进行训练.在实际应用中, 对大量样本进行标注非常枯燥、耗时.对于一些特殊图像,如合成孔径雷达 (Synthetic aperture radar, SAR)图像, 对其内容判读非常困难,因此能够获得的标注样本数量非常有限. 本文将基于最优标号和次优标号(Best vs second-best, BvSB)的主动学习和带约束条件的自学习(Constrained self-training, CST) 引入到基于支持向量机(Support vector machine, SVM)分类器的图像分类算法中,提出了一种新的图像分类方法.通过BvSB 主动学习去挖掘那些对当前分类器模型最有价值的样本进行人工标注,并借助CST半 监督学习进一步利用样本集中大量的未标注样本,使得在花费较小标注代价情况下, 能够获得良好的分类性能.将新方法与随机样本选择、基于熵的不确定性采样主动学 习算法以及BvSB主动学习方法进行了性能比较.对3个光学图像集及1个SAR图像集分类 问题的实验结果显示,新方法能够有效地减少分类器训练时所需的人工标注样本的数 量,并获得较高的准确率和较好的鲁棒性.     

结合GAN的轻量级模糊车牌识别算法

目的 模糊车牌识别是车牌识别领域的难题,针对模糊车牌图像收集困难、车牌识别算法模型太大、不适用于移动或嵌入式设备等不足,本文提出了一种轻量级的模糊车牌识别方法,使用深度卷积生成对抗网络生成模糊车牌图像,用于解决现实场景中模糊车牌难以收集的问题,在提升算法识别准确性的同时提升了部署泛化能力。方法 该算法主要包含两部分,即基于优化卷积生成对抗网络的模糊车牌图像生成和基于深度可分离卷积网络与双向长短时记忆（long short-term memory,LSTM）的轻量级车牌识别。首先,使用Wasserstein距离优化卷积生成对抗网络的损失函数,提高生成车牌图像的多样性和稳定性;其次,在卷积循环神经网络的基础上,结合深度可分离卷积设计了一个轻量级的车牌识别模型,深度可分离卷积网络在减少识别算法计算量的同时,能对训练样本进行有效的特征学习,将特征图转换为特征序列后输入到双向LSTM网络中,进行序列学习与标注。结果 实验表明,增加生成对抗网络生成的车牌图像,能有效提高本文算法、传统车牌识别和基于深度学习的车牌识别方法的识别率,为进一步提高各类算法的识别率提供了一种可行方案。结合深度可分离卷积的轻量级车牌识别模型,识别率与基于标准循环卷积神经网络（convolutional recurrent neural network,CRNN）的车牌识别方法经本文生成图像提高后的识别率相当,但在模型的大小和识别速度上都优于标准的CRNN模型,本文算法的模型大小为45 MB,识别速度为12.5帧/s,标准CRNN模型大小是82 MB,识别速度只有7帧/s。结论 使用生成对抗网络生成图像,可有效解决模糊车牌图像样本不足的问题;结合深度可分离卷积的轻量级车牌识别模型,具有良好的识别准确性和较好的部署泛化能力。     

基于深度学习的小面积指纹匹配方法

针对传统的基于细节特征点的指纹匹配方法多适用于采集面积较大的指纹,在面向智能手机端的小采集面积指纹时准确率明显下降的问题,提出一种基于深度学习的小面积指纹匹配方法。首先,提取指纹图像的细节特征点信息;其次,搜索和标定感兴趣纹理区域（ROI）;然后,构建并改进基于残差结构的轻量级深度神经网络,通过采用二值化特征模式优化网络和Triplet Loss方式训练模型;最后,制定一种智能手机端注册-匹配策略实现小面积指纹匹配。实验结果表明,提出方法在公开库FVCDB1与自建数据库上的等错率（EER）分别仅为0.50%与0.58%,远低于传统的基于细节特征点的指纹匹配方法,能够有效提升小面积指纹匹配的性能,更好地满足智能手机端的应用需求。     

基于多残差UNet的CT图像高精度稀疏重建

为了解决计算机断层成像（CT）稀疏解析重建过程中产生条状伪影的问题,在经典的UNet网络结构的基础上,提出了多残差UNet （Mr-UNet）网络结构,以更好地压制条状伪影。首先,用传统滤波反投影（FBP）解析重建算法稀疏重建出含条状伪影的稀疏图像;然后,将该类图像作为网络结构的输入,且将相对应的高精度图像作为网络的标签进行训练,使得该网络具有很好的压制条状伪影的性能;最后,将经典UNet原先的四层下采样加深到五层,并在模型中引入残差学习机制将每个卷积单元构建为残差结构,从而提升网络的训练性能。实验中采用了2 000对大小为256×256的含条状伪影图像和对应的高精度图像作为数据集,其中,1 900对作为训练集,50对作为验证集,其余的作为测试集来训练网络,并验证、评估网络性能。实验结果表明,与传统的总变差（TV）最小化算法及经典的UNet深度学习方法的比较表明,所提模型重建图像的均方根误差（RMSE）平均降低了约0.002 5,结构相似度（SSIM）平均提高了约0.003,且能更好地保留图像纹理和细节信息。     

基于增强型对抗学习的无参考图像质量评价算法

为了提高无参考图像质量评价（NR-IQA）方法的性能,参考先进的深度生成对抗网络（GAN）研究成果,提出一种基于增强型对抗学习的无参考图像质量评价算法,即通过改进损失函数、网络模型结构来增强对抗学习强度,输出更可靠的模拟“参考图”,进而可以像全参考图像质量评价（FR-IQA）方法一样模拟人的视觉比较过程。首先,利用数据集中失真的图像和未失真的原图像作为输入,从而基于增强对抗学习来训练网络模型;然后,利用该模型输出待测图像的模拟仿真图,提取仿真图的深度卷积特征;最后,将仿真图和待测失真图的卷积特征相融合,并输入到训练好的图像质量评价回归网络,输出图像的评测分数。在LIVE、TID2008和TID2013数据集上完成实验。实验结果表明,所提算法在图像质量上的总体客观评价性能优于当前的主流算法,与人的主观评价表现出的性能相一致。