基于双金字塔特征融合网络的RGB-D多类实例分割

针对RGB图像的实例分割任务在图像目标物体纹理相近但类别不同的区域可能出现分割错误的问题,引入Depth信息,结合RGB-D图像的三维几何结构特点,提出一种以双金字塔特征融合网络为框架的RGB-D实例分割方法.所提出的方法通过构建两种不同复杂度的金字塔深度卷积神经网络分别提取不同梯度分辨率大小的RGB特征及Depth特征,将对应分辨率大小的两种特征相加输入区域候选网络,以此改变输入区域候选网络层的共享特征,共享特征再经过分类、回归与掩码网络分支输出定位与分类结果,从而实现RGB-D图像的实例分割.实验结果表明,所提出的双金字塔特征融合网络模型能够完成RGB-D图像的实例分割任务,有效学习到深度图像与彩色图像之间的互补信息,与不包含Depth信息的Mask R-CNN相比,平均精度提高7.4%.     

基于端到端的多任务商标分卡模型

目前商标分卡处理方法是先进行文本检测再进行区域分类, 最后对不同的区域进行拆分组合形成商标分卡. 这种分步式的处理耗时长, 并且因为误差的叠加会导致最终结果准确率下降. 针对这一问题, 本文提出了多任务的网络模型TextCls, 通过设计多任务学习模型来提升商标分卡的检测和分类模块的推理速度和精确率. 该模型包含一个特征提取网络, 以及文本检测和区域分类两个任务分支. 其中, 文本检测分支采用分割网络学习像素分类图, 然后使用像素聚合获得文本框, 像素分类图主要是学习文本像素和背景像素的信息; 区域分类分支对区域特征细分为中文、英文和图形, 着重学习不同类型区域的特征. 两个分支通过共享特征提取网络, 像素信息和区域特征相互促进学习, 最终两个任务的精确率得以提升. 为了弥补商标图像的文本检测数据集的缺失以及验证TextCls的有效性, 本文还收集并标注了一个由2000张商标图像构成的文本检测数据集trademark_text (https://github.com/kongbailongtian/trademark_text), 结果表明: 与最佳的文本检测算法相比, 本文的文本检测分支将精确率由94.44%提升至95.16%, 调和平均值F1 score达92.12%; 区域分类分支的F1 score也由97.09%提升至98.18%.     

基于多任务学习的肝脏肿瘤自动分割方法

针对深度学习医学影像分割所需的标注数据获取困难且数量少的问题,提出一种基于多任务学习的肝脏肿瘤自动分割方法.提出该方法的主要动机一方面是想要缓解分割数据样本少的问题,另一方面是想要利用不同任务之间有用的信息来提升整体的学习效果.该方法所采用数据集一部分是逐像素的分割数据集,一部分是形式为bounding-box的目标检测数据集.该方法首先通过共享主网络挖掘不同任务之间的相关性,提取通用的特征,然后两个子任务分支通过注意力机制从共享主网络上提取对自身有用的特征,最后两个子网络结合自身的特异性特征与主网络上提取的通用特征来分别完成检测与分割任务.实验结果表明,在一定的样本比例下,该方法相较于U-Net的Dice系数提升了6.67个百分点,表明该方法能够有效利用额外的目标检测数据来提高分割任务的精度.     

基于对抗学习和多尺度特征融合的前列腺MR图像分割

前列腺MR图像的自动分割已被广泛应用于前列腺癌的诊断和治疗过程中,然而,由于前列腺的形状变化显著且与相邻组织的对比度低,传统的分割方法仍存在精度低、速度慢等缺点.生成对抗网络GAN在计算机视觉任务中展示出了优越的性能,因此提出了一种使用对抗学习的概念来训练分割网络的方法,实现前列腺MR图像端到端的自动分割.模型框架主要由分割网络和判别网络构成,分割网络生成分割预测图,判别网络判断输入来自真实标签还是分割预测.同时,在分割网络中集成了感受野模块RFB来获取和融合深度特征的多尺度信息,提高特征的识别率和鲁棒性,以提升网络的分割性能.在PROMISE12数据集上的验证结果显示,该模型的DSC和HD分别为89.56％ 和7.65 mm.     

基于交叉层级数据共享的多任务模型

针对多任务学习模型中相关度低的任务之间存在的负迁移现象和信息共享困难问题,提出了一种基于交叉层级数据共享的多任务模型。该模型关注细粒度的知识共享,且能保留浅层共享专家的记忆能力和深层特定任务专家的泛化能力。首先,统一多层级共享专家,以获取复杂相关任务间的公共知识;然后,将共享信息分别迁移到不同层级的特定任务专家之中,从而在上下层之间共享部分公共知识;最后,利用基于数据样本的门控网络自主选择不同任务所需信息,从而减轻样本依赖性对模型的不利影响。相较于多门控混合专家（MMOE）模型,所提模型在UCI census-income数据集上对两个任务的F1值分别提高了7.87个百分点和1.19个百分点;且在MovieLens数据集上的回归任务的均方误差（MSE）值降低到0.004 7,分类任务的AUC值提高到0.642。实验结果表明,所提出的模型适用于改善负迁移现象的影响,且能更高效地学习复杂相关任务之间的公共信息。     

基于多任务学习的古诗和对联自动生成

实现古诗和对联的自动生成是极具挑战性的任务。该文提出了一种新颖的多任务学习模型用于古诗和对联的自动生成。模型采用编码-解码结构并融入注意力机制,编码部分由两个BiLSTM组成,一个BiLSTM用于关键词输入,另一个BiLSTM用于古诗和对联输入;解码部分由两个LSTM组成,一个LSTM用于古诗的解码输出,另一个LSTM用于对联的解码输出。在中国的传统文学中,古诗和对联具有很多的相似特征,多任务学习模型通过编码器参数共享,解码器参数不共享,让模型底层编码部分兼容古诗和对联特征,解码部分保留各自特征,增强模型泛化能力,表现效果大大优于单任务模型。同时,该文在模型中创新性地引入关键词信息,让生成的古诗及对联表达内容与用户意图一致。最后,该文采用自动评估和人工评估两种方式验证了方法的有效性。     

多任务多层级CNN在人群计数中的应用

为了提升人群图像的计数精度,设计一种多层级多任务深度卷积网络。多层级神经网络由卷积和上采样的组合方式构成,该网络的优点在于结合浅层网络提取的细节信息和深层网络提取的高阶语义信息。在此基础上,使用多任务学习的方法提升网络性能,多任务学习分为两个部分：人群密度估计任务和人群密度等级分类任务。网络的高分辨率层与人群密度估计任务相连,网络的深层与人群密度等级分类任务相连。将两个任务的损失融合并构成新的损失函数。实验在人群计数公共数据集ShanghaiTech、WorldExpo’10和UCF_CC_50上进行,实验结果表明,该网络在人群计数上具有较好的准确率和鲁棒性。     

FSNet: 基于频率特性的烟雾图像分割网络

烟雾图像分割是对烟雾进行识别与精准定位的基础, 是火灾预警的重要手段. 针对烟雾分割时存在过分割、欠分割以及边界拟合粗糙的问题, 本文提出一种基于频率分离特性的烟雾图像分割网络. 所提出的频率分离模块将特征图中的烟雾区域分离为低频主体部分和高频边界部分, 同时基于多任务学习设计多模块权重自适应损失函数对烟雾整体、主体、边界分别监督学习, 起到细化烟雾边界和改善烟雾整体分割结果的作用; 此外, 结合可变形卷积提出改进的空洞空间金字塔池化模块以解决其信息利用率低和特征关联性差的问题. 在对比实验中, FSNet的烟雾交并比为76.55%, 比基线网络提高了4.25%. 可视化分割结果可以看出, FSNet能有效缓解过分割、欠分割, 所得烟雾边界更平滑, 烟雾图像分割的整体性能获得较大提升.     

基于编码器-解码器的半监督图像语义分割

基于深度卷积神经网络的图像语义分割方法需要大量像素级标注的训练数据,但标注的过程费时又费力.本文基于生成对抗网络提出一种编码-解码结构的半监督图像语义分割方法,其中编码器-解码器模块作为生成器,整个网络通过耦合标准多分类交叉熵损失和对抗损失进行训练.为充分利用浅层网络包含的丰富的语义信息,本文将编码器中不同尺度的特征输入到分类器,并将得到的不同粒度的分类结果融合,进而优化目标边界.此外,鉴别器通过发现无标签数据分割结果中的可信区域,以此提供额外的监督信号,来实现半监督学习.在PASCAL VOC 2012和Cityscapes上的实验表明,本文提出的方法优于现有的半监督图像语义分割方法.     

基于注意力机制和辅助任务的语义分割算法

为提高网络模型低层特征的离散度和语义分割算法的性能,以全卷积神经网络作为基础模型,提出一种基于辅助损失、边缘检测辅助任务和注意力机制的语义分割算法。通过重新设计网络模型的辅助损失分支,使网络低层特征编码更多语义信息。在多任务学习中,选择边缘检测作为辅助任务,基于注意力机制设计边缘检测的辅助任务分支,使网络模型更关注物体的形状和边缘信息。在此基础上,将基础模型、辅助损失分支、辅助任务分支集成构造为语义分割模型。在VOC2012数据集上的实验结果表明,该算法的平均交并比为71.5%,相比基础模型算法提高了6个百分点。     

利用多模态U形网络的CT图像前列腺分割

计算机断层扫描（computed tomography,CT）可应用于前列腺癌的检查诊断,但是它对软组织结构对比度不高,因此很难从中分割病变;而核磁共振成像（nuclear magnetic resonance imaging,MRI）具有较高的对比度,能为病变提供丰富的影像信息。为了提升CT图像的前列腺分割精度,本文提出一种新的基于深度学习的多模态U形网络图像分割模型MM-unet,充分运用MRI图像与CT图像间信息互补的特点。具体地,首先运用迁移学习思想分别训练MRI与CT图像的初始分割模型,然后通过设计一种新型的多模态损失函数MM-Loss,建立不同模态分割模型之间的联系,联合训练基于MRI与CT图像的MM-unet。为验证所提模型MM-unet的有效性,我们在某合作医院提供的Prostate数据集上进行了实验,实验结果表明,与U-net方法相比,MM-unet能够获得高出3个百分点Dice的CT图像分割精度。     

基于深度学习的数字病理图像分割综述与展望

数字病理图像分析对于乳腺癌、前列腺癌等良恶性分级诊断具有重要意义,其中组织基元的形态和目标测量是量化分析的重要依据.然而,由于病理数据多样性和复杂性等新特点,其分割任务面临着特征提取困难、实例分割困难等挑战.人工智能辅助病理量化分析,将复杂病理数据转化为可挖掘的图像特征,使得自动提取组织基元的定量化信息成为可能.特别是随着计算机计算能力的快速发展,深度学习技术凭借其强大的特征学习、设计灵活等特性在数字病理量化分析领域取得了突破性成果.本文系统概述目前代表性深度学习方法,包括卷积神经网络、全卷积网络、编码器—解码器模型、循环神经网络、生成对抗网络等方法体系,总结深度学习在病理图像分割等任务中的建模机理和应用,并梳理了现有方法的方法理论、关键技术、优缺点和性能分析.最后,本文讨论了未来数字病理图像分割深度学习建模的开放性挑战和新趋势.     

深度学习多部位病灶检测与分割

目的 多部位病灶具有大小各异和类型多样的特点,对其准确检测和分割具有一定的难度。为此,本文设计了一种2.5D深度卷积神经网络模型,实现对多种病灶类型的计算机断层扫描（computed tomography,CT）图像的病灶检测与分割。方法 利用密集卷积网络和双向特征金字塔网络组成的骨干网络提取图像中的多尺度和多维度信息,输入为带有标注的中央切片和提供空间信息的相邻切片共同组合而成的CT切片组。将融合空间信息的特征图送入区域建议网络并生成候选区域样本,再由多阈值级联网络组成的Cascade R-CNN（region convolutional neural networks）筛选高质量样本送入检测与分割分支进行训练。结果 本文模型在DeepLesion数据集上进行验证。结果表明,在测试集上的平均检测精度为83.15%,分割预测结果与真实标签的端点平均距离误差为1.27 mm,直径平均误差为1.69 mm,分割性能优于MULAN（multitask universal lesion analysis network for joint lesion detection,tagging and segmentation）和Auto RECIST（response evaluation criteria in solid tumors）,且推断每幅图像平均时间花费仅91.7 ms。结论 对于多种部位的CT图像,本文模型取得良好的检测与分割性能,并且预测时间花费较少,适用病变类别与DeepLesion数据集类似的CT图像实现病灶检测与分割。本文模型在一定程度上能满足医疗人员利用计算机分析多部位CT图像的需求。     

融合深度图像的卷积神经网络语义分割方法

该文提出了一种基于深度学习框架的图像语义分割方法,通过使用由相对深度点对标注训练的网络模型,实现了基于彩色图像的深度图像预测,并将其与原彩色图像共同输入到包含带孔卷积的全卷积神经网络中。考虑到彩色图像与深度图像作为物体不同的属性表征,在特征图上用合并连接操 作而非传统的相加操作对其进行融合,为后续卷积层提供特征图输入时保持了两种表征的差异。在两个数据集上的实验结果表明,该法可以有效提升语义分割的性能。     

面向轨道分割与侵入物检测的多任务学习

轨道车智能防护会涉及轨道车侵入物检测与行驶区域分割任务,在深度学习领域已有针对各任务的算法,却无法很好满足多任务情形时的需求.该算法使用轻量级卷积神经网络(CNN)作为编码器提取特征图,随之将特征图送到两个基于one-stage检测网络的解码器中,进而完成各自的任务.不同级别和尺度的语义特征在编码器输出的特征图中被融合,良好地完成像素级语义预测,在检测和分割效果上有明显提升.采用本算法的设备将掌握对新目标的识别检测判断与追踪,为提升轨道车行驶安全做出保障.     

MTL-BERT:一种结合BERT的中文文本多任务学习模型

单任务学习常常受限于单目标函数的不足,多任务学习能有效利用任务相关性的先验性,故而受到了学界的关注.在中文自然语言处理领域,关于多任务学习的研究极为匮乏,该领域需同时考虑到中文文本特征提取和多任务的建模.本论文提出了一种多任务学习模型MTL-BERT.首先将BERT作为特征提取器以提升模型的泛化性.其次分类和回归是机器学习中的两个主要问题,针对多标签分类和回归的混合任务,提出了一种任务权重自适应框架.该框架下,任务之间的权重由联合模型参数共同训练.最后从模型最大似然角度,理论验证了该多任务学习算法的有效性.在真实中文数据集上的实验表明,MTL-BERT具有较好的计算效果.     

双态形状重构及其在前列腺超声图像分割中的应用

前列腺超声图像在临床中的准确分割对于后续诊断具有重要的影响,而当前已有研究结论无法精确分割各个部分。提出了一种基于点分布模型和流形学习的双态形状重构的方法,并对前列腺超声图像进行分割：通过随机森林指示隐态表达进行目标初定位;改进边界算子以改善粗分割准确性;使用显态表达与噪声部分相邻的部分灰度显著点来进行插值计算,从而恢复整体形状。该分割方式不仅减少了数据计算量,还增加了分割可靠性。实验表明,该方法的DSC指标为97.38%,mIoU指标为95.24%,精度强于当前热门分割神经网络。     

基于倒金字塔深度学习网络的三维医学图像分割

基于深度学习的医学图像分割对医学研究和临床疾病诊断具有重要意义。然而,现有三维脑图像分割网络仅依赖单一模态信息,且最后一层网络的特征表达不准确,导致分割精度降低。引入注意力机制,提出一种基于深度学习的多模态交叉重构的倒金字塔网络MCRAIP-Net。以多模态磁共振图像作为输入,通过三个独立的编码器结构提取各模态的特征信息,并将提取的特征信息在同一分辨率级进行初步融合。利用双通道交叉重构注意力模块实现多模态特征的细化与融合。在此基础上,采用倒金字塔解码器对解码器各阶段不同分辨率的特征进行整合,完成脑组织的分割任务。在MRBrainS13和IBSR18数据集上的实验结果表明,相比3D U-Net、MMAN、SW-3D-Unet等网络,MCRAIP-Net能够充分利用多模态图像的互补信息,获取更准确丰富的细节特征且具有较优的分割精度,白质、灰质、脑脊液的Dice系数分别达到91.67%、88.95%、84.79%。     

前列腺磁共振图像分割的反卷积神经网络方法

目的 前列腺磁共振图像存在组织边界对比度低、有效区域少等问题,手工勾勒组织轮廓边界的传统分割方法无法满足临床实时性要求,针对这些问题提出了一种基于深度反卷积神经网络的前列腺磁共振图像分割算法。方法 基于深度学习理论,将训练图像样本输入设计好的卷积神经网络,提取具有高度区分性的前列腺图像特征,反卷积策略用于拓展特征图尺寸,使网络的输入尺寸与输出预测图大小匹配。网络生成的概率预测图通过训练一个softmax分类器,对预测图像取二值化,获得最终的分割结果。为克服原始图像中有效组织较少的问题,采用dice相似性系数作为卷积网络的损失函数。结果 本文算法以Dice相似性系数和Hausdorff距离作为评价指标,在MICCAI 2012数据集中,Dice相似性系数大于89.75%,Hausdorff距离小于1.3 mm,达到了传统方法的分割精度,并且将处理时间缩短在1 min以内,明显优于其他方法。结论 定量与定性的实验表明,基于反卷积神经网络的前列腺分割方法可以准确地对磁共振图像进行分割,相比于其他分割算法大幅度减小了处理时间,能够很好地适用于临床的前列腺图像分割任务。