基于多通路CNN的多模态MRI神经胶质瘤分割

由于传统卷积神经网络CNN(Convolutional Neural Networks)受卷积核尺度的限制,容易丢失磁共振成像MRI(Magnetic Resonance Imaging)脑肿瘤图像的全局信息,而且卷积、池化的过程会导致网络浅层的部分信息丢失,造成基于CNN的脑肿瘤分割特征信息不足,分割精度不高。针对上述问题,提出一种具有全局通路,同时结合网络浅层信息的多通路CNN模型,用来完成多模态MRI脑部神经胶质瘤的全自动分割任务。算法主要思想:将三维多模态MRI图像沿轴向切片化,在相同序列的切片上按比例选取尺度为33×33像素的图像块,得到训练集;将训练集图像块输入多通路CNN模型进行训练;将测试集输入训练好的模型,将脑肿瘤从脑部MRI图像中正确分割出来,并具体划分为坏死、水肿、增强和非增强四种区域,利用模型评估参数Dice系数、敏感度(Sensitivity)系数和特异度(Specificity)系数评测模型的质量。实验结果表明,该方法操作简单,能够有效地完成脑肿瘤的分割任务。     

基于深度学习的多模态医学图像分割综述

多模态医学图像可以为临床医生提供靶区（如肿瘤、器官或组织）的丰富信息。然而，由于多模态图像之间相互独立且仅有互补性，如何有效融合多模态图像并进行分割仍是亟待解决的问题。传统的图像融合方法难以有效解决此问题，因此基于深度学习的多模态医学图像分割算法得到了广泛的研究。从原理、技术、问题及展望等方面对基于深度学习的多模态医学图像分割任务进行了综述。首先，介绍了深度学习与多模态医学图像分割的一般理论，包括深度学习与卷积神经网络（CNN）的基本原理与发展历程，以及多模态医学图像分割任务的重要性；其次，介绍了多模态医学图像分割的关键概念，包括数据维度、预处理、数据增强、损失函数以及后处理等；接着，对基于不同融合策略的多模态分割网络进行综述，对不同方式的融合策略进行分析；最后，对医学图像分割过程中常见的几个问题进行探讨，并对今后研究作了总结与展望。     

用于阿尔茨海默病诊断的权值分布特征学习

针对当前基于机器学习的早期阿尔茨海默病（AD）诊断中有标记训练样本不足的问题,提出一种基于多模态特征数据的权值分布稀疏特征学习方法,并将其应用于早期阿尔茨海默病的诊断.具体来说,该诊断方法主要包括两大模块：基于权值分布的Lasso特征选择模型（WDL）和大间隔分布分类机模型（LDM）.首先,为了获取多模态特征之间的数据分布信息,对传统Lasso模型进行改进,引入权值分布正则化项,从而构建出基于权值分布的Lasso特征选择模型;然后,为了有效地利用多模态特征之间的数据分布信息,以保持多模态特征之间的互补性,直接采用大间隔分布学习算法训练分类器.选取国际阿尔茨海默症数据库（ADNI）中202个多模态特征的被试者样本进行实验,分类AD最高平均精度为97.5%,分类轻度认知功能障碍（MCI）最高平均精度为83.1%,分类轻度认知功能障碍转化为AD（pMCI）最高平均精度为84.8%.实验结果表明,所提WDL特征学习方法可从串联的多模态特征学到性能更优的特征子集,并能根据权值分布获取多模态特征之间的数据分布信息,从而提高早期阿尔茨海默病诊断的性能.     

结合全卷积网络和GrowCut的肾皮质分割算法

目的 肾脏图像分割对于肾脏疾病的诊断有着重要意义,临床上通过测量肾皮质的体积和厚度可判断肾脏是否有肿瘤、慢性动脉硬化性肾病和肾移植急性排斥反应等。现有的肾脏分割算法大多针对一种模态,且只能分割出肾脏整体。本文提出一种基于全卷积网络和GrowCut的肾皮质自动分割算法,用于多模态肾脏图像分割。方法 首先用广义霍夫变换对肾脏进行检测,提取出感兴趣区域,通过数据增强扩充带标签数据;然后用VGG-16预训练模型进行迁移学习,构建适用于肾皮质分割的全卷积网络,设置网络训练参数,使用扩充数据训练网络。最后用全卷积网络分割图像,提取最后一层卷积层的特征图得到种子点标记,结合肾脏图像的先验知识纠正错误种子点,将该标记图作为GrowCut初始种子点可实现肾皮质准确分割。结果 实验数据为30组临床CT和MRI图像,其中一组有标记的CT图像用于训练网络并测试算法分割准确性,该文算法分割准确率IU（region intersection over union）和DSC（Dice similarity coefficient）分别达到91.06%±2.34%和91.79%±2.39%。与全卷积网络FCN-32s相比,本文提出的网络参数减少,准确率更高,可实现肾皮质分割。GrowCut算法考虑像素间的邻域信息,与全卷积网络结合可进一步将分割准确率提高3%。结论 该方法可准确分割多模态肾脏图像,包括正常和变异肾脏的图像,说明该方法优于主流方法,能够为临床诊断提供可靠依据。     

基于倒金字塔深度学习网络的三维医学图像分割

基于深度学习的医学图像分割对医学研究和临床疾病诊断具有重要意义。然而,现有三维脑图像分割网络仅依赖单一模态信息,且最后一层网络的特征表达不准确,导致分割精度降低。引入注意力机制,提出一种基于深度学习的多模态交叉重构的倒金字塔网络MCRAIP-Net。以多模态磁共振图像作为输入,通过三个独立的编码器结构提取各模态的特征信息,并将提取的特征信息在同一分辨率级进行初步融合。利用双通道交叉重构注意力模块实现多模态特征的细化与融合。在此基础上,采用倒金字塔解码器对解码器各阶段不同分辨率的特征进行整合,完成脑组织的分割任务。在MRBrainS13和IBSR18数据集上的实验结果表明,相比3D U-Net、MMAN、SW-3D-Unet等网络,MCRAIP-Net能够充分利用多模态图像的互补信息,获取更准确丰富的细节特征且具有较优的分割精度,白质、灰质、脑脊液的Dice系数分别达到91.67%、88.95%、84.79%。     

基于多模态多标记迁移学习的早期阿尔茨海默病诊断

针对当前基于机器学习的早期阿尔茨海默病（AD）诊断中训练样本不足的问题,提出一种基于多模态特征数据的多标记迁移学习方法,并将其应用于早期阿尔茨海默病诊断。所提方法框架主要包括两大模块：多标记迁移学习特征选择模块和多模态多标记分类回归学习器模块。首先,通过稀疏多标记学习模型对分类和回归学习任务进行有效结合;然后,将该模型扩展到来自多个学习领域的训练集,从而构建出多标记迁移学习特征选择模型;接下来,针对异质特征空间的多模态特征数据,采用多核学习技术来组合多模态特征核矩阵;最后,为了构建能同时用于分类与回归的学习模型,提出多标记分类回归学习器,从而构建出多模态多标记分类回归学习器。在国际老年痴呆症数据库（ADNI）进行实验,分类轻度认知功能障碍（MCI）最高平均精度为79.1%,预测神经心理学量表测试评分值最大平均相关系数为0.727。实验结果表明,所提多模态多标记迁移学习方法可以有效利用相关学习领域训练数据,从而提高早期老年痴呆症诊断性能。     

基于编解码结构的多特征融合眼底图像分割

为解决现有眼底图像分割方法对于细微血管存在低分割精度和低准确率的问题,提出一种基于编解码结构的U-Net改进网络模型。首先对数据进行预处理与扩充,提取绿色通道图像,并将其通过对比度限制直方图均衡化和伽马变换以增强对比度;其次训练集被输入到用于分割的神经网络中,在编码过程加入残差模块,用短跳跃连接将高、低特征信息融合,并利用空洞卷积增加感受野,解码模块加入注意力机制增加对细微血管分割精度;最后利用训练完成的分割模型进行预测得出视网膜血管分割结果。在DRIVE和CHASE-DB1眼底图像数据集上进行对比实验,模型算法的平均准确率、特异性和灵敏度分别达到96.77%和97.22%、98.74%和98.40%、80.93%和81.12%。实验结果表明该算法能够改善微细血管分割准确率及效率不高的问题,对视网膜血管可以进行更准确的分割。     

深度学习多模态图像语义分割前沿进展

图像语义分割旨在将视觉场景分解为不同的语义类别实体,实现对图像中每一个像素的类别预测。多模态图像语义分割通过联合利用不同模态图像（即通过基于不同成像机理的传感器获取的图像）间的互补特性,能够全面且准确地实现复杂场景信息的学习与推理。目前基于深度学习的多模态图像语义分割前沿成果较多,但缺少系统且全面的调研与分析。本文首先总结并分析了目前主流的基于深度学习的可见光—热红外（red-green-bluethermal,RGB-T）图像语义分割算法和可见光—深度（red-green-blue-depth,RGB-D）图像语义分割算法。依据算法侧重点不同,将基于深度学习的RGB-T图像语义分割算法划分为基于图像特征增强的方法、基于多模态图像特征融合的方法和基于多层级图像特征交互的方法;依据算法对深度信息的利用方式,将基于深度学习的RGB-D图像语义分割算法划分为基于深度信息提取的方法和基于深度信息引导的方法。然后,介绍了多模态图像语义分割算法常用的客观评测指标以及数据集,并在常用数据集上对上述算法进行对比。对于RGB-T图像语义分割,在MFNet（multi-spectral fusion network）数据集上,GMNet （graded-feature multilabel-learning network）和MFFENet （multiscale feature fusion and enhancement network）分别取得了最优的类平均交并比（mean intersection-over-union per class,mIoU）（57.3%）和类平均精度（mean accuracy per class,mAcc）（74.3%）值。在PST900（PENN subterranean thermal 900）数据集上,GMNet仍然取得了最优的mIoU（84.12%）值,而EGFNet取得了最优的mAcc（94.02%）值。对于RGB-D图像语义分割,在NYUD v2（New York University depth dataset v2）数据集上,GLPNet（global-local propagation network）的mIoU和mAcc分别达到了54.6%和66.6%,取得最优性能。而在SUN-RGBD（scene understanding-RGB-D）数据集上,Zig-Zag的mIoU为51.8%,GLPNet的mAcc为63.3%,均为最优性能。最后,本文还指出了多模态图像语义分割领域未来可能的发展方向。     

基于遗传算法的多模态病变图像关联挖掘仿真

针对传统多模态病变图像挖掘误差较大的问题,提出了一种基于遗传算法的多模态病变图像关联挖掘方法.通过获取病变图像Shannon信息熵中条件熵与联合熵的关系,对病变图像的互信息进行归一化处理;通过遗传算法对病变图像互信息的最优解进行搜索,获取病变图像的最优模态;建立最优模态获取模型,获取多种成像设备病变图像的最优模态,实现多模态病变图像的合成.为了验证基于遗传算法的多模态病变图像的图像挖掘误差较小,将该多模态病变图像与基于刚体模型的多模态病变图像、基于图像灰度的多模态病变图像、基于图像特征点的多模态病变图像进行对比,得到这四种多模态病变图像的图像挖掘误差分别为0.41、0.2、0.19、0.063,通过比较可知该多模态病变图像的图像挖掘误差最小,即该多模态病变图像更加精准.     

基于联合知识表示学习的多模态实体对齐

基于知识表示学习的实体对齐方法是将多个知识图谱嵌入到低维语义空间,通过计算实体向量之间的相似度实现对齐.现有方法往往关注文本信息而忽视图像信息,导致图像中实体特征信息未得到有效利用.对此,提出一种基于联合知识表示学习的多模态实体对齐方法(ITMEA).该方法联合多模态(图像、文本)数据,采用TransE与TransD相结合的知识表示学习模型,使多模态数据能够嵌入到统一低维语义空间.在低维语义空间中迭代地学习已对齐多模态实体之间的关系,从而实现多模态数据的实体对齐.实验结果表明,ITMEA在WN18-IMG数据集中能够较好地实现多模态实体对齐.     

基于全卷积DenseNet的前列腺MRI图像分割新方法

前列腺磁共振（MRI）图像的自动分割对前列腺疾病的诊断至关重要,但是前列腺区域所占比例过小、组织边界模糊等问题为自动分割带来极大困难。针对这些问题,提出了一种基于全卷积DenseNet的前列腺MRI图像分割方法。该方法以现流行的深度学习理论为基础,利用迁移学习的思想,将DenseNet从自然图像迁移到前列腺数据集;采用反卷积和类似U-Net的全卷积神经网络结构,实现端到端的图像分割。同时引入并改进Dice相似性损失函数以解决前列腺MRI中背景所占比例远远大于前列腺区域和一些像素难以准确分割等问题。通过在PROMISE12数据集上进行实验,提出的方法Dice相似性系数达到93.25%,Hausdorff距离小于1.2 mm,相较于目前的主要方法,分割效果更好、所耗时间更短。     

轮廓指导的层级混合多任务全卷积网络

传统的深度多任务网络通常在不同任务之间共享网络的大部分层（即特征表示）.由于这样做会忽视不同任务各自的特殊性，所以往往会制约它们适应数据的能力.提出一种层级混合的多任务全卷积网络HFFCN，以解决CT图像中的前列腺分割问题.特别地，使用一个多任务框架来解决这个问题，这个框架包括：1）一个分割前列腺的主任务；和2）一个回归前列腺边界的辅助任务.在这里，第二个任务主要是用来精确地描述在CT图像中模糊的前列腺边界.因此，提出的HFFCN架构是一个双分支的结构，包含一个编码主干和两个解码分支.不同于传统的多任务网络，提出了一个新颖的信息共享模块，用以在两个解码分支之间共享信息.这使得HFFCN可以：1）学习任务的通用层级信息；2）同时保留一些不同任务各自的特征表示.在一个包含有313个病人的313张计划阶段图片的CT图像数据集上做了详细的实验，实验结果证明了所提的HFFCN网络可以超越现有其他先进的分割方法，或者是传统的多任务学习模型.     

基于U-net模型的全自动鼻咽肿瘤MR图像分割

鼻咽肿瘤生长方向不确定，解剖结构复杂，当前主要依靠医生手动分割，该方法耗时久同时严重依赖于医生的经验。针对这一问题，基于深度学习理论，提出一种基于U-net模型的全自动鼻咽肿瘤MR图像分割算法，利用卷积操作替换原始U-net模型中的最大池化操作以减少特征信息的损失。首先，从所有患者的肿瘤切片中提取大小为128×128的区域作为数据样本；然后，将患者样本分为训练样本集和测试样本集，并对训练样本集进行数据扩充；最后，选择训练样本集中所有数据用于训练网络模型。为了验证所提模型的有效性，选取测试样本集中患者的所有肿瘤切片进行分割，最终平均分割精度可达到：DSC（Dice Similarity Coefficient）为80.05%，PM系数为85.7%，CR系数为71.26%，ASSD（Average Symmetric Surface Distance）指标为1.1568。与基于图像块的卷积神经网络（CNN）相比，所提算法DSC，PM（Prevent Match）、CR（Correspondence Ratio）系数分别提高了9.86个百分点、19.61个百分点、16.02个百分点，ASSD指标下降了0.4364；与全卷积神经网络（FCN）模型及基于最大池化的U-net网络相比，所提算法的DSC、CR系数均取得了最优结果，PM系数较两种对比模型中的最大值低2.55个百分点，ASSD指标较两种对比模型中的最小值略高出0.0046。实验结果表明，所提算法针对鼻咽肿瘤图像可以实现较好的自动化分割效果以辅助医生进行诊断。     

U-net与Dense-net相结合的视网膜血管提取

目的 视网膜血管健康状况的自动分析对糖尿病、心脑血管疾病以及多种眼科疾病的快速无创诊断具有重要参考价值。视网膜图像中血管网络结构复杂且图像背景亮度不均使得血管区域的准确自动提取具有较大难度。本文通过使用具有对称全卷积结构的U-net深度神经网络实现视网膜血管的高精度分割。方法 基于U-net网络中的层次化对称结构和Dense-net网络中的稠密连接方式,提出一种改进的适用于视网膜血管精准提取的深度神经网络模型。首先使用白化预处理技术弱化原始彩色眼底图像中的亮度不均,增强图像中血管区域的对比度;接着对数据集进行随机旋转、Gamma变换操作实现数据增广;然后将每一幅图像随机分割成若干较小的图块,用于减小模型参数规模,降低训练难度。结果 使用多种性能指标对训练后的模型进行综合评定,模型在DRIVE数据集上的灵敏度、特异性、准确率和AUC（area under the curve）分别达到0.740 9、0.992 9、0.970 7和0.917 1。所提算法与目前主流方法进行了全面比较,结果显示本文算法各项性能指标均表现良好。结论 本文针对视网膜图像中血管区域高精度自动提取难度大的问题,提出了一种具有稠密连接方式的对称全卷积神经网络改进模型。结果表明该模型在视网膜血管分割中能够达到良好效果,具有较好的研究及应用价值。     

基于U-net的海马体分割算法应用

为促进阿尔兹海默症的诊断及治疗,实现对海马体的精确分割,针对海马体MRI图像,提出一种基于U-net模型改进的分割算法。使用CLAHE等对原始图像进行预处理,经处理后的图像有效提高了分割效果;将残差模块加入实现分割算法的卷积网络,增强网络性能,避免网络性能退化。对原始数据集进行扩充,将扩充后的样本数据用以训练网络,解决数据量的问题。实验结果表明,该算法在脑部MRI图像中对海马体实现了良好的分割效果,能较好辅助医生诊断。     

基于深度学习模型的遥感图像分割方法

利用遥感图像快速准确地检测地物信息是当前的研究热点。针对遥感图像地表物的传统人工目视解译分割方法效率低下和现有基于深度学习的遥感图像分割算法在复杂场景下准确率不高、背景噪声多的问题，提出一种基于改进的U-net架构与全连接条件随机场的图像分割算法。首先，融合VGG16和U-net构建新的网络模型，以有效提取具有高背景复杂度的遥感图像特征；然后，通过选取适当的激活函数和卷积方式，在提高图像分割准确率的同时显著降低模型预测时间；最后，在保证分割精度的基础上，使用全连接条件随机场进一步优化分割结果，以获得更加细致的分割边缘。在ISPRS提供的标准数据集Potsdam上进行的仿真测试表明，相较于U-net，所提算法的准确率、召回率和均交并比（MIoU）分别提升了15.06个百分点、29.11个百分点和0.3662，平均绝对误差（MAE）降低了0.02892。实验结果验证了该算法具备有效性和鲁棒性，是一种有效的遥感图像地表物提取算法。     

基于多模态互补特征学习的遥感影像语义分割

在遥感影像语义分割任务中,数字表面模型可以为光谱数据生成对应的几何表示,能够有效提升语义分割的精度。然而,大部分现有工作仅简单地将光谱特征和高程特征在不同的阶段相加或合并,忽略了多模态数据之间的相关性与互补性,导致网络对某些复杂地物无法准确分割。本文基于互补特征学习的多模态数据语义分割网络进行研究。该网络采用多核最大均值距离作为互补约束,提取两种模态特征之间的相似特征与互补特征。在解码之前互相借用互补特征,增强网络共享特征的能力。在国际摄影测量及遥感探测学会 (international society for photogrammetry and remote sensing, ISPRS)的Potsdam与Vaihingen公开数据集上验证所提出的网络,证明了该网络可以实现更高的分割精度。     

基于轻量型U-net的钢材金相图像晶界分割方法

在金相组织的晶粒度自动化评估工作中,对晶粒边界识别的精准与否直接影响着金相组织晶粒度等级的评估准确度。针对钢材金相图像中晶粒边界密集程度高、边缘复杂且晶粒边界识别准确性低的问题,提出一种基于轻量型U-net卷积神经网络的金相图像晶界分割方法,该轻量型网络模型将浅层特征层用跳跃连接的方式拼接在上采样过程中,使网络学习到更多的有效特征信息;减少了网络层数并在特征提取过程中添加了一次卷积过程,减少了网络参数量并提高了对晶界的预测速度和准确率;实验结果表明,该方法在117张金相图像测试集上像素准确率达到93.91%、特异度为96.73%、灵敏度为81.6%。与传统U-net网络相比,像素准确率提高了0.2%,网络参数量相对减少了61.5%。本方法对金相晶界分割具有有效性和优越性。     

结合多分支结构和U-net的低照度图像增强

随着夜景拍摄技术的提高,低照度图像增强成为计算机视觉领域一个新的热点。但是由于光照不足、逆光、聚焦失败等因素的影响会导致光照强度不足,导致图像亮度和对比度过低。为了更好地处理低光照图像,提出了一种基于多分支结构和U-net结合的低照度图像增强算法。利用深度残差网络将图片不同层次的特征提取出来进行交叉合并。将得到的图像通过不同深度和结构的U-net进行增强。将U-net增强后的图像进行融合,最终得到了增强后的低照度图像。通过大量的实验表明,运用深度残差网络和U-net,可以更好地进行特征提取,低照度图像增强的效果也更好,很大程度上优于现有的技术。提出的方法不仅在视觉上提高了亮度和对比度,色彩更真实,更加符合人眼视觉系统特性,而且PSNR、SSIM等七项客观图像质量指标在几种算法中都是最优的。