深度医学图像配准研究进展：迈向无监督学习

在疾病诊断、手术引导及放射性治疗等图像辅助诊疗场景中,将不同时间、不同模态或不同设备的图像通过合理的空间变换进行配准是必要的处理流程之一。随着深度学习的快速发展,基于深度学习的医学图像配准研究以其耗时短、精度高的优势吸引了研究者的广泛关注。本文全面整理了2015—2019年深度医学图像配准方向的论文,系统地分析了深度医学图像配准领域的最新研究进展,展现了深度配准算法研究从迭代优化到一步预测、从有监督学习到无监督学习的总体发展趋势。具体来说,本文在界定深度医学图像配准问题和介绍配准研究分类方法的基础上,以相关算法的网络训练过程中所使用的监督信息多少作为分类标准,将深度医学图像配准划分为全监督、双监督与弱监督、无监督医学图像配准方法。全监督配准方法通过采用随机变换、传统算法和模型生成等方式获取近似的金标准作为监督信息;双监督、无监督配准方法通过引入图像相似度损失、标签相似度损失等其他监督信息以降低对金标准的依赖;无监督配准方法则完全消除对标注数据的需要,仅使用图像相似度损失和正则化损失监督网络训练。目前,无监督医学图像算法已经成为医学图像配准领域的研究重点,在无需获得代价高昂的标注信息下就能够取得与有监督和传统方法相当甚至更高的配准精度。在此基础上,本文进一步讨论了医学图像配准研究后续可能的4个未来挑战,希望能够为更高精度、更高效率的深度医学图像配准算法的研究提供方向,并推动深度医学图像配准技术在临床诊疗中落地应用。     

基于深度学习的医学图像配准技术研究进展

医学图像配准技术对于病灶检测、临床诊断、手术规划,疗效评估等有着广泛的应用价值。系统性地总结了基于深度学习的配准算法,从深度迭代、全监督、弱监督到无监督学习的研究发展趋势,分析了各种方法的优势与局限。总体来看,无论是对数据的要求、配准精度,还是计算效率,无监督学习因其不依赖金标准和解剖标签,采用端到端的网络配准框架就可以自动执行需要的任务等优势成为研究的主流方向。然而,基于无监督学习的医学图像配准方法在医学图像领域的可解释性、跨模态多样性和可重复可扩展性方面同样面临着一些研究难点和挑战,这为将来实现更精准的医学图像配准方法指明了研究方向。     

一种基于外形区域的图像配准方法与实现

医学图像配准是医学图像处理与分析的重要组成部分.但由于医学图像的复杂性,在配准精度和配准速度两方面均优的算法很少.提出了一种基于分割所得二值图像的配准算法,并提出了一种适合二值图像配准的相似化测度,最后详细讨论了此算法的实现问题.与现今最流行的基于互信息的配准方法相比,文中的算法更易于实现,且具有良好的特性:适用于单模和多模图像配准;亚像素级精度;快速的配准速度.     

联合弯曲能量和标志点对应约束的非刚性医学图像配准

由于缺乏图像几何空间约束,基于互信息的非刚性医学图像配准常常产生不合理的形变。提出一种联合弯曲能量和标志点对应约束的非刚性医学图像配准方法,在互信息配准目标函数中添加弯曲能量惩罚和对应标志点间欧氏距离2个正则项,约束医学图像软组织不合理形变。脑部MRI、头颈部CT、胸部CBCT影像配准实验结果表明,该方法可有效提高配准质量。     

基于残差融合网络的定量磁敏感图像与T1加权图像配准

医学图像配准对医学图像处理和分析至关重要, 由于定量磁敏感图像 (quantitative susceptibility mapping, QSM) 与T1加权图像的灰度、纹理等信息存在较大的差异, 现有的医学图像配准算法难以高效精确地完成两者配准. 因此, 本文提出了一个基于残差融合的无监督深度学习配准模型RF-RegNet (residual fusion registration network, RF-RegNet). RF-RegNet由编解码器、重采样器以及上下文自相似特征提取器3部分组成. 编解码器用于提取待配准图像对的特征和预测两者的位移矢量场 (displacement vector field, DVF), 重采样器根据估计的DVF对浮动QSM图像重采样, 上下文自相似特征提取器分别用于提取参考T1加权图像和重采样后的QSM图像的上下文自相似特征并计算两者的平均绝对误差 (mean absolute error, MAE) 以驱动卷积神经网络 (convolutional neural network, ConvNet) 学习. 实验结果表明本文提出的方法显著地提高了QSM图像与T1加权图像的配准精度, 满足临床的配准需求.     

基于深度卷积特征光流的形变医学图像配准算法

光流法是一种基于光流场模型的重要而有效的形变配准算法。针对现有光流法所用特征质量不高使得配准结果不够准确的问题，将深度卷积神经网络特征和光流法相结合，提出了基于深度卷积特征光流（DCFOF）的形变医学图像配准算法。首先利用深度卷积神经网络稠密地提取图像中每个像素所在图像块的深度卷积特征，然后基于固定图像和浮动图像间的深度卷积特征差异求解光流场。通过提取图像的更为精确和鲁棒的深度学习特征，使求得的光流场更接近真实形变场，提升了配准精度。实验结果表明，所提算法能够更有效地解决形变医学图像配准问题，其配准精度优于Demons算法、尺度不变特征变换(SIFT) Flow算法以及医学图像专业配准软件Elastix。     

一种基于外形区域的图像配准方法与实现

医学图像配准是医学图像处理与分析的重要组成部分。但由于医学图像的复杂性,在配准精度和配准速度两方面均优的算法很少。提出了一种基于分割所得二值图像的配准算法,并提出了一种适合二值图像配准的相似化测度,最后详细讨论了此算法的实现问题。与现今最流行的基于互信息的配准方法相比,文中的算法更易于实现,且具有良好的特性：适用于单模和多模图像配准;亚像素级精度;快速的配准速度。     

形变医学图像配准方法设计与仿真

利用目前方法对形变医学图像进行配准时，没有提取形变医学图像特征，存在特征点获取结果与实际结果相差大、医学图像配准效果差和医学图像配准时间长的问题。为此提出基于角点检测与SIFT的形变医学图像配准方法。采用角点检测与SIFT相结合的方法对医学图像的特征点进行提取，在图像特征提取前，优先对尺度空间的极值点进行检测，其次生成角点特征，通过检测结果与最终特征点的方向完成医学图像特征点的提取，提升了医学图像配准精度。将提取的特征输入到构建的深度学习模型中，根据提取特征的训练及损失函数的优化实现形变医学图像配准。实验结果表明，通过对上述方法进行特征点获取结果与实际结果对比测试、医学图像配准效果测试和配准时间测试，验证了上述方法的准确性与有效性。     

一种改进的非刚性医学图像配准算法

非刚性医学图像配准是医学影像处理和应用中重要的研究课题.对传统的基于局部仿射变换的非刚性图像配准模型进行了改进,结合图像的区域灰度信息和切比雪夫低通滤波器幅度特性提出了一种新颖的非刚性医学图像配准算法.该算法采用自适应的局部非线性正则项,比传统算法更好地保持了图像的局部细节和边缘信息,通过结合多分辨率分层细化以及由粗到细的变形技术求解策略,很好地解决了传统配准模型无法对大变形单模态图像或者存在灰度差异的多模态图像之间进行配准的问题.实验证明,该模型和算法可以很好地实现对医学图像的非刚性配准.     

基于局部方差的医学图像配准模型

随着人工智能在医疗领域的火热发展,基于深度学习的医学图像配准成为近年来的研究热点。然而当下的深度学习配准模型存在精度低、局部配准效果较差等缺陷。针对此类问题,本文从样本均衡机制的思想出发,以局部方差作为权重因子对医学图像配准方法中经典损失函数进行改进,提出了FMSE-LV损失函数,并使用深度学习框架Voxelmorph在公开的脑部核磁共振数据集上进行验证,实验结果表明,改进后的损失函数在不影响变形场整体折叠情况的前提下,配准的精度得到了提升。     

深度学习在医学影像中的应用综述

深度学习能自动从大样本数据中学习获得优良的特征表达,有效提升各种机器学习任务的性能,已广泛应用于信号处理、计算机视觉和自然语言处理等诸多领域。基于深度学习的医学影像智能计算是目前智慧医疗领域的研究热点,其中深度学习方法已经应用于医学影像处理、分析的全流程。由于医学影像内在的特殊性、复杂性,特别是考虑到医学影像领域普遍存在的小样本问题,相关学习任务和应用场景对深度学习方法提出了新要求。本文以临床常用的X射线、超声、计算机断层扫描和磁共振等4种影像为例,对深度学习在医学影像中的应用现状进行综述,特别面向图像重建、病灶检测、图像分割、图像配准和计算机辅助诊断这5大任务的主要深度学习方法的进展进行介绍,并对发展趋势进行展望。     

深度学习下的医学影像分割算法综述

医学影像分割是计算机视觉在医学影像处理中的一个重要应用领域,其目标是从医学影像中分割出目标区域,为后续的疾病诊断和治疗提供有效的帮助。近年来深度学习技术在图像处理方面取得了巨大进展,基于深度学习的医学影像分割算法逐渐成为该领域研究的重点和热点。叙述了计算机视觉下的医学影像分割任务及其难点,重点综述了基于深度学习的医学影像分割算法,对当前具有代表性的相关方法进行了分类和总结,介绍了医学影像分割算法常用的评价指标和数据集。对该技术的发展进行了总结和展望。     

基于数据增强的CT图像病灶检测方法

基于医疗影像的辅助诊断技术正处于快速发展阶段,但是受医学影像数据量的制约,使得基于深度学习的建模方法无法向更复杂的模型进行探索.本文从医学CT影像数据增强方法出发,概述了医疗影像病灶图像的成像特点,针对病灶检测及分割任务对现有方法进行了归类总结,并阐述了当前医学影像检测和分割的难点.分别从病灶检测相关技术、影像数据增强方法、基于生成对抗网络(Generative Adversarial Network,GAN)的病灶检测方法等方面进行了总结.最后,针对医学领域内基于深度学习的数据增强方法:标准GAN、pix2pixGAN、CycleGAN模型进行了对比分析,并展望未来医学影像分析领域的发展趋势.     

医学图像分析深度学习方法研究与挑战

深度学习（Deep learning,DL）,特别是深度卷积神经网络（Convolutional neural networks,CNNs）,能够从医学图像大数据中自动学习提取隐含的疾病诊断特征,近几年已迅速成为医学图像分析研究热点.本文首先简述医学图像分析特点;其次,论述深度学习基本原理,总结深度CNNs在医学图像分析中的分类、分割框架;然后,分别论述深度学习在医学图像分类、检测、分割等各应用领域的国内外研究现状;最后,探讨归纳医学图像分析深度学习方法挑战及其主要应对策略和开放的研究方向.     

基于深度学习的图像风格迁移研究进展

图像风格迁移是计算机视觉领域的一个热点研究方向。随着深度学习的兴起,图像风格迁移领域得到了突破性的发展。为了推进图像风格迁移领域的发展,对基于深度学习的图像风格迁移的现有研究方法进行综述。对基于深度学习的图像风格迁移方法进行分类和梳理,并对比分析基于卷积神经网络和基于生成对抗网络的风格迁移方法,介绍了图像风格迁移的改进性和拓展性工作,讨论了图像风格迁移领域目前面临的挑战和未来的研究方向。     

基于多空间信息提取的级联分块配准模型

在基于深度学习的医学图像配准中, 当医学图像中包含多种组织类型时, 不同组织之间结构的不同可能会导致网络配准的精度下降, 特别是在复杂形变区域, 如组织的交界处和病变区域, 精准的配准变得更加困难, 现有的配准算法对复杂形变区域的关注度不高, 导致配准精度较低. 同时现有的配准网络无法同时对图像的局部和全局空间信息进行捕获, 导致网络的鲁棒性不够, 在迁移到其他器官的配准工作中时配准准确率低. 为了解决上述的问题, 本文提出一种基于多空间信息提取的级联分块配准模型, 本模型可以有效利用输入图像的局部和空间信息, 并通过分块融合的技术, 将医学图像进行分块并依次对每个图像进行精细配准生成相应的形变场块, 在模型的最后阶段将生成的形变场块进行融合还原, 以增强网络对局部复杂形变区域的配准强度. 实验结果表明, 所提方法不仅在脑部配准上有所提升, 并且在其他人体部位的配准中也有较好的表现, 提高了医学图像配准的准确性和可靠性, 为临床医生提供更好的诊断和治疗支持.