深度医学图像配准研究进展：迈向无监督学习

在疾病诊断、手术引导及放射性治疗等图像辅助诊疗场景中,将不同时间、不同模态或不同设备的图像通过合理的空间变换进行配准是必要的处理流程之一。随着深度学习的快速发展,基于深度学习的医学图像配准研究以其耗时短、精度高的优势吸引了研究者的广泛关注。本文全面整理了2015—2019年深度医学图像配准方向的论文,系统地分析了深度医学图像配准领域的最新研究进展,展现了深度配准算法研究从迭代优化到一步预测、从有监督学习到无监督学习的总体发展趋势。具体来说,本文在界定深度医学图像配准问题和介绍配准研究分类方法的基础上,以相关算法的网络训练过程中所使用的监督信息多少作为分类标准,将深度医学图像配准划分为全监督、双监督与弱监督、无监督医学图像配准方法。全监督配准方法通过采用随机变换、传统算法和模型生成等方式获取近似的金标准作为监督信息;双监督、无监督配准方法通过引入图像相似度损失、标签相似度损失等其他监督信息以降低对金标准的依赖;无监督配准方法则完全消除对标注数据的需要,仅使用图像相似度损失和正则化损失监督网络训练。目前,无监督医学图像算法已经成为医学图像配准领域的研究重点,在无需获得代价高昂的标注信息下就能够取得与有监督和传统方法相当甚至更高的配准精度。在此基础上,本文进一步讨论了医学图像配准研究后续可能的4个未来挑战,希望能够为更高精度、更高效率的深度医学图像配准算法的研究提供方向,并推动深度医学图像配准技术在临床诊疗中落地应用。     

基于深度学习的肝脏CT-MR图像无监督配准

多模态配准是医学图像分析中的关键环节,在肝癌辅助诊断、图像引导的手术治疗中具有重要作用。针对传统的迭代式肝脏多模态配准计算量大、耗时长、配准精度低等问题,提出一种基于多尺度形变融合和双输入空间注意力的无监督深度学习配准算法。利用多尺度形变融合框架提取不同分辨率的图像特征,实现肝脏的逐阶配准,在提高配准精度的同时避免网络陷入局部最优。采用双输入空间注意力模块在编解码阶段融合不同水平的空间和文本信息提取图像间的差异特征,增强特征表达。引入基于邻域描述符的结构信息损失项进行网络迭代优化,不需要任何先验信息即可实现精确的无监督配准。在临床肝脏CT-MR数据集上的实验结果表明,与传统的Affine、Elastix、VoxelMorph等算法相比,该算法达到最优的DSC值和TRE值,分别为0.926 1±0.018 6和6.39±3.03 mm,其平均配准时间为0.35±0.018 s,相比Elastix算法提升了近380倍,能准确地提取特征及估计规则的形变场,具有较高的配准精度和较快的配准速度。     

医学图像配准的深度学习方法综述

图像配准指的是寻找两个或多个图像之间的映射关系,医学图像配准在疾病诊断、手术引导和疾病治疗跟踪等方面具有重要应用价值,如何精确、高效地配准医学图像已成为一个急需解决的课题.近些年来,基于深度学习的医学图像配准方法逐渐崭露头角,一定程度上克服了传统的配准方法上适用范围窄、计算速度不够快等瓶颈.本文将深入地介绍基于深度学习...     

利用高维互信息的多模态医学图像配准

互信息相似性测度在多模态医学图像配准中获得了广泛的应用,然而其不足之处在于没用充分利用图像固有的空间信息。针对这一不足,提出了利用图像邻域信息的高维互信息配准方法。首先用图像像素及其邻域构成高维向量的集合,然后利用基于最近邻的熵估计法来估计集合的高维熵,并采用近似最近邻搜索算法来加快高维熵的计算。实验结果验证了新的相似性测度的有效性。     

医学图像配准技术研究进展

医学图像配准是近年来医学图像处理领域的重要研究课题。对目前深入研究的各种配准方法（空间变换、互信息、物理模型）,从其原理、优点、发展及改进方面做了详细论述,最后,对医学图像配准的发展趋势进行了展望。     

互信息在医学图像配准中的应用研究

多模态图像配准已成为医学图像分析的一项重要研究内容.互信息是最为广泛使用的一种配准方法,其精度和鲁棒性都相对使人满意.通过实验证明了该方法的实用性,并且对其扩展形式如基于高阶熵的互信息和加入梯度的互信息等方法进行了分析,验证了空间信息在配准中的重要作用.     

基于QPSO的多模态医学图像配准研究

本文提出一种基于QPSO的形态金字塔多模态医学图像配准算法,该方法以梯度互信息作为相似性度量标准,运用全局仿射变换建立数学模型,充分利用形态金字塔的非线性、多分辨率等特性将图像进行分层处理,并且利用QPSO和Powell算法结合逐层获取参数解。实验结果表明在任意初始值的情况下,基于QPSO的寻优算法比Levenberg-Marquardt寻优算法运行速度快,并且配准精度更高。     

基于深度学习的多模态医学图像分割综述

多模态医学图像可以为临床医生提供靶区（如肿瘤、器官或组织）的丰富信息。然而,由于多模态图像之间相互独立且仅有互补性,如何有效融合多模态图像并进行分割仍是亟待解决的问题。传统的图像融合方法难以有效解决此问题,因此基于深度学习的多模态医学图像分割算法得到了广泛的研究。从原理、技术、问题及展望等方面对基于深度学习的多模态医学图像分割任务进行了综述。首先,介绍了深度学习与多模态医学图像分割的一般理论,包括深度学习与卷积神经网络（CNN）的基本原理与发展历程,以及多模态医学图像分割任务的重要性;其次,介绍了多模态医学图像分割的关键概念,包括数据维度、预处理、数据增强、损失函数以及后处理等;接着,对基于不同融合策略的多模态分割网络进行综述,对不同方式的融合策略进行分析;最后,对医学图像分割过程中常见的几个问题进行探讨,并对今后研究作了总结与展望。     

基于遗传算法的深度图像配准方法研究

深度图像配准主要应用于物体三维建模、历史建筑修复重建、虚拟博物馆、利用虚拟现实界面教学,以及复杂结构分析等广泛领域.遗传算法多用于深度图像粗配准,但通过加强其局部搜索能力,也能实现细配准.系统论述了遗传算法在深度图像图像配准的应用,并通过实验加以具体说明.     

基于ICP算法的医学图像几何配准技术

几何配准是医学图像领域研究的重要内容，医学图像几何配准的目标就是建立术前和术中两组点的变换关系。该文利用股骨为模型，讨论了基于轮廓特征的ICP医学图像几何配准算法，从技术上实现了术前建模和术中取点，并编制相应的ICP算法程序。     

基于深度学习的图像语义分割技术研究进展

自FCN网络在2014年提出后,SegNet、DeepLab等一系列关于图像语义分割的深度学习架构被相继提出。与传统方法相比,这些架构效果更好、运算速度更快,已经能够运用于自然图像的分割处理。围绕图像语义分割技术,对常用的数据集和典型网络架构进行了梳理分析,对2017年以来的新进展进行了综合研究,利用主流评价指标对主要模型的语义分割效果进行了比较和分析。对语义分割技术面临的挑战以及可能的发展趋势进行了展望。     

基于FCN和互信息的医学图像配准技术研究

针对传统配准方法在进行三维多模态图像配准时存在收敛速度较慢、容易陷入极值等问题,提出一种基于全卷积神经网络（Fully Convolutional Networks,FCN）和互信息的配准方法。利用FCN模型提取二维图像深层特征并进行粗配准;将得到的配准结果作为互信息算法的初始搜索点,从而使搜索范围缩小至全局最优解附近;利用互信息算法对参数进一步微调优化,得到最优三维配准结果。实验结果表明,在进行CT-MR图像配准时,所提方法不仅可以大幅度提升配准速度,还能有效避免局部收敛的情况,具有更高的准确性。     

基于深度学习的眼底血管图像分割研究进展

眼底血管图像分割对青光眼、糖尿病视网膜病变等多种眼部疾病有较好的辅助诊断作用, 目前深度学习因其强大的抽象特征发现能力, 有望满足人们从眼底血管图像中提取特征信息进行图像自动分割的需求, 成为眼底血管图像分割领域的研究热点. 为更好把握该领域的研究进展, 本文对相关数据集和评价指标整理归纳, 对深度学习在眼底血管图像分割中的应用进行详细阐述, 重点梳理各类分割方法的基本思想、网络结构及改进之处, 分析现有眼底血管图像分割方法存在的局限性及面临的挑战, 并对该领域未来的研究方向做出展望.     

深度学习下的医学影像分割算法综述

医学影像分割是计算机视觉在医学影像处理中的一个重要应用领域,其目标是从医学影像中分割出目标区域,为后续的疾病诊断和治疗提供有效的帮助.近年来深度学习技术在图像处理方面取得了巨大进展,基于深度学习的医学影像分割算法逐渐成为该领域研究的重点和热点.叙述了计算机视觉下的医学影像分割任务及其难点,重点综述了基于深度学习的医学影...     

无监督深度学习模型的多聚焦图像融合算法

深度学习技术应用到多聚焦图像融合领域时,其大多通过监督学习的方式来训练网络,但由于缺乏专用于多聚焦图像融合的监督训练的标记数据集,且制作专用的大规模标记训练集代价过高,所以现有方法多通过在聚焦图像中随机添加高斯模糊进行监督学习,这导致网络训练难度大,很难实现理想的融合效果。为解决以上问题,提出了一种易实现且融合效果好的多聚焦图像融合方法。通过在易获取的无标记数据集上以无监督学习方式训练引入了注意力机制的encoder-decoder网络模型,获得输入源图像的深层特征。再通过形态聚焦检测对获取的特征进行活动水平测量生成初始决策图。运用一致性验证方法对初始决策图优化,得到最终的决策图。融合图像质量在主观视觉和客观指标两方面上进行评定,经实验结果表明,融合图像清晰度高,保有细节丰富且失真度小。     

医学图像配准中基于图像梯度的灰度压缩

基于互信息的医学图像配准,其配准精度可以达到亚像素水平,精度高且鲁棒性好,但互信息的巨大计算量使配准速度较慢,不能达到临床使用要求,而互信息的计算速度与图像的灰度阶数有关。为此,针对互信息由于图像灰度级数过多造成互信息计算量大的问题,提出一种基于图像梯度的灰度压缩算法。算法采用图像的梯度信息,根据图像梯度对图像进行非线性灰度映射,同时利用小波对差异图像进行分解和重构。实验结果证明,该算法能减少图像灰度阶数,同时较好地保留图像的细节信息,在保持配准精度的前提下减少配准时间。     

基于深度学习的单图像超分辨率重建综述

图像超分辨率重建是用于提高图像质量的一项重要技术, 得益于深度学习在计算机视觉领域的成功应用和快速发展, 单图像超分辨率重建的效果得到了显著提升. 因此, 本文针对基于深度学习的单图像超分辨率重建方法展开深入研究, 首先综合介绍了用于该领域的基准数据集、性能评价指标、损失函数等相关知识, 然后对有监督学习和无监督学习下单图像超分辨率重建技术的最新算法进行分类讨论, 并且比较分析了不同模型之间的异同点与优缺点, 最后对该领域面临的问题和未来的发展方向进行了总结与展望.     

基于深度学习的图像风格迁移研究进展

图像风格迁移是计算机视觉领域的一个热点研究方向.随着深度学习的兴起,图像风格迁移领域得到了突破性的发展.为了推进图像风格迁移领域的发展,对基于深度学习的图像风格迁移的现有研究方法进行综述.对基于深度学习的图像风格迁移方法进行分类和梳理,并对比分析基于卷积神经网络和基于生成对抗网络的风格迁移方法,介绍了图像风格迁移的改进...     

非刚性医学图像配准研究综述

非刚性配准技术是医学图像配准中的一个重要研究课题,是非刚性组织配准,不同个体之间的配准以及个体同图谱配准的基础。该文提出了多项式法、样条函数法等基于空间变换的配准方法,以及弹性模型、粘性流体模型和光流场模型等基于物理模型的配准方法两大类方法。同刚性配准相比,非刚性配准技术还不成熟,计算效率和稳定性还需要进一步提高,仍是一个非常活跃的研究领域。