深度学习在医学影像中的应用综述

深度学习能自动从大样本数据中学习获得优良的特征表达,有效提升各种机器学习任务的性能,已广泛应用于信号处理、计算机视觉和自然语言处理等诸多领域。基于深度学习的医学影像智能计算是目前智慧医疗领域的研究热点,其中深度学习方法已经应用于医学影像处理、分析的全流程。由于医学影像内在的特殊性、复杂性,特别是考虑到医学影像领域普遍存在的小样本问题,相关学习任务和应用场景对深度学习方法提出了新要求。本文以临床常用的X射线、超声、计算机断层扫描和磁共振等4种影像为例,对深度学习在医学影像中的应用现状进行综述,特别面向图像重建、病灶检测、图像分割、图像配准和计算机辅助诊断这5大任务的主要深度学习方法的进展进行介绍,并对发展趋势进行展望。     

基于深度学习的医学影像诊断综述

目前各类医学影像数据积累迅速,给利用传统影像分析方法实现疾病诊断的医生带来了巨大挑战;计算机视觉领域的深度学习方法日渐成熟,为实现医学影像的自动分析及辅助医生实现疾病的高精度智能诊断提供了新的契机。文中综述了深度学习方法在医学影像领域的最新研究进展。首先,介绍了深度学习方法以及该类方法在医学影像领域的应用情况;然后,从应用深度学习主要研究的几大病症来分析具体的研究进展;最后,总结研究动向,预测研究趋势,并提出深度学习在医学影像研究中可能存在的问题以及建议。     

磁共振影像深度学习在精神分裂症诊断中的应用综述

精神分裂症是一种大脑存在结构和功能异常的严重精神疾病,目前尚无十分有效的诊疗手段。许多研究者尝试采用基于磁共振影像的机器学习方法辅助诊断精神分裂症。深度学习由于其强大的特征表示能力,在医学影像等领域得到了广泛的应用,表现出比传统机器学习方法更优异的性能。目前已有论文对深度学习在医学影像领域内的应用进行了详细的总结和分析,却很少有论文对其在具体某一疾病（例如精神分裂症）诊断中的应用进行系统的梳理和总结。因此,本文主要关注深度学习在基于磁共振影像的精神分裂症诊断中的应用。首先介绍了基于磁共振影像的精神分裂症诊断中常用的几种深度学习模型;其次按照数据的不同模态将相关研究划分为：基于结构磁共振成像的方法、基于功能磁共振成像的方法以及基于多模态数据的方法,并对各类方法的具体应用进行了总结;最后针对目前的研究现状,进一步分析和总结出样本量偏小、样本类别不均衡、模型可解释性低、多模态分析中缺失模态数据以及缺少有效融合策略等,是目前该领域研究中存在的主要问题。多中心及纵向数据分析以及针对不同症状亚型的个体化精准诊断模型的构建,是未来该领域研究发展的趋势。本文系统地总结了深度学习在基于磁共振影像的精神分裂症诊断中的应用,分析了该领域面临的问题和下一步的研究方向,对该领域的研究具有一定的参考和指导意义。     

深度学习在阿尔茨海默病分类诊断中的应用

阿尔茨海默病是一种常见的神经退行性疾病,可依据神经影像学进行临床诊断。深度学习能够挖掘患者影像资料中隐含的丰富信息并完成不同阶段的病程分类,是目前计算机辅助诊断领域的研究热点。介绍阿尔茨海默病神经影像学数据集,总结经典深度学习网络模型在阿尔茨海默病分类诊断中的应用以及深度学习模型可解释性,重点对卷积神经网络与融合多网络的分类诊断方法进行梳理分析,对不同的思路和方法综合对比,讨论深度学习在阿尔茨海默病辅助诊断领域面临的挑战与未来研究方向,对提高阿尔茨海默病的临床诊断效率与早期预测准确性具有重要意义。     

深度学习在医学影像智能处理中的应用与挑战

利用深度学习方法对医学影像数据进行处理分析,极大地促进了精准医疗和个性化医疗的快速发展。深度学习在医学图像领域的应用较为广泛,具有多病种、多模态、多组学和多功能的特点。为便于对深度学习在医学图像处理领域的应用进行更深入有效的探索,本文系统综述了相关研究进展。首先,从深度学习在影像基因组学中的应用出发,理清了深度学习在医学影像领域应用的一般思路和现状,将医学影像领域分为智能诊断、疗效评估和预测预后等3个模块,并对模块内的各病种进行总结,展示了深度学习各算法的优缺点及面临的问题和挑战。其次,对深度学习中出现的新思路、新方法以及对传统方法的改进进行了阐述。最后,总结了该领域现阶段面临的问题,并对未来的研究方向做出了展望。基于深度学习的医学图像智能处理与分析虽然取得了一些有价值的研究成果,但还需要根据临床的实际需求,将深度学习与经典的机器学习算法及无创并且高效的多组学数据结合起来,对深度学习的理论和方法进行深入研究。     

深度学习及其在图像物体分类与检测中的应用综述

传统的图像物体分类与检测算法及策略难以满足图像视频大数据在处理效率、性能和智能化等方面所提出的要求。深度学习通过模拟类似人脑的层次结构建立从低级信号到高层语义的映射,以实现数据的分级特征表达,具有强大的视觉信息处理能力,成为应对这一挑战的前沿技术和国内外研究热点。首先论述了深度学习的起源、发展历程及理论体系;然后分别围绕图像物体分类和检测,总结了近年来深度学习在视觉领域的发展;最后对深度学习及其在视觉领域目前存在的诸多问题以及后续的研究方向进行了分类探讨。     

深度学习行人检测方法综述

行人检测技术在智能交通系统、智能安防监控和智能机器人等领域均表现出了极高的应用价值,已经成为计算机视觉领域的重要研究方向之一。得益于深度学习的飞速发展,基于深度卷积神经网络的通用目标检测模型不断拓展应用到行人检测领域,并取得了良好的性能。但是由于行人目标内在的特殊性和复杂性,特别是考虑到复杂场景下的行人遮挡和尺度变化等问题,基于深度学习的行人检测方法也面临着精度及效率的严峻挑战。本文针对上述问题,以基于深度学习的行人检测技术为研究对象,在充分调研文献的基础上,分别从基于锚点框、基于无锚点框以及通用技术改进(例如损失函数改进、非极大值抑制方法等)3个角度,对行人检测算法进行详细划分,并针对性地选取具有代表性的方法进行详细结合和对比分析。本文总结了当前行人检测领域的通用数据集,从数据构成角度分析各数据集应用场景。同时讨论了各类算法在不同数据集上的性能表现,对比分析各算法在不同数据集中的优劣。最后,对行人检测中待解决的问题与未来的研究方法做出预测和展望。如何缓解遮挡导致的特征缺失问题、如何应对单一视角下尺度变化问题、如何提高检测器效率以及如何有效利用多模态信息提高行人检测精度,均是值得进一步...     

基于深度学习的目标检测算法综述

深度学习目前已广泛应用到各个领域,目标检测是计算机视觉领域中的基础问题。针对传统目标检测算法存在的效率低、鲁棒性差等问题,基于深度学习的目标检测算法很好地提高了目标检测效率,成为主流趋势。论文对一些典型的基于深度学习的目标检测算法进行了综述,主要分为基于区域思想和基于回归思想两方面,对算法结构进行了分析和对比,最后对基于深度学习的目标检测算法的发展进行了展望。     

自然场景文本检测与识别的深度学习方法

许多自然场景图像中都包含丰富的文本,它们对于场景理解有着重要的作用。随着移动互联网技术的飞速发展,许多新的应用场景都需要利用这些文本信息,例如招牌识别和自动驾驶等。因此,自然场景文本的分析与处理也越来越成为计算机视觉领域的研究热点之一,该任务主要包括文本检测与识别。传统的文本检测和识别方法依赖于人工设计的特征和规则,且模型设计复杂、效率低、泛化性能差。随着深度学习的发展,自然场景文本检测、自然场景文本识别以及端到端的自然场景文本检测与识别都取得了突破性的进展,其性能和效率都得到了显著提高。本文介绍了该领域相关的研究背景,对基于深度学习的自然场景文本检测、识别以及端到端自然场景文本检测与识别的方法进行整理分类、归纳和总结,阐述了各类方法的基本思想和优缺点。并针对隶属于不同类别下的方法,进一步论述和分析这些主要模型的算法流程、适用场景和技术发展路线。此外,列举说明了部分主流公开数据集,对比了各个模型方法在代表性数据集上的性能情况。最后总结了目前不同场景数据下的自然场景文本检测、识别及端到端自然场景文本检测与识别算法的局限性以及未来的挑战和发展趋势。     

面向任务调度优化的分布式系统信息管理框架

近年来深度学习作为学术界与工业界共同关注的热点,取得了飞跃式的发展,在计算机视觉、语音识别等领域取得了令人瞩目的成果.深度学习分训练与推理两个阶段,在实际应用中主要关注的是推理阶段.深度学习推理过程中伴随着巨大的计算量,通过分布式系统提高其计算速度也得到了越来越多的关注.然而,构建分布式深度学习推理系统面临着深度学习加速设备更新迭代快速、上层应用及计算任务复杂多样等挑战.本文设计并实现的系统信息管理框架,用于收集并处理系统中的各类信息,收集及处理的规则具有高度的可扩展性和灵活性,并提供通用的RESTful API数据访问接口,以支持分布式深度学习推理系统对各类硬件加速器的灵活兼容性以及对任务调度策略的动态调整能力.最后,本文通过一个应用实例对该框架的功能进行验证并对实验结果进行分析.     

A content-based system for human identification based on bitewing dental X-ray images

This paper presents a system for assisting in human identification using dental radiographs. The goal of the system is to archive antemortem (AM) dental images and enable content-based retrieval of AM images that have similar teeth shapes to a given postmortem (PM) dental image. During archiving, the system classifies the dental images to bitewing, periapical, and panoramic views. It then segments the teeth and the bones in the bitewing images, separates each tooth into the crown and the root, and stores the contours of the teeth in the database. During retrieval, the proposed system retrieves from the AM database the images with the most similar teeth to the PM image based on Hausdorff distance measure between the teeth contours. Experiments on a small database show that our method is effective for dental image classification and teeth segmentation, provides good results for separating each tooth into crown and root, and provides a good tool for human identification.     

基于数据增强的CT图像病灶检测方法

基于医疗影像的辅助诊断技术正处于快速发展阶段,但是受医学影像数据量的制约,使得基于深度学习的建模方法无法向更复杂的模型进行探索.本文从医学CT影像数据增强方法出发,概述了医疗影像病灶图像的成像特点,针对病灶检测及分割任务对现有方法进行了归类总结,并阐述了当前医学影像检测和分割的难点.分别从病灶检测相关技术、影像数据增强方法、基于生成对抗网络(Generative Adversarial Network,GAN)的病灶检测方法等方面进行了总结.最后,针对医学领域内基于深度学习的数据增强方法:标准GAN、pix2pixGAN、CycleGAN模型进行了对比分析,并展望未来医学影像分析领域的发展趋势.     

Recognition and segmentation of teeth and mandibular nerve canals in panoramic dental X-rays by Mask RCNN

This study proposes a method based on the instance segmentation algorithm Mask RCNN for recognizing and segmenting 32 teeth and 2 mandibular nerve canals in panoramic dental X-rays. Compared with Faster RCNN, Mask RCNN has an additional semantic segmentation branch, which could directly obtain the position of teeth and the information about mandibular nerve canals in this study. At the same time, Mask RCNN introduces ROI Align, making Mask segmentation more accurate. A total of 120 training sets, 40 validation sets, and 120 test sets were used in the training and testing process. Forty of the test sets were used to test the full-tooth panoramic dental X-rays, and 40 were used for the edentulous panoramic dental X-rays, with 40 for the mandibular canals. The average precision, recall, and F1-score values of the full teeth were 96.59 %, 96.4 %, and 96.5 %, respectively. The P_m value of the defined edentulous panoramic dental X-rays was 95.41 %, and the average precision, recall, and F1-score values of mandibular canals were 76.05 %, 83.70 %, and 78.10 %, respectively. The results showed that the algorithm could effectively identify each tooth, including missing teeth and mandibular nerve canals in panoramic dental X-rays, solving the problem of too many oral structures in panoramic dental X-rays, which makes it difficult to determine the overall oral state. This study will help other researchers promote the research on artificial intelligence-assisted diagnosis in the oral field.     

Deep learning in cone-beam computed tomography image segmentation for the diagnosis and treatment of acute pulpitis

To evaluate the effect of deep learning model on cone beam (CB) CT image analysis of patients with acute pulpitis. The improved principle of maximum entropy and minimum energy method (PME-MEM’) was proposed to preprocess CBCT images. The conditional generative adversarial network (cGAN) model of deep learning was adopted to segment images. In this study, 80 cases of acute pulpitis in our hospital were selected as the research objects. CT images of the patients were collected and pretreated with PME-MEM. The denoising effects of different Gaussian noise treatments were compared and analyzed, and cGAN model was used to segment different parts of teeth in the image. The treatment plan was made according to the processed CT images, and patients were rolled into two groups according to the treatment methods, with 40 cases in each group. The modified group received one-off root canal treatment, and the traditional group received multiple root canal treatments. The postoperative treatment effects of the patients were observed. The results showed that the PME-MEM’ had a better denoising effect on CBCT images relative to the original PME-MEM. The deep learning cGAN model can realize the segmentation of caries, enamel, dentin, dental pulp, crown, restoration, and root canal in CBCT images. The clinical treatment results showed that the treatment time and postoperative pain score of the modified group were considerably reduced versus those of the traditional group (P?<?0.05). The postoperative comfort score and satisfaction with treatment results increased greatly (P?<?0.05). In short, deep learning can be used to segment the target position in CBCT images of patients. Combined with one-off root canal therapy, the therapeutic effect was ideal for patients with acute pulpitis.

     

带尺寸约束的弱监督眼底图像视盘分割

目的 医学图像的像素级标注工作需要耗费大量的人力。针对这一问题，本文以医学图像中典型的眼底图像视盘分割为例，提出了一种带尺寸约束的弱监督眼底图像视盘分割算法。方法 对传统卷积神经网络框架进行改进，根据视盘的结构特点设计新的卷积融合层，能够更好地提升分割性能。为了进一步提高视盘分割精度，本文对卷积神经网络的输出进行了尺寸约束，同时用一种新的损失函数对尺寸约束进行优化，所提的损失公式可以用标准随机梯度下降方法来优化。结果 在RIM-ONE视盘数据集上展开实验，并与经典的全监督视盘分割方法进行比较。实验结果表明，本文算法在只使用图像级标签的情况下，平均准确识别率（mAcc）、平均精度（mPre）和平均交并比（mIoU）分别能达到0.852、0.831、0.827。结论 本文算法不需要专家进行像素级标注就能够实现视盘的准确分割，只使用图像级标注就能够得到像素级标注的分割精度。缓解了医学图像中像素级标注难度大的问题。     

MRI脑肿瘤图像分割研究进展及挑战

脑肿瘤分割是医学图像处理中的一项重要内容,其目的是辅助医生做出准确的诊断和治疗,在临床脑部医学领域具有重要的实用价值。核磁共振成像（MRI）是临床医生研究脑部组织结构的主要影像学工具,为了使更多研究者对MRI脑肿瘤图像分割理论及其发展进行探索,本文对该领域研究现状进行综述。首先总结了用于MRI脑肿瘤图像分割的方法,并对现有方法进行了分类,即分为监督分割和非监督分割;然后重点综述了基于深度学习的脑肿瘤分割方法,在研究其关键技术基础上归纳了优化策略;最后介绍了脑肿瘤分割（BraTS）挑战,并结合挑战中所用方法展望了脑肿瘤分割领域未来的发展趋势。MRI脑肿瘤图像分割领域的研究已经取得了一些显著进展,尤其是深度学习的发展为该领域的研究提供了新的思路。但由于脑肿瘤在大小、形状和位置方面的高度变化,以及脑肿瘤图像数据有限且类别不平衡等问题,使得脑肿瘤图像分割仍是一个极具挑战的课题。由于分割过程缺乏可解释性和透明性,如何将全自动分割方法应用于临床试验,还需要进行深入研究。     

基于深度学习的心脏图像分割研究现状

面对严重的医学影像分析缺口,深度学习的发展能够满足国内医疗行业的需求。心脏图像的处理方法可大致分为传统的图像处理技术、基于图谱的方法（atlas-based methods）、基于模型的方法（model-based methods）以及目前热门的采用机器学习和深度学习的方法。在深度学习兴起之前,传统的机器学习技术如模型法和图集法在心脏图像分割中有良好表现,但通常需要大量的特征工程知识或先验知识才能获得令人满意的精度。而基于深度学习的算法能从数据中自动发现复杂的特征以进行对象检测和分割。得益于先进的计算机硬件以及更多可用于训练的数据集,基于深度学习的分割算法已超越了以往的传统方法。本文回顾了2012—2022年有关心室、心外膜和心包脂肪的图像处理的各项方法、衡量指标及其目前的研究现状,并结合分割技术的发展,讨论了心脏分割的发展趋势。     

Teeth segmentation of dental periapical radiographs based on local singularity analysis

Teeth segmentation for periapical raidographs is one of the most critical tasks for effective periapical lesion or periodontitis detection, as both types of anomalies usually occur around tooth boundaries and dental radiographs are often subject to noise, low contrast, and uneven illumination. In this paper, we propose an effective scheme to segment each tooth in periapical radiographs. The method consists of four stages: image enhancement using adaptive power law transformation, local singularity analysis using Hölder exponent, tooth recognition using Otsu's thresholding and connected component analysis, and tooth delineation using snake boundary tracking and morphological operations. Experimental results of 28 periapical radiographs containing 106 teeth in total and 75 useful for dental examination demonstrate that 105 teeth are successfully isolated and segmented, and the overall mean segmentation accuracy of all 75 useful teeth in terms of (TP, FP) is (0.8959, 0.0093) with standard deviation (0.0737, 0.0096), respectively.     

显著性引导及不确定性监督的深度编解码网络

基于U-Net的编码-解码网络及其变体网络在医学图像语义分割任务中取得了卓越的分割性能.然而,网络在特征提取过程中丢失了部分空间细节信息,影响了分割精度.另一方面,在多模态的医学图像语义分割任务中,这些模型的泛化能力和鲁棒性不理想.针对以上问题,本文提出一种显著性引导及不确定性监督的深度卷积编解码网络,以解决多模态医学图像语义分割问题.该算法将初始生成的显著图和不确定概率图作为监督信息来优化语义分割网络的参数.首先,通过显著性检测网络生成显著图,初步定位图像中的目标区域;然后,根据显著图计算不确定分类的像素点集合,生成不确定概率图;最后,将显著图和不确定概率图与原图像一同送入多尺度特征融合网络,引导网络关注目标区域特征的学习,同时增强网络对不确定分类区域和复杂边界的表征能力,以提升网络的分割性能.实验结果表明,本文算法能够捕获更多的语义信息,在多模态医学图像语义分割任务中优于其他的语义分割算法,并具有较好的泛化能力和鲁棒性.