结合KSW和FCNN的道路场景分割

目的 随着自动驾驶技术不断引入生活,机器视觉中道路场景分割算法的研究已至关重要。传统方法中大多数研究者使用机器学习方法对阈值分割,而近年来深度学习的引入,使得卷积神经网络被广泛应用于该领域。方法 针对传统阈值分割方法难以有效提取多场景下道路图像阈值的问题和直接用深度神经网络来训练数据导致过分割严重的问题,本文提出了结合KSW（key seat wiper）和全卷积神经网络（FCNN）的道路场景分割方法,该方法结合了KSW熵法及遗传算法,利用深度学习在不同场景下的特征提取,并将其运用到无人驾驶技术的道路分割中。首先对道路场景测试集利用KSW熵法及遗传算法得到训练集,然后导入到全卷积神经网络中进行训练得到有效训练模型,最后通过训练模型实现对任意一幅道路场景图分割。结果 实验结果表明,在KITTI数据集中进行测试,天空和树木的分割精度分别达到91.3%和94.3%,道路、车辆、行人的分割精度提高了2%左右。从分割结果中明显看出,道路图像中的积水、泥潭、树木等信息存在的过分割现象有良好的改观。结论 相比传统机器学习道路场景分割方法,本文方法在一定程度上提高了分割精度。对比深度学习直接应用于道路场景分割的方法,本文方法在一定程度上避免了过分割现象,提高了模型的鲁棒性。综上所述,本文提出的结合KSW和FCNN的道路场景分割算法有广泛的研究前景,有望应用于医学图像和遥感图像的处理中。     

深度学习多模态图像语义分割前沿进展

图像语义分割旨在将视觉场景分解为不同的语义类别实体,实现对图像中每一个像素的类别预测。多模态图像语义分割通过联合利用不同模态图像（即通过基于不同成像机理的传感器获取的图像）间的互补特性,能够全面且准确地实现复杂场景信息的学习与推理。目前基于深度学习的多模态图像语义分割前沿成果较多,但缺少系统且全面的调研与分析。本文首先总结并分析了目前主流的基于深度学习的可见光—热红外（red-green-bluethermal,RGB-T）图像语义分割算法和可见光—深度（red-green-blue-depth,RGB-D）图像语义分割算法。依据算法侧重点不同,将基于深度学习的RGB-T图像语义分割算法划分为基于图像特征增强的方法、基于多模态图像特征融合的方法和基于多层级图像特征交互的方法;依据算法对深度信息的利用方式,将基于深度学习的RGB-D图像语义分割算法划分为基于深度信息提取的方法和基于深度信息引导的方法。然后,介绍了多模态图像语义分割算法常用的客观评测指标以及数据集,并在常用数据集上对上述算法进行对比。对于RGB-T图像语义分割,在MFNet（multi-spectral fusion network）数据集上,GMNet （graded-feature multilabel-learning network）和MFFENet （multiscale feature fusion and enhancement network）分别取得了最优的类平均交并比（mean intersection-over-union per class,mIoU）（57.3%）和类平均精度（mean accuracy per class,mAcc）（74.3%）值。在PST900（PENN subterranean thermal 900）数据集上,GMNet仍然取得了最优的mIoU（84.12%）值,而EGFNet取得了最优的mAcc（94.02%）值。对于RGB-D图像语义分割,在NYUD v2（New York University depth dataset v2）数据集上,GLPNet（global-local propagation network）的mIoU和mAcc分别达到了54.6%和66.6%,取得最优性能。而在SUN-RGBD（scene understanding-RGB-D）数据集上,Zig-Zag的mIoU为51.8%,GLPNet的mAcc为63.3%,均为最优性能。最后,本文还指出了多模态图像语义分割领域未来可能的发展方向。     

融合分割先验的多图像目标语义分割

目的 在序列图像或多视角图像的目标分割中，传统的协同分割算法对复杂的多图像分割鲁棒性不强，而现有的深度学习算法在前景和背景存在较大歧义时容易导致目标分割错误和分割不一致。为此，提出一种基于深度特征的融合分割先验的多图像分割算法。方法 首先，为了使模型更好地学习复杂场景下多视角图像的细节特征，通过融合浅层网络高分辨率的细节特征来改进PSPNet-50网络模型，减小随着网络的加深导致空间信息的丢失对分割边缘细节的影响。然后通过交互分割算法获取一至两幅图像的分割先验，将少量分割先验融合到新的模型中，通过网络的再学习来解决前景/背景的分割歧义以及多图像的分割一致性。最后通过构建全连接条件随机场模型，将深度卷积神经网络的识别能力和全连接条件随机场优化的定位精度耦合在一起，更好地处理边界定位问题。结果 本文采用公共数据集的多图像集进行了分割测试。实验结果表明本文算法不但可以更好地分割出经过大量数据预训练过的目标类，而且对于没有预训练过的目标类，也能有效避免歧义的区域分割。本文算法不论是对前景与背景区别明显的较简单图像集，还是对前景与背景颜色相似的较复杂图像集，平均像素准确度（PA）和交并比（IOU）均大于95%。结论 本文算法对各种场景的多图像分割都具有较强的鲁棒性，同时通过融入少量先验，使模型更有效地区分目标与背景，获得了分割目标的一致性。     

基于全卷积深度学习网络的视频图像背景分割方法研究

针对传统视频图像背景分割方法效率低、抗干扰能力弱、层次模糊等问题，基于全卷积深度学习网络算法研究了一种视频图像背景的分割方法。应用全卷积神经网络算法，完成视频图像背景的特征提取，构建结构化学习模块，再利用深度学习网络实现视频图像背景的多模态特征融合，基于损失函数建立视频图像背景分割模型。结果显示，对于随机的10组视频图像数据包，设计方法完成分割处理所用时间的平均值为15.03min，像素准确率均值为99.24%，分割区域间对比度均值为0.91，区域内一致性测度值均值为9.52，分割合理性均值为0，表明本次设计方法有效改善了视频图像背景的分割质量和分割效果，具有较高的精准性和完整性。     

基于3D深度残差网络与级联U-Net的缺血性脑卒中病灶分割算法

为了解决人工勾画缺血性脑卒中病灶费时费力且易引入主观差异的问题,提出了一种基于三维（3D）深度残差网络与级联U-Net的自动分割算法。首先,为了有效利用图像的3D上下文信息并改善类不平衡现象,将脑卒中核磁共振图像（MRI）采样成图像块作为网络输入;然后,利用基于3D深度残差网络与级联U-Net的分割模型对图像块进行特征提取,获得粗分割结果;最后,对粗分割结果进行精分割处理。在ISLES数据集上的实验结果表明,该算法的Dice系数可达到0.81,精确度可达到0.81,灵敏度可达到0.81,平均对称表面距离（ASSD）距离系数为1.32,HD为22.67。所提算法与3D U-Net算法、基于水平集算法、基于模糊C均值（FCM）算法和基于卷积神经网络（CNN）算法相比分割性能更好。     

基于多孔卷积神经网络的图像深度估计模型

针对在传统机器学习方法下单幅图像深度估计效果差、深度值获取不准确的问题，提出了一种基于多孔卷积神经网络（ACNN）的深度估计模型。首先，利用卷积神经网络（CNN）逐层提取原始图像的特征图；其次，利用多孔卷积结构，将原始图像中的空间信息与提取到的底层图像特征相互融合，得到初始深度图；最后，将初始深度图送入条件随机场（CRF），联合图像的像素空间位置、灰度及其梯度信息对所得深度图进行优化处理，得到最终深度图。在客观数据集上完成了模型可用性验证及误差估计，实验结果表明，该算法获得了更低的误差值和更高的准确率，均方根误差（RMSE）比基于机器学习的算法平均降低了30.86%，而准确率比基于深度学习的算法提高了14.5%，所提算法在误差数据和视觉效果方面都有较大提升，表明该模型能够在图像深度估计中获得更好的效果。     

基于深度学习的多模态医学图像分割综述

多模态医学图像可以为临床医生提供靶区（如肿瘤、器官或组织）的丰富信息。然而，由于多模态图像之间相互独立且仅有互补性，如何有效融合多模态图像并进行分割仍是亟待解决的问题。传统的图像融合方法难以有效解决此问题，因此基于深度学习的多模态医学图像分割算法得到了广泛的研究。从原理、技术、问题及展望等方面对基于深度学习的多模态医学图像分割任务进行了综述。首先，介绍了深度学习与多模态医学图像分割的一般理论，包括深度学习与卷积神经网络（CNN）的基本原理与发展历程，以及多模态医学图像分割任务的重要性；其次，介绍了多模态医学图像分割的关键概念，包括数据维度、预处理、数据增强、损失函数以及后处理等；接着，对基于不同融合策略的多模态分割网络进行综述，对不同方式的融合策略进行分析；最后，对医学图像分割过程中常见的几个问题进行探讨，并对今后研究作了总结与展望。     

点云算法在医学领域的研究进展

点云作为一种重要的3维数据,能够直观地模拟生物器官、组织等的3维结构,基于医学点云数据的分类、分割、配准、目标检测等任务可以辅助医生进行更为准确的诊断和治疗,在临床医学以及个性化医疗器械辅助设计与3D打印有着重要的应用价值。随着深度学习的发展,越来越多的点云算法逐步由传统算法扩展到深度学习算法中。本文对点云算法在医学领域的研究及其应用进行综述,旨在总结目前用于医学领域的点云方法,包括医学点云的特点、获取途径以及数据转换方法;医学点云分割中的传统算法和深度学习算法;以及医学点云的配准任务定义、意义,以及基于有/无特征的配准方法。总结了医学点云在临床应用中仍存在的限制和挑战：1）医学图像重建的人体器官点云分布稀疏且包含噪音、误差;2）医学点云数据集标注困难、制作成本高,可用于训练深度学习模型的公开数据集非常稀少;3）前沿的点云处理算法大都基于自然场景点云数据集训练,这些算法在医学点云处理中的鲁棒性和泛化能力还有待验证。随着医学点云数据集质量和数量的提升,医学点云处理算法的研究将会吸引更多的研究者。     

深度学习在脊柱图像分割中的应用综述

深度学习算法在脊柱图像分割中具有学习和自适应能力强、对图像有非线性映射能力等优点,相较于传统分割方法,能更好地提取脊柱图像中的关键信息,并且抑制不相关信息,辅助医生准确定位病灶区域,实现精准、高效分割。从深度学习算法、脊柱疾病类型、图像类型、实验分割结果、性能评估指标等方面,对深度学习在脊柱图像分割中的应用现状进行归纳、总结并加以分析。介绍深度学习模型和脊柱图像分割的背景,从而引出深度学习在脊柱图像分割中的应用;介绍常见的几种脊柱疾病类型,阐述其在图像分割中的难点,并介绍脊柱图像分割中常用的公开数据集、图像分割的方法流程以及图像分割评价指标等要素;结合具体实验总结分析基于卷积神经网络模型、U型网络模型及其改进的模型在椎骨、椎间盘以及脊柱肿瘤图像分割中的应用进展;结合以往的实验结果和当前深度学习模型的研究进展,总结目前临床研究的局限性以及分割效果不足的原因,针对所存在的问题提出相应的解决方法,并对未来的研究和发展进行展望。     

基于深度学习的无人机地物图像分割方法

针对无人机地物图像的传统分割方法工程量大,效率低下,深度学习的无人机地物图像分割算法在复杂场景下精度不高和数据集的类别不均衡（长尾数据）等问题,提出一种基于深度学习的高分辨率无人机地物图像分割方法,用于提高不同地貌区域的分割精度。在语义分割模型DeepLabv3的基础上进行改进,将原始主干网络ResNet101替换为ResNet152并添加预训练模型,调整扩张卷积空间金字塔池化模块的扩张率,采用类别平衡损失函数来解决长尾数据问题。在采集的无人机地物图像数据集上进行训练并通过测试集的分割效果证明模型改进方法的有效性。根据实验模型分割效果表明,改进后的方法在测试集上平均交并比达到70.8%,相比原始模型提升了27.2%,能够得到效果更好的分割结果。     

CT图像肺及肺病变区域分割方法综述

计算机断层扫描（computed tomography,CT）技术能为新冠肺炎（corona virus disease 2019,COVID-19）和肺癌等肺部疾病的诊断与治疗提供更全面的信息,但是由于肺部疾病的类型多样且复杂,使得对肺CT图像进行高质量的肺病变区域分割成为计算机辅助诊断的重难点问题。为了对肺CT图像的肺及肺病变区域分割方法的现状进行全面研究,本文综述了近年国内外发表的相关文献：对基于区域和活动轮廓的肺CT图像传统分割方法的优缺点进行比较与总结,传统的肺CT图像分割方法因其实现原理简单且分割速度快等优点,早期使用较多,但其存在分割精度不高的缺点,目前仍有不少基于传统方法的改进策略;重点分析了基于卷积神经网络（convolutional neural network,CNN）、全卷积网络（fully convolutional network,FCN）、U-Net和生成对抗网络（generative adversarial network,GAN）的肺CT图像分割网络结构改进模型的研究进展,基于深度学习的分割方法具有分割精度高、迁移学习能力强和鲁棒性高等优点,特别是在辅助诊断COVID-19病例时,基于深度学习方法的性能明显优于基于传统方法的性能;介绍肺及肺病变区域分割的常用数据集和评价指标,在解决如COVID-19数据样本量少等问题时,使用GAN以合成高质量的对抗性图像用以扩充数据集,从而增加训练样本的数量和多样性;讨论了肺CT图像的肺及肺病变区域的高精度分割策略的研究趋势、现有挑战和未来的研究方向。     

几种常用CT图像分割算法分析和探讨

图像分割是数字图像处理的一个经典难题。其分割质量的好坏直接影响到图像处理的后续工作。因而在理论研究和实际应用中受到研究人员的广泛重视。本文在总结了过去的分割方法基础上,就目前常用几种分割方法进行实验研究。主要包括阈值分割、LOG算子分割、FCM聚类分割、分水岭分割,并结合CT图像进行图像分割。文章阐述了各种分割方法的概念及原理,并在此基础上对分割结果进行了分析和探讨,得出各种方法的优点和不足。这些实验结论将为后续研究提供科学依据。     

Images thresholding using ISODATA technique with gamma distribution

Image segmentation is a fundamental step in many applications of image processing. Many image segmentation techniques exist based on different methods such as classification-based methods, edge-based methods, region-based methods, and hybrid methods. The principal approach of segmentation is based on thresholding (classification) that is related to thresholds estimation problem. The ISODATA (Iterative Self-Organizing Data Analysis Technique) method is one of the classification-based methods in image segmentation. We assumed that the data in images is modeled by Gamma distribution. The objective of this paper is to explain a new method that combines Gamma distribution with the technique of ISODATA. The algorithm has two phases: splitting using Gamma distribution then merging which are done based on some predefined parameters. Experimental results showed good segmentation for artificial and real images.     

A review of atlas-based segmentation for magnetic resonance brain images

Normal and abnormal brains can be segmented by registering the target image with an atlas. Here, an atlas is defined as the combination of an intensity image (template) and its segmented image (the atlas labels). After registering the atlas template and the target image, the atlas labels are propagated to the target image. We define this process as atlas-based segmentation. In recent years, researchers have investigated registration algorithms to match atlases to query subjects and also strategies for atlas construction. In this paper we present a review of the automated approaches for atlas-based segmentation of magnetic resonance brain images. We aim to point out the strengths and weaknesses of atlas-based methods and suggest new research directions. We use two different criteria to present the methods. First, we refer to the algorithms according to their atlas-based strategy: label propagation, multi-atlas methods, and probabilistic techniques. Subsequently, we classify the methods according to their medical target: the brain and its internal structures, tissue segmentation in healthy subjects, tissue segmentation in fetus, neonates and elderly subjects, and segmentation of damaged brains. A quantitative comparison of the results reported in the literature is also presented.     

基于改进PSO算法的最大熵阈值图像分割

图像分割是目标识别的首要和关键步骤。目前的图像分割方法有多种,其中阈值方法优点比较突出,但是采用阈值方法分割的关键是要能高效率地找到被分图像的最佳熵阈值。针对这一问题,将Geese-LDW-PSO算法的位置更新公式作了改进,即用当前种群的全局极值取代所有粒子的当前位置,并将之用于熵阈值图像分割中。仿真实验表明,该算法可以快速稳定地获得一幅图像的最佳分割阈值。仿真结果显示,该方法对车牌分割具有较好的性能。     

Cross entropy based thresholding for magnetic resonance brain images using Crow Search Algorithm

Segmentation is considered the central part of an image processing system due to its high influence on the posterior image analysis. In recent years, the segmentation of magnetic resonance (MR) images has attracted the attention of the scientific community with the objective of assisting the diagnosis in different brain diseases. From several techniques, thresholding represents one of the most popular methods for image segmentation. Currently, an extensive amount of contributions has been proposed in the literature, where thresholding values are obtained by optimizing relevant criteria such as the cross entropy. However, most of such approaches are computationally expensive, since they conduct an exhaustive search strategy for obtaining the optimal thresholding values. This paper presents a general method for image segmentation. To estimate the thresholding values, the proposed approach uses the recently published evolutionary method called the Crow Search Algorithm (CSA) which is based on the behavior in flocks of crows. Different to other optimization techniques used for segmentation proposes, CSA presents a better performance, avoiding critical flaws such as the premature convergence to sub-optimal solutions and the limited exploration-exploitation balance in the search strategy. Although the proposed method can be used as a generic segmentation algorithm, its characteristics allow obtaining excellent results in the automatic segmentation of complex MR images. Under such circumstances, our approach has been evaluated using two sets of benchmark images; the first set is composed of general images commonly used in the image processing literature, while the second set corresponds to MR brain images. Experimental results, statistically validated, demonstrate that the proposed technique obtains better results in terms of quality and consistency.     

肝脏肿瘤CT图像深度学习分割方法综述

肝脏肿瘤的精确分割是肝脏疾病诊断、手术计划和术后评估的重要步骤。计算机断层成像（computed tomography,CT）能够为肝脏肿瘤的诊断和治疗提供更为全面的信息,分担了医生繁重的阅片工作,更好地提高诊断的准确性。但是由于肝脏肿瘤的类型多样复杂,使得分割成为计算机辅助诊断的重难点问题。肝脏肿瘤CT图像的深度学习分割方法较传统的分割方法取得了明显的性能提升,并获得快速的发展。通过综述肝脏肿瘤图像分割领域的相关文献,本文介绍了肝脏肿瘤分割的常用数据库,总结了肝脏肿瘤CT图像的深度学习分割方法：全卷积网络（fully convolutional network,FCN）、U-Net网络和生成对抗网络（generative adversarial network,GAN）方法,重点给出了各类方法的基本思想、网络架构形式、改进方案以及优缺点等,并对这些方法在典型数据集上的性能表现进行了比较。最后,对肝脏肿瘤深度学习分割方法的未来研究趋势进行了展望。     

CT影像肺结节分割研究进展

准确分割肺结节在临床上具有重要意义。计算机断层扫描（computer tomography,CT）技术以其成像速度快、图像分辨率高等优点广泛应用于肺结节分割及功能评价中。为了进一步对肺部CT影像中的肺结节分割方法进行探索,本文对基于CT影像的肺结节分割方法研究进行综述。1）对传统的肺结节分割方法及其优缺点进行了归纳比较;2）重点介绍了包括深度学习、深度学习与传统方法相结合在内的肺结节分割方法;3）简单介绍了肺结节分割方法的常用评价指标,并结合部分方法的指标表现展望了肺结节分割方法研究领域的未来发展趋势。传统的肺结节分割方法各有优缺点和其适用的结节类型,深度学习分割方法因普适性好等优点成为该领域的研究热点。研究者们致力于如何提高分割结果的准确度、模型的鲁棒性及方法的普适性,为了实现此目的本文总结了各类方法的优缺点。基于CT影像的肺结节分割方法研究已经取得了不小的成就,但肺结节形状各异、密度不均匀,且部分结节与血管、胸膜等解剖结构粘连,给结节分割增加了困难,结节分割效果仍有很大提升空间。精度高、速度快的深度学习分割方法将会是研究者密切关注的方法,但该类方法仍需解决数据需求量大和网络模型超参数的确定等问题。     

深度学习下的医学影像分割算法综述

医学影像分割是计算机视觉在医学影像处理中的一个重要应用领域,其目标是从医学影像中分割出目标区域,为后续的疾病诊断和治疗提供有效的帮助。近年来深度学习技术在图像处理方面取得了巨大进展,基于深度学习的医学影像分割算法逐渐成为该领域研究的重点和热点。叙述了计算机视觉下的医学影像分割任务及其难点,重点综述了基于深度学习的医学影像分割算法,对当前具有代表性的相关方法进行了分类和总结,介绍了医学影像分割算法常用的评价指标和数据集。对该技术的发展进行了总结和展望。     

深度学习在医学影像中的应用综述

深度学习能自动从大样本数据中学习获得优良的特征表达,有效提升各种机器学习任务的性能,已广泛应用于信号处理、计算机视觉和自然语言处理等诸多领域。基于深度学习的医学影像智能计算是目前智慧医疗领域的研究热点,其中深度学习方法已经应用于医学影像处理、分析的全流程。由于医学影像内在的特殊性、复杂性,特别是考虑到医学影像领域普遍存在的小样本问题,相关学习任务和应用场景对深度学习方法提出了新要求。本文以临床常用的X射线、超声、计算机断层扫描和磁共振等4种影像为例,对深度学习在医学影像中的应用现状进行综述,特别面向图像重建、病灶检测、图像分割、图像配准和计算机辅助诊断这5大任务的主要深度学习方法的进展进行介绍,并对发展趋势进行展望。