一种有效融合多尺度特征的图像语义分割方法

卷积神经网络在高级计算机视觉任务中展现出强 大的特征学习能力,已经在图像语义 分割任务 中取得了显著的效果。然而,如何有效地利用多尺度的特征信息一直是个难点。本文提出一 种有效 融合多尺度特征的图像语义分割方法。该方法包含4个基础模块,分别为特征融合模块(feature fusion module,FFM)、空 间信息 模块(spatial information module,SIM)、全局池化模块(global pooling module,GPM)和边界细化模块(boundary refinement module,BRM)。FFM采用了注意力机制和残差结构,以提高 融合多 尺度特征的效率,SIM由卷积和平均池化组成,为模型提供额外的空间细节信息以 辅助定 位对象的边缘信息,GPM提取图像的全局信息,能够显著提高模型的性能,BRM以残差结构为核心,对特征图进行边界细化。本文在全卷积神经网络中添加4个基础模块, 从而有 效地利用多尺度的特征信息。在PASCAL VOC 2012数据集上的实验结 果表明该方法相比全卷积神 经网络的平均交并比提高了8.7%,在同一框架下与其他方法的对比结 果也验证了其性能的有效性。     

基于超像素多特征融合的快速图像分割算法

为了提高高分辨率图像分割效率,解决复杂图案中待分割目标边缘附近前景与背景区分度小而造成的分割目标不完整问题,本文通过引入超像素HOG特征,提出了一种基于超像素多特征融合（superpixel multi-feature fusion,SMFF）的快速图像分割算法.首先采用目前最有效的超像素算法对待分割图像进行超像素预分割,然后提取基于超像素的HOG特征、Lab颜色特征和空间位置特征,设计基于超像素的多特征度量算法,最终采用图割理论实现了基于超像素多特征融合的快速图像分割.实验结果验证了本文算法的有效性,其算法性能接近于目前最经典图像分割算法,且本文算法的时间性能要明显优于其它对比算法.     

基于特征融合的肝脏肿瘤自动分割方法

针对腹部器官边界模糊、对比度不高以及肝脏和肿瘤形状易发生变化的问题,提出了一种基于特征融合的肝脏肿瘤自动分割方法,该方法进行两个阶段的训练.第一阶段使用改进的U-Net网络进行肝脏的分割;第二阶段用第一阶段的肝脏分割结果生成感兴趣区域(ROI),将ROI作为输入进行肿瘤的分割,这样能有效避免不相关信息带来的影响.本文提...     

多层级特征优化融合的遥感图像分割网络

为了从高分辨率遥感图像中准确地分割出地物目标,提出了一种多级特征优化融合的遥感图像分割网络（MRFNet）,着重将特征提取骨架网络中不同层级的特征图进行融合,通过融合网络特征图中不同种类的信息来对输出特征图信息进行合理有效的提取和分析。同时使用了逐层的多尺度编码解码模块来细化与高层特征图进行融合的浅层特征图,将不同种类的信息经过优化以后汇聚到高层特征图。然后采用空洞卷积金字塔对高层特征图提取不同感受野的信息,优化了语义分割的输出特征图。通过在ISPRS Vaihingen数据集上进行实验,该网络算法的总体精度达到了90.34%,与经典语义分割网络相比,有效提升了遥感图像目标的检测精度。同时为了证明算法的泛化性,在ISPRS Potsdam数据集上进行了泛化实验取得了91.47%的总体精度,证明了该算法的有效性。     

基于多尺度优化和动态特征融合的图像去模糊研究

目前采用U-Net结构的去模糊算法存在细节损失、图像质量欠佳等问题,因此对U-Net进行改进,提出一种基于多尺度优化和动态特征融合的图像去模糊方法。首先针对细节损失,提出一种精简且有效的多尺度残差注意力模块(Multi-Scale Residual Module, MSRM),通过增加特征尺度多样性来提取更精细的图像特征。此外,为了将更有利的特征传递到解码部分,在跳跃连接处设计动态特征融合模块(Dynamic Feature Fusion Module, DFFM),采用注意力加权的方式选择性融合不同阶段的编码特征。该算法采用多尺度内容损失和多尺度高频信息损失进行约束训练。在GoPro和RealBlur数据集上的实验结果表明,这种方法能有效改善图像质量,复原更丰富的细节信息。与现有去模糊算法相比,本文算法在主观视觉和客观评价等方面均具有一定优势。     

基于多路径输入和多尺度特征融合的视网膜血管分割

视网膜血管的形态变化,如分叉角度、扩张程度等 ,可为眼底疾病的诊断提供依据。 使用深度学习技术对视网膜病变程度进行评估成为目前研究的重点。提出了一种基于多 路径输入和多尺度特征融合的视网膜血管分割方法来解决视网膜血管分割问题。采用了 多路径输入和多特征融合的方式改进了U-Net模型,使本文的网络能够有效的解决眼底视网 膜图像的分割效果差的 问题。实验结果表明,算法在DRIVE和CHASE_DB1数据集上,敏 感性分别取得0.814和0.813,特异性 分别取得0.984和0.986,在分割准确率指标上 分别取得0.969和0.975,所提方法相较于其他方法较优。     

多分类器融合的快速高维特征聚类图像分割

提出一种多分类器融合的快速高维特征聚类图像分割方法,将图像高维特征数据的分类分解为基于灰度(颜色)特征的最佳模糊分类以及基于空域约束的统计分类等多个低维特征数据的分类.通过多分类器融合的方法将不同分类器得到的分类结果进行优化整合,得到最后的分类结果.实验证明:与其它图像分类算法相比,该方法拥有更好的分割性能并大大提高了计算速度,最大限度地保证了分割算法计算的简单有效性.     

多尺度特征融合全卷积神经网络脑肿瘤MR图像分割

针对传统以及基于深度学习的脑肿瘤MR图像分割方法存在精度低、特征信息丢失等问题,提出一种多尺度特征融合全卷积神经网络的脑肿瘤MR图像分割算法.该算法首先对脑肿瘤MR图像的4种模态进行归一化处理;将得到的结果通过多尺度特征融合全卷积神经网络(MFF-FCN).该网络是在全卷积神经网络的基础上,引入5×5、7×7大小的卷积...     

基于多尺度特征校准的图像协调化方法

图像组合是图像处理中一个重要操作,然而组合图像中前景区域与背景区域的外观不协调使得组合图像看起来不真实。图像协调化是图像组合中极其重要的一个环节,其目的是调整组合图像前景区域的外观使其与背景区域一致,从而让组合图像在视觉上看起来真实。然而,现有方法只考虑了组合图像前景与背景之间的外观差异,忽略了图像局部的亮度变化差异,这使得图像整体的光照不协调。为此,该文提出一个新的多尺度特征校准模块(MFCM)学习不同尺度的感受野之间细微的特征差异。基于所提模块,该文进一步设计了一个新的编码器学习组合图像中前景与背景的外观差异和局部亮度变化,然后利用解码器重构出图像,并通过一个对前景区域归一化的回归损失指导网络学习调整前景区域的外观。在广泛使用的iHarmony4数据集上进行实验验证,结果表明该方法的效果超过了目前最优的方法,验证了该方法的有效性。     

融合多尺度特征的改进Deeplab v3+图像语义分割算法

针对当前Deeplab v3+模型没有充分采用高分辨率的浅层特征出现的错误分割、遗漏分割等现象,提出一种融合多尺度特征的改进Deeplab v3+特征图像语义分割算法。在主干网络中,引入多尺度金字塔卷积;将空洞空间卷积池化金字塔中的标准卷积替换为深度可分离卷积,减少整体模型的参数量;最后,在解码层采用多尺度方法来捕捉获取全局背景,将背景特征通过注意力机制,再与浅层特征和空洞空间金字塔池化层结合,丰富融合后的浅层特征语义信息。实验表明,在CityScapes验证集中,所提算法具有更好的边缘分割效果,平均交并比达到了74.76%,较原有算法提升了2.20%。通过与先进算法比较,也证明所提算法应对改善错误分割、遗漏分割的有效性。     

基于增强多尺度特征解码器的图像语义分割

针对语义分割模型SegFormer在进行图像分割时存在多尺度语义信息利用不充分、细节特征丢失等问题,提出了一种改进的轻量级的语义分割算法,并设计了一个新的解码器来增强多尺度特征表示.采用新提出的瓶颈空间金字塔池化模块（BoSPP）以获得丰富且准确的多尺度信息,所提出模型采用拉普拉斯金字塔来获得编码阶段更精确的高分辨率细节特征,并将其应用于解码阶段来解决细节特征丢失的问题;最后对特征进行逐步融合,以避免上采样率过大导致细节损失,极大地保留丰富的细节特征进而增强最终的语义分割效果. ADE20K数据集的实验结果表明,使用改进后的解码器进行语义分割,在精度和运算量方面都有所改善.以使用MiT-B0编码器的实验为例,其mIoU指标相比原网络提升了1.36%,浮点运算量仅为原网络的51%.实验结果表明,改进后的模型在不增加大量计算成本的情况下提升了模型的分割精度,且浮点运算量更少,改进后的语义分割模型优于原模型,在增强多尺度特征和图像边界细节特征方面有更好的分割效果.     

图像语义多特征的融合提取方法

针对传统的多融合特征方法对图像特征提取准确率不高的缺点,本文运用了串行特征融合和并行特征融合的结合的思想提出本文的M特征提取方法,它是一个非常有效的基于核函数组合的多特征融合分类模型。对图像颜色、纹理及形状特征中的显著特征提取出来并采取本文融合方法获得了本文需要的融合特征即M特征。基于以上的思想基础,本文设计了对比试验,实验结果证明本文的算法效果达到提取较高准确率的语义。     

多尺度特征融合的壁画多光谱图像颜料3D-CNN分类方法

颜料的分类识别是古代壁画进行保护修复的基础,多光谱成像方法能够无损快速地获取壁画颜料的光谱图像数据并进行分析。传统利用卷积神经网络进行特征提取的算法中连续的卷积和池化操作会丢失壁画多光谱图像的部分特征信息,使得图像细节无法重建,导致分类图像边界不平滑。针对该问题,提出了一种基于多尺度特征融合的三维空洞卷积残差神经网络对壁画多光谱图像进行颜料分类。首先,在卷积核中引入空洞结构提高卷积核的感受野来提取不同尺度信息,避免池化操作所导致的部分特征丢失;其次,使用特征融合的方法融合不同尺度的特征图,增加多尺度特征的结构层次;最后,引入残差学习模块避免网络层数加深导致的梯度消失问题,重建完整的边缘信息。实验结果表明,所提方法在模拟壁画多光谱图像数据集上的总体精度和平均精度分别达到了98.87%和96.89%,与各对照组相比,不仅具有更好的分类精度,而且得到了边界更清晰的分类图像。     

基于增强多尺度特征网络的图像去模糊

现有的多尺度多阶段图像去模糊方法存在多尺度图像特征提取利用不充分和阶段加深导致特征信息丢失的问题。针对上述问题,提出了一种基于增强多尺度特征网络的图像去模糊方法。首先,提出一个多尺度残差特征提取模块,在两个分支中使用不同大小的卷积核扩大感受野,充分提取不同分辨率大小图像的特征信息。其次,提出跨阶段注意力模块,过滤和传递图像的关键特征。最后,设计类似于跳跃连接的跨阶段特征融合模块,弥补特征损失,同时融合来自不同大小输入图像的特征信息,丰富空间特征信息,以更好地处理纹理细节。在GoPro和HIDE数据集上的实验结果表明,所提方法能够很好地重建图像。     

基于多尺度U型网络的图像分割方法

眼底血管图像分割对糖尿病、 心脏病和高血压等疾病诊断具有重要价值.眼底图像特征复杂度较高,当前分割算法存在分割不精细、细小血管特征提取难、细节丢失多等问题.为了解决这些问题,设计了多尺度特征U型网络框架,该网络在U-Net的基础上,在跳跃连接结构上引入金字塔池化整合多个尺度的特征,在编解码结构中用Leaky ReLU函...     

基于深度学习的医学图像分割方法研究进展

医学图像处理技术随着深度学习的兴起而飞速发展。基于深度学习的医学图像分割技术成为了分割领域的主流方法，弥补了传统分割方法分割精度不足的缺点，已被应用到一些病理图像的分割任务中。文中对近年来出现的基于深度学习的分割方法进行了介绍和对比，重点综述了U-Net及其改进模型在分割领域的贡献，归纳了常见的医学图像模态、分割算法的评价指标和常用分割数据集，并对医学图像分割技术的未来发展进行了展望。