多模态医学图像融合技术概述

介绍多模态医学图像融合的意义和多模态医学图像融合的方式，重点介绍多模态医学图像融合的实现及主要的医学图像配准方法，并讨论了目前的多模态医学图像融合方法中存在的主要问题，直观地从整体上阐述多模态医学图像融合技术。     

基于ITK实现多模态医学图像配准

多模态医学图像配准是医学图像配准领域的一项关键技术.目前,医学图像配准技术已经拥有了不少成熟的算法,但因其算法本身的复杂性或编程的复杂性,给许多致力于医学图像的分析处理和应用研究但又缺乏软件开发经验的研究人员增加了研究工作的难度.以基于互信息的多模态医学图像配准算法为例,将ITK有关类库函数应用于医学图像配准中.给出了基于ITK实现图像配准的处理流程、数据输入输出方式以及算法的编译和运行方法.实例表明,基于ITK的配准算法简化了医学图像配准程序的开发工作,为医学图像引导临床诊断的研究应用提供参考.     

基于GHM多小波的多模态医学图像融合算法研究

本文研究了基于多小波的多模态医学图像融合。在分析结构成像和功能成像特性的基础上,提出了分层融合的理念。详细阐述了预滤波后,如何使用GHM多小波分解二维医学图像、具体融合规则和多小波重构。与单小波分解相比,多小波要经过分解前的预滤波和重构后的后滤波。实验结果分析证实,该算法融合效果良好,各项指标有一定的提升。     

采用PCA和PSNR的医学图像配准

医学图像配准是医学图像融合的前提,是目前医学图像处理中的热点,具有重要的临床诊断和治疗价值.利用图像矩计算医学图像的质心,根据图像坐标矩阵主分量分析(PCA)的特征矢量旋转不变性,计算参考图像和浮动图像的倾斜角,获得配准初始值;在寻找最优几何变换参数时,采用峰值信噪~(PSNR)作为参考图像和浮动图像的相似性测度.实验时,采用单纯形法作为多参数寻优方法.实验结果表明,该方法计算简单,运算量少,配准速度快,精度高,而且克服了容易陷入局部最优的问题.该方法既可用于单模态图像配准,也可以用于多模态配准.     

多模态自适应特征融合的目标检测

随着深度学习的发展，基于卷积神经网络（CNN）的目标检测方法取得巨大成功。现有的基于CNN的目标检测模型通常采用单一模态的RGB图像进行训练和测试，但在低光照环境下，检测性能显著下降。为解决此问题，提出了一种基于YOLOv5构建的多模态目标检测网络模型，将RGB图像和热红外图像相结合，以充分利用多模态特征融合信息，从而提升目标检测精度。为了实现多模态特征信息的有效融合，提出了一种多模态自适应特征融合（MAFF）模块。该模块通过自适应地选择不同模态特征并利用各模态间的互补信息，实现多模态特征融合。实验结果表明：所提算法能有效融合不同模态的特征信息，从而显著提高检测精度。     

基于D-S证据理论的多模态医学影像融合方法

针对多模态医学影像融合后存在边缘模糊、纹理不清晰的问题,提出了一种基于D-S证据理论的影像融合方法。首先对待融合的医学影像进行小波分解,在高频域,取纹理属性和边缘属性作为证据,根据Dempster证据合成和判决规则,得到高频域各点属性,从而确定融合规则;在小波分解的低频域,采用基于区域梯度的融合规则。实验结果表明,融合后医学影像较为完整地保留了源医学影像的边缘和纹理细节信息,有效提高了融合性能,优于同类方法。     

基于Legendre正交矩的配准方法及其在二值图像配准中的应用

Legendre矩在模式识别、图像分析等领域有广泛的应用,具有正交、无冗余性等优点.本文提出了一种基于Legendre正交矩的配准方法,它在医学图像多模态数据的配准、融合中具有重要的实用价值.     

基于曲率及相关性的相似区域的线性配准

本文提出了一种新的基于多边形的周期性曲率函数和相关性的相似区域的线性配准方法.得到了简单且有效的新的线性配准方法,它在医学图像多模态数据的配准、融合中具有重要的实用价值.     

基于人眼视觉特性的NSCT医学图像自适应融合

医学图像融合对于临床诊断具有重要的应用价值。针对多模态医学图像特性,本文提出一种基于人类视觉特性的医学图像自适应融合方法。首先,对经配准的源图像进行非间隔采样轮廓变换（（Nonsubsampled Coutour-let,NSCT）多尺度分解,得到低频子带和若干高频方向子带;其次,根据低频子带集中了大部分源图像能量和决定图像轮廓的特点,采用区域能量与平均梯度相结合的方法进行融合;根据人眼对图像对比度及边缘、纹理的高敏感度,在高频子带系数的选取时提出区域拉普拉斯能量、方向对比度与脉冲耦合神经网络（Pulse Coupled Neural Network,PCNN）相结合的融合策略;进而,提出了把与人类视觉高度一致的加权结构相似度（Weighted Structure Similarity,WSSIM）作为图像融合目标函数,自适应地获取各子带的最优权值;最后,对灰度图像和彩色图像进行了大量融合比较实验,并对不同融合方法进行分析对比。实验结果表明：本文算法不仅可以有效保留源图像的信息,而且可以使融合图像灰度级更分散,更好地保留了图像边缘信息,具有更好的视觉效果。     

基于多模态特征融合监督的RGB-D图像显著性检测

RGB-D图像显著性检测是在一组成对的RGB和Depth图中识别出视觉上最显著突出的目标区域。已有的双流网络,同等对待多模态的RGB和Depth图像数据,在提取特征方面几乎一致。然而,低层的Depth特征存在较大噪声,不能很好地表征图像特征。因此,该文提出一种多模态特征融合监督的RGB-D图像显著性检测网络,通过两个独立流分别学习RGB和Depth数据,使用双流侧边监督模块分别获取网络各层基于RGB和Depth特征的显著图,然后采用多模态特征融合模块来融合后3层RGB和Depth高维信息生成高层显著预测结果。网络从第1层至第5层逐步生成RGB和Depth各模态特征,然后从第5层到第3层,利用高层指导低层的方式产生多模态融合特征,接着从第2层到第1层,利用第3层产生的融合特征去逐步地优化前两层的RGB特征,最终输出既包含RGB低层信息又融合RGB-D高层多模态信息的显著图。在3个公开数据集上的实验表明,该文所提网络因为使用了双流侧边监督模块和多模态特征融合模块,其性能优于目前主流的RGB-D显著性检测模型,具有较强的鲁棒性。     

基于NSST和改进PCNN的医学图像融合

为了解决单一模态医学图像的局限性,提出了一种 基于非下采样剪切波变换(NSST)和改进型脉冲耦合神经网络(PCNN)相结合的多模态医学图 像融合方法。首先,利用NSST对源图像进行多尺度、多方向分解,得到 低频子带系数和高频子带系数;其 次,低频子带系数由区域能量和方差求取区域特征,采用基于区域特征加权的方式进行融合 ;高频内层子 带系数先通过PCNN求出区域点火特性,再与平均梯度加权的方式进行选择,高频外层子 带系数采用区 域绝对值取大的融合规则;最后,通过逆NSST重构图像。实验结果表明:与常用融合 规则对比,在 主观效果上,本文的融合图像可以保留源图像的边缘信息,得到更好的视觉效果;在客观指 标上,本文方法 融合得到的图像在互信息(MI)、边缘评价因子(QAB/F)和 结构相似度(SSIM)等客观评价指标上取得更好的效果。     

基于最大互信息的PET/CT图像配准方法研究

针对最大互信息的多模医学图像配准方法进行分析和研究,描述在PET／CT医学图像配准过程中涉及的插值方法和优化算法,对实验采用三线性PV插值和Powell优化搜索算法,能够快速、准确地实现多模医学图像的配准。     

基于多模态图像信息的变电设备红外分割方法

无人机拍摄下的红外图像中变电设备的分割精度直接影响着热故障诊断的结果,针对复杂红外背景下变电设备分割精度低的问题,提出了一种融合可见光和红外图像的多模态路径聚合网络（Multimodal Path Aggregation Network, MPAN）。首先提取并融合两种模态图像的特征,考虑到两种模态图像的特征空间存在差异,提出了自适应特征融合模块（Adaptive Feature Fuse Module, AFFM）,以充分融合两种模态特征;对具有多尺度特征的主干网络增加自底向上的金字塔网络,并对横向连接的路径增强模块引入自注意力机制;最后使用dice系数优化掩膜损失函数。实验结果表明,多模态图像的融合能够增强分割性能,且验证了提出各模块的有效性,该模型能够显著提高红外图像中变电设备实例分割的准确率。     

医学图像三维重建技术的研究与应用

目前,随着信息时代的发展,医学成像设备及计算机硬件也得到了迅速的发展,医学图像三维重建技术被逐渐广泛的应用在手术模拟、诊断医学、整形等医学领域,为人们的生活提供了更多的服务。医学图像三维重建技术的研究与应用,作为医学工作发展中的重要问题,可有效的完善医学影像方面存在的研究问题。本文将简要分析,医学图像三维重建技术方面的相关内容,使之可以通过专业的研究,提高医学影像的应用水平。     

基于多聚类中心和PCNN的医学图像融合算法

提出一种基于K-means Clustering和脉冲耦合神经网络(PCNN)的图像融合的方法,首先,以多特征信息为聚类方式利用K-means Clustering分割提取源图像的对应特征点,通过归类合并建立多模医学图像的特征点集合,根据特征点分布将图像划分为纹理区域和非纹理区域,纹理区域对应系数输入PCNN得到点火映射图,根据点火次数选择融合系数,非纹理区域的系数通过双通道PCNN进行融合。实验结果表明,该算法能够精确划分图像纹理区域,进而利用PCNN和双通道PCNN在图像不同区域系数选择各自的优势,融合图像纹理清晰,质量改善。     

基于经验模态分解提取纹理的图像融合算法

为了提升医学图像融合质量,采用了一种基于2维经验模态分解（BEMD）特征分类和复合型脉冲耦合神经网络的医学图像融合算法。首先将多模医学图像经过BEMD分解成2维内蕴模函数（BIMF）和残差项,然后分别将BIMF层和残差项值输入脉冲耦合神经网络（PCNN）中,得到各自的点火映射图,再将相同点火次数的像素提取归类,点火次数大的对应图像纹理,归为纹理类,其余归为背景类;统计各个纹理类集合中的像素极值确定灰度分布范围,最后将两幅图像中纹理类像素集合处于灰度分布范围的像素通过PCNN进行融合,其它像素通过双通道PCNN进行融合。结果表明,该算法解决了PCNN对偏暗图像的处理效果不理想的问题,与传统融合算法相比,性能具有优势,且能够较大幅度提高融合图像的质量。     

移动设备生物特征识别多模态融合标准研究及展望

针对用于移动设备的生物特征识别多模态融合技术框架不统一以及标准缺失的问题,提出了多模态融合的分类、层级以及标准统一技术框架。首先分析国内外与移动设备生物特征识别相关的标准化现状;其次研究移动设备生物特征识别标准的本地识别以及远程识别应用模式,分析提出多特征、多算法、多实例、多传感器4种多模态融合分类方法,研究并提出样本级融合、特征级融合、分数级融合和决策级融合4种多模态融合的层级,并且提出用于移动设备的生物特征识别多模态融合标准技术框架;最后对移动设备生物特征识别多模态融合技术应用进行展望。     

基于多模态图像信息的变电设备红外分割方法

无人机拍摄下的红外图像中变电设备的分割精度直接影响着热故障诊断的结果，针对复杂红外背景下变电设备分割精度低的问题，提出了一种融合可见光和红外图像的多模态路径聚合网络（Multimodal Path Aggregation Network, MPAN）。首先提取并融合两种模态图像的特征，考虑到两种模态图像的特征空间存在差异，提出了自适应特征融合模块（Adaptive Feature Fuse Module, AFFM），以充分融合两种模态特征；对具有多尺度特征的主干网络增加自底向上的金字塔网络，并对横向连接的路径增强模块引入自注意力机制；最后使用dice系数优化掩膜损失函数。实验结果表明，多模态图像的融合能够增强分割性能，且验证了提出各模块的有效性，该模型能够显著提高红外图像中变电设备实例分割的准确率。     

C2 Transformer U-Net:面向跨模态和上下文语义的医学图像分割模型

跨模态的医学图像可以在同一病灶处提供更多的语义信息,针对U-Net网络主要使用单模态图像用于分割,未充分考虑跨模态、上下文语义相关性的问题,该文提出面向跨模态和上下文语义的医学图像分割C2 Transformer U-Net模型。该模型的主要思想是:首先,在编码器部分提出主干、辅助U-Net网络结构,来提取不同模态的语义信息;然后,设计了多模态上下文语义感知处理器(MCAP),有效地提取同一病灶跨模态的语义信息,跳跃连接中使用主网络的两种模态图像相加后传入Transformer解码器,增强模型对病灶的表达能力;其次,在编-解码器中采用预激活残差单元和Transformer架构,一方面提取病灶的上下文特征信息,另一方面使网络在充分利用低层和高层特征时更加关注病灶的位置信息;最后,使用临床多模态肺部医学图像数据集验证算法的有效性,对比实验结果表明所提模型对于肺部病灶分割的Acc, Pre, Recall, Dice, Voe与Rvd分别为:97.95%, 94.94%, 94.31%, 96.98%, 92.57%与93.35%。对于形状复杂肺部病灶的分割,具有较高的精度和相对较低的冗余度,总体上优于现有的先进方法。     

基于深度学习的多模态融合图像识别研究

基于深度学习的方法,利用多模态信息融合技术,将汽车等目标的声音、图像信息融合,用于对测试目标的判断.利用改进Inception网络对图像识别技术展开研究,分别比较了单纯图像信息情况的辨识、单纯声音信息情况的辨识,以及多模态融合情况下的辨识.通过试验分析和比较,证明该方法可以有效提高用户的图像识别能力,将特种车辆的平均识...