基于稀疏表示和脉冲耦合神经网络的医学影像融合算法

为满足医学图像辅助诊断的需要,提出一种基于稀疏表示和脉冲耦合神经网络（PCNN）的CT和MR影像融合算法。首先,原始图像通过滑动窗方法构成联合矩阵,通过K-SVD算法得到该联合矩阵的冗余字典,采用正交匹配追踪算法得到该联合矩阵的稀疏系数;然后,根据稀疏系数的特点,采用脉冲耦合神经网络来融合稀疏系数;最后,由融合后的稀疏系数和冗余字典得到融合矩阵,反变换得到融合图像。实验图像为10组配准的脑部CT和MR图像,采用5种性能指标来评价融合图像的质量,同2种流行的医学影像融合算法进行比较,结果显示算法除Q^AB/F指数外,其他4项指标均为最优,Piella指数、Q^AB/F指数和BSSIM指数的均值分别为0.760 4、0.877 1和0.537 3,融合图像的纹理和边缘清晰,对比度高。主观和客观分析显示,算法的融合性能比较优越。     

基于在线字典学习和脉冲耦合神经网络的脑图像融合

医学图像融合是医学影像和放射医学等领域的研究热点之一,广受医学界和工程界重视。提出一种基于在线字典学习(ODL)和脉冲耦合神经网络(PCNN)的脑部CT和MR图像融合新算法。首先,利用滑动窗技术将源图像分块,使用ODL算法和最小角回归算法(LARS)得到各图像块对应列向量的稀疏编码;其次,将稀疏编码作为脉冲耦合神经网络的外部输入刺激信号进行迭代处理,根据点火次数确定融合系数;最后,根据融合系数和学习字典重构融合图像。基于哈佛医学院的10组脑部CT和MR数据,将所提出算法同基于KSVD的融合算法、基于ODL的融合算法、基于NSCT的融合算法比较。实验结果显示：综合考虑主观视觉效果和客观评价指标,该算法性能整体优于其他算法,客观参数指标BSSIM、MI、Piella、SF、STD、Q^AB/F的均值分别为0.751 2、3.769 6、0.697 1、29.526 7、90.090 6、0.570 7,可以提供丰富的信息来辅助医生分析病变体,提高临床医疗诊断的准确性和治疗规划的科学性。     

基于在线字典学习的医学图像特征提取与融合

提出一种基于在线字典学习(ODL)的医学图像特征提取与融合的新算法。首先,采用大小为8像素×8像素的滑动窗处理源图像,得到联合矩阵;通过ODL算法得到该联合矩阵的冗余字典,并利用最小角回归算法(LARS)计算该联合矩阵的稀疏编码;将稀疏编码列向量的1范数作为稀疏编码的活动级测量准则,然后根据活动级最大准则融合稀疏编码;最后根据融合后的稀疏编码和冗余字典重构融合图像。实验图像为20位患者的已配准脑部CT和MR图像,采用5种性能指标评价融合图像的质量,同两种流行的融合算法比较。结果显示,所提出算法的各项客观指标均值最优,Piella指数、QAB/F指数、MIAB/F指数、BSSIM指数和空间频率的均值分别为0.800 4、0.552 4、3.630 2、0.726 9和31.941 3,融合图像对比度、清晰度高,病灶的边缘清晰,运行速度较快,可以辅助医生诊断和临床治疗。     

联合稀疏表示的医学图像融合及同步去噪

将多模态医学图像的互补信息有机地融合在一起,可为临床诊断和辅助治疗提供丰富信息和有效帮助。基于联合稀疏模型,提出一种联合稀疏表示的医学图像融合算法,当图像被噪声污染时,该算法在融合的同时兼有去噪功能。首先,将配准的源图像编纂成列向量并组成联合矩阵,通过在线字典学习算法(ODL)得到该矩阵的超完备字典;其次,利用该字典得到联合稀疏模型下的联合字典,之后利用最小角回归算法(LARS)计算基于联合字典的公共稀疏系数和各图像的独特稀疏系数,并根据“选择最大化”融合规则得到融合图像的稀疏系数;最后,根据融合系数和超完备字典重构融合图像。将该算法与3种经典算法比较,结果显示其主观上亮度失真和对比度失真较小,边缘纹理清晰,客观参数指标MI、Q^AB/F在无噪声干扰和有噪声干扰时的统计均值分别为：3.992 3、2.896 4、2.505 5和0.658、0.552 4、0.439 6,可以为临床诊断和辅助治疗提供有效帮助。     

图像增强下基于生成对抗网络和卷积神经网络的CT与MRI融合方法

针对多模态医学图像融合中的重要特征丢失、细节表现不突出和纹理不清晰等问题,提出一种图像增强下使用生成对抗网络（GAN）和卷积神经网络（CNN）进行电子计算机断层扫描（CT）图像与磁共振成像（MRI）图像融合的方法。生成器针对高频特征图像,双鉴别器针对逆变换后的融合图像;高频特征图像通过GAN模型进行特征融合,低频特征图像通过基于迁移学习的CNN预训练模型进行特征融合。实验结果表明,与当前先进融合算法相比,所提方法在主观表现上纹理细节特征更加丰富,轮廓边缘信息更加清晰突出;在客观指标评估中,融合质量评价指标（QAB/F）、信息熵（IE）、空间频率（SF）、结构相似性（SSIM）、互信息（MI）和融合视觉信息保真度（VIFF）等关键指标比其他最佳测试结果分别提高了2.0%、6.3%、7.0%、5.5%、9.0%和3.3%。融合后图像可以有效地应用于医学诊断,进一步提高诊断效率。     

一种基于LBP特征提取和稀疏表示的肝病识别算法

由于肝脏超声图像具有回声不均匀、边缘模糊等缺点,肝脏疾病的无创诊断易受影响,而且目前临床基于肝脏超声图像的肝病诊断主要依靠医生的主观判断,其缺点为依赖医生主观经验且耗时,因此提出一种基于局部二值模式(LBP)特征提取和稀疏表示的肝病识别算法。从肝脏超声图像中提取感兴趣区域,使用LBP特征提取方法对感兴趣区域提取图像特征,将得到的特征进行字典训练,得到稀疏矩阵,最终采取支持向量机对其进行分类。实验样本均取自青岛大学附属医院肝胆科。实验1使用该方法对100个正常肝脏样本和100个肝硬化样本进行分类,准确率达到99.50%,实验2使用该方法对肝硬化、脂肪肝、肝血管瘤和肝癌4类样本共200个进行分类,AUC值分别为67.2%、65.1%、55.0%和62.6%。ROC曲线表明,提出的分类方法在准确率和泛化能力上均优于传统方法,有助于肝病的临床诊断。     

基于融合多网络深层卷积特征和稀疏双关系正则化方法的乳腺癌图像分类研究

乳腺癌是全球女性癌症死亡的主要原因之一。现有诊断方法主要是医生通过乳腺癌观察组织病理学图像进行判断,不仅费时费力,而且依赖医生的专业知识和经验,使得诊断效率无法令人满意。针对以上问题,设计基于组织学图像的深度学习框架,以提高乳腺癌诊断准确性,同时减少医生的工作量。开发一个基于多网络特征融合和稀疏双关系正则化学习的分类模型:首先,通过子图像裁剪和颜色增强进行乳腺癌图像预处理;其次,使用深度学习模型中典型的3种深度卷积神经网络(InceptionV3、ResNet-50和VGG-16),提取乳腺癌病理图像的多网络深层卷积特征并进行特征融合;最后,通过利用两种关系(“样本-样本”和“特征-特征”关系)和l_F正则化,提出一种有监督的双关系正则化学习方法进行特征降维,并使用支持向量机将乳腺癌病理图像区分为4类—正常、良性、原位癌和浸润性癌。实验中,通过使用ICIAR2018公共数据集中的400张乳腺癌病理图像进行验证,获得93%的分类准确性。融合多网络深层卷积特征可以有效地捕捉丰富的图像信息,而稀疏双关系正则化学习可以有效降低特征冗余并减少噪声干扰,有效地提高模型的分类性能。     

基于人工智能和临床诊断的上肢康复评估方法研究进展

脑卒中导致患者肢体运动功能障碍或缺失,严重影响了患者的生活质量。在上肢康复治疗中,医生需要对患者的上肢进行主观康复评估,但这种方法误差大、成本高。因此,人们将人工智能技术应用到医疗康复领域。本文总结了基于s EMG信号特征、运动轨迹误差特征、关节运动角度特征、关节角速度特征的客观评估方法,以及Brunnstrom等级评价法、上田敏评价法、Fugl-Meyer量表评价法、Wolf运动功能测试评价方法等主观评估方法。最后,本文认为现有的客观评估方法普遍受到训练资料过少、特征单一等因素影响。主观评估方法普遍受到评估时间过长、易受主观影响等因素影响。未来的客观评估算法还应在算法准确性、训练资料规模、多特征融合等方面继续改进。     

基于双稀疏模型的压缩感知核磁共振图像重构

医学核磁共振图像重构技术是核磁共振成像领域的关键技术之一。压缩感知理论指出利用核磁共振图像的稀疏性能够从高度欠采样的观测值中精确重构图像。如何利用图像的稀疏性先验以及更多的先验知识来提高重构质量成为核磁共振成像的一个关键问题。本文根据综合稀疏模型和稀疏变换模型的相互补充作用,利用核磁共振图像在这两种模型下的稀疏性先验,将结合了综合稀疏模型与稀疏变换模型的双稀疏模型应用于压缩感知核磁共振图像的重构系统,提出了一种融合双字典学习的自适应图像重构模型。本文充分利用了图像在自适应综合字典学习和自适应变换字典学习下的两种稀疏先验知识,使用交替迭代最小化法对提出的模型进行分阶段求解,求解过程中引入了综合K-奇异值分解(K-SVD)算法和变换K-SVD算法。通过实验验证,与目前较好的核磁共振图像重构模型对比,本文提出模型的图像重构效果更好、收敛速度更快,且具有更好的鲁棒性。     

梯度域三维头部PET/CT图像融合

针对目前图像融合算法基于像素级实现、未充分考虑图像纹理特征、融合效果不理想的现状,本文通过结构张量特征值构造特征模板,在梯度域通过特征加权获得融合梯度场,充分考虑图像特征在融合过程中的决策力,将特征级融合思想嵌入到算法中,在此基础上实现三维数据的直接融合,同等对待3个维度的信息。在头部PET/CT图像融合实验中,本文算法较基于小波变换的三维数据融合方法,清晰度提升64%,交叉熵提升21%,客观评价优势显著。从图像整体亮度、边缘清晰程度等视觉效果方面比较,本文算法亦优于基于小波变换的融合方法。最后,将融合灰度图像和PET源图像通过Alpha半透明图像叠加进行伪彩色显示,进而提升融合结果中有效信息的辨识程度。     

Medical Image Fusion Based on Sparse Representation with KSVD

Medical image fusion is a process by which two different models of images are combined into a single image, in order to provide doctors with accurate diagnoses, and take right action. This paper proposes an image fusion method based on sparse representation with KSVD. Firstly, all source images are combined into a joint-matrix, which can be represented with sparse coefficients using an overcompletedictionary trained by KSVD algorithm. Secondly, the coefficients which are considered as image features are combined with the choose-max fusion rule. Finally, the fused image is reconstructed from the concatenated coefficients and the overcomplete dictionary. Compared with three state-of-the-art algorithms, the proposed method has better fusion performance.     

基于稀疏表示的视网膜图像对变化检测

视网膜图像对变化检测主要研究两个不同时间点所采集到图像的变化情况。图像间的亮度差异及解剖结构与病灶的亮度相似性,使得基于逐点对比的差分方法或商方法很难准确检测变化区域。针对光照干扰问题,提出对光照具有鲁棒性的稀疏表示(SRC)变化检测方法。SRC方法先抽取参考图像局部区域块构建字典,再通过稀疏表示重构当前图像的局部背景块,最后利用背景相减获得变化区域。通过该方法,图像对的亮度差异可用稀疏表示系数自动调整,而基于块的方式可过滤掉局部光照,更有效地检测出变化区域。SRC方法与其他检测方法结合,可以增加检测结果的准确性。实验根据一对来自DRIVE数据集的小病灶仿真数据,SRC方法的AUC和mAP值分别为0.986和0.865;对一对采集自临床的大病灶数据,SRC与迭代鲁棒同态曲面拟合(IRHSF)校正结合方法的AUC和mAP值分别达到了0.989和0.969。实验结果表明,SRC方法比RPCA方法对局部光照鲁棒性更强,比基于逐点的比较差分方法更多地考虑局部邻域信息,能够更有效地检测出变化区域。     

Feature-Motivated Simplified Adaptive PCNN-Based Medical Image Fusion Algorithm in NSST Domain

Multimodality medical image fusion plays a vital role in diagnosis, treatment planning, and follow-up studies of various diseases. It provides a composite image containing critical information of source images required for better localization and definition of different organs and lesions. In the state-of-the-art image fusion methods based on nonsubsampled shearlet transform (NSST) and pulse-coupled neural network (PCNN), authors have used normalized coefficient value to motivate the PCNN-processing both low-frequency (LF) and high-frequency (HF) sub-bands. This makes the fused image blurred and decreases its contrast. The main objective of this work is to design an image fusion method that gives the fused image with better contrast, more detail information, and suitable for clinical use. We propose a novel image fusion method utilizing feature-motivated adaptive PCNN in NSST domain for fusion of anatomical images. The basic PCNN model is simplified, and adaptive-linking strength is used. Different features are used to motivate the PCNN-processing LF and HF sub-bands. The proposed method is extended for fusion of functional image with an anatomical image in improved nonlinear intensity hue and saturation (INIHS) color model. Extensive fusion experiments have been performed on CT-MRI and SPECT-MRI datasets. Visual and quantitative analysis of experimental results proved that the proposed method provides satisfactory fusion outcome compared to other image fusion methods.     

基于深度学习的多模态医学图像融合方法研究进展

医学图像融合方法可以将有用的信息整合到一张图上，提高单张图像的信息量。对多模态医学图像进行融合时，如何对图像进行有效的变换，提取到不同图像中独有的特征，并施以适当的融合规则是医学图像融合领域研究的重点。近年随着深度学习的快速发展，深度学习被广泛应用于医学图像领域，代替传统方法中的一些人工操作，并在图像表示、图像特征提取以及融合规则的选择方面显示出独特优势。本文针对基于深度学习的医学图像融合进展予以探讨，介绍了卷积神经网络、卷积稀疏表示、深度自编码和深度信念网络这些常用于医学图像融合的框架，对一些应用于融合过程不同步骤的深度学习方法进行分析和总结，最后，分析了当前基于深度学习的融合方法的不足并展望了未来的研究方向。     

基于双层字典学习的低剂量CT图像重建算法

目的低剂量投影条件下的CT图像重建。方法采用双层K-奇异值分解(K-singular value decomposition,K-SVD)字典训练的学习方法进行图像的超分辨率重建。字典学习方法中采用KSVD算法,稀疏编码采用正交匹配追踪(orthogonal matching pursuit,OMP)算法。该算法首先利用训练库进行第一层字典训练,然后利用第一层训练的字典对低分辨率图像进行重建。进而将重建图像作为第二层待重建图像的输入,这样使得第二层输入图像含有较多的高频细节信息,因此能在重构的过程中恢复更多的细节信息,让高分辨率重构图像达到较好的效果。结果双层字典重建效果明显优于KSVD算法,重建图像更接近于原始高分辨率CT图像。结论本研究对双层字典训练学习的框架进行反迭代投影的全局优化改进,改善了图像的重建质量。