残差密集相对平均CGAN的脑部图像配准

目的 针对图像合成配准算法中鲁棒性差及合成图像特征信息不足导致配准精度不高的问题,提出了基于残差密集相对平均条件生成对抗网络（residual dense-relativistic average conditional generative adversarial network,RD-RaCGAN）的多模态脑部图像配准方法。方法 相对平均生成对抗网络中的相对平均鉴别器能够增强模型稳定性,条件生成对抗网络加入条件变量能提高生成数据质量,结合两种网络特点,利用残差密集块充分提取深层网络特征的能力,构建RD-RaCGAN合成模型。然后,待配准的参考CT（computed tomography）和浮动MR（magnetic resonance）图像通过已训练好的RD-RaCGAN合成模型双向合成对应的参考MR和浮动CT图像。采用区域自适应配准算法,从参考CT和浮动CT图像中选取骨骼信息的关键点,从浮动MR和参考MR图像中选取软组织信息的关键点,通过提取的关键点指导形变场的估计。从浮动CT图像到参考CT图像估计一个形变场。类似地,从浮动MR图像到参考MR图像估计一个形变场。另外,采用分层对称的思想进一步优化两个形变场,当两个形变场之间的差异达到最小时,将两个形变场融合得到最终的形变场,并将形变场作用于浮动图像完成配准。结果 实验结果表明,与其他6种图像合成方法相比,本文模型合成的目标图像在视觉效果和客观评价指标上均优于其他方法。对比Powell优化的MI（mutual information）法、ANTs-SyN（advanced normalization toolbox-symmetric normalization）、D.Demons（diffeomorphic demons）、Cue-Aware Net（cue-aware deep regression network）和I-SI（intensity and spatial information）的图像配准方法,归一化互信息分别提高了43.71%、12.87%、10.59%、0.47%、5.59%,均方根误差均值分别下降了39.80%、38.67%、15.68%、4.38%、2.61%。结论 本文提出的多模态脑部图像配准方法具有很强的鲁棒性,能够稳定、准确地完成图像配准任务。     

非刚性医学图像配准研究综述

非刚性配准技术是医学图像配准中的一个重要研究课题,是非刚性组织配准,不同个体之间的配准以及个体同图谱配准的基础。该文提出了多项式法、样条函数法等基于空间变换的配准方法,以及弹性模型、粘性流体模型和光流场模型等基于物理模型的配准方法两大类方法。同刚性配准相比,非刚性配准技术还不成熟,计算效率和稳定性还需要进一步提高,仍是一个非常活跃的研究领域。     

非刚性医学图像配准与融合

非刚性医学图像的突出特点是不同图像间可能存在着较大的形态差异,因此非刚性医学图像的配准与融合是一项极富挑战性的研究工作.本文重点对现有的非刚性医学图像配准与融合的方法进行了归纳、总结和整理,并根据作者自己的研究体会,对这一领域内的发展方向做出了展望.     

基于非刚性配准的交互式医学图像序列分割

提出了一种新的交互式医学图像序列分割算法,该算法将非刚性配准技术和解剖先验知识相结合把图像分割问题转化为图像配准问题。首先采用Demons算法进行图像配准,用光流法计算瞬时位移,设计了一个新的停止准则使其能自适应地确定迭代次数,并将它在金字塔型的多尺度框架下实现。然后用配准得到的形变域对已精确分割的图像进行形变就能自动地获得未分割目标图像的分割结果。扩展上述过程就可实现整个图像序列分割。试验结果表明该算法用户干预少、分割速度快、分割结果准确。     

基于残差密集网络的多源遥感图像自动配准

文章设计了基于残差密集网络的多源遥感图像自动配准方法。通过计算遥感图像的像素值,完成对遥感图像的采集与转换,利用残差密集网络采集遥感图像的局部特征,并结合遥感图像的全局特征,实现遥感图像的特征匹配,从而计算出遥感图像的阈值,实现多源遥感图像的自动配准。在仿真实验,与以往的多源遥感图像自动配准方法相比,基于残差密集网络的多源遥感图像自动配准方法图像配准的结构相似性为0.967,具有更高的配准精度。     

改进残差密集生成对抗网络的红外与可见光图像融合

基于深度学习的红外与可见光图像融合算法通常无法感知源图像显著性区域,导致融合结果没有突出红外与可见光图像各自的典型特征,无法达到理想的融合效果.针对上述问题,设计一种适用于红外与可见光图像融合任务的改进残差密集生成对抗网络结构.首先,使用改进残差密集模块作为基础网络分别构建生成器与判别器,并引入基于注意力机制的挤压激励网络来捕获通道维度下的显著特征,充分保留红外图像的热辐射信息和可见光图像的纹理细节信息;其次,使用相对平均判别器,分别衡量融合图像与红外图像、可见光图像之间的相对差异,并根据差异指导生成器保留缺少的源图像信息;最后,在TNO等多个图像融合数据集上进行实验,结果表明所提方法能够生成目标清晰、细节丰富的融合图像,相比基于残差网络的融合方法,边缘强度和平均梯度分别提升了64.56%和64.94%.     

联合弯曲能量和标志点对应约束的非刚性医学图像配准

由于缺乏图像几何空间约束,基于互信息的非刚性医学图像配准常常产生不合理的形变。提出一种联合弯曲能量和标志点对应约束的非刚性医学图像配准方法,在互信息配准目标函数中添加弯曲能量惩罚和对应标志点间欧氏距离2个正则项,约束医学图像软组织不合理形变。脑部MRI、头颈部CT、胸部CBCT影像配准实验结果表明,该方法可有效提高配准质量。     

子宫肌瘤MRI影像非刚性配准研究

高强度聚焦超声(High-Intensity Focused Ultrasound,HIFU)治疗和磁共振技术结合(MRI-guided HIFU,MRgHIFU)采用MRI进行目标定位、治疗规划和能量沉积的闭环控制以保障热消融不伤及周围组织,其中图像配准是校正定位误差,实施精确治疗的重要环节。针对三维非刚性配准方法,在子宫肌瘤的治疗计划修正和跟踪方面的应用进行研究。针对前后两个不同时段采集的子宫肌瘤MR影像,分别进行基于自由形变模型(Free-From Deformation,FFD)算法和Demons算法的非刚性配准对比。实验结果表明,该基于FFD的非刚性配准算法,对于形变较小的子宫肌瘤真实数据能够取得较为合适的配准效果,重叠区域的互相关系数(CC)从配准前的0.59提高到配准后的0.74。     

生成对抗残差网络的医学图像融合算法

针对传统医学图像融合中需要依靠先验知识手动设置融合规则和参数,导致融合效果存在不确定性、细节表现力不足的问题,提出了一种基于改进生成对抗网络（GAN）的脑部计算机断层扫描（CT）/磁共振（MR）图像融合算法。首先,对生成器和判别器两个部分的网络结构进行改进,在生成器网络的设计中采用残差块和快捷连接以加深网络结构,更好地捕获深层次的图像信息;然后,去掉常规网络中的下采样层,以减少图像传输过程中的信息损失,并将批量归一化改为层归一化,以更好地保留源图像信息,增加判别器网络的深度以提高网络性能;最后,连接CT图像和MR图像,将其输入到生成器网络中得到融合图像,通过损失函数不断优化网络参数,训练出最适合医学图像融合的模型来生成高质量的图像。实验结果表明,与当前表现优良的基于离散小波变换（DWT）算法、基于非下采样剪切波变换（NSCT）算法、基于稀疏表示（SR）算法和基于图像分类块稀疏表示（PSR）算法对比,所提算法在互信息（MI）、信息熵（IE）、结构相似性（SSIM）上均表现良好,最终的融合图像纹理和细节丰富,同时避免了人为因素对融合效果稳定性的影响。     

一种改进的非刚性医学图像配准算法

非刚性医学图像配准是医学影像处理和应用中重要的研究课题.对传统的基于局部仿射变换的非刚性图像配准模型进行了改进,结合图像的区域灰度信息和切比雪夫低通滤波器幅度特性提出了一种新颖的非刚性医学图像配准算法.该算法采用自适应的局部非线性正则项,比传统算法更好地保持了图像的局部细节和边缘信息,通过结合多分辨率分层细化以及由粗到细的变形技术求解策略,很好地解决了传统配准模型无法对大变形单模态图像或者存在灰度差异的多模态图像之间进行配准的问题.实验证明,该模型和算法可以很好地实现对医学图像的非刚性配准.     

基于密集连接块U-Net的语义人脸图像修复

针对人脸图像在待修复缺损面积较大时,现有方法的修复存在图像语义理解不合理、边界不连贯等视觉瑕疵的问题,提出基于密集连接块的U-Net结构的端到端图像修复模型,以实现对任意模板的语义人脸图像的修复。首先,采用生成对抗网络思想,生成器采用密集连接块代替U-Net中的普通卷积模块,以捕捉图像中缺损部分的语义信息并确保前面层的特征被再利用;然后,使用跳连接以减少通过下采样而造成的信息损失,从而提取图像缺损区域的语义;最后,通过引入对抗损失、内容损失和局部总变分（TV）损失这三者的联合损失函数来训练生成器,确保了修复边界和周围真实图像的视觉一致,并通过Hinge损失来训练判别器。所提模型和GLC、DF、门控卷积（GC）在人脸数据集CelebA-HQ上进行了对比。实验结果表明,所提模型能有效提取人脸图像语义信息,修复结果具有自然过渡的边界和清晰的局部细节。相较性能第二的GC,所提模型对中心模板修复的结构相似性（SSIM）和峰值信噪比（PSNR）分别提高了5.68%和7.87%,Frechet Inception距离（FID）降低了7.86%;对随机模板修复的SSIM和PSNR分别提高了7.06%和4.80%,FID降低了6.85%。     

基于Wasserstein距离与生成对抗网络的高光谱图像分类

近年来, 基于生成对抗网络的高光谱图像分类方法取得了很大进展. 它们虽可以缓解训练样本数量有限的问题, 但是容易受到训练数据不平衡的影响, 并且存在模式崩溃问题. 针对这些问题, 提出了一种用于高光谱图像分类的SPCA-AD-WGAN模型. 首先, 为了解决训练数据不平衡导致分类精度降低的问题, 添加了单独的分类器, 与判别器分开训练. 其次, 将Wasserstein距离引入网络, 以缓解GAN模型崩溃的问题; 在两个HSI数据集上的实验结果表明, SPCA-AD-WGAN具有更好的分类性能.     

基于可变损失和流形正则化的生成对抗网络

针对生成对抗网络中鉴别器在少量标记样本上的分类精度较差以及对流形局部扰动的鲁棒性不足的问题,提出一种基于可变损失和流形正则化的生成对抗网络算法。当标记样本较少时,该算法在鉴别器中利用可变损失代替原有对抗损失以解决训练前期分类性能较差的鉴别器对半监督分类任务的不利影响。此外,在鉴别器可变损失的基础上加入流形正则项,通过惩罚鉴别器在流形上分类决策的变化提高鉴别器对局部扰动的鲁棒性。以生成样本的质量和半监督的分类精度作为算法的评价标准,并在数据集SVHN和CIFAR-10上完成了数值实验。与其他半监督算法的对比结果表明,该算法在使用少量带标记数据的情况下能得到质量更高的生成样本和精度更高的分类结果。     

基于Wasserstein GAN的文档表示模型

文档表示模型可以将非结构化的文本数据转化为结构化数据,是多种自然语言处理任务的基础,而目前基于词的模型在文档表示任务中有着无法直接表示文档的缺陷。针对此问题,基于生成对抗网络GAN可以使用两个神经网络进行对抗学习,从而很好地学习到原始数据分布的特点,提出了文档表示模型WADM,使用去噪自编码器作为其判别网络,由其隐层直接得到文档的分布表示。实验表明,WADM能够准确抽取文档特征,相比基于词的模型具有更强的文档表示能力。     

基于生成对抗网络的智能音乐制作综述

如何借助计算机算法进行音乐的自动或半自动化生成工作一直是人工智能领域的一个研究热点。近年来,随着深度学习技术的深入发展,使用基于神经网络并契合乐理先验知识的方法来生成高质量、多样性智能音乐的任务也引起了研究者的重视。其中,引入生成对抗机制以提升生成效果的工作取得了一定成果,同时也具备极大的提升空间。为了更好地推进后续研究工作,对相关领域的现有成果进行全面而系统的梳理、分析、总结具有比较重要的意义。首先对机器作曲的发展过程进行了回顾,对音乐领域常用的GAN相关重要模型进行了简要归纳介绍,对引入了生成对抗训练机制的音乐生成方法进行了重点分析,最后对该领域的现状进行了总结,并进一步展望了未来的发展方向。     

GAN图像对抗样本生成方法

为了提高生成对抗网络模型对抗样本的多样性和攻击成功率,提出了一种GAN图像对抗样本生成方法.首先,利用原始样本集整体训练一个深度卷积对抗生成网络G1,模拟原始样本集分布;其次,在黑盒攻击场景下,利用模型蒸馏方法对目标模型进行黑盒复制,获取目标模型的本地复制;然后以G1的输出作为输入,以蒸馏模型作为目标模型,训练生成对抗...     

Edge-guided GAN：边界信息引导的深度图像修复

目的 目前大多数深度图像修复方法可分为两类：色彩图像引导的方法和单个深度图像修复方法。色彩图像引导的方法利用色彩图像真值,或其上一帧、下一帧提供的信息来修复深度图像。若缺少相应信息,这类方法是无效的。单个深度图像修复方法可以修复数据缺失较少的深度图像。但是,无法修复带有孔洞（数据缺失较大）的深度图像。为解决以上问题,本文将生成对抗网络（generative adversarial network,GAN）应用于深度图像修复领域,提出了一种基于GAN的单个深度图像修复方法,即Edge-guided GAN。方法 首先,通过Canny算法获得待修复深度图像的边界图像,并将此两个单通道图像（待修复深度图像和边界图像）合并成一个2通道数据;其次,设计Edge-guided GAN高性能的生成器、判别器和损失函数,将此2通道数据作为生成器的输入,训练生成器,以生成器生成的深度图像（假值）和深度图像真值为判别器的输入,训练判别器;最终得到深度图像修复模型,完成深度图像修复。结果 在Apollo scape数据集上与其他4种常用的GAN、不带边界信息的Edge-guided GAN进行实验分析。在输入尺寸为256×256像素,掩膜尺寸为32×32像素情况下,Edge-guided GAN的峰值信噪比（peak signal-to-noise ratio,PSN）比性能第2的模型提高了15.76%;在掩膜尺寸为64×64像素情况下,Edge-guided GAN的PSNR比性能第2的模型提高了18.64%。结论 Edge-guided GAN以待修复深度图像的边界信息为其修复的约束条件,有效地提取了待修复深度图像特征,大幅度地提高了深度图像修复的精度。