基于动态卷积的多模态脑MR图像生成

近年来, 通过自动生成方法获取多模态MR图像得到了广泛研究, 但仍难以通过一种模态直接生成其他各类模态的图像. 针对该问题, 本文提出了动态生成对抗网络. 新模型通过将生成对抗网络与动态卷积相结合, 同时加入任务标签这一条件, 实现从一种MR模态同时生成其他3种MR模态. 同时为了提高图像生成质量, 进一步提出了多尺度判别策略, 通过融合多个尺度来提升判别效果. 基于BRATS19数据集进行生成验证, 实验结果表明, 新方法不但可以同时生成多种模态的数据, 而且提高了生成图像的质量.     

拟合精度引导的扩散加权图像配准

扩散加权图像的量化分析在临床诊断上有着广泛应用,而图像采集时病人呼吸、心脏运动导致的不同b值图像间的偏差对诊断结果有着重要影响,因此配准是精确量化估计的前提条件。由于由于不同b值的扩散加权图像中的信号衰减程度不同且同一b值图像内存在灰度不均匀性,因此使用传统的配准算法会导致在将不同b值图像配准到b₀图像的过程中产生较大的偏移,尤其是在高b值的图像上。文中提出了拟合精度引导自由形变(Free -Form Deformation,FFD)模型的新方法,实现了多b值扩散加权图像的精确配准。所提方法应用体素不相干运动(Intra-Voxel Incoherent Motion,IVIM)模型对图像进行参数拟合从而得到拟合精度,并使用拟合精度构造的权重矩阵对图像中的不同位置自适应地加权自由形变的变形步长以得到最优的变形场。5组不同b值序列图像上的实验结果表明,所提方法提高了扩散加权图像的配准效果,且经过配准后获得了更加精确的IVIM模型参数。     

基于体素联合坐标的单人三维姿态估计EI北大核心CSCD

从单幅彩色图像获取三维人体姿态是许多应用的基本任务,但精度不足和不适定姿态难以判断的问题一直存在,因此提出一个基于深度学习的方法处理三维姿态估计的问题.首先,使用空间体素作为数据存储结构,提出联合坐标的表达方式;其次,利用空间积分回归的方法来计算卷积网络的输出结果;最后将输出送入全连接网络进行联合训练.所提方法在human3.6m数据集的2种标准测试协议下进行了测试,取得了比以往大部分方法更高的精确度,面对MPI-INF-3DHP等数据集时也展现出良好的泛化能力.     

IVIM及纹理分析在术前预测宫颈癌类型和淋巴结转移研究进展

本文综述了体素内不相干运动扩散加权成像（intravoxel incoherent motion diffusion-weighted imaging,IVIM-DWI）及纹理分析技术在术前鉴别宫颈癌组织学亚型及淋巴结转移的临床应用进展。MRI（magnetic resonance imaging）是宫颈癌临床术前最常用的影像学诊断和分期方法。宫颈癌的组织学类型及有无淋巴结转移与患者的生存及预后紧密相关。IVIM-DWI为MRI新型功能成像技术,其D值反映组织内单纯水分子的布朗运动信息、间接反映恶性肿瘤组织细胞密集度;其D^*值和f值能提供肿瘤组织内血流灌注的信息。影像组学的纹理分析技术（texture analysis,TA）通过提取肿瘤组织的纹理特征进行客观、定量分析,能检测人眼不能识别的肿瘤组织的微观改变,揭示更多肿瘤组织的灰度分布与定量数据特征,为临床术前预测宫颈癌不同组织学类型及转移淋巴结提供了可能。     

基于回波信号的环视SAR成像运动参数估计

环视合成孔径雷达(Circular-scanning SAR) 主要用于在 导弹精确末制导中进行景象匹配,而雷达的运动参数是实现精确制导的关键因素之一。运动 参数可以由GPS和IMU直接测得,也可以通过从实测数据中估计得出。由于环扫SAR雷达平台 具有运动速度快、非匀速运动和大斜视等特点,因此对多普勒参数估计精度要求比较高。而 由现有GPS和IMU测得的雷达运动参数由于具有较大误差一般很难满足成像精度要求,因此本 文将两者结合针对实际雷达和运动情况,对运动参数作了精确估计和运动补偿,以适应环扫S AR高分辨率成像和精确制导的要求。仿真数据处理的结果表明,该方法能准确地实现上述参 数估计,从而显著提高了环视SAR系统输出图像的质量。实测数据则证明了该方法具有很强 的实用性。     

基于卷积神经网络的图像分割应用

近年来,计算机视觉领域随着深度学习的发展取得了长足进步,而该领域中卷积神经网络发挥了重要作用。计算机视觉领域的发展与物品识别检测、视频监控分析等息息相关,在日常生活和生产中具有重要作用。作为其最基本的算法之一,图像语义分割更是关键所在,只有保证图像语义分割,才能使后续算法正常执行分类或者识别命令。基于此,探讨了卷积神经网络在计算机视觉领域尤其是图像分割方面的应用,以提升图像分割算法的效率及效果。     

基于卷积神经网络的欠采样脑部核磁共振图像重建方法

针对目前基于深度学习的欠采样磁共振（MR）图像重建方法都是基于单个切片的重建而忽略相邻切片间的数据冗余的问题，提出一种用于欠采样的多切片脑部MR图像重建的混合级联卷积神经网络（HC-CNN）。首先，将传统的重建方法拓展为基于深度学习的重建模型，并使用级联卷积神经网络来代替传统的迭代重建框架。然后，在每次迭代重建中，分别使用3D卷积模块和2D卷积模块来学习脑部MR图像序列中存在的相邻切片间与单幅切片内部的数据冗余。最后，在每次迭代中使用数据一致性（DC）模块来保持重建图像在k-空间的数据保真度。在单线圈脑部MR图像数据集上的仿真实验结果显示，相较于基于单幅MR图像的重建方法，所提方法在4倍加速因子下的峰值信噪比（PSNR）值平均提升了1.75 dB，在6倍降采样因子下的PSNR值平均提升了2.57 dB，而且该方法的单张图像重建平均用时为15.4 ms。实验结果表明：所提方法不仅能够有效利用切片间的数据冗余并重建出更高质量的图像，而且具有较高的实时性。     

基于卷积盲降噪的混合式核磁共振成像

为了解决图像压缩感知重建研究领域中通过有效的图像先验信息重构与原图相似性高且保留细节消除伪影的高质量图像的问题, 针对不足采样的K空间数据, 在经典的CNN算法CBDNet算法的基础上, 通过融合深度学习先验信息及传统图像恢复各自优势的方法, 研究了基于深度神经网络去噪先验和BM3D块压缩感知算法的混合式重构算法. 该算法采用交互式方法训练多尺度残差网络抑制噪声水平, 借优化选择的方式将深度学习与传统块匹配多尺度结合以提取图像不同尺度的特征数据从而实现抑制伪影、快速重建高质量MRI. 实结果表明深度学习结合BM3D在MR图像重构领域能够有效降低伪影保留细节信息, 加强重构效果. 与此同时, 通过采用GPU的加速运算, 算法的计算复杂度较使用单一算法并未增加很多. 可见基于卷积盲降噪的混合式核磁共振成像效果更佳.     

基于稀疏编码的弥散微循环模型参数估计神经网络

弥散磁共振成像（Diffusion magnetic resonance imaging,dMRI）是一种重要的无创检测生物组织微观结构的医学成像工具,其中弥散微循环模型（Intravoxel incoherent motion,IVIM）是已被广泛用于分离组织水扩散和微血管血流运动的弥散磁共振成像模型。求解弥散微循环模型参数的传统方法依赖于从多b值扩散弥散磁共振成像数据（通常≥10个b值）中拟合双指数模型,这需要一个相对较长的采集时间,对于体部弥散微循环模型成像是一个挑战。深度学习方法可以使用q空间数据的一个子集进行弥散磁共振成像模型参数估计,从而加速弥散磁共振成像的采集。然而,常见的基于卷积神经网络的深度学习与生物物理模型无关,因此,网络输出结果缺乏可解释性。本文将稀疏编码与深度学习相结合,提出了一种基于稀疏编码深度学习网络的弥散微循环模型参数估计方法。它利用了深度网络的表达优势,同时结合稀疏化表达的双指数模型来估计胎盘的弥散微循环模型参数,相比于其他算法,本文所拟的算法实现了更高的参数估计准确率和泛化能力。     

基于Radon变换的运动模糊图像参数估计

运动模糊图像的参数估计直接影响图像的去模糊效果。提出了基于Radon变换的参数估计算法,结合运动模糊图像的频谱特性和Radon变换的数学含义,通过计算运动模糊图像二维频谱的Radon变换值,有效地估计出运动模糊的方向角θ和长度L两个参数。实验表明,该方法简单可行,参数估计准确,最终的图像去模糊效果良好。     

基于动态图卷积的加权点云分类网络

传统的直接处理点云的PointNet类深度学习网络大多只考虑了点云的全局特征而忽视了点云局部特征,动态图卷积网络DGCNN通过构建[k]近邻图完成了对局部特征的弥补。然而现有的DGCNN使用简单的边缘特征作为局部特征的输入,没有对局部特征进行更深入的研究,且仅使用最大池化处理点云无序性问题,这造成了一定的信息损失。提出加权点云分类网络WDGCNN,使用特征拼接思想优化网络结构以实现多层次特征的融合、通过对[k]近邻图构成的边缘特征设计恰当的加权函数以弱化远点的干扰,相对加强近点的特征、采用最大池化和平均池化相结合的对称函数弥补单独使用最大池化造成的全局信息损失的新方法,实现了模型优化。实验结果表明,在通用点云分类数据集ModelNet40上,WDGCNN相比于DGCNN分类准确率由91.61%达到了93.22%,验证了新方法的有效性。     

基于稠密扩张卷积的图像语义分割模型

为解决图像语义分割任务中面对的分割场景的复杂性、分割对象的多样性及分割对象空间位置的差异性问题, 提高语义分割模型的精度, 提出基于稠密扩张卷积的双分支多层级语义分割网络(double branch and multi-stages network, DBMSNet). 首先采用主干网络提取输入图像的4个不同分辨率的特征图(De1、De2、De3、De4), 其次采用特征精炼(feature refine, FR)模块对De1和De3这两个特征图进行特征精炼处理, 特征精炼处理之后的输出分支经过混合扩张卷积模块(mixed dilation module, MDM)编码空间位置特征, De4分支采用金字塔池化模块(pyramid pooling module, PPM)编码高级语义特征, 最后将两个分支进行融合, 输出分割结果. 在数据集CelebAMask-HQ和Cityscapes中进行实验, 分别得到mIoU精度为74.64%、78.29%. 结果表明, 本文方法的分割精度高于对比方法, 且具有更少的参数量.     

基于深度学习中间层卷积特征的图像标注

针对基于深度特征的图像标注模型训练复杂、时空开销大的不足,提出一种由深 度学习中间层特征表示图像视觉特征、由正例样本均值向量表示语义概念的图像标注方法。首 先,通过预训练深度学习模型的中间层直接输出卷积结果作为低层视觉特征,并采用稀疏编码 方式表示图像;然后,采用正例均值向量法为每个文本词汇构造视觉特征向量,从而构造出文 本词汇的视觉特征向量库;最后,计算测试图像与所有文本词汇的视觉特征向量相似度,并取 相似度最大的若干词汇作为标注词。多个数据集上的实验证明了所提出方法的有效性,就 F1 值而言,该方法在 IAPR TC-12 数据集上的标注性能比采用端到端深度特征的 2PKNN 和 JEC 分 别提高 32%和 60%。     

空洞卷积的多尺度语义分割网络

计算机硬件的发展极大程度地促进了计算机视觉的发展,卷积神经网络在语义分割中取得了令人瞩目的成就,但多卷积层叠加难免造成图像中目标边界信息的丢失。为了尽可能保留边界信息,提高图像分割精度,提出一种多尺度空洞卷积神经网络模型。该模型利用多尺度池化适应图像中不同尺度目标,并利用空洞卷积学习目标特征,在更加准确识别目标的同时,提高目标边界的识别精度,在ISPRS Vaihingen数据集上的实验结果表明,提出的多尺度空洞卷积神经网络对于目标边界的拟合结果较为理想。     

一种基于群等变卷积的度量元学习算法

传统机器学习方法泛化性能不佳,需要通过大规模数据训练才能得到较好的拟合结果,因此不能快速学习训练集外的少量数据,对新种类任务适应性较差,而元学习可实现拥有类似人类学习能力的强人工智能,能够快速适应新的数据集,弥补机器学习的不足。针对传统机器学习中的自适应问题,利用样本图片的局部旋转对称性和镜像对称性,提出一种基于群等变卷积神经网络（G-CNN）的度量元学习算法,以提高特征提取能力。利用G-CNN构建4层特征映射网络,根据样本图片中的局部对称信息,将支持集样本映射到合适的度量空间,并以每类样本在度量空间中的特征平均值作为原型点。同时,通过同样的映射网络将查询机映射到度量空间,根据查询集中样本到原型点的距离完成分类。在Omniglot和miniImageNet数据集上的实验结果表明,该算法相比孪生网络、关系网络、MAML等传统4层元学习算法,在平均识别准确率和模型复杂度方面均具有优势。     

基于蓝图可分离卷积的轻量级水下图像超分辨率重建

由于水体中存在的悬浮颗粒以及高频随机运动的湍流引起光的散射和吸收而导致水下图像存在纹理模糊、分辨率低、扭曲失真等系列问题,而目前存在的大部分深度学习图像超分辨率重建算法存在着计算复杂、模型的复杂度大、内存占用高等不足。针对这些不足,提出基于蓝图可分离卷积的轻量级水下图像超分辨率重建网络,该模型分为浅层特征提取、深度特征提取、多层特征融合以及图像重建四个阶段,深度特征提取阶段中,在BSRN的基础上去除特征蒸馏分支、采用增加通道数进行补偿,同时利用三个蓝图卷积来进行残差局部特征学习以简化特征聚合,实现网络的轻量化。实验结果表明,所提出的方法在运行时间、参数量、模型复杂度方面均优于目前已提出的超分算法,放大因子为2和4时,峰值信噪比(PSNR)和结构相似度(SSIM)均值分别达到了31.5560dB、0.8620和27.7088dB、0.7213,重建质量获得进一步提升。     

深度卷积神经网络在图像美学评价的应用综述

随着近年来深度学习的日益发展,图像美学评价逐渐成为一个新的热门研究课题,深度卷积神经网络在图像美学评价的应用成功地取得了可观的发展成果,并引起了广泛的关注。为了解决现有综述存在的文献概括不全、对该技术的发展情况认识不足的问题,先后从全局感知和局部感知、个性化查询、手工特征提取与深度卷积神经网络结合等角度对其发展情况进行了详细地阐述,对图像美学评价、图像裁剪、工具应用等应用情况作了分析,并从充分结合多场景、巧用构图规则、提前建立美学图像数据集等角度进行了未来工作展望。