基于自适应联合字典学习的脑部多模态图像融合方法

针对目前全局训练字典对于脑部医学图像的自适应性不强,以及使用稀疏表示系数的L₁范数取极大的融合方式易造成图像的灰度不连续效应进而导致图像融合效果欠佳的问题,提出一种基于自适应联合字典学习的脑部多模态图像融合方法。该方法首先使用改进的K奇异值分解（K-SVD）算法自适应地从已配准的源图像中学习得到子字典并组合成自适应联合字典,在自适应联合字典的作用下由系数重用正交匹配追踪（CoefROMP）算法计算得到稀疏表示系数;然后将稀疏表示系数的"多范数"作为源图像块的活跃度测量,并提出"自适应加权平均"与"选择最大"相结合的无偏规则,根据稀疏表示系数的"多范数"的相似度选择融合规则,当"多范数"的相似度大于阈值时,使用"自适应加权平均"的规则,反之则使用"选择最大"的规则融合稀疏表示系数;最后根据融合系数与自适应联合字典重构融合图像。实验结果表明,与其他三种基于多尺度变换的方法和五种基于稀疏表示的方法相比,所提方法的融合图像能够保留更多的图像细节信息,对比度和清晰度较好,病灶边缘清晰,客观参数标准差、空间频率、互信息、基于梯度指标、基于通用图像质量指标和平均结构相似指标在三组实验条件下的均值分别为：71.0783、21.9708、3.6790、0.6603、0.7352和0.7339。该方法可以应用于临床诊断和辅助治疗。     

基于多模态特征融合的三维点云分类方法

针对点云数据本身信息量不足导致现有三维点云分类方法分类精度较低的问题,结合多模态特征融合,设计一种三维点云分类模型。通过引入投影图对点云数据信息进行扩充,将点云数据与图像数据同时作为输入,对PointCNN模型提取的点云特征与CNN模型提取的投影图特征进行加权融合,从而得到最终分类结果。在ModelNet40数据集上的分类结果表明,该模型的分类精度达到96.4%,相比PointCNN模型提升4.7个百分点。     

基于卷积神经网络的欠采样脑部核磁共振图像重建方法

针对目前基于深度学习的欠采样磁共振（MR）图像重建方法都是基于单个切片的重建而忽略相邻切片间的数据冗余的问题，提出一种用于欠采样的多切片脑部MR图像重建的混合级联卷积神经网络（HC-CNN）。首先，将传统的重建方法拓展为基于深度学习的重建模型，并使用级联卷积神经网络来代替传统的迭代重建框架。然后，在每次迭代重建中，分别使用3D卷积模块和2D卷积模块来学习脑部MR图像序列中存在的相邻切片间与单幅切片内部的数据冗余。最后，在每次迭代中使用数据一致性（DC）模块来保持重建图像在k-空间的数据保真度。在单线圈脑部MR图像数据集上的仿真实验结果显示，相较于基于单幅MR图像的重建方法，所提方法在4倍加速因子下的峰值信噪比（PSNR）值平均提升了1.75 dB，在6倍降采样因子下的PSNR值平均提升了2.57 dB，而且该方法的单张图像重建平均用时为15.4 ms。实验结果表明：所提方法不仅能够有效利用切片间的数据冗余并重建出更高质量的图像，而且具有较高的实时性。     

基于卷积神经网络的欠采样脑部核磁共振图像重建方法

针对目前基于深度学习的欠采样磁共振（MR）图像重建方法都是基于单个切片的重建而忽略相邻切片间的数据冗余的问题,提出一种用于欠采样的多切片脑部MR图像重建的混合级联卷积神经网络（HC-CNN）。首先,将传统的重建方法拓展为基于深度学习的重建模型,并使用级联卷积神经网络来代替传统的迭代重建框架。然后,在每次迭代重建中,分别使用3D卷积模块和2D卷积模块来学习脑部MR图像序列中存在的相邻切片间与单幅切片内部的数据冗余。最后,在每次迭代中使用数据一致性（DC）模块来保持重建图像在k-空间的数据保真度。在单线圈脑部MR图像数据集上的仿真实验结果显示,相较于基于单幅MR图像的重建方法,所提方法在4倍加速因子下的峰值信噪比（PSNR）值平均提升了1.75 dB,在6倍降采样因子下的PSNR值平均提升了2.57 dB,而且该方法的单张图像重建平均用时为15.4 ms。实验结果表明：所提方法不仅能够有效利用切片间的数据冗余并重建出更高质量的图像,而且具有较高的实时性。     

基于云理论和信息融合理论的系统性能评估方法研究

现代系统结构复杂,其性能评估需要从多个层次综合评判形成合理可信的最终评估结果,评估过程大量存在多源不确定信息。不确定性的存在增加了评估过程中定性与定量综合集成的难度。云理论和信息融合理论在不确定信息和多源信息的处理上各有优点,在功能上具有一定的互补性。两者相结合能够增强对信息的处理能力,挖掘出数据中更有价值的隐含信息。本文创新地将二者结合起来,提出了新的系统性能评估模型和方法,较好地融合了影响系统性能的多源信息,充分利用和集成了信息的模糊性和随机性,完成定性和定量之间的映射。这种方法能有效地处理各多源信息的不确定性,具有科学性,同时最终得到的评价结果是语言评判值,具有直观性。该方法是对信息融合理论和云理论联合使用的探索。     

基于灰度分布匹配的多模态脑部MR图像肿瘤分割算法

针对多模态核磁共振(MR)脑肿瘤图像的分割问题,提出一种基于灰度分布匹配的分割算法。首先,学习图像灰度强度的非参数模型分布,来描述当前图像的正常区域。然后,计算肿瘤图像中各区域之间的全局相似性,从中寻找灰度分布与学习模型最匹配的子区域,同时利用平滑操作来避免存在孤立区域。最后,对FLAIR模态图像进行处理,以分离出脑水肿区域,最终获取脑肿瘤区域的准确边界。在多模态脑肿瘤图像数据库BraTS 2012上进行实验,结果表明该算法能够准确且完整的分割出肿瘤区域。     

基于BERT的图像和文本多模态融合分类模型

在临床诊断过程中,医生会同时结合医学图像和病理报告文本综合判定病情。针对现有的人工智能（AI）辅助诊断系统未充分利用文本检查内容的问题,提出一种基于BERT模型的图文多模态分类模型（ITMMB）,在特征层实现医学图像和病理文本的多模态融合和分类。采用残差网络（ResNet）对图像预处理获得图像词嵌入向量,同时采用分词技术处理文本获得文本嵌入词向量,并将两类嵌入词向量送入BERT模型完成最终分类;此外,为适应BERT模型需要并获得更好的分类性能,优化了ResNet的残差模块、学习权重、损失函数和池化层。在Open Images数据集上的实验结果表明,与仅通过单一的医学图像或病理文本进行辅助诊断的模型相比,ITMMB的微平均F1分数分别提高38.76和4.66个百分点,能有效辅助医生临床诊断。     

一种自适应的多聚焦图像融合方法

为了对不同的多聚焦图像进行有效融合，提出了一种小波域中基于区域特征的自适应多聚焦图像融合方法。该方法首先对参加融合的两幅图像进行小波分解，然后针对低频部分，在保留源图像共同特征的基础上，将待融合的两图像各自所具有的特征添加到融合图像中，而对于高频部分，则根据区域的小波能量进行融合；最后通过小波逆变换来重构融合图像。该方法不仅能够完全自适应地对多聚焦图像进行有效的融合，而且对于各种不同的源图像具有通用性。实验表明，该算法能够得到良好的融合效果，是一种有效的多聚焦图像融合方法。     

一种自适应的基于局部小波系数特征的遥感图像融合方法

光谱保持和高分辨率保留是影像融合的两个重要问题。本文提出了一种自适应的基于局部小波系数特征的遥感影像融合方法。该方法在对多光谱影像进行IHS变换的基础上,对多光谱的I分量和高分辨率的全色影像分别进行小波多分辨率分析,而后对分解得到的近似分量以及各层各方向的细节分量利用移动模板逐一提取对应的小波系数矩阵的局部特征,采用本文提出的自适应融合准则在小波域进行影像融合,最后通过小波逆变换得到新的I′分量,与H,S分量一起还原到RGB空间,最终得到融合后的高分辨率多光谱彩色图像。本文采用一组TM多光谱图像和SPOT全色图像数据进行融合实验,利用标准差、熵,光谱扭曲度等5个重要评价指标对融合效果进行数理分析。其实验融合图像的目视效果和统计指标均优于IHS融和方法和小波融合方法。     

基于点锐度法和小波变换的图像融合方法

小波变换在图像融合中已有广泛的应用,但在进行小波塔形分解后通常是直接将低频分量简单替换或者均值加权,不能很好地利用多源图像的低频信息。针对这一现状,对基于小波变换的图像融合方法作了改进,对低频分量融合提出点锐度法进行处理,并对高频部分融合采用的区域能量法进行改进。仿真实验结果表明,融合的图像在保持细节和光谱信息方面都有一定的提高,评价指标较好。     

多模态信息融合的一般功能模型设计——基于融合功能与信息层次

根据信息融合的功能要素,在分析了现有几种信息融合的一般功能模型的特点后,提出了基于融合功能与信息层次的多模态信息融合的一般功能模型(FH模型)。该模型综合了JDL模型、Omnibus模型和层次模型的优点,采取了JDL模型对信息融合功能的逻辑划分,指明了信息在系统中的流向,从而避免了开发基于JDL模型的信息融合系统时难以准确控制信息流向。此外,FH模型利用层次模型对Omnibus模型中的融合过程进行了更为细致的划分,同时加入了知识库和数据库管理体系,使信息融合的一般功能模型向更实用的方向迈进了一步,研究者可以将注意力更多地转向信息融合的结构模型和信息融合方法的设计,从而更有利于信息融合技术的研究。     

基于云模型的单路口交通信号自适应控制方法研究

为了减少车辆通过路口的延误,提出了一种基于云模型的单路口交通信号自适应控制方法;使用云模型作为信号控制的基础模型,利用云模型中的正态云发生器和前件云发生器算法分别对道路交通信息进行处理并产生自适应的控制规则,以实现单路口交通信号的自适应控制;通过仿真实验,结果表明,使用云模型作为控制方法,比较传统控制方式更具智能化,更接近于人脑思维过程的控制方法,这也是将来交通信号控制的发展方向。     

面向云覆盖的遥感影像时空融合深度学习方法及其应用

遥感影像时空融合是一种获取高时空分辨率数据的有效手段,但现有方法在选定基础数据对时要求预测时间低分辨率数据无云覆盖影响,这极大地限制了其应用潜力。为此,提出一种面向云覆盖的遥感影像时空融合方法,即在深度学习框架下,构建重建子网络恢复预测时刻云下缺失信息,将重建后的低分辨率影像与前后相邻时刻高、低分辨率数据对构建时空融合子网络,得到最终的融合影像。以安徽淮南采煤沉陷区Landsat和MODIS反射率数据为例,对预测时刻MODIS数据模拟不同缺失率的云污染;利用所提方法进行时空融合实验,进而比较深度学习与传统方法融合数据对水体信息的提取效果。结果表明：该方法融合结果各波段的RMSE和SSIM均取得较好的定量评价效果,且总体优于传统方法;沉陷区水体提取实验表明本方法水体提取结果更加接近真实观测影像。因此,该方法降低了时空融合对数据的限制要求,且具有更高的融合精度和更有效的应用性。     

基于云模型在废水处理pH控制中的仿真研究

pH值的控制问题即酸碱中和问题涉及到工业废水处理过程的各个环节,pH值控制效果的好坏直接影响到废水处理效果,牵涉到环境污染等问题.由于工业废水具有复杂性、非线性、不确定性、时变性等特点,需要及时对pH进行有效控制.针对废水处理过程pH控制问题的复杂性、时变性和非线性的特点,采用传统PID控制方法解决上述问题控制效果不佳,导致超调量过大.为了解决上述问题,在传统PID的基础上,结合云模型具有空间数据发掘的特点,提出云模型理论结合传统PID的控制方法.用MATLAB进行仿真研究,并与传统PID控制方法进行对比,结果表明上述控制器结构简单、超调量小,能够实现良好的pH控制效果,为废水处理pH控制提供参考.     

基于形态学重建滤波的脑部磁共振图像分割

在阐述形态学基本原理、形态学重建滤波原理和方法的基础上,提出了形态学交变序列重建滤波,并应用于脑部磁共振图像分割。试验结果表明,该方法能有效地滤除无用的信息而保留图像原始形状不变。再应用形态学梯度运算、测地距离和流域变换方法就能准确地分割出脑部磁共振图像的头盖骨和脑膜。