多层CNN特征融合及多分类器混合预测的多模态虚假信息检测

针对现有的多模态虚假信息检测方法很少对多模态特征在特征层面进行融合，同时忽略了多模态特征后期融合作用的问题，提出了一种基于CNN多模态特征融合及多分类器混合预测的虚假信息检测模型。首次将多层CNN应用于多模态特征融合，模型首先用BERT和Swin-transformer提取文本和图像特征；随后通过多层CNN对多模态特征在特征层面进行融合，通过简单拼接对多模态特征在句子层面进行融合；最后将2种融合特征输入到不同的分类器中得到2个概率分布，并将2个概率分布按比例进行相加得到最终预测结果。该模型与基于注意力的多模态分解双线性模型(AMFB)相比，在Weibo数据集和Twitter数据集上的准确率分别提升了6.1%和4.3%。实验结果表明，所提模型能够有效提高虚假信息检测的准确率。     

一种基于多模态深度特征融合的视觉问答模型

大数据时代,随着多源异构数据的爆炸式增长,多模态数据融合问题备受研究者的关注,其中视觉问答因需要图文协同处理而成为当前多模态数据融合研究的热点。视觉问答任务主要是对图像和文本两类模态数据进行特征关联与融合表示,最后进行推理学习给出结论。传统的视觉问答模型在特征融合时容易缺失模态关键信息,且大多数方法停留在数据之间浅层的特征关联表示学习,较少考虑深层的语义特征融合。针对上述问题,提出了一种基于图文特征跨模态深度交互的视觉问答模型。该模型利用卷积神经网络和长短时记忆网络分别获取图像和文本两种模态数据特征,然后利用元注意力单元组合建立的新型深度注意力学习网络,实现图文模态内部与模态之间的注意力特征交互式学习,最后对学习特征进行多模态融合表示并进行推理预测输出。在VQA-v2.0数据集上进行了模型实验和测试,结果表明,与基线模型相比,所提模型的性能有明显提升。     

基于多模态神经网络的图像中文摘要生成方法

图像的自然语言描述(image captioning)是一个融合计算机视觉、自然语言处理和机器学习的跨领域课题。它作为多模态处理的关键技术,近年来取得了显著成果。当前研究大多针对图像生成英文摘要,而对于中文摘要的生成方法研究较少。该文提出了一种基于多模态神经网络的图像中文摘要生成方法。该方法由编码器和解码器组成,编码器基于卷积神经网络,包括单标签视觉特征提取网络和多标签关键词特征预测网络,解码器基于长短时记忆网络,由多模态摘要生成网络构成。在解码过程中,该文针对长短时记忆网络的特点提出了四种多模态摘要生成方法CNIC-X、CNIC-H、CNIC-C和CNIC-HC。在中文摘要数据集Flickr8k-CN上实验,结果表明该文提出的方法优于现有的中文摘要生成模型。     

基于多模态信息融合的时间序列预测模型

针对传统单因子模型无法充分利用时间序列相关信息,以及这些模型对时间序列预测准确性和可靠性较差的问题,提出一种基于多模态信息融合的时间序列预测模型——Skip-Fusion对多模态数据中的文本数据和数值数据进行融合。首先利用BERT（Bidirectional Encoder Representations from Transformers）预训练模型和独热编码对不同类别的文本数据进行编码表示;再使用基于全局注意力机制的预训练模型获得多文本特征融合的单一向量表示;然后将得到的单一向量表示与数值数据按时间顺序对齐;最后通过时间卷积网络（TCN）模型实现文本和数值特征的融合,并通过跳跃连接完成多模态数据的浅层和深层特征的再次融合。在股票价格序列的数据集上进行实验,Skip-Fusion模型的均方根误差（RMSE）和日收益（R）分别为0.492和0.930,均优于现有的单模态模型和多模态融合模型的结果,同时在可决系数（R-Squared）上取得了0.955的拟合优度。实验结果表明,Skip-Fusion模型能够有效进行多模态信息融合并具有较高的预测准确性和可靠性。     

基于深度学习的多模态医学图像分割综述

多模态医学图像可以为临床医生提供靶区（如肿瘤、器官或组织）的丰富信息。然而，由于多模态图像之间相互独立且仅有互补性，如何有效融合多模态图像并进行分割仍是亟待解决的问题。传统的图像融合方法难以有效解决此问题，因此基于深度学习的多模态医学图像分割算法得到了广泛的研究。从原理、技术、问题及展望等方面对基于深度学习的多模态医学图像分割任务进行了综述。首先，介绍了深度学习与多模态医学图像分割的一般理论，包括深度学习与卷积神经网络（CNN）的基本原理与发展历程，以及多模态医学图像分割任务的重要性；其次，介绍了多模态医学图像分割的关键概念，包括数据维度、预处理、数据增强、损失函数以及后处理等；接着，对基于不同融合策略的多模态分割网络进行综述，对不同方式的融合策略进行分析；最后，对医学图像分割过程中常见的几个问题进行探讨，并对今后研究作了总结与展望。     

基于深度学习的多模态生物特征融合模型

面对公安实战中获取的低质量生物特征数据,单模态生物特征识别技术的精度并不理想,现有的多模态融合算法存在融合层次单一、泛化性不强等问题,深度神经网络的发展为其提供了有效的解决途径。构建基于深度神经网络的多模态生物特征融合模型,将像素层、特征层、分数层等不同层次的融合方法统一到融合模型中,在像素层采用空间、通道和强度融合三种策略;在特征层通过反向传播整体优化模态专用分支与联合表示层,构建模态之间一阶依赖关系;在分数层使用基于Rank1评价和基于模态评价两种方法完成匹配分数融合。模拟实战数据构建虚拟同源多模态数据集进行模型验证。实验结果表明,多模态像素层融合方法提升效果有限,难以增强数据的区分度;多模态特征层融合方法相比单模态算法提升2.2个百分点;分数层融合方法相比单模态算法提升3.5个百分点,最佳检索精度可达99.6%。基于深度学习方法提出的多模态生物特征融合模型极大地提高了模型的泛化性和检索精度。     

基于YOLO的多模态特征差分注意融合行人检测

针对可见光模态与热红外模态间的差异问题和如何充分利用多模态信息进行行人检测,本文提出了一种基于YOLO的多模态特征差分注意融合行人检测方法.该方法首先利用YOLOv3深度神经网络的特征提取主干分别提取多模态特征;其次在对应多模态特征层之间嵌入模态特征差分注意模块充分挖掘模态间的差异信息,并经过注意机制强化差异特征表示进而改善特征融合质量,再将差异信息分别反馈到多模态特征提取主干中,提升网络对多模态互补信息的学习融合能力;然后对多模态特征进行分层融合得到融合后的多尺度特征;最后在多尺度特征层上进行目标检测,预测行人目标的概率和位置.在KAIST和LLVIP公开多模态行人检测据集上的实验结果表明,提出的多模态行人检测方法能有效解决模态间的差异问题,实现多模态信息的充分利用,具有较高的检测精度和速度,具有实际应用价值.     

基于Transformer的多模态气象预测

随着气象观测技术的快速发展，气象行业积累了海量的气象大数据，为构建新型的数据驱动的气象预测模型提供了机遇。由于气象数据中存在的长时依赖关系和大范围空间关联关系，以及多模态气象要素间存在的复杂跨模态耦合关系，基于深度学习的气象预测是一个具有挑战性的研究课题。针对“温度、相对湿度、纬向风速、经向风速”四种经典气象要素组成的等气压层时序多模态数据，提出了一种基于多模态融合的气象预测深度学习模型。首先采用卷积网络来学习各个模态的特征，并在此基础上引入门控机制实现多模态加权融合；然后引入注意力机制，以并行时空轴向注意力代替传统的注意力机制，从而有效地学习长时依赖关系和大范围空间关联关系。整体结构上，采用了基于Transformer的编码器-解码器结构。在ERA5再分析数据集（子区域）上进行了对比实验，实验结果表明了所提方法在温度、相对湿度、风速等预测任务上的有效性和优越性。     

医学图像融合方法综述

多模态医学图像能够为医疗诊断、治疗规划和手术导航等临床应用提供更为全面和准确的医学图像描述。由于疾病的类型多样且复杂,无法通过单一模态的医学图像进行疾病类型诊断和病灶定位,而多模态医学图像融合方法可以解决这一问题。融合方法获得的融合图像具有更丰富全面的信息,可以辅助医学影像更好地服务于临床应用。为了对医学图像融合方法的现状进行全面研究,本文对近年国内外发表的相关文献进行综述。对医学图像融合技术进行分类,将融合方法分为传统方法和深度学习方法两类并总结其优缺点。结合多模态医学图像成像原理和各类疾病的图像表征,分析不同部位、不同疾病的融合方法的相关技术并进行定性比较。总结现有多模态医学图像数据库,并按分类对25项常见的医学图像融合质量评价指标进行概述。总结22种基于传统方法和深度学习领域的多模态医学图像融合算法。此外,本文进行实验,比较基于深度学习与传统的医学图像融合方法的性能,通过对3组多模态医学图像融合结果的定性和定量分析,总结各技术领域医学图像融合算法的优缺点。最后,对医学图像融合技术的现状、重难点和未来展望进行讨论。     

基于深度学习的交通流量预测研究

交通流量序列具有不平稳性、周期性、易受节假日等因素影响的特点，因此交通流量预测是一项困难的任务。针对交通流量序列的预测问题，设计了一种基于深度学习的交通流量预测模型。模型融合了卷积神经网络和长短时记忆神经网络两种网络结构，卷积神经网络用于提取特征分量，长短时记忆神经网络综合提取出来的特征分量做序列预测。通过在贵州省高速公路车流量数据集上的验证，模型比传统的预测方法具有更高的精确度和实时性，在不同数据集上的泛化性能良好。     

多模态融合网络的睡眠分期研究

针对睡眠多导图中各模态信息在睡眠各阶段存在差异性,而导致特征利用不充分的问题,本文提出了一种基于通道注意力机制和多模态门控机制的睡眠分期模型。首先利用残差收缩网络设计各模态特征提取网络用于提取各模态特征,并在通道维度上进行拼接融合,利用通道注意力机制进一步对融合特征进行重标定得到睡眠多导图的时不变特征;之后提出了一种基于自适应门控机制的多模态门控模块,对各模态特征及时不变特征按照重要程度进行加权融合,实现特征融合;最后利用双向长短时记忆网络提取睡眠多导图的时序特征。实验结果表明,本文提出的睡眠分期模型在欧洲数据格式睡眠数据集(sleep-European data format, sleep-EDF)上准确率为87.6%,$ {M_{{F_1}}} $为82.0%,取得了目前最好的分期效果。     

三维多尺度交叉融合网络肺结节分类研究

计算机断层扫描影像中良、恶性肺结节的准确分类对肺癌的预防和治疗至关重要。然而,由于计算机断层扫描影像中肺结节背景的复杂性,以及良、恶性肺结节判定之间存在的不确定性,使得良恶性肺结节的准确分类成为了一项极具挑战性的工作。提出了一种深度三维多尺度交叉融合卷积神经网络实现了良恶性肺结节的精确分类。使用密集连接结构自动提取肺结节多尺度特征,为了减少特征提取过程中肺结节相关信息的丢失,对多尺度特征引入了交叉融合策略得到多尺度特征组,增强了高、低层次语义信息的表达能力,同时增强特征在网络中的传递和转移。将提取的特征组分别连接至多个softmax分类器,模拟多位经验不同医生共同决策,实现了良、恶性肺结节的精确识别。使用肺图像联合会数据集进行验证,分类准确率达到了90.96%,AUC为94.95%。     

基于混合受限玻尔兹曼机的肺结节良恶性诊断

针对传统计算机辅助诊断中肺结节的特征提取方法依靠人工设计、操作复杂、识别率低等问题,提出了一种基于混合受限玻尔兹曼机的肺结节良恶性诊断方法。首先采用多层无监督卷积受限玻尔兹曼机自动对肺结节图像进行特征学习,然后利用分类受限玻尔兹曼机对获得的特征进行良恶性分类。为避免分类受限玻尔兹曼机在训练中出现的特征同质化问题,引入了交叉熵稀疏惩罚对其进行优化。实验结果表明,该方法有效避免了手动特征提取的复杂性,在肺结节良恶性分类的准确率、敏感性、特异性、ROC曲线下面积值上均优于传统诊断方法。     

基于多特征融合的航空发动机剩余寿命预测

针对航空发动机剩余可用寿命(RUL)预测任务中代表性特征提取不充分导致RUL预测精度较低等问题, 提出了一种基于多特征融合的航空发动机RUL预测方法. 利用指数平滑法(ES)降低原始数据中的噪声干扰, 得到相对平稳的特征数据. 使用双向长短期记忆网络(Bi-LSTM)提取特征数据的时序特征, 利用多头注意力机制(Multi-attention)为时序特征赋予权重; 设计卷积长短期记忆网络(Conv-LSTM)提取特征数据的时空特征; 提取特征数据的手工特征并使用Softmax函数计算权重. 设计一个特征融合框架将上述特征进行融合, 然后通过全连接网络回归实现最终RUL预测. 使用C-MAPSS数据集对模型进行仿真验证, 与Bi-LSTM等模型进行对比, 模型RUL预测精度更高, 适应性更好.     

融合多尺度残差和注意力机制的特发性肺纤维化进展预测

目的 特发性肺纤维化（idiopathic pulmonary fibrosis,IPF）是一种致死率极高的肺间质疾病,呈渐进式发展且诊断手段有限,给病情的预后带来极大的困难。目前已有的肺功能衰退严重程度预测方法仍存在准确率较低的问题。方法 提出了一种融合多尺度残差和注意力机制的特发性肺纤维化进展预测模型,包括计算机断层扫描（computed tomography,CT）特征提取网络和多模态特征预测网络,以此预测IPF患者不同周数的用力肺活量（forced vital capacity,FVC）。CT特征提取网络以InceptionV1为骨干网络,添加残差模块和改进的CBAM通道注意力模块（improved channel attention of convolutional block attention module,CBAM-ICA）来扩大网络的感受野,关注肺部区域的有效特征,添加与卷积层并行的空洞卷积模块,补充丢失的细节信息,并对改进的多尺度CT特征融合模块进行两次串联堆叠,提升网络获取CT特征的能力,最终获得更加有效的多尺度CT特征信息。多模态预测网络利用CT特征和临床特征进行融合形成的多模态特征对IPF患者不同周数的FVC值进行预测,提高了网络的预测性能。结果 在OSIC （Open Source Imaging Consortium）提供的肺纤维化测试数据集上的实验结果表明,本文提出的特发性肺纤维化进展预测模型得到了-6.810 7的拉普拉斯对数似然得分,较其他方法具有更好的性能。结论 提出的融合多尺度残差和注意力机制的特发性肺纤维化进展预测模型对预测IPF患者不同周数的FVC值具有一定的有效性,可以帮助医生更好地了解IPF患者肺功能衰退的严重程度,对IPF患者的预后具有指导意义。     

基于LSTM和时间序列分析法的短期风速预测

短期风速对输电线路影响巨大,由于短期风速的随机性和非线性特性,使得短期风速难以精确预测。提出了一种将长短时记忆网络和时间序列分析法相结合的组合预测算法来实现对短期风速的预测。首先,利用时间序列分析法对短期风速进行预测得到预测结果和预测残差,然后利用长短时记忆网络对预测残差进行预测,最后将两种方法得到的预测结果进行线性组合得到最终的预测结果序列。为验证所提出的算法的实际效果,将提出的算法与时间序列分析法、长短时记忆网络以及BP神经网络等进行对比。实验结果表明,组合算法有效提高了短期风速序列预测精度,是一种可行的分析方法。     

跨模态注意力YOLOv5的PET/CT肺部肿瘤检测

目的 肺部肿瘤早期症状不典型易导致错过最佳治疗时间,有效准确的肺部肿瘤检测技术在计算机辅助诊断中变得日益重要,但在肺部肿瘤PET/CT（positron emission computed tomography/computed tomography）多模态影像中,肿瘤与周围组织粘连导致边缘模糊和对比度低,且存在病灶区域小、大小分布不均衡等问题。针对上述问题,提出一种跨模态注意力YOLOv5（cross-modal attention you only look once v5,CA-YOLOv5）的肺部肿瘤检测模型。方法 首先,在主干网络中设计双分支并行的自学习注意力,利用实例归一化学习比例系数,同时利用特征值与平均值之间差值计算每个特征所包含信息量,增强肿瘤特征和提高对比度;其次,为充分学习多模态影像的多模态优势信息,设计跨模态注意力对多模态特征进行交互式学习,其中Transformer用于建模深浅层特征的远距离相互依赖关系,学习功能和解剖信息以提高肺部肿瘤识别能力;最后,针对病灶区域小、大小分布不均衡的问题,设计动态特征增强模块,利用不同感受野的多分支分组扩张卷积和分组可变形卷积,使网络充分高效挖掘肺部肿瘤特征的多尺度语义信息。结果 在肺部肿瘤PET/CT数据集上与其他10种方法进行性能对比,CA-YOLOv5获得了97.37%精度、94.01%召回率、96.36%mAP（mean average precision）和95.67%F1的最佳性能,并且在同设备上训练耗时最短。在LUNA16（lung nodule analysis 16）数据集中本文同样获得了97.52%精度和97.45%mAP的最佳性能。结论 本文基于多模态互补特征提出跨模态注意力YOLOv5检测模型,利用注意力机制和多尺度语义信息,实现了肺部肿瘤检测模型在多模态影像上的有效识别,使模型识别更加准确和更具鲁棒性。     

基于多期相注意力融合网络的肝脏病灶CT影像分类研究

肝脏病灶是指肝脏疾病集中的部位或是综合病症、感染的主要部位。由于不同类型的多期相肝脏病灶计算机断层扫描（CT）影像存在异病同影或同病异影的情况,导致同一类型的CT影像结构变化较大,传统方法难以提取丰富的图像特征信息,肝脏病灶分类准确率有待提高。提出一种多期相注意力融合网络MAFNet,使用单期相分支表征单期相病灶图像特征,并在融合分支中采用中期融合的方式,融合单期相分支中提取出的特征映射,从而充分提取图像中不同层次的特征。利用多期相注意力模块提取单期相分支中肝脏病灶的加权特征,重新组织多期相肝脏病灶的特征映射,以保持不同单期相图像信息,表达3个期相影像的时序增强模式,得到更准确的分类结果。实验结果表明,基于该网络的分类方法能充分利用多期相肝脏CT影像的时序特征,有效捕捉同一患者不同期相的信息,肝脏病灶CT影像分类的平均准确率为90.99%。     

基于长短期记忆神经网络的可用停车位预测

可用停车位预测是智能停车诱导系统的关键问题之一。当前基于神经网络的预测技术在较短预测周期内,预测准确度的平均绝对误差在 10 左右,但随着预测步长或周期的增加,预测精度急剧下降。针对这一问题,该文提出了一种在中长预测时间周期内可保持数据变化特征的泊位预测方法。该方法使用模糊信息粒化获取特征数据集,通过训练长短期记忆神经网络预测未来的特征数据集,基于数据插值方法重建出整个区间可用停车位的连续变化曲线。仿真结果表明,该方法在相同预测步长的可用车位预测上,比传统预测方法具有更高的预测精度;在保持相近预测精度的条件下,比传统预测方法具有更高的计算效率。