基于双向注意力机制的多模态情感分类方法

社交网络的发展为情感分析研究提供了大量的多模态数据.结合多模态内容进行情感分类可以利用模态间数据的关联信息,从而避免单一模态对总体情感把握不全面的情况.使用简单的共享表征学习方法无法充分挖掘模态间的互补特征,因此提出多模态双向注意力融合(Multimodal Bidirectional Attention Hybrid...     

引入独立融合分支的双模态语义分割网络

基于可见光、红外双模态数据的场景语义分割在多种复杂环境下较单模态分割显现出更好的性能,然而,获取较好分割效果的前提条件是可见光相机和红外热像仪的成像均清晰。真实场景中存在较多不利的环境因素,如恶劣的光照和天气会对可见光或红外产生不同程度的干扰,从而限制了基于双模态语义分割方法的性能表现。为解决该问题,建立一种改进的双模态语义分割模型。在双流网络架构的基础上增加红外与可见光的像素级融合模块,将其作为一个独立的分支网络并与可见光、红外2个已有分支进行特征级融合,从而实现双模态的像素级和特征级融合。此外,在融合分支中增加空间、通道注意力机制,以挖掘双模态在像素级上的互补特征。实验结果表明,在MF和FR-T这2个公开数据集上,该模型的mIoU指标相比性能表现次优的RTFNet-50模型分别提高6.5和0.6个百分点,且在双模态图像降质和失效时依然具有良好的分割性能。     

乳腺超声双模态数据的协同约束网络

目的 通过深度学习对乳腺癌早期的正确诊断能大幅提高患者生存率。现阶段大部分研究者仅采用B型超声图像作为实验数据,但是B型超声自身的局限性导致分类效果难以提升。针对该问题,提出了一种综合利用B型超声和超声造影视频来提高分类精度的网络模型。方法 针对B型超声图像及造影视频双模态数据的特性设计了一个双分支模型架构。针对传统提取视频特征中仅使用单标签的不足,制定了病理多标签预训练。并设计了一种新的双线性协同机制,能更好地融合B型超声和超声造影的特征,提取其中的病理信息并抑制无关噪声。结果 为了验证提出方法的有效性,本文设计了3个实验,前两个实验分别对B型超声和超声造影进行预训练。在造影分支,使用根据医学领域设计的病理多标签进行预训练。最后,采用前两个实验的预训练模型进行第3个实验,相比单独使用B型超声图像精度提升6.5%,比单用超声造影视频精度提高7.9%。同时,在使用双模态数据里,本文方法取得了最高精度,相比排名第2的成绩提高了2.7%。结论 本文提出的协同约束网络,能对不同模态的数据进行不同处理,以提取出其中的病理特征。一方面,多模态数据确实能从不同角度展示同一个病灶区,为分类模型提供更多的病理特征,进而提高模型的分类精度。另一方面,合适的融合方式也至关重要,能最大程度地利用特征并抑制噪声。     

面向多模态情感分析的双模态交互注意力

针对现有多模态情感分析方法中存在情感分类准确率不高,难以有效融合多模态特征等问题,通过研究分析相邻话语之间的依赖关系和文本、语音和视频模态之间的交互作用,建立一种融合上下文和双模态交互注意力的多模态情感分析模型.该模型首先采用双向门控循环单元(BiGRU)捕获各模态中话语之间的相互依赖关系,得到各模态的上下文信息.为了...     

RGB-D双模态特征融合语义分割

针对复杂室内场景中,现有RGB图像语义分割网络易受颜色、光照等因素影响以及RGB-D图像语义分割网络难以有效融合双模态特征等问题,提出一种基于注意力机制的RGB-D双模态特征融合语义分割网络AMBFNet(attention mechanism bimodal fusion network)。该网络采用编-解码器结构,首先搭建双模态特征融合结构（AMBF）来合理分配编码支路各阶段特征的位置与通道信息,然后设计双注意感知的上下文（DA-context）模块以合并上下文信息,最后通过解码器将多尺度特征图进行跨层融合,以减少预测结果中类间误识别和小尺度目标丢失问题。在SUN RGB-DNYU和NYU Depth v2(NYUDV2)两个公开数据集上的测试结果表明,相较于残差编解码（RedNet）、注意力互补网络（ACNet）、高效场景分析网络（ESANet）等目前较先进的RGB-D语义分割网络,在同等硬件条件下,该网络具有更好的分割性能,平均交并比（MIoU）分别达到了47.9%和50.0%。     

双元双模态下二次门控融合的多模态情感分析

为了平衡情感信息在不同模态中分布的不均匀性,获得更深层次的多模态情感表征,提出了一种基于双元双模态二次门控融合的多模态情感分析方法。对文本、视觉模态,文本、语音模态分别融合,充分考虑文本模态在三个模态中的优势地位。同时为了获得更深层次的多模态交互信息,使用二次融合。在第一次融合中,使用融合门决定向主模态添加多少补充模态的知识,得到两个双模态混合知识矩阵。在第二次融合中,考虑到两个双模态混合知识矩阵中存在冗余、重复的信息,使用选择门从中选择有效、精简的情感信息作为双模态融合后的知识。在公开数据集CMU-MOSEI上,情感二分类的准确率和F1值分别达到了86.2%、86.1%,表现出良好的健壮性和先进性。     

基于注意力机制的多模态幽默识别

近年来,幽默识别逐渐成为自然语言处理领域的热点研究之一。已有的研究多聚焦于文本上的幽默识别,在多模态数据上开展此任务的研究相对较少,现有方法在学习模态间交互信息上存在不足。该文提出了基于注意力机制的模态融合模型,首先对单模态上下文进行独立编码,得到单一模态的特征向量;然后将注意力机制作用于两种模态的特征序列,使用层级注意力结构捕获多模态信息在段落上下文中的关联与交互。该文在UR-FUNNY公开数据集上进行了实验,相比之前最优结果在精确率上提升了1.37%。实验表明,该文提出的模型能很好地对多模态上下文进行建模,引入多模态交互信息和段落上下文信息可提高幽默识别的性能。     

基于自引导注意力的双模态校准融合目标检测算法

为了解决传统双模态目标检测方法难以在复杂场景(如大雾、眩光、黑夜)中克服低对比度噪声以及无法有效识别小尺寸目标的问题,文中提出基于自引导注意力的双模态校准融合目标检测算法.首先,设计双模态融合网络,利用通道特征和空间特征校准纠正输入图像(可见光图像与红外图像)中的低对比度噪声,从纠正后的特征中获取互补信息,并准确实现特征融合,提高算法在眩光、黑夜和大雾等场景下的检测精度.然后,构建自引导注意力机制,捕捉图像像素之间的依赖关系,增强不同尺度特征的融合能力,提高算法对于小尺寸目标的检测精度.最后,在行人、行人车辆、航拍车辆三类六种数据集上进行的大量实验表明,文中算法检测精度较高.     

基于特征融合和注意力机制的超声影像分割网络

针对医学超声影像中图像受斑点噪声干扰、细节信息丢失、目标边界模糊等问题,提出一种基于特征融合和注意力机制的超声影像分割网络,整体结构采用编码器-解码器网络结构。首先,使用编码器模块对图像进行上下文特征提取,提取全局特征信息;然后,设计多尺度特征提取模块,捕获更广泛的语义信息;最后,在解码器模块中加入双注意力机制,沿空间和通道两个维度细化特征信息,加强对超声心动图影像中左心室区域的关注,使模型对有噪声的输入图像具有鲁棒性。实验结果表明,所提出的网络在超声心动图心尖四腔心数据集上的实验分割结果的Dice系数达到93.11%,平均交并比（mIoU）为86.80%,较传统的U-Net卷积神经网络分别提升了3.06个百分点和3.95个百分点,有效获取了左心室区域细节信息和边界信息,取得了较好的分割结果。     

基于不同超声成像的甲状腺结节良恶性判别

为实现更为准确的甲状腺结节良恶性超声图像诊断,避免不必要的穿刺或活检手术,提出了一种基于卷积神经网络（CNN）的常规超声成像和超声弹性成像的特征结合方法,提高了甲状腺结节良恶性分类准确率。首先,卷积网络模型在大规模自然图像数据集上完成预训练,并通过迁移学习的方式将特征参数迁移到超声图像域用以生成深度特征并处理小样本。然后,结合常规超声成像和超声弹性成像的深度特征图形成混合特征空间。最后,在混合特征空间上完成分类任务,实现了一个端到端的卷积网络模型。在1156幅图像上进行实验,所提方法的准确率为0.924,高于其他单一数据源的方法。实验结果表明,浅层卷积共享图像的边缘纹理特征,高层卷积的抽象特征与具体的分类任务相关,使用迁移学习的方法可以解决数据样本不足的问题;同时,弹性超声影像可以对甲状腺结节的病灶硬度进行客观的量化,结合常规超声的纹理轮廓特征,二者融合的混合特征可以更全面地描述不同病灶之间的差异。所提方法可以高效准确地对甲状腺结节进行良恶性分类,减轻患者痛苦,给医生提供更为准确的辅助诊断信息。     

Automated breast cancer detection and classification using ultrasound images: A survey

Breast cancer is the second leading cause of death for women all over the world. Since the cause of the disease remains unknown, early detection and diagnosis is the key for breast cancer control, and it can increase the success of treatment, save lives and reduce cost. Ultrasound imaging is one of the most frequently used diagnosis tools to detect and classify abnormalities of the breast. In order to eliminate the operator dependency and improve the diagnostic accuracy, computer-aided diagnosis (CAD) system is a valuable and beneficial means for breast cancer detection and classification. Generally, a CAD system consists of four stages: preprocessing, segmentation, feature extraction and selection, and classification. In this paper, the approaches used in these stages are summarized and their advantages and disadvantages are discussed. The performance evaluation of CAD system is investigated as well.     

细粒度图像分类的互补注意力方法

目的 由于分类对象具有细微类间差异和较大类内变化的特点,细粒度分类一直是一个具有挑战性的任务。绝大多数方法利用注意力机制学习目标中显著的局部特征。然而,传统的注意力机制往往只关注了目标最显著的局部特征,同时抑制其他区域的次级显著信息,但是这些抑制的信息中通常也含有目标的有效特征。为了充分提取目标中的有效显著特征,本文提出了一种简单而有效的互补注意力机制。方法 基于SE（squeeze-and-excitation）注意力机制,提出了一种新的注意力机制,称为互补注意力机制（complemented SE,CSE）。既从原始特征中提取主要的显著局部特征,也从抑制的剩余通道信息中提取次级显著特征,这些特征之间具有互补性,通过融合这些特征可以得到更加高效的特征表示。结果 在CUB-Birds（Caltech-UCSD Birds-200-2011）、Stanford Dogs、Stanford Cars和FGVC-Aircraft（fine-grained visual classification of aircraft）4个细粒度数据集上对所提方法进行验证,以ResNet50为主干网络,在测试集上的分类精度分别达到了87.9%、89.1%、93.9%和92.4%。实验结果表明,所提方法在CUB-Birds和Stanford Dogs两个数据集上超越了当前表现最好的方法,在Stanford Cars和FGVC-Aircraft数据集的表现也接近当前主流方法。结论 本文方法着重提升注意力机制提取特征的能力,得到高效的目标特征表示,可用于细粒度图像分类和特征提取相关的计算机视觉任务。     

基于配对特征融合的声学场景分类方法

在近些年的研究中,单设备的声音场景分类已经取得不错的效果,然而多设备声音场景分类的进展缓慢。为了解决多设备分类时样本数量差异大的问题,提出了一种配对特征融合算法。通过计算每一对配对样本在频谱图上的差异,将这些差异累加后取平均,可以获得各个设备的平均频谱特征,用于设备样本的转换。该算法在增加设备样本数量的同时有效提升了模型的泛化能力。同时,为了获取全局信息,提出了一种轻量级注意力模块,通过对输入特征在频域上压缩后进行自注意力操作,可以在减少计算量的基础上使模型专注于整个声音序列信息的训练,实验结果表明所提算法在模型大小和分类精度方面与其他方法相比具有较好的优势。     

Weight attention layer-based document classification incorporating information gain

The performance of document classifiers largely depends on their internal representations of text data. Recent studies have been conducted to identify areas of focus and find latent data spaces to increase the representativeness and the performance of classifiers. In this study, we propose a weight attention layer (WAL) that uses an additional feature of words when computing their attention weights for deep learning models based on attention mechanisms. In the WAL, the attention distribution is calculated through the dot product of the attention weight matrix and a word weight matrix. We utilized information gain, which is one of the feature selection algorithms for the additional feature. To evaluate the proposed method, datasets of helpful reviews, sentiment reviews, and fake reviews were used. These datasets were applied to two deep learning models based on attention mechanisms, including an attention-based bidirectional long short-term memory (LSTM) and a hierarchical attention network. As a result of 10-fold cross validation, the improved performance of the models in terms of accuracy and F1-score when using WAL is demonstrated.     

乳腺超声图像中易混淆困难样本的分类方法

目的 超声诊断常作为乳腺肿瘤首选的影像学检查和术前评估方法,但存在良恶性结节的图像表现重叠、诊断严重依赖医生经验,以及需要较多人机交互等问题。为减少误诊和不必要的穿刺活检率,以及提高诊断自动化程度,本文提出一种端到端的模型,实现结节区域自动提取及良恶性鉴别。方法 就超声图像散斑噪声问题使用基于边缘增强的各向异性扩散去噪模型（edge enhanced anisotropic diffusion,EEAD）实现数据预处理,之后针对结节良恶性特征提出一个改进的损失函数以增强鉴别性能,通过形状描述符组合挖掘因形状与其他类别相似从而易导致错判的困难样本,为使该部分困难样本具有更好的区分性,应用改进的损失函数,并在此基础上构建困难样本形状约束损失项,用来调整形状相似但类别不同样本间的特征映射。结果 为验证算法的有效性,构建了一个包含1 805幅图像的乳腺超声数据集,在该数据集上具有5年资历医生的平均判断准确率为85.3%,而本文方法在该数据集上分类正确率为92.58%,敏感性为90.44%,特异性为93.72%,AUC （area under curve）为0.946,均优于对比算法;相对传统Softmax损失函数,各评价指标提高了5% 12%。结论 本文提出了一个端到端的乳腺超声图像分类方法,实用性强;通过将医学知识融合到优化模型,增加的困难样本形状约束损失项可提高乳腺肿瘤良恶性诊断的准确性和鲁棒性,各项评价指标均高于超声科医生,具有临床应用价值。     

融合空间和通道特征的高精度乳腺癌分类方法

组织病理学图像是鉴别乳腺癌的黄金标准,所以对乳腺癌组织病理学图像的自动、精确的分类具有重要的临床应用价值。为了提高乳腺组织病理图像的分类准确率,从而满足临床应用的需求,提出了一种融合空间和通道特征的高精度乳腺癌分类方法。该方法使用颜色归一化来处理病理图像并使用数据增强扩充数据集,基于卷积神经网络（CNN）模型DenseNet和压缩和激励网络（SENet）融合病理图像的空间特征信息和通道特征信息,并根据压缩-激励（SE）模块的插入位置和数量,设计了三种不同的BCSCNet模型,分别为BCSCNetⅠ、BCSCNetⅡ、BCSCNetⅢ。在乳腺癌癌组织病理图像数据集（BreaKHis）上展开实验。通过实验对比,先是验证了对图像进行颜色归一化和数据增强能提高乳腺的分类准确率,然后发现所设计的三种乳腺癌分类模型中精度最高为BCSCNetⅢ。实验结果表明,BCSCNetⅢ的二分类准确率在99.05%~99.89%,比乳腺癌组织病理学图像分类网络（BHCNet）提升了0.42个百分点;其多分类的准确率在93.06%~95.72%,比BHCNet提升了2.41个百分点。证明了BCSCNet能准确地对乳腺癌组织病理图像进行分类,同时也为计算机辅助乳腺癌诊断提供了可靠的理论支撑。     

面向乳腺超声计算机辅助诊断的两阶段深度迁移学习

目的 为了提升基于单模态B型超声（B超）的乳腺癌计算机辅助诊断（computer-aided diagnosis,CAD）模型性能,提出一种基于两阶段深度迁移学习（two-stage deep transfer learning,TSDTL）的乳腺超声CAD算法,将超声弹性图像中的有效信息迁移至基于B超的乳腺癌CAD模型之中,进一步提升该CAD模型的性能。方法 在第1阶段的深度迁移学习中,提出将双模态超声图像重建任务作为一种自监督学习任务,训练一个关联多模态深度卷积神经网络模型,实现B超图像和超声弹性图像之间的信息交互迁移;在第2阶段的深度迁移学习中,基于隐式的特权信息学习（learning using privilaged information,LUPI）范式,进行基于双模态超声图像的乳腺肿瘤分类任务,通过标签信息引导下的分类进一步加强两个模态之间的特征融合与信息交互;采用单模态B超数据对所对应通道的分类网络进行微调,实现最终的乳腺癌B超图像分类模型。结果 实验在一个乳腺肿瘤双模超声数据集上进行算法性能验证。实验结果表明,通过迁移超声弹性图像的信息,TSDTL在基于B超的乳腺癌诊断任务中取得的平均分类准确率为87.84±2.08%、平均敏感度为88.89±3.70%、平均特异度为86.71±2.21%、平均约登指数为75.60±4.07%,优于直接基于单模态B超训练的分类模型以及多种典型迁移学习算法。结论 提出的TSDTL算法通过两阶段的深度迁移学习,将超声弹性图像的信息有效迁移至基于B超的乳腺癌CAD模型,提升了模型的诊断性能,具备潜在的应用可行性。     

融合迁移学习和数据增强的SC-Net模型在皮肤癌识别中的应用

为了解决皮肤癌诊断模型中性能无法满足临床应用要求,对于少数类别诊断精度不高的问题,提出一种基于迁移学习和数据增强的皮肤癌诊断模型SC-Net（skin cancer-net）。首先,引入ECA注意力模块,把DenseNet-201在ImageNet数据集上的预训练模型在皮肤癌数据集上进行微调训练并提取图像隐含高层次特征;然后融合一般性统计特征,并且通过SMOTE过采样技术以增强少数类别数据;最后,将数据输入XGBoost模型进行训练,最终得到SC-Net分类模型。实验结果表明,SC-Net模型在准确率、灵敏度、特异度三个指标上达到99.25%、99.25%和99.88%,诊断准确率相对于已有文献精度提升约0.6%~18.7%,并且对于皮肤纤维瘤、光化性角化病等少数类别具备更强的分类能力。