多模态情感识别研究进展*

情感识别研究热点正从单模态转移到多模态。针对多模态情感特征提取与融合的技术难点,本文列举了目前应用较广的多模态情感识别数据库,介绍了面部表情和语音情感这两个模态的特征提取技术,重点阐述了多模态情感融合识别技术,主要对多模态情感特征融合策略和融合方法进行了综述,对不同算法下的识别效果进行了对比。最后,对多模态情感识别研究中存在的问题进行了探讨,并对未来的研究方向进行了展望。     

融合动作特征的多模态情绪识别

近年来,利用计算机技术实现基于多模态数据的情绪识别成为自然人机交互和人工智能领域重要 的研究方向之一。利用视觉模态信息的情绪识别工作通常都将重点放在脸部特征上,很少考虑动作特征以及融合 动作特征的多模态特征。虽然动作与情绪之间有着紧密的联系,但是从视觉模态中提取有效的动作信息用于情绪 识别的难度较大。以动作与情绪的关系作为出发点,在经典的 MELD 多模态情绪识别数据集中引入视觉模态的 动作数据,采用 ST-GCN 网络模型提取肢体动作特征,并利用该特征实现基于 LSTM 网络模型的单模态情绪识别。 进一步在 MELD 数据集文本特征和音频特征的基础上引入肢体动作特征,提升了基于 LSTM 网络融合模型的多 模态情绪识别准确率,并且结合文本特征和肢体动作特征提升了上下文记忆模型的文本单模态情绪识别准确率, 实验显示虽然肢体动作特征用于单模态情绪识别的准确度无法超越传统的文本特征和音频特征,但是该特征对于 多模态情绪识别具有重要作用。基于单模态和多模态特征的情绪识别实验验证了人体动作中含有情绪信息,利用 肢体动作特征实现多模态情绪识别具有重要的发展潜力。     

基于多模态深度融合的虚假信息检测

针对虚假信息检测中图片特征提取不充分,以及忽视了单模内关系以及单模与多模之间交互作用的问题,提出一种基于文本和图片信息的多模态深度融合(MMDF)模型.首先,用双向门控循环单元(Bi-GRU)提取文本的丰富语义特征,用多分支卷积?循环神经网络(CNN-RNN)提取图片的多层次特征;然后,建立模间和模内的注意力机制以捕获...     

基于深度学习的多模态生物特征融合模型

面对公安实战中获取的低质量生物特征数据,单模态生物特征识别技术的精度并不理想,现有的多模态融合算法存在融合层次单一、泛化性不强等问题,深度神经网络的发展为其提供了有效的解决途径。构建基于深度神经网络的多模态生物特征融合模型,将像素层、特征层、分数层等不同层次的融合方法统一到融合模型中,在像素层采用空间、通道和强度融合三种策略;在特征层通过反向传播整体优化模态专用分支与联合表示层,构建模态之间一阶依赖关系;在分数层使用基于Rank1评价和基于模态评价两种方法完成匹配分数融合。模拟实战数据构建虚拟同源多模态数据集进行模型验证。实验结果表明,多模态像素层融合方法提升效果有限,难以增强数据的区分度;多模态特征层融合方法相比单模态算法提升2.2个百分点;分数层融合方法相比单模态算法提升3.5个百分点,最佳检索精度可达99.6%。基于深度学习方法提出的多模态生物特征融合模型极大地提高了模型的泛化性和检索精度。     

多模态零样本人体动作识别

目的 在人体行为识别算法的研究领域,通过视频特征实现零样本识别的研究越来越多。但是,目前大部分研究是基于单模态数据展开的,关于多模态融合的研究还较少。为了研究多种模态数据对零样本人体动作识别的影响,本文提出了一种基于多模态融合的零样本人体动作识别（zero-shot human action recognition framework based on multimodel fusion, ZSAR-MF）框架。方法 本文框架主要由传感器特征提取模块、分类模块和视频特征提取模块组成。具体来说,传感器特征提取模块使用卷积神经网络（convolutional neural network, CNN）提取心率和加速度特征;分类模块利用所有概念（传感器特征、动作和对象名称）的词向量生成动作类别分类器;视频特征提取模块将每个动作的属性、对象分数和传感器特征映射到属性—特征空间中,最后使用分类模块生成的分类器对每个动作的属性和传感器特征进行评估。结果 本文实验在Stanford-ECM数据集上展开,对比结果表明本文ZSAR-MF模型比基于单模态数据的零样本识别模型在识别准确率上提高了4 %左右。结论 本文所提出的基于多模态融合的零样本人体动作识别框架,有效地融合了传感器特征和视频特征,并显著提高了零样本人体动作识别的准确率。     

基于动态注意力机制和多模态循环融合的帕金森氏症识别

PD （Parkinson’s disease） 的运动障碍会累及口、咽、腭肌以及面部肌肉,引起声带震颤和面部运动迟缓,为利用声纹和面部特征识别PD患者提供了可能。为了有效利用以上两种特征以提高PD 识别率,提出了基于多尺度特征与动态注意力机制的多模态循环融合模型对患者进行识别检测。首先,设计了多尺度特征提取网络,将高、低层级特征的语义信息融合以得到完整的特征信息;其次,在多尺度特征融合过程中为了充分考虑模态间的相关性和互补性,提出了以不同模态信息互为辅助条件生成注意力特征图的动态注意力机制算法,降低特征融合时信息的冗余;最后设计了多模态循环融合模型,通过计算循环矩阵的每个行向量与特征向量间的哈达玛积得到更有效的融合特征,提高了模型性能。在自建数据集上进行的多组实验结果表明,提出的方法识别准确率高达96.24%,优于当前流行的单模态和多模态识别算法,可以有效区分PD患者和HP （healthy people）,为高效识别PD患者奠定了基础。     

基于多模态生物识别的安全身份认证技术

本文分析了传统身份认证方法在电子取证中存在的问题,突出了生物特征识别技术应用于电子取证中的优点。针对单模态生物特征技术存在识别精度不够等问题,提出了将多模态生物特征技术的安全身份认证的体系结构,并探讨了多种特征信息融合的方法。[编者按]     

多文化场景下的多模态情感识别

自动情感识别是一个非常具有挑战性的课题,并且有着广泛的应用价值.本文探讨了在多文化场景下的多模态情感识别问题.我们从语音声学和面部表情等模态分别提取了不同的情感特征,包括传统的手工定制特征和基于深度学习的特征,并通过多模态融合方法结合不同的模态,比较不同单模态特征和多模态特征融合的情感识别性能.我们在CHEAVD中文多模态情感数据集和AFEW英文多模态情感数据集进行实验,通过跨文化情感识别研究,我们验证了文化因素对于情感识别的重要影响,并提出3种训练策略提高在多文化场景下情感识别的性能,包括：分文化选择模型、多文化联合训练以及基于共同情感空间的多文化联合训练,其中基于共同情感空间的多文化联合训练通过将文化影响与情感特征分离,在语音和多模态情感识别中均取得最好的识别效果.     

基于变换匹配层融合的双模态生物特征识别方法

自新冠疫情发生以来，戴口罩预防疾病可能会成为大众的常态化行为。若大部分面部特征被遮挡会影响人脸识别方法的精度，同时距离也会对面部识别造成一定影响。然而，步态作为一种可远距离并且难以伪装的生物特征，容易受身体遮挡、角度等外部条件变化的影响。提出一种基于变换匹配层的识别方法，以融合步态和面部特征。通过步态特征提取网络提取人体轮廓图中具有区分度的时空生物特征，以解决单模态人脸识别技术难以在远距离条件下对带口罩目标进行识别的问题，采用面部特征提取网络提取脸部的细粒度特征，以增强网络对于目标主体轮廓被遮挡的鲁棒性。在匹配层将面部特征与步态特征进行归一化后再将信息融合，以达到特征互补的效果。此外，构建相关联的全局-局部时空特征提取模块。通过局部特征提取模块提取细粒度的步态特征，并采用基于互补掩码的多尺度随机带状分割策略增强各个局部特征之间的关联关系。全局特征提取模块提取全局步态信息，与局部细粒度信息形成互补，从而提高步态特征提取网络对于遮挡、视角变化的鲁棒性。实验结果表明，该方法的识别准确率达到99.16%，相较于步态、面部特征提取网络分别提高6.56和0.45个百分点，并且在远距离且戴口罩的真实...     

机械设备多模态声源分离方法研究

针对单模态混合信号分离方法存在的无法确定机械设备与声源对应关系的问题,提出一种多模态特征融合的机械设备声源分离方法。首先,通过利用多组不同尺度的特征提取层,构建一种多尺度特征提取结构的Res2Net18网络,以提取机械设备细粒度视觉特征;再用坐标注意力机制模块替换UNet网络中直接跳跃连接,以增强编码器中不同音频特征的空间位置信息表达。其次,将机械设备视觉特征融入混合音频特征中生成对应声源掩码,再利用掩码与混合音频频谱结合得到独立声源频谱,从而实现根据视觉特征分离对应机械设备声源,该方法有效解决了单模态混合信号分离方法存在的无法确定机械设备与声源对应关系的问题。最后,在机械设备数据集上SDR、SIR和SAR分别达到6.14 dB、8.59dB和18.33 dB,与现有三种多模态声源分离模型进行对比,所提多模态声源分离方法在SDR和SAR均取得最优结果,验证了多模态声源分离方法的有效性。     

A fast feature selection technique in multi modal biometrics using cloud framework

Biometrics refers to the process that uses biological or physiological traits to identify individuals. The progress seen in technology and security has a vital role to play in Biometric recognition which is a reliable technique to validate individuals and their identity. The biometric identification is generally based on either their physical traits or their behavioural traits. The multimodal biometrics makes use of either two or more of the modalities to improve recognition. There are some popular modalities of biometrics that are palm print, finger vein, iris, face or fingerprint recognition. Another important challenge found with multimodal biometric features is the fusion, which could result in a large set of feature vectors. Most biometric systems currently use a single model for user authentication. In this existing work, a modified method of heuristics that is efficiently used to identify an optimal feature set that is based on a wrapper-based feature selection technique. The proposed method of feature selection uses the Ant Colony Optimization (ACO) and the Particle Swarm Optimization (PSO) are used to feature extraction and classification process utilizes the integration of face, and finger print texture patterns. The set of training images is converted to grayscale. The crossover operator is applied to generate multiple samples for each number of images. The wok proposed here is pre-planned for each weight of each biometric modality, which ensures that even if a biometric modality does not exist at the time of verification, a person can be certified to provide calculated weights the threshold value. The proposed method is demonstrated better result for fast feature selection in bio metric image authentication and also gives high effectiveness security.     

基于图像采集质量评价的指纹与指静脉双模态识别决策级融合方法

针对单一模态生物特征识别系统性能受图像质量影响较大问题,提出一种基于图像采集质量评价的指纹与指静脉识别的决策级融合方法。该方法不仅对指纹图像进行质量评价,并首次根据指静脉图像特性设计图像采集质量评价指标,以达到克服图像质量对识别结果影响的目的。再针对这两种模态图像特点分别进行分类器设计,得出各自的识别结果后,结合上述得到的图像采集质量评价分数进行决策级融合,将融合后的结果作为最终的识别结果。实验表明,该方法有效克服图像质量对识别结果的影响,提高识别系统的性能,为多生物特征身份识别提供一种有效途径。     

Large-scale evaluation of multimodal biometric authentication using state-of-the-art systems

We examine the performance of multimodal biometric authentication systems using state-of-the-art commercial off-the-shelf (COTS) fingerprint and face biometric systems on a population approaching 1,000 individuals. The majority of prior studies of multimodal biometrics have been limited to relatively low accuracy non-COTS systems and populations of a few hundred users. Our work is the first to demonstrate that multimodal fingerprint and face biometric systems can achieve significant accuracy gains over either biometric alone, even when using highly accurate COTS systems on a relatively large-scale population. In addition to examining well-known multimodal methods, we introduce new methods of normalization and fusion that further improve the accuracy.     

Multimodal biometrics: Weighted score level fusion based on non-ideal iris and face images

The iris and face are among the most promising biometric traits that can accurately identify a person because their unique textures can be swiftly extracted during the recognition process. However, unimodal biometrics have limited usage since no single biometric is sufficiently robust and accurate in real-world applications. Iris and face biometric authentication often deals with non-ideal scenarios such as off-angles, reflections, expression changes, variations in posing, or blurred images. These limitations imposed by unimodal biometrics can be overcome by incorporating multimodal biometrics. Therefore, this paper presents a method that combines face and iris biometric traits with the weighted score level fusion technique to flexibly fuse the matching scores from these two modalities based on their weight availability. The dataset use for the experiment is self established dataset named Universiti Teknologi Malaysia Iris and Face Multimodal Datasets (UTMIFM), UBIRIS version 2.0 (UBIRIS v.2) and ORL face databases. The proposed framework achieve high accuracy, and had a high decidability index which significantly separate the distance between intra and inter distance.     

基于Adaboost的人脸与虹膜融合识别

传统生物特征识别系统的识别率经常受到环境以及生物学特征的自身局限性影响。针对该不足,提出一种基于人脸与虹膜特征级融合的多模态生物识别系统,采用中心对称局部二值模式算子提取人脸和虹膜的纹理特征,将人脸特征与虹膜特征线性整合成混合特征向量,利用Adaboost算法从该混合特征向量中优选出一组最佳特征组合,从而构成强分类器。实验结果表明,该多模态系统相比单模态系统具有更好的鲁棒性。     

指节纹识别综述*

相比其它生物特征,指节纹具有特征丰富,采集设备价格低,易于结合手形、手指静脉及掌纹组成性能鲁棒的多模态识别系统等优点.文中首先介绍指节纹的定义、数据采集、预处理方法等,之后详细介绍各种指节纹识别算法及多模态识别方案.根据特征提取及匹配方法的不同,将指节纹识别算法分为6类:基于结构的算法、基于子空间学习的算法、基于编码的算法、基于纹理特征的算法、基于相关滤波器的算法和基于局部特征描述子的算法.回顾和总结各种算法的特点,展望未来指节纹识别的发展方向.     

Feature-level fusion of fingerprint and finger-vein for personal identification

Multimodal biometrics based on feature-level fusion is a significant topic in personal identification research community. In this paper, a new fingerprint-vein based biometric method is proposed for making a finger more universal in biometrics. The fingerprint and finger-vein features are first exploited and extracted using a unified Gabor filter framework. Then, a novel supervised local-preserving canonical correlation analysis method (SLPCCAM) is proposed to generate fingerprint-vein feature vectors (FPVFVs) in feature-level fusion. Based on FPVFVs, the nearest neighborhood classifier is employed for personal identification finally. Experimental results show that the proposed approach has a high capability in fingerprint-vein based personal recognition as well as multimodal feature-level fusion.     

VISA: a multimodal database of face and iris traits

In this paper, a new realistic and challenging Face-Iris multimodal biometric database called VISA database is described. One significant problem associated with the development and evaluation of multimodal biometric systems using face and iris biometric traits is the lack of publicly available multimodal databases that are acquired in an unconstrained environment. Currently, there exist no multimodal databases containing a sufficient number of common subjects involved in both face and iris data acquisition process under different conditions. The VISA database fulfills these requirements and it will be a useful tool for the design and development of new algorithms for developing multimodal biometric systems. The VISA iris images are acquired using the IriShield camera. Face images are captured using mobile device. The corpus of a new VISA database consists of face images that vary in expression, pose and illumination, and presence of occlusion whereas iris images vary in illumination, eye movement, and occlusion. A total of more than 5000 images of 100 subjects are collated and used to form the new database. The key features of the VISA dataset are the wide and diverse population of subjects (age and gender). The VISA database is able to support face and/or iris unimodal or multimodal biometric recognition. Hence, the VISA database is a useful addition for the purpose of research and development of biometric systems based on face and iris biometrics. This paper also describes the baseline results of state-of-the-art methods on the VISA dataset and other popular similar datasets. The VISA database will be made available to the public through https://vtu.ac.in/en/visa-multimodal-face-and-iris-biometrics-database/

     

基于非负张量分解的人脸识别算法研究

人脸识别是生物特征识别中一个活跃的研究领域。非负张量分解作为非负矩阵分解的多线性推广,已被成功应用到人脸识别等领域。提出了基于非负张量分解的人脸识别算法。该方法无需将人脸矩阵向量化,从而保持了人脸矩阵的内部结构,即人脸图像的整体结构,使人脸特征提取更精确。 实验结果表明, 与经典的人脸识别算法如PCA和NMF相比,该算法提供了一种更好的脸部表示模式,提高了人脸识别的正确率。