多模态生物特征识别技术进展综述

近年来,生物特征识别已经成为一种最具潜力的身份认证技术之一.主要对多模态生物特征识别技术进行概括和总结,同时也介绍了现存若干用于身份识别和验证的多模态生物特征识别系统.经调查研究显示,多模态生物特征识别技术由于在身份认证和识别过程中考虑了个体的多种生理或行为特征,因而表现出了较单生物特征更高的可靠性和安全性,并已成为生物特征识别技术未来发展的趋势之一.     

基于听说知识融合网络的多模态对话情绪识别

多模态对话情绪识别旨在根据多模态对话语境判别出目标话语所表达的情绪类别,是构建共情对话系统的基础任务.现有工作中大多数方法仅考虑多模态对话本身信息,忽略了对话中与倾听者和说话者相关的知识信息,从而限制了目标话语情绪特征的捕捉.为解决该问题,提出一种基于听说知识融合网络的多模态对话情绪识别模型(LSKFN),引入与倾听者和说话者相关的外部常识知识,实现多模态上下文信息和知识信息的有机融合.LSKFN包含多模态上下文感知、听说知识融合、情绪信息汇总和情绪决策4个阶段,分别用于提取多模态上下文特征、融入听说知识特征、消除冗余特征和预测情绪分布.在两个公开数据集上的实验结果表明,与其他基准模型相比,LSKFN能够为目标话语提取到更加丰富的情绪特征,并且获得较好的对话情绪识别效果.     

多模态生物特征提取及相关性评价综述

生物特征识别是身份认证的重要手段,特征提取技术在其中扮演了关键角色,直接影响识别的结果。随着特征提取技术日趋成熟,学者们逐渐将目光投向了生物特征间的相关性问题。本文以单模态和多模态生物识别中的特征提取方法为研究对象,回顾了人脸与指纹的特征提取方法,分析了基于经验知识的特征分类提取方法以及基于深度学习的计算机逻辑采样提取方法,并从图像处理的角度对单模态与多模态方法进行对比。以当前多模态生物特征提取方法和DNA表达过程为引,提出了不同模态的生物特征之间存在相关性的猜想,以及对这一猜想进行建模的思路。在多模态生物特征提取的基础上,对今后可能有进展的各生物特征之间的相关性建模进行了展望。     

步态表征和步态融合方法新进展

作为可远距离感知的生物特征识别技术之一,步态识别受到越来越多的关注.有效的步态表征方法是步态识别的关键,信息融合是提高步态识别性能的重要手段.从步态表征方法和信息融合方法两方面总结了步态识别技术的最新进展;对步态表征方法做了详细的总结;从多特征融合、多视角融合和多模态生物特征融合3个方面归纳了融合在步态识别方面的发展.在此基础上,分析了步态识别的发展趋势.     

基于多模态生物识别的安全身份认证技术

本文分析了传统身份认证方法在电子取证中存在的问题,突出了生物特征识别技术应用于电子取证中的优点。针对单模态生物特征技术存在识别精度不够等问题,提出了将多模态生物特征技术的安全身份认证的体系结构,并探讨了多种特征信息融合的方法。[编者按]     

融合动作特征的多模态情绪识别

近年来,利用计算机技术实现基于多模态数据的情绪识别成为自然人机交互和人工智能领域重要 的研究方向之一。利用视觉模态信息的情绪识别工作通常都将重点放在脸部特征上,很少考虑动作特征以及融合 动作特征的多模态特征。虽然动作与情绪之间有着紧密的联系,但是从视觉模态中提取有效的动作信息用于情绪 识别的难度较大。以动作与情绪的关系作为出发点,在经典的 MELD 多模态情绪识别数据集中引入视觉模态的 动作数据,采用 ST-GCN 网络模型提取肢体动作特征,并利用该特征实现基于 LSTM 网络模型的单模态情绪识别。 进一步在 MELD 数据集文本特征和音频特征的基础上引入肢体动作特征,提升了基于 LSTM 网络融合模型的多 模态情绪识别准确率,并且结合文本特征和肢体动作特征提升了上下文记忆模型的文本单模态情绪识别准确率, 实验显示虽然肢体动作特征用于单模态情绪识别的准确度无法超越传统的文本特征和音频特征,但是该特征对于 多模态情绪识别具有重要作用。基于单模态和多模态特征的情绪识别实验验证了人体动作中含有情绪信息,利用 肢体动作特征实现多模态情绪识别具有重要的发展潜力。     

基于注意力机制的人脸虹膜双特征融合识别

针对单一生物识别方法存在的固有局限性，利用人脸和虹膜双生物模态信息，提出一种基于注意力机制和低秩多模态融合的身份识别模型(attention mechanism and low-rank multimodal fusion, ALMF)。在模型的人脸和虹膜特征提取网络中均嵌入改进的混合注意力机制(I＿CBAM),增强有用特征的提取。利用模态特定低秩因子完成低秩多模态特征级融合(low-rank multimodal fusion, LMF),解决传统特征拼接方式无法充分实现各模态特征的互补、容易造成冗余信息和维度灾难等问题。使用简单高效的余弦距离完成特征模板的比对实现身份识别。实验结果表明，ALMF模型相比单一生物特征识别和传统融合识别算法具有更强的鲁棒性和准确率。     

基于多模态融合的赌博应用识别模型

安卓赌博应用安装包中往往含有文本、图片、证书等大量可用于标识应用属性的多模态信息,针对当前赌博应用内容有害发现及安全研究较少、已有方法不具有针对性等问题,提出了一种基于多头注意力机制的多模态融合赌博应用识别模型.首先,提取赌博应用安装包中的图片信息,先后采用VGGNet和ResNet模型提取图片特征、识别图片信息;其次,提取赌博应用安装包中的文本信息,采用双向长短期记忆(BiLSTM)方法处理文本信息、识别文本内容;最后,基于多头注意力机制,建立多模态融合模型,对赌博应用进行综合性识别.通过在真实数据集上验证表明,采用不同文本和图片模型的平均准确率分别为71.5％和76％,该多模态融合模型的平均准确率为85.5％.可见,相比单一文本模型或图片模型,多模态融合模型有效提高了赌博应用的识别准确率.     

多文化场景下的多模态情感识别

自动情感识别是一个非常具有挑战性的课题,并且有着广泛的应用价值.本文探讨了在多文化场景下的多模态情感识别问题.我们从语音声学和面部表情等模态分别提取了不同的情感特征,包括传统的手工定制特征和基于深度学习的特征,并通过多模态融合方法结合不同的模态,比较不同单模态特征和多模态特征融合的情感识别性能.我们在CHEAVD中文多模态情感数据集和AFEW英文多模态情感数据集进行实验,通过跨文化情感识别研究,我们验证了文化因素对于情感识别的重要影响,并提出3种训练策略提高在多文化场景下情感识别的性能,包括：分文化选择模型、多文化联合训练以及基于共同情感空间的多文化联合训练,其中基于共同情感空间的多文化联合训练通过将文化影响与情感特征分离,在语音和多模态情感识别中均取得最好的识别效果.     

基于双模态特征融合的多媒体场景识别

多媒体场景本质是视频音频等多模态信息交互融合的结果,尽管每个模表达了一定的语义,但是多媒体场景完整表达要通过多模态信息去共同体现.本文提出使用视频音频双模态特征融合技术形成的超级隐马尔可夫链进行多媒体场景识别.实验数据表明,与只使用单模态信息识别多媒体场景的方法相比,超级隐马可夫链取得了更好的识别正确率.     

基于三角范数的多模态手指生物特征的分数层融合方法

多模态的生物特征融合已成为目前生物识别研究领域的主要发展趋势,从防伪性角度出发,满足普适性和易采集、易接受性的应用需求,提出了基于手指静脉,并结合指纹、指关节纹和指形的分数层融合来实现多模态生物特征的身份认证方案。实验结果表明,本文提出基于Sugeno-Weber三角范数的分数层融合方法,能够增大类内与类间匹配分数分布间的距离,提高了多模态生物特征的身份认证性能。     

掌纹识别研究进展综述

掌纹图像蕴含丰富特征,容易与手背静脉、指节纹及手形特征进行多模态融合,因此成为生物特征识别领域的热点.文中主要从掌纹的采集、感兴趣区域的检测、特征提取与匹配3方面介绍掌纹识别的基本流程.探讨基于不同特征融合的多模态识别策略.根据特征提取方法的不同,掌纹识别算法可分为基于手工设计的算法(如编码特征、结构特征、统计特征、子空间特征)和基于特征学习的算法(如机器学习和深度学习),文中对上述算法进行详细对比和分析.最后讨论未来掌纹识别面临的挑战和发展,特别是复杂场景下跨平台的掌纹识别系统.     

基于超图的多模态情绪识别

近年来多模态情绪识别获得广泛关注,模态间的特征融合决定了情绪识别的效果,现有基于图的情绪特征融合方法多基于二元关系图,在处理三种及以上模态数据时难以实现有效的模态间特征融合,限制了多模态情绪识别的效果.为解决该问题,本文提出基于超图的多模态情绪识别模型（Multi-modal Emotion Recognition Based on Hypergraph,MORAH）,引入超图来建立多模态的多元关系,以此替代现有图结构采用的多个二元关系,实现更加充分、高效的多模态特征融合.具体来说,该模型将多模态特征融合分为两个阶段：超边构建阶段和超图学习阶段.在超边构建阶段,通过胶囊网络实现对序列中每个时间步的信息聚合,并建立单模态的图,然后使用图卷积进行第二次信息聚合,并以此作为下一阶段建立超图的基础,得益于图胶囊聚合方法的加入,MORAH可以同时处理对齐数据和未对齐数据,无需手动对齐;在超图学习阶段,模型建立同一样本不同模态节点之间的关联,以及同类样本所有模态之间的关联,同时,在超图卷积过程中,使用分层多级超边来避免过于平滑的节点嵌入,并使用简化的超图卷积方法来融合模型之间的高级特征,以确保所有...     

基于YOLO的多模态特征差分注意融合行人检测

针对可见光模态与热红外模态间的差异问题和如何充分利用多模态信息进行行人检测,本文提出了一种基于YOLO的多模态特征差分注意融合行人检测方法.该方法首先利用YOLOv3深度神经网络的特征提取主干分别提取多模态特征;其次在对应多模态特征层之间嵌入模态特征差分注意模块充分挖掘模态间的差异信息,并经过注意机制强化差异特征表示进而改善特征融合质量,再将差异信息分别反馈到多模态特征提取主干中,提升网络对多模态互补信息的学习融合能力;然后对多模态特征进行分层融合得到融合后的多尺度特征;最后在多尺度特征层上进行目标检测,预测行人目标的概率和位置.在KAIST和LLVIP公开多模态行人检测据集上的实验结果表明,提出的多模态行人检测方法能有效解决模态间的差异问题,实现多模态信息的充分利用,具有较高的检测精度和速度,具有实际应用价值.     

基于深度学习的多模态生物特征融合模型

面对公安实战中获取的低质量生物特征数据,单模态生物特征识别技术的精度并不理想,现有的多模态融合算法存在融合层次单一、泛化性不强等问题,深度神经网络的发展为其提供了有效的解决途径。构建基于深度神经网络的多模态生物特征融合模型,将像素层、特征层、分数层等不同层次的融合方法统一到融合模型中,在像素层采用空间、通道和强度融合三种策略;在特征层通过反向传播整体优化模态专用分支与联合表示层,构建模态之间一阶依赖关系;在分数层使用基于Rank1评价和基于模态评价两种方法完成匹配分数融合。模拟实战数据构建虚拟同源多模态数据集进行模型验证。实验结果表明,多模态像素层融合方法提升效果有限,难以增强数据的区分度;多模态特征层融合方法相比单模态算法提升2.2个百分点;分数层融合方法相比单模态算法提升3.5个百分点,最佳检索精度可达99.6%。基于深度学习方法提出的多模态生物特征融合模型极大地提高了模型的泛化性和检索精度。     

基于多传感器信息融合的人类抓握特征学习及物体识别

基于柔性可穿戴传感器及多模态信息融合,研究人类的抓握特征学习及抓取物体识别,探索人类在抓取行为中所依赖的感知信息的使用．利用10个可拉伸传感器、14个温度传感器及78个压力传感器构建了数据手套并穿戴于人手,分别测量人类在抓取行为中手指关节的弯曲角度、抓取物体的温度及压力分布信息,并在时间及空间序列上建立了跨模态信息表征,同时使用深度卷积神经网络对此多模态信息进行融合,构建人类抓握特征学习模型,实现抓取物体的精准识别．分别针对关节角度特征、温度特征及压力信息特征进行了融合实验及有效性分析,结果表明了基于多传感器的多模态信息融合能够实现18种物品的精准识别．     

基于多模态关系建模的三维形状识别方法

为了充分利用点云和多视图两种模态数据之间的局部空间关系以进一步提高三维形状识别精度,提出一个基于多模态关系的三维形状识别网络,首先设计多模态关系模块(multimodal relation module, MRM),该模块可以提取任意一个点云的局部特征和一个多视图的局部特征之间的关系信息,以得到对应的关系特征.然后,采用由最大池化和广义平均池化组成的级联池化对关系特征张量进行处理,得到全局关系特征.多模态关系模块分为两种类型,分别输出点-视图关系特征和视图-点关系特征.提出的门控模块采用自注意力机制来发现特征内部的关联信息,从而将聚合得到的全局特征进行加权来实现对冗余信息的抑制.详尽的实验表明多模态关系模块可以使网络获得更优的表征能力;门控模块可以让最终的全局特征更具判别力,提升检索任务的性能.所提网络在三维形状识别标准数据集ModelNet40和ModelNet10上分别取得了93.8%和95.0%的分类准确率以及90.5%和93.4%的平均检索精度,在同类工作中处于先进水平.     

结合并行融合的序列化多模态生物特征识别系统框架

针对多模态生物特征识别系统并行融合模式中使用方便性和使用效率方面的问题,在现有序列化多模态生物特征识别系统的基础上,提出了一种结合并行融合和序列化融合的多生物特征识别系统框架。框架中首先采用步态、人脸与指纹三种生物特征的不同组合方式以加权相加的得分级融合算法进行的识别过程;其次,利用在线的半监督学习技术提高弱特征的识别性能,从而进一步增强系统的使用方便性和识别可靠性。理论分析和实验结果表明,在此框架下,随使用时间的推移,系统能够通过在线学习提高弱分类器的性能,用户的使用方便性和系统的识别精度都得到了进一步提升。     

基于感知重采样和多模态融合的连续情感识别

情感识别在人机交互中发挥着重要的作用,连续情感识别因其能检测到更广泛更细微的情感而备受关注。在多模态连续情感识别中,针对现有方法获取的时序信息包含较多冗余以及多模态交互信息捕捉不全面的问题,提出基于感知重采样和多模态融合的连续情感识别方法。首先感知重采样模块通过非对称交叉注意力机制去除模态冗余信息,将包含时序关系的关键特征压缩到隐藏向量中,降低后期融合的计算复杂度。其次多模态融合模块通过交叉注意力机制捕捉模态间的互补信息,并利用自注意力机制获取模态内的隐藏信息,使特征信息更丰富全面。在Ulm-TSST和Aff-Wild2数据集上唤醒度和愉悦度的CCC均值分别为63.62%和50.09%,证明了该模型的有效性。     

基于注意力融合网络的方面级多模态情感分类

方面级多模态情感分类任务的一个关键是从文本和视觉两种不同模态中准确地提取和融合互补信息, 以检测文本中提及的方面词的情感倾向. 现有的方法大多数只利用单一的上下文信息结合图片信息来分析, 存在对方面和上下文信息、视觉信息的相关性的识别不敏感, 对视觉中的方面相关信息的局部提取不够精准等问题, 此外, 在进行特征融合时, 部分模态信息不全会导致融合效果一般. 针对上述问题, 本文提出一种注意力融合网络AF-Net模型去进行方面级多模态情感分类, 利用空间变换网络STN学习图像中目标的位置信息来帮助提取重要的局部特征; 利用基于Transformer的交互网络对方面和文本以及图像之间的关系进行建模, 实现多模态交互; 同时补充了不同模态特征间的相似信息以及使用多头注意力机制融合多特征信息, 表征出多模态信息, 最后通过Softmax层取得情感分类的结果. 在两个基准数据集上进行实验和对比, 结果表明AF-Net能获得较好的性能, 提升方面级多模态情感分类的效果.