多模态信息抽取研究综述

多模态信息抽取任务是指从非结构化或半结构化的多模态数据(包含文本和图像等)中提取结构化知识. 其研究内容主要包含多模态命名实体识别、多模态实体关系抽取和多模态事件抽取. 首先对多模态信息抽取任务进行分析, 然后对多模态命名实体识别、多模态实体关系抽取和多模态事件抽取这3个子任务的共同部分, 即多模态表示和融合模块进行归纳和总结. 随后梳理上述3个子任务的常用数据集和主流研究方法. 最后总结多模态信息抽取的研究趋势并分析该研究存在的问题和挑战, 为后续相关研究提供参考.     

异构信息空间中时间感知的查询时实体识别与数据融合

已有的传统的实体识别技术大多是以线下、非实时的方式,在静态数据集上进行,对于大数据集的执行通常需要大量的时间和系统资源。对于异构信息空间中具有时间信息、不断演化的异构实体来说,时间感知的查询时实体识别与数据融合越来越成为一种保证数据质量和满足用户需求的发展趋势。针对异构信息空间中使用时间上下文的关键字查询进行的实体搜索,提出一种时间感知的查询时实体识别与数据融合方法TQ-ER,以给用户提供准确的实体概貌(entity profile);提出一种迭代式时间感知的实体候选集生成算法。TQ-ER充分利用查询的时间上下文和实体的时间信息给正确的回答一个给定查询所需要的、最少的实体数据,以进行识别与数据融合。在真实数据集上的大量实验结果表明了TQ-ER的有效性和正确性。     

多尺度视觉语义增强的多模态命名实体识别方法

为解决多模态命名实体识别(Multimodal named entity recognition, MNER)方法研究中存在的图像特征语义缺失和多模态表示语义约束较弱等问题, 提出多尺度视觉语义增强的多模态命名实体识别方法(Multi-scale visual semantic enhancement for multimodal named entity recognition method, MSVSE). 该方法提取多种视觉特征用于补全图像语义, 挖掘文本特征与多种视觉特征间的语义交互关系, 生成多尺度视觉语义特征并进行融合, 得到多尺度视觉语义增强的多模态文本表示; 使用视觉实体分类器对多尺度视觉语义特征解码, 实现视觉特征的语义一致性约束; 调用多任务标签解码器挖掘多模态文本表示和文本特征的细粒度语义, 通过联合解码解决语义偏差问题, 从而进一步提高命名实体识别准确度. 为验证该方法的有效性, 在Twitter-2015和Twitter-2017数据集上进行实验, 并与其他10种方法进行对比, 该方法的平均F1值得到提升.     

图文语义增强的多模态命名实体识别方法

为了解决多模态命名实体识别方法中存在的图文语义缺失、多模态表征语义不明确等问题,提出了一种图文语义增强的多模态命名实体识别方法。其中,利用多种预训练模型分别提取文本特征、字符特征、区域视觉特征、图像关键字和视觉标签,以全面描述图文数据的语义信息;采用Transformer和跨模态注意力机制,挖掘图文特征间的互补语义关系,以引导特征融合,从而生成语义补全的文本表征和语义增强的多模态表征;整合边界检测、实体类别检测和命名实体识别任务,构建了多任务标签解码器,该解码器能对输入特征进行细粒度语义解码,以提高预测特征的语义准确性;使用这个解码器对文本表征和多模态表征进行联合解码,以获得全局最优的预测标签。在Twitter-2015和Twitter-2017基准数据集的大量实验结果显示,该方法在平均F1值上分别提升了1.00%和1.41%,表明该模型具有较强的命名实体识别能力。     

基于多模态信息融合的语音意图理解研究

为从语音中获取包括字面含义和说话人情绪状态在内的全面意图信息,提出了一种基于多模态信息融合的语音意图理解方法,并对其中的关键词抽取、命令解析、基于文本/韵律特征的情绪状态检测以及多模态信息融合等关键算法进行了设计.该方法从识别文本和语音信号中抽取不同模态的信息并进行融合,能够有效地从语音中获取丰富的意图信息,有助于建立自然的人机交互环境.     

异构信息空间中时间感知的实体集成框架

异构信息空间中的实体和关联关系普遍具有时间信息、多种时间版本的实体数据共存,而传统的实体集成忽略了时间信息,不支持时间维度上的集成。提出一种异构信息空间中时间感知的实体集成框架T-EI,从大量异构实体数据中聚集事实形成干净的、完整的、具有时间信息的实体概貌,进而支持时间感知的实体搜索。T-EI利用实体及关联关系所具有的时间信息提出时间感知的实体识别算法,并通过考虑数据时效性提出时间感知的数据融合算法。在真实数据集上的实验结果表明了T-EI的可行性和有效性。     

自适应特征融合的多模态实体对齐研究

多模态数据间交互式任务的兴起对于综合利用不同模态的知识提出了更高的要求, 因此融合不同模态知识的多模态知识图谱应运而生. 然而, 现有多模态知识图谱存在图谱知识不完整的问题, 严重阻碍对信息的有效利用. 缓解此问题的有效方法是通过实体对齐进行知识图谱补全. 当前多模态实体对齐方法以固定权重融合多种模态信息, 在融合过程中忽略不同模态信息贡献的差异性. 为解决上述问题, 设计一套自适应特征融合机制, 根据不同模态数据质量动态融合实体结构信息和视觉信息. 此外, 考虑到视觉信息质量不高、知识图谱之间的结构差异也影响实体对齐的效果, 本文分别设计提升视觉信息有效利用率的视觉特征处理模块以及缓和结构差异性的三元组筛选模块. 在多模态实体对齐任务上的实验结果表明, 提出的多模态实体对齐方法的性能优于当前最好的方法.     

多模态数据融合综述

随着当今信息技术的飞速发展;信息的存在形式多种多样;来源也十分广泛。不同的存在形式或信息来源均可被称之为一种模态;由两种或两种以上模态组成的数据称之为多模态数据。多模态数据融合负责将多个模态的信息进行有效的整合;汲取不同模态的优点;完成对信息的整合。自然现象具有十分丰富的特征;单一模态很难提供某个现象的完整信息。面对保持融合后具有各个模态信息的多样性以及完整性、使各个模态的优点最大化、减少融合过程造成的信息损失等方面的融合要求;如何对各个模态的信息进行融合成为了多个领域广泛存在的一个新挑战。简要阐述了常见的多模态融合方法、融合架构;总结了三个常见的融合模型;简要分析协同、联合、编解码器三大架构的优缺点以及多核学习、图像模型等具体融合方法。在多模态的应用方面;对多模态视频片段检索、综合多模态信息生成内容摘要、多模态情感分析、多模态人机对话系统进行了分析与总结。指出了当前多模态融合出现的问题;并提出未来的研究方向。     

基于自适应融合技术的多模态实体对齐模型

多模态实体对齐旨在识别由结构三元组和与实体相关的图像组成的不同的多模态知识图谱之间的等价实体。现有的多模态实体对齐的研究主要集中在多模态融合策略,忽略了模态缺失和不同模态难以融合的问题,未能充分利用多模态信息。为了解决上述问题,提出了MACEA模型,该模型使用多模态变分自编码方法主动补全缺失的模态信息,动态模态融合方法整合不同模态的信息并相互补充,模态间对比学习方法对模态间进行建模,这些方法有效解决了模态缺失与模态难以融合的问题。相比于当前基线模型,MACEA的hit@1和MRR指标分别提升了5.72%和6.78%,实验结果表明,该方法可以有效地识别出对齐实体对,具有较高的准确性和实用性。     

融合分区和局部搜索的多模态多目标优化

为解决多模态多目标优化中种群多样性维持难和所得等价解数量不足问题,基于分区搜索和局部搜索,本研究提出一种融合分区和局部搜索的多模态多目标粒子群算法(multimodal multi-objective particle swarm optimization combing zoning search and local search,ZLS-SMPSO-MM)。在所提算法中,整个搜索空间被分割成多个子空间以维持种群多样性和降低搜索难度;然后,使用已有的自组织多模态多目标粒子群算法在每个子空间搜索等价解和挖掘邻域信息,并利用局部搜索能力较强的协方差矩阵自适应算法对有潜力的区域进行精细搜索。通过14个多模态多目标优化问题测试,并与其他5种知名算法进行比较;实验结果表明ZLS-SMPSO-MM在决策空间能够找到更多的等价解,且整体性能要好于所比较算法。     

异构信息空间中时间感知的跨类型实体推荐

随着实体搜索成为信息检索的一种新趋势,实体推荐也成为业界和学术界的热门研究问题之一。异构信息空间中的异构实体间彼此相互关联,因此跨类型实体推荐至关重要。此外,异构实体具有时间信息,异构信息空间中的实体不断随时间演化,用户希望得到在时间上最相关的实体推荐。提出一个时间感知的跨类型实体推荐框架T-ERe,利用异构实体间丰富的关联关系和查询日志实现跨类型的实体推荐。T-ERe考虑实体的时间信息和查询的时间上下文, 给用户推荐时间上最相关的多种类型的实体。在真实数据集上的实验结果表明了T-ERe的可行性和有效性。     

基于属性信息熵的实体匹配方法研究

如何找出异构数据库间相同的实体,特别是当现实生活中的同一实体在不同的应用环境中用不同的标识符表示时,如何根据已知描述实体的相同属性的信息,进行实体匹配,解决实体异构问题,是实现数据库间互操作至关重要的因素。针对该问题,文章给出了一种基于属性信息熵的实体匹配方法。具体数据的实验结果显示该方法是很有效的。     

基于数据融合的Web元搜索模型比较研究

没有一个搜索引擎系统在任何情况下所表现出来的性能都比其他的搜索引擎要好,因此研究元搜索引擎是必要的.文中提出了三种元搜索中的传统数据融合方法:基于线性组合的相似度融合、基于排序的Unbiased和Biased-Bayes融合.其中相似度融合通过分析部分Web文档的内容来产生线性组合的参数,Unbiased则将各搜索引擎的结果表均衡地融合在一起,Biased-Bayes则利用了ODP的分类服务和Bayes概率模型来计算文档的相关度.通过实验证明它们是行之有效的融合方法,比较传统的方法的性能有一定提高,在效率上比纯粹分析所有文档的内容来进行融合的方法更好.     

多信息融合的虚拟线车辆检测算法

传统的虚拟线车辆检测算法仅利用图像亮度分量检测车辆,易受外部环境及车身颜色影响,误检率较高.提出了一种多信息融合的虚拟线车辆检测算法,以H、S、I三个分量信息为依据动态选择多个颜色空间的不同信息分量进行信息融合,将融合后的数据作为新的检测依据再进行虚拟线检测.检测效果同传统检测算法相比,可有效降低误检率.     

Projected sequential Gaussian processes: A C++ tool for interpolation of large datasets with heterogeneous noise

Heterogeneous datasets arise naturally in most applications due to the use of a variety of sensors and measuring platforms. Such datasets can be heterogeneous in terms of the error characteristics and sensor models. Treating such data is most naturally accomplished using a Bayesian or model-based geostatistical approach; however, such methods generally scale rather badly with the size of dataset, and require computationally expensive Monte Carlo based inference. Recently within the machine learning and spatial statistics communities many papers have explored the potential of reduced rank representations of the covariance matrix, often referred to as projected or fixed rank approaches. In such methods the covariance function of the posterior process is represented by a reduced rank approximation which is chosen such that there is minimal information loss. In this paper a sequential Bayesian framework for inference in such projected processes is presented. The observations are considered one at a time which avoids the need for high dimensional integrals typically required in a Bayesian approach. A C++ library, gptk, which is part of the INTAMAP web service, is introduced which implements projected, sequential estimation and adds several novel features. In particular the library includes the ability to use a generic observation operator, or sensor model, to permit data fusion. It is also possible to cope with a range of observation error characteristics, including non-Gaussian observation errors. Inference for the covariance parameters is explored, including the impact of the projected process approximation on likelihood profiles. We illustrate the projected sequential method in application to synthetic and real datasets. Limitations and extensions are discussed.     

异构数据实体分辨多目标蚁群参考点选择

为提高异构数据实体分辨的准确性,提出了异构数据实体分辨的蚁群算法参考点选择方法。异构数据的相似性通常难以直接度量,可以将其映射到参照物构造的统一空间后,再进行相似度的度量。给定两个异构数据集,选取若干匹配的数据对象对作为参照物(称之为参考点),将两个数据集中对象转换为到各自参考点的距离向量,依据距离向量的相似性进行实体分辨。为选择出更优的参考点集,建立了以最大化查全率、最大化查准率和最小化参考点集合规模为目标的优化模型,通过约束参考点集合规模,将上述模型转换成两目标优化模型,进而设计求解模型的蚁群算法,实现了参考点集的优化选择。实验结果表明,上述方法能够有效提高异构数据实体分辨的准确性。     

基于Legendre矩的CT及MR医学图象融合方法

为了提高CT、MR多模态医学图象配准、融合的精度和速度,提出了基于Legendre矩的CT和MR多模态医学图象配准、融合方法,并运用二维9数据图象的Legendre矩正交性和无冗余性的特点,通过找出CT及MR两种模态医学图象的质心,计算出两图象的比例因子,从而完成了两图象的平移和旋转,并精确地实现了CT和MR两模态图象的配信、融合,还优化了Legendre矩的快速算法和提高了应用Legendre矩配准CT和MR图象的速度。实验表明,利用Legendre矩对CT和MR等多模态图象配准、融合,不失为一种比较直接、简洁的方法;同时,Legendre矩在医学影象诊断、放疗计划系统等方面也具有重要的应用价值。     

优化算法的信息原理与群搜索

从两个不同的角度对各种进化算法进行剖析,寻求合理的解释.从信息论的角度进行讨论,分析了在算法设计中如何表示信息.提取信息、传递信息,利用信息与信息融合等问题,在优化技术与信息论之间建立了联系的纽带.从搜索的角度进行讨论,分析了单点搜索与多点搜索,指出了各种进化算法均属于随机布点,企图寻找全局最优的数值方法.