多模态知识图谱的3D场景识别与表达方法综述

综述了多模态知识图谱技术在场景识别方面的应用。该技术将不同层次的3D专业知识结合到深度神经网络中,实现场景认知和知识表达。从知识的存储、获取和归纳三个层面,系统阐述了该技术的相关内容。贡献在于：全面综述了外置特征数据库快速构建3D场景图的现有技术;深入探讨了处理三维点云和视频的深度学习方法,并对此领域的未来研究方向做出分析。该研究对人工智能领域具有重要意义,为相关领域的进一步研究提供了有益的参考。为加强多模态知识图谱与其他人工智能技术（如自然语言处理、计算机视觉等）之间的融合,实现更加智能化、自动化、人性化的应用做出贡献。     

基于LEBERT的多模态领域知识图谱构建

多模态知识图谱(multi-modal knowledge graph, MMKG)是近几年新兴的人工智能领域研究热点. 本文提供了一种多模态领域知识图谱的构建方法, 以解决计算机学科领域知识体系庞大分散的问题. 首先, 通过爬取计算机学科的相关多模态数据, 构建了一个系统化的多模态知识图谱. 但构建多模态知识图谱需要耗费大量的人力物力, 本文训练了基于LEBERT模型和关系抽取规则的实体-关系联合抽取模型, 最终实现了一个能够自动抽取关系三元组的多模态计算机学科领域知识图谱.     

跨媒体智能关联分析与语义理解理论与技术研究进展

深入分析了跨媒体智能关联分析与语义理解理论技术的最新研究进展,包括多模态数据的统一表达、知识引导的数据融合、跨媒体关联分析、基于知识图谱的跨媒体表征技术以及面向多模态的智能应用.其中,多模态数据的统一表达是对跨媒体信息进行分析推理的先决条件,利用多模态信息间的语义一致性剔除冗余信息,通过跨模态相互转化来实现跨媒体信息统一表达,学习更全面的特征表示;跨媒体关联分析立足于图像语言、视频语言以及音视频语言的跨模态关联分析与理解技术,旨在弥合视觉、听觉以及语言之间的语义鸿沟,充分建立不同模态间的语义关联;基于知识图谱的跨媒体表征技术通过引入跨媒体的知识图谱,从跨媒体知识图谱构建、跨媒体知识图谱嵌入以及跨媒体知识推理3个方面展开研究,增强跨媒体数据表征的可靠性,并提升后续推理任务的分析效率和准确性;随着跨模态分析技术的快速发展,面向多模态的智能应用得到了更多的技术支撑,依据智能应用所需要的领域知识,选取了多模态视觉问答,多模式视频摘要、多模式视觉模式挖掘、多模式推荐、跨模态智能推理和跨模态医学图像预测等跨模态应用实例,梳理了其在多模态数据融合以及跨媒体分析推理方面的研究进展.     

多模态知识图谱表示学习综述

在综合对比传统知识图谱表示学习模型优缺点以及适用任务后,发现传统的单一模态知识图谱无法很好地表示知识。因此,如何利用文本、图片、视频、音频等多模态数据进行知识图谱表示学习成为一个重要的研究方向。同时,详细分析了常用的多模态知识图谱数据集,为相关研究人员提供数据支持。在此基础上,进一步讨论了文本、图片、视频、音频等多模态融合下的知识图谱表示学习模型,并对其中各种模型进行了总结和比较。最后,总结了多模态知识图谱表示学习如何改善经典应用,包括知识图谱补全、问答系统、多模态生成和推荐系统在实际应用中的效果,并对未来的研究工作进行了展望。     

高校人工智能课程多模态知识图谱构建及可视化

人工智能课程在教学过程面临着知识概念多、理论抽象等问题,不利于学生理解相关知识点。文章采用机器学习方法,通过数据收集与实体关系分类体系构建、实体关系抽取、多模态资源链接3个步骤自动构建了人工智能课程多模态知识图谱,并对其进行了可视化展示。     

多模态生物特征信息安全防护体系研究

在新的计算能力和深度学习技术推动下,人工智能、大数据发展进入了繁荣期,导致多模态生物特征信息迅猛增加与应用.由于多模态生物识别具有自然性和多场景应用性,特征信息的采集、识别、分析不仅涉及个人隐私和人格尊严,还主动或被动暴露在现实环境中,高校面临着巨大的信息安全保护需求和风险挑战.通过对高校多模态生物特征信息安全问题及现...     

多模态知识图谱构建与应用研究综述

为了总结前人工作,给相关研究者提供思路,首先讨论了当前多模态知识图谱的基本概念,然后从图数据库和知识图谱这两个角度介绍了多模态知识图谱的构建工作,并总结了两种主要方法的思路.还分析了多模态知识图谱的构建和应用中的关键技术和相关工作,如多模态信息提取、表示学习和实体链接.此外,列举了多模态知识图谱在四种场景中的应用,包括推荐系统、跨模态检索、人机交互和跨模态数据管理.最后,从四个方面展望了多模态知识图谱的发展前景.     

类ChatGPT大模型发展、应用和前景

生成式人工智能技术自ChatGPT发布以来，不断突破瓶颈，吸引了资本规模投入、多领域革命和政府重点关注。本文首先分析了大模型的发展动态、应用现状和前景，然后从以下3个方面对大模型相关技术进行了简要介绍：1）概述了大模型相关构造技术，包括构造流程、研究现状和优化技术；2）总结了3类当前主流图像—文本的大模型多模态技术；3）介绍了根据评估方式不同而划分的3类大模型评估基准。参数优化与数据集构建是大模型产品普及与技术迭代的核心问题；多模态能力是大模型重要发展方向之一；设立评估基准是比较与约束大模型的关键方法。此外，本文还讨论了现有相关技术面临的挑战与未来可能的发展方向。现阶段的大模型产品已有强大的理解能力和创造能力，在教育、医疗和金融等领域已展现出广阔的应用前景。但同时，它们也存在训练部署困难、专业知识不足和安全隐患等问题。因此，完善参数优化、优质数据集构建、多模态等技术，并建立统一、全面、便捷的评估基准，将成为大模型突破现有局限的关键。     

基于自然语言处理(NLP)技术建立化学品危险评估知识图谱的研究

化学品危险评估与人民生命财产安全密切相关,化学品信息的运用直接影响危险评估的快捷程度和准确度。建立化学品危险评估知识图谱能有限管理和应用化学品信息。本文对化学品危险评估领域知识进行了梳理,在确定了领域范围、知识内容和基本本体层次关系基础上,提出了一种准确高效的领域知识构建方法—"NLP及人工智能辅助法":首先,利用爬虫技术对数据进行采集和清洗通过数据抓取及数据清洗;从获得7.8亿条结构化数据中利用中文分词、语义分析等技术进行了知识抽取,构建化学品危险评估知识主体层次关系;通过关系映射、语义分析等技术手段抽取本体属性;基于自然语言处理和人工智能技术苟安知识本体及知识图谱。本研究在一定程度解决了化学品评估知识图谱专业性强、数据量大、过程复杂;中文知识图谱构建的开放链接相对缺乏,导致目前国内尚没有成熟的化学品评估中文知识图谱的问题。化学品危险分类信息匹配为场景实现了初步应用,结果表明,化学品危险评估知识图谱在危险分类信息数据查询、匹配验证的应用将人工平均时间从4460秒压缩到137秒,准确率从86.2%提升到94.3%,大幅提高了化学品危险评估数据查询和匹配的效率。本文的工作进一步表明利用知识图谱可以更好的实现行业或专业领域知识的管理,具有重要应用价值。     

基于多模态组合模型的语音情感识别

语音情感识别在人机交互、人工智能(AI)、自然语言处理(NLP)、5G技术等方面扮演着重要的角色。为了克服单模态模型语音情感识别率低和手工调参的缺点,本文首先在Gaurav Sahu的基础模型上增加KNN、CNB和Adaboost单模态模型,提出多模态组合模型C3;然后应用排列组合方法通过计算机实现自动组合,克服GauravSahu手工组合存在的不足;最后用超参数优化方法和交叉验证方法对网络模型进行训练和测试,解决手工调参存在的不足。在IEMOCAP数据集上对本文提出的C3进行实验,实验结果表明,C3比Gaurav Sahu提出的多模态组合模型E2的语音情感识别性能提升1.56%。     

面向FPGA云加速的粒计算研究现状

FPGA云和粒计算是当前人工智能、大数据等领域的重要基础设施和理论方法。随着信息技术的不断发展,语音、图像、文字共存的多模态数据开始出现,这些不同形态的数据为粒计算理论的应用造成了困难。笔者分析了当前FGPA云和粒计算理论相结合的研究现状,总结了当前已有研究存在的问题和未来该领域的研究方向。     

面向深度学习的多模态融合技术研究综述

面向深度学习的多模态融合技术是指机器从文本、图像、语音和视频等领域获取信息实现转换与融合以提升模型性能,而模态的普遍性和深度学习的热度促进了多模态融合技术的发展。在多模态融合技术发展前期,以提升深度学习模型分类与回归性能为出发点,阐述多模态融合架构、融合方法和对齐技术。重点分析联合、协同、编解码器3种融合架构在深度学习中的应用情况与优缺点,以及多核学习、图像模型和神经网络等具体融合方法与对齐技术,在此基础上归纳多模态融合研究的常用公开数据集,并对跨模态转移学习、模态语义冲突消解、多模态组合评价等下一步的研究方向进行展望。     

多模态情感识别研究进展*

情感识别研究热点正从单模态转移到多模态。针对多模态情感特征提取与融合的技术难点,本文列举了目前应用较广的多模态情感识别数据库,介绍了面部表情和语音情感这两个模态的特征提取技术,重点阐述了多模态情感融合识别技术,主要对多模态情感特征融合策略和融合方法进行了综述,对不同算法下的识别效果进行了对比。最后,对多模态情感识别研究中存在的问题进行了探讨,并对未来的研究方向进行了展望。     

多模态检索在医学领域的研究综述

随着计算机与大数据技术在医学领域中的迅速应用以及医疗信息存储标准的逐渐完善,医学数据呈爆炸式增长。医学数据由于其自身特点而呈现出多模态形式,且这些多模态数据往往同时出现、互相补充,因此实现多模态数据间的相互检索具有重要的临床价值。回顾了近年来多模态检索在医学领域的实现方法,将其归纳为基于文本、基于内容以及基于融合信息的多模态检索,基于内容的多模态检索可进一步划分为基于传统特征的检索和基于深度特征的检索。针对多模态检索算法的性能,介绍了准确率、召回率以及平均精度均值等常用的评价指标。分析了当前医学领域多模态检索所面临的挑战,并对未来医学领域多模态检索的研究发展进行了展望。     

基于领域知识的语音识别鲁棒性增强技术研究

针对语音识别软件在有噪声干扰时识别准确率降低的问题，为确保使用语音控制操作的安全性，提出一种基于领域知识的语音识别鲁棒性增强方法。以舰艇操控为应用背景，建立舰艇操控领域知识图谱；从航海图书资料和经典海战影视资料中提取舰艇操控指令，构建舰艇操控指令中文语音数据集；提出一种嵌入领域知识的解码方法，通过计算识别结果与领域知识图谱的匹配度对输出控制指令进行修正。实验结果表明，相较于目前流行的连接时序分类解码方法和基于注意力机制的解码方法，所提解码方法在识别信噪比为10 dB和20 dB的带噪语音时字错误率分别下降了4.0%和1.5%,指令识别准确率分别提升了10.3%和6.3%,提高了语音识别模型识别中文指令的鲁棒性。     

医学知识图谱研究与应用综述

医学数据数字化推进过程中，如何选择合适的技术来对医学数据进行高效处理和准确分析，是当今医学领域普遍面临的问题。利用具有优秀联想与推理能力的知识图谱技术来对医学数据进行处理与分析，能更好地实现智慧医疗、辅助诊断等应用。医学知识图谱的完整构建过程包括知识抽取、知识融合和知识推理。其中知识抽取可细分为实体抽取、关系抽取和属性抽取，知识融合则主要包括实体对齐和实体消歧。首先，对现今医学知识图谱的构建技术和实际应用进行归纳整理，针对每一具体构建过程阐明技术发展脉络。在此基础上，对相关技术进行介绍并说明其优点和局限性。其次，介绍几个已成熟运用的医学知识图谱。最后，根据知识图谱在医学领域的技术与应用现状，给出未来知识图谱可进行的技术兼应用性的研究方向。     

带式输送机系统故障诊断方法综述

输送带和驱动装置是带式输送机的主要组成部分且为故障高发部位,以输送带故障和驱动装置故障为切入点,分析了输送带跑偏、打滑、损伤、堆料撒料等故障及驱动装置滚筒、托辊、减速器等故障的机理,重点阐述了知识驱动和数据驱动的带式输送机故障诊断方法研究进展。知识驱动法以知识处理技术为基础,实现符号处理和数值处理的统一、推理过程和算法过程的统一,主要包括专家系统、故障树分析法。数据驱动法采用机器学习和数据挖掘等技术对历史数据进行分析处理,建立诊断模型,达到故障诊断目的,主要包括支持向量机（SVM）、比差法、基于声音和视觉的诊断方法。分析了带式输送机故障诊断方法目前存在的挑战和未来发展趋势：(1)结合历史故障数据和实时数据推断设备健康状况,预测早期微小故障,提醒工作人员进行预测性维护。(2)揭示带式输送机耦合故障的关联关系,利用人工智能等新兴技术研究耦合故障联合诊断方法。(3)利用多模态机器学习技术研究带式输送机多模态信息融合利用机制,开发带式输送机多模态信息融合故障诊断方法。(4)将故障知识图谱和带式输送机领域知识相结合,实现带式输送机设备故障追踪、故障超前预警,通过知识查询、知识推理和辅助决策功能,...     

融合多模态资源的教育知识图谱的内涵、技术与应用研究

传统的教育知识图谱研究多数面向文本资源,忽略了多模态资源对教育知识的解读作用及其自身丰富的特征表示。为了更好地推进后续研究工作,以多模态资源为切入点,对教育知识图谱进行综述。首先,介绍了知识图谱的概念和分类;其次,综述了教育知识图谱的内涵,对教育知识图谱的定义、分类及其构建框架进行梳理;结合以神经网络为代表的深度学习方式,对教育知识图谱的构建技术进行重点介绍;最后,总结了教育知识图谱的相关应用,并指出当前研究中存在的问题与未来的研究方向。     

多模态信息处理前沿综述:应用、融合和预训练

随着视觉、听觉、语言等单模态人工智能技术的突破,让计算机拥有更接近人类理解多模态信息的能力受到研究者们的广泛关注。另一方面,随着图文社交、短视频、视频会议、直播和虚拟数字人等应用的涌现,对多模态信息处理技术提出了更高要求,同时也给多模态研究提供了海量的数据和丰富的应用场景。该文首先介绍了近期自然语言处理领域关注度较高的多模态应用,并从单模态的特征表示、多模态的特征融合阶段、融合模型的网络结构、未对齐模态和模态缺失下的多模态融合等角度综述了主流的多模态融合方法,同时也综合分析了视觉-语言跨模态预训练模型的最新进展。     

2022年组稿方向

2022年将特别关注人工智能+、物联网与5G、区块链、量子计算、大数据、隐私安全保护等技术的融合应用。本年度组稿包括但不仅限于以下方向:人工智能:多模态/跨模态学习、大数据智能、跨媒体感知计算、混合增强智能、群体智能、自主协同控制与优化决策、统计学习、联邦学习、因果推理、类脑智能计算、量子智能计算、智能机器感知与模式识别、自然语言处理与理解、知识图谱、机器人与智能系统、多智能体协同。