多模态数据融合综述

随着当今信息技术的飞速发展,信息的存在形式多种多样,来源也十分广泛.不同的存在形式或信息来源均可被称之为一种模态,由两种或两种以上模态组成的数据称之为多模态数据.多模态数据融合负责将多个模态的信息进行有效的整合,汲取不同模态的优点,完成对信息的整合.自然现象具有十分丰富的特征,单一模态很难提供某个现象的完整信息.面对保...     

基于样本内外协同表示和自适应融合的多模态学习方法

多模态机器学习是一种新的人工智能范式,结合各种模态和智能处理算法以实现更高的性能.多模态表示和多模态融合是多模态机器学习的2个关键任务.目前,多模态表示方法很少考虑样本间的协同,导致特征表示缺乏鲁棒性,大部分多模态特征融合方法对噪声数据敏感.因此,在多模态表示方面,为了充分学习模态内和模态间的交互,提升特征表示的鲁棒性,提出一种基于样本内和样本间多模态协同的表示方法.首先,分别基于预训练的BERT,Wav2vec 2.0,Faster R-CNN提取文本特征、语音特征和视觉特征;其次,针对多模态数据的互补性和一致性,构建模态特定和模态共用2类编码器,分别学习模态特有和共享2种特征表示;然后,利用中心矩差异和正交性构建样本内协同损失函数,采用对比学习构建样本间协同损失函数;最后,基于样本内协同误差、样本间协同误差和样本重构误差设计表示学习函数.在多模态融合方面,针对每种模态可能在不同时刻表现出不同作用类型和不同级别的噪声,设计一种基于注意力机制和门控神经网络的自适应的多模态特征融合方法.在多模态意图识别数据集MIntRec和情感数据集CMU-MOSI,CMU-MOSEI上的实验结果表明,...     

面向未来泛在智能的云边端协同联邦学习关键技术与应用

人工智能(AI)的发展在过去十年中取得了惊人的飞跃.数据可用性、计算能力的提高,以及机器学习技术和专用AI硬件的进步,已将我们带入快车道,迈向一个在各个方面都由AI塑造的社会.计算形式也逐渐从集中式单体计算,演进到分布式网联计算,并朝着异构、协同、全面泛在智能计算演进.基于数据隐私增强、低延迟通信等独特优势,面向未来泛...     

云边端协同在线校准技术体系框架的工程应用

SF₆密度继电器作为保障电气设备安全运行的重要设备,需要花费巨大的人力、物力定期校验,待校验的密度继电器不仅数量庞大,而且校验过程存在效率低、成本高、数据录入容易出错等问题,因此对其校验过程智能化升级具有重要现实意义;为解决电力系统数量庞大的SF₆密度继电器在维护保障工作中遇到的这些问题,借助分层分布式思路,提出了通过云边端协同,统一完成工业现场重要仪器仪表在线校准的技术体系实现框架;在此基础上,对该技术体系开展了工程应用;在云边端协同在线校准技术体系框架的指导下,提出了在现有密度继电器上加装轻量化在线校验装置的方案,使密度继电器能够在电气设备运行过程中自动完成校验和上报校验结果,有效地解决了现有密度继电器需要在电气设备停电后采用人工校验的问题;经过实验验证,以及与SF₆密度继电器校验仪对比测试,该装置精度与校验仪精度相近,能够满足SF₆密度继电器的校验需求,完全可以用于支持为SF₆密度继电器建立云边端协同的统一在线校准大系统,来解决SF₆密度继电器校验困...     

面向装备运用的云边端大数据应用架构设计

随着信息化技术的发展,大数据技术已然成为现代战争的重要技术支撑,以提升装备使用效能为目标,设计了集数据管理、数据标准体系建设、应用服务和安全控制一体的战场云边端大数据应用架构,该架构具有轻量化部署、微架构服务、可定义视图的特点,能有效满足云、边、端各类节点数据应用的差异化需求。以关键技术为牵引,实验验证了架构的可用性和可行性,支撑数据赋能装备运用,推动数据应用从价值域向能力域的拓展。     

面向多模态模型训练的高效样本检索技术研究

深度学习中多模态模型的训练通常需要大量高质量不同类型的标注数据，如图像、文本、音频等. 然而，获取大规模的多模态标注数据是一项具有挑战性和昂贵的任务.为了解决这一问题，主动学习作为一种有效的学习范式被广泛应用，能够通过有针对性地选择最有信息价值的样本进行标注，从而降低标注成本并提高模型性能. 现有的主动学习方法往往面临着低效的数据扫描和数据位置调整问题，当索引需要进行大范围的更新时，会带来巨大的维护代价. 为解决这些问题，本文提出了一种面向多模态模型训练的高效样本检索技术So-CBI. 该方法通过感知模型训练类间边界点，精确评估样本对模型的价值；并设计了半有序的高效样本索引，通过结合数据排序信息和部分有序性，降低了索引维护代价和时间开销. 在多组多模态数据集上通过与传统主动学习训练方法实验对比，验证了So-CBI方法在主动学习下的训练样本检索问题上的有效性.     

深度多模态表示学习的研究综述

尽管深度学习因为强大的非线性表示能力已广泛应用于许多领域,多源异构模态数据间结构和语义上的鸿沟严重阻碍了后续深度学习模型的应用。虽然已经有许多学者提出了大量的表示学习方法以探索不同模态间的相关性和互补性,并提高深度学习预测和泛化性能。然而,多模态表示学习研究还处于初级阶段,依然存在许多科学问题尚需解决。迄今为止,多模态表示学习仍缺乏统一的认知,多模态表示学习研究的体系结构和评价指标尚不完全明确。根据不同模态的特征结构、语义信息和表示能力,从表示融合和表示对齐两个角度研究和分析了深度多模态表示学习的进展,并对现有研究工作进行了系统的总结和科学的分类。同时,解析了代表性框架和模型的基本结构、应用场景和关键问题,分析了深度多模态表示学习的理论基础和最新发展,并且指出了多模态表示学习研究当前面临的挑战和今后的发展趋势,以进一步推动深度多模态表示学习的发展和应用。     

环绕智能环境多模态数据融合技术研究

针对环绕智能环境中感知数据类型不同、格式多样问题,设计了基于XML的数据表示方法。其次,提出数据级和决策级相结合的数据融合架构,解决了环绕智能环境数据存在的异质、弱关联问题。最后,设计实现了基于加权自适应和模糊逻辑的数据融合算法,并应用于环绕智能环境监测,实验证明本技术可有效抑止传感器精度差异及噪声等因素导致的感知数据漂移问题,提高了系统决策的准确性。     

面向情绪调节的多模态人机交互技术

目的 现代社会存在心理问题的人日趋增多,及时调节其负面情绪对社会和谐稳定具有重要现实意义。传统的情绪调节方法需要花费大量人力,为此提出一种面向情绪调节的多模态人机交互方法,识别用户情绪,采用文本对话和体感交互实现对用户情绪的调节。方法 综合运用了表情识别、文本对话和手势来实现对用户情绪的识别,构建了具有情绪表现力的智能体。用户的表情识别采用支持向量机方法,文本对话采用基于规则和融入情绪因素的Seq2Seq模型实现。设计了聊天、过生日和互动游戏（打篮球）等交互剧情,采用手势和肢体动作来辅助交互。为了更好地体现情绪调节的作用,在互动游戏中设计了强化学习算法,可根据用户的情绪反馈来自动调整游戏难度,最终让用户情绪调整到积极状态。结果 通过实验发现,采用单模态交互很难感知到用户的背景信息,因此对用户的情绪识别可能出现误判。而采用多模态的人机交互方式,可以通过文本对话了解用户的背景信息,从而对用户情绪的识别更为合理。在多模态的人机交互剧情中,用户能以更自然的方式实现情景互动,智能体在多模态交互中更能发挥情绪调节作用。结论 本文提出一种基于多模态人机交互的情绪调节方法,该方法不需要昂贵的硬件设备,便于推广普及,为消极情绪的调节提供了一种可计算方案。     

多模态数据融合与检索技术研究

对跨模态数据检索精确性问题,提出一种基于多模态数据融合的检索方法。采用CNN+Bi＿LSTM与Glove+Bi＿GRU的方法分别对图片和文本数据进行编码,并通过Transforme+LSTM对编码后数据分别提取图像和文本的语义特征,使用同模态下与不同模态间的多种相似度损失函数,对提取的图像和文本语义特征进行监督和优化。最终根据查询样本与检索结果之间的语义相似度,确定正确检索结果。实验证明,设计的多模态数据融合与检索模型,相较于其他跨模态搜索分类模型,辨别损失更低。且在模型各部分功能上,无论是引入LSTM的多模态特征提取模块,还是基于双尺度相似性计算的语义建模方法,都在数据检索中发挥了一定的作用,当k=12时,本模型相较于传统特征提取模型R@K均值9.9,相较于仅采用中线性分类器代替双尺度相似度的本模型、与仅移除LSTM使用三个头进行语义特征提取的本模型,R@K均值分别高出4.3、2.0;mAP的均值相较于其他三个模型分别高出0.12、0.07、0.03。相较于其他基线跨模态数据检索模型而言,提出的多模态数据融合与检索模型则具有更好的检索结果。当k=12时,相较于LSCO、MADLG、D...     

Multimodal Data Modeling Technology and Its App-19lication for Cloud-edge-device Collaboration

In the cloud-edge-device collaboration architecture, data types are diverse, and there are differences in storage resources and computing resources at all levels, which brings new challenges to data management. The existing data models or simple superposition of data models are difficult to meet the requirements of multimodal data management and collaborative management in the cloud-edge-device. Therefore, research on multimodal data modeling technology for cloud-edge-device collaboration has become an important issue. The core is how to efficiently obtain the query results that meet the needs of the application from the cloud-edge-device architecture. Starting from the data types of the three-layer data of cloud-edge-device, in this paper we propose a multimodal data modeling technology for cloud-edge-device collaboration, give the definition of multimodal data model based on tuples, and design six base classes to achieve a unified representation of multimodal data. The basic data operation architecture of cloud-edge-device collaborative query is also proposed to meet the query requirements of cloud-edge-device business scenarios. The integrity constraints of the multimodal data model are given, which lays a theoretical foundation for query optimization. Finally, a demonstration application of the multimodal data model for cloud-edge-device collaboration is given, and the proposed data model storage method is verified from the three aspects of data storage time, storage space, and query time. The experimental results show that the proposed scheme can effectively represent the multimodal data in the cloud-edge-device collaboration architecture.     

产品开发协同工作环境模型及其应用

产品开发过程是多人参与协作的设计过程,协同技术是实现产品开发过程管理的一个关键技术。通过分析产品开发协同工作的特点,提出一种由用户视图层、安全控制层、全局特征层以及网络层所组成的产品开发协同工作环境模型,研究了实施的关键技术,并在所开发的产品信息集成共享平台中获得应用验证,较好解决了大型核电汽轮机协同开发与无纸化应用问题。     

一种非清洁数据库的数据模型

非清洁数据为数据管理带来了新的挑战,当前,处理非清洁的数据清洗方法在实际应用中存在一定的局限性,因此需要在一定程度上容忍非清洁数据的存在.这样,研究管理包含非清洁数据的数据库管理技术就成为了重要的问题,其核心在于如何从包含非清洁数据的数据库中得到满足应用所要求的清洁度的查询结果.从非清洁数据处理角度出发,提出了一种非清洁数据库的数据模型.该模型提出了非清洁数据的表示方法,支持非清洁数据的数据操作,并且支持数据操作清洁度的计算,同时还讨论了查询表达式的等价转换规则和模型的初步实现.     

面向电网PMU时序数据的云边协同技术

相量测量单元(phasor measurement unit, PMU)时序数据在支撑电网安全稳定运行中发挥了重要作用, 而随着电网调控云建设, 电网运行数据统计分析等业务对PMU时序数据的云端共享提出了需求. 本文提出了一种面向PMU时序数据的云边协同技术, 该技术针对PMU时序数据的存储和访问特性, 构建数据协同模型架构, 实现PMU时序数据从电网调度系统生产控制区边缘节点汇集到调控云, 并通过模型化的方式进行共享. 通过在测试环境下进行实施和测试, 验证了该技术的可行性.     

一种数据仓库的多维数据模型

数据模型是数据仓库研究的核心问题之一.很多研究表明,传统数据模型(如实体联系模型和关系模型)不能有效地表示数据仓库的数据结构和语义,也难以有效地支持联机分析处理(on-line analysis processing,简称OLAP).最近,人们提出了几种多维数据模型.但是,这些多维数据模型在表示数据仓库的复杂数据结构和语义以及OLAP操作方面仍显不足.该文以偏序和映射为基础,提出了一种新的多维数据模型.该数据模型能够充分表达数据仓库的复杂数据结构和语义,并提供一个以OLAP操作为核心的操作代数,支持层次结构间的复杂聚集操作序列,能够有效地支持OLAP应用.该数据模型支持聚集函数约束的概念,提供了表示层次结构间聚集函数约束的机制.     

Skyline查询处理数据立方体代数

维空间的Skyline查询处理技术是近年来数据库技术领域的一个研究重点和热点.目前所有的研究工作都是直接在原始数据表上执行关系查询代数操作来获得最终的结果集,然而,随着原始数据表的数据量和维目标个数的增大,这些研究工作将不再适用.基于此,首次研究Skyline集合上的查询代数操作,使得Skyline查询处理的输入数据来自于小规模的Skyline结果集,而非海量的原始数据表.并且,首次给出一个集成多维对象集合和该对象集合上的Skyline结果集的形式化模型,该模型适合目前Skyline查询计算的应用,并在该模型的实例上研究Skyline集合的查询代数操作.同时,给出查询代数体系的代价评估模型.实验表明,给出的数据模型和查询代数体系具有有效性和实用性.     

数据协作的技术实现和比较

企业和客户双向交流的需求促使了数据协作技术的发展。本文首先分析了因特网的发展对企业运营模型的影响,然后详细讨论了数据协作技术的不同实现方式,并对这些方式进行了比较,最后对数据协作技术的发展进行了展望。     

面向协同产品开发的应用集成技术研究

文章提出了基于协同代理的产品数据和应用集成框架,协同代理负责本地工作区产品数据和设计资源的管理,并承担协同过程中的数据交换和协同控制,有效实现了协同产品开发环境中应用开发工具之间的集成。文中最后介绍了基于协同代理的产品开发流程和工作模式。     

多模态张量数据挖掘算法及应用

近年来,多模态数据挖掘技术备受关注,如何高效地挖掘大量多模态数据成为一个研究热点。其中,基于张量表示的多模态数据挖掘,即多模态张量数据挖掘,是一个重要的研究问题。综述了多模态张量数据挖掘算法进展及其在计算机视觉中的应用。首先根据算法的样本标记、任务和核心技术的不同,对这些方法进行分类,并给出了相应的介绍和分析。其次,讨论了一些多模态张量数据挖掘算法在计算机视觉问题中的典型应用。最后,就多模态张量挖掘在计算机视觉领域的研究现状与研究前景进行了简要的分析。     

数据仓库建设中数据处理技术的研究

数据仓库建设是一项巨大的工程,数据处理又是其中至关重要的一个环节。本文从数据处理过程中数据收集、数据清洗、数据转换和数据质量评估几方面说明数据处理过程中常出现的问题及其解决方法。系统已在银行业务中予以实现。