| 视觉知识：跨媒体智能进化的新支点 |
| |
| 引用本文： | 杨易,庄越挺,潘云鹤.视觉知识：跨媒体智能进化的新支点[J].中国图象图形学报,2022,27(9):2574-2588. |
| |
| 作者姓名： | 杨易 庄越挺 潘云鹤 |
| |
| 作者单位： | 浙江大学计算机科学与技术学院, 杭州 310027;浙江大学计算机科学与技术学院, 杭州 310027;之江实验室, 杭州 310027 |
| |
| 基金项目： | 国家重点研发计划资助(2020AAA0108800);中央高校基本科研业务费专项资金资助(226-2022-00051) |
| |
| 摘 要： | 回顾跨媒体智能的发展历程,分析跨媒体智能的新趋势与现实瓶颈,展望跨媒体智能的未来前景。跨媒体智能旨在融合多来源、多模态数据,并试图利用不同媒体数据间的关系进行高层次语义理解与逻辑推理。现有跨媒体算法主要遵循了单媒体表达到多媒体融合的范式,其中特征学习与逻辑推理两个过程相对割裂,无法综合多源多层次的语义信息以获得统一特征,阻碍了推理和学习过程的相互促进和修正。这类范式缺乏显式知识积累与多级结构理解的过程,同时限制了模型可信度与鲁棒性。在这样的背景下,本文转向一种新的智能表达方式——视觉知识。以视觉知识驱动的跨媒体智能具有多层次建模和知识推理的特点,并易于进行视觉操作与重建。本文介绍了视觉知识的3个基本要素,即视觉概念、视觉关系和视觉推理,并对每个要素展开详细讨论与分析。视觉知识有助于实现数据与知识驱动的统一框架,学习可归因可溯源的结构化表达,推动跨媒体知识关联与智能推理。视觉知识具有强大的知识抽象表达能力和多重知识互补能力,为跨媒体智能进化提供了新的有力支点。
|
| 关 键 词： | 跨媒体智能 视觉知识 视觉概念 视觉关系 视觉推理 |
| 收稿时间： | 2022/1/11 0:00:00 |
| 修稿时间： | 2022/5/18 0:00:00 |
The review of visual knowledge:a new pivot for cross-media intelligence evolution |
| |
| Yang Yi,Zhuang Yueting,Pan Yunhe.The review of visual knowledge:a new pivot for cross-media intelligence evolution[J].Journal of Image and Graphics,2022,27(9):2574-2588. |
| |
| Authors: | Yang Yi Zhuang Yueting Pan Yunhe |
| |
| Affiliation: | College of Computer Science and Technology, Zhejiang University, Hangzhou 310027, China; College of Computer Science and Technology, Zhejiang University, Hangzhou 310027, China;Zhejiang Laboratory, Hangzhou 310027, China |
| |
| Abstract: | |
| |
| Keywords: | cross-media intelligence visual knowledge visual concepts visual relationships visual reasoning |
|
| 点击此处可从《中国图象图形学报》浏览原始摘要信息 |
|
点击此处可从《中国图象图形学报》下载免费的PDF全文 |
|
