多模态知识图谱表示学习综述 |
| |
引用本文: | 王春雷,王肖,刘凯.多模态知识图谱表示学习综述[J].计算机应用,2024(1):1-15. |
| |
作者姓名: | 王春雷 王肖 刘凯 |
| |
作者单位: | 1. 上海大学人工智能研究院;3. 上海大学计算机工程与科学学院 |
| |
基金项目: | 国家杰出青年科学基金资助项目(62225308)~~; |
| |
摘 要: | 在综合对比传统知识图谱表示学习模型优缺点以及适用任务后,发现传统的单一模态知识图谱无法很好地表示知识。因此,如何利用文本、图片、视频、音频等多模态数据进行知识图谱表示学习成为一个重要的研究方向。同时,详细分析了常用的多模态知识图谱数据集,为相关研究人员提供数据支持。在此基础上,进一步讨论了文本、图片、视频、音频等多模态融合下的知识图谱表示学习模型,并对其中各种模型进行了总结和比较。最后,总结了多模态知识图谱表示学习如何改善经典应用,包括知识图谱补全、问答系统、多模态生成和推荐系统在实际应用中的效果,并对未来的研究工作进行了展望。
|
关 键 词: | 多模态知识图谱 表示学习 多模态融合 知识图谱补全 多模态生成 |
|