| 可靠多模态学习综述 |
| |
| 引用本文： | 杨杨,詹德川,姜远,熊辉.可靠多模态学习综述[J].软件学报,2021,32(4):1067-1081. |
| |
| 作者姓名： | 杨杨 詹德川 姜远 熊辉 |
| |
| 作者单位： | 计算机科学与工程学院(南京理工大学), 江苏 南京 210094;计算机软件新技术国家重点实验室(南京大学), 江苏 南京 210023;罗格斯商学院, 美国 纽瓦克 07012 |
| |
| 基金项目： | 国家自然科学基金（61673201，62006118，61773198，61632004）；CCF-百度松果基金（CCF-BAIDU OF2020011）；百度TIC项目基金 |
| |
| 摘 要： | 近年来多模态学习逐步成为机器学习、数据挖掘领域的研究热点之一，并成功应用于诸多现实场景，如跨媒介搜索、多语言处理、辅助信息点击率预估等.传统多模态学习方法通常利用模态间的一致性或互补性设计相应的损失函数或正则化项进行联合训练，进而提升单模态及集成的性能.而开放环境下，受数据缺失及噪声等因素的影响，多模态数据呈现不均衡性.具体表现为单模态信息不充分或缺失，从而导致“模态表示强弱不一致”、“模态对齐关联不一致”两大挑战，而针对不均衡多模态数据直接利用传统的多模态方法甚至会退化单模态和集成的性能.针对这类问题，可靠多模态学习被提出并进行了广泛研究，本文系统地总结和分析了目前国内外学者针对可靠多模态学习取得的进展，并对未来研究可能面临的挑战进行展望.
|
| 关 键 词： | 不均衡多模态数据|模态表示强弱不一致|模态对齐关联不一致|可靠多模态学习 |
| 收稿时间： | 2019/6/17 0:00:00 |
| 修稿时间： | 2020/4/28 0:00:00 |
Reliable Multi-modal Learning: A Survey |
| |
| YANG Yang,ZHAN De-Chuan,JIANG Yuan,XIONG Hui.Reliable Multi-modal Learning: A Survey[J].Journal of Software,2021,32(4):1067-1081. |
| |
| Authors: | YANG Yang ZHAN De-Chuan JIANG Yuan XIONG Hui |
| |
| Affiliation: | College of Computer Science and Engineering (Nanjing University of Science and Technology), Nanjing, Jiangsu 210094, China;State Key Laboratory for Novel Software Technology (Nanjing University), Nanjing 210023, China; Rutgers Business School, Newark 07012, US |
| |
| Abstract: | |
| |
| Keywords: | Imbalanced multi-modal data|Inconsistent modal feature representations|Inconsistent modal alignment relationships|Reliable multi-modal learning |
|
| 点击此处可从《软件学报》浏览原始摘要信息 |
|
点击此处可从《软件学报》下载全文 |
