|
|||||
|
|
| 视觉-语言导航的研究进展与发展趋势EI北大核心CSCD | |
| 作者姓名： | 牛凯王鹏 |
| 作者单位： | 1.西北工业大学计算机学院710129; |
| 基金项目： | 国家重点研发计划(2020AAA0106900)；国家自然科学基金(62101451)；中央高校基本科研业务费(D5000210733)；模式识别国家重点实验室开放课题(202100028)。 |
| 摘 要： | 视觉-语言导航是近年来出现并蓬勃发展的新兴研究方向,是视觉-语言交互前沿领域中的代表性研究任务之一,其目标是根据人类给出的语言指令基于环境视觉感知实现自主导航.首先介绍该任务的研究内容,分析其面临的跨模态语义对齐、语义理解与推理和模型泛化能力增强3个方面的问题与挑战,然后列举了常用的数据集和评价指标;再从模仿学习、强化学习、自监督学习以及其他方法4个方面对该任务的研究进展进行归纳与总结,并对代表性方法的效果进行对比分析;从连续环境导航和高级复杂指令理解与常识推理2个方面论述该任务当前研究的热点趋势;最后对三维空间的视觉-语言导航、模糊导航、环境交互导航等未来发展方向进行讨论与展望. |
| 关 键 词： | 视觉-语言导航 视觉-语言交互 跨模态语义对齐 行为决策 |
| 本文献已被 维普 等数据库收录！ | |
