多媒体技术研究:2017——记忆驱动的媒体学习与创意

目的 借鉴大脑的工作机理来发展人工智能是当前人工智能发展的重要方向之一。注意力与记忆在人的认知理解过程中扮演了重要的角色。由于"端到端"深度学习在识别分类等任务中表现了优异性能，因此如何在深度学习模型中引入注意力机制和外在记忆结构，以挖掘数据中感兴趣的信息和有效利用外来信息，是当前人工智能研究的热点。方法 本文以记忆和注意力等机制为中心，介绍了这些方面的3个代表性工作，包括神经图灵机、记忆网络和可微分神经计算机。在这个基础上，进一步介绍了利用记忆网络的研究工作，其分别是记忆驱动的自动问答、记忆驱动的电影视频问答和记忆驱动的创意（文本生成图像），并对国内外关于记忆网络的研究进展进行了比较。结果 调研结果表明：1）在深度学习模型中引入注意力机制和外在记忆结构，是当前人工智能研究的热点；2）关于记忆网络的研究越来越多。国内外关于记忆网络的研究正在蓬勃发展，每年发表在机器学习与人工智能相关的各大顶级会议上的论文数量正在逐年攀升；3）关于记忆网络的研究越来越热。不仅每年发表的论文数量越来越多，且每年的增长趋势并没有放缓，2015年增长了9篇，2016年增长了4篇，2017年增长了9篇，2018年增长了14篇；4）基于记忆驱动的手段和方法十分通用。记忆网络已成功地运用于自动问答、视觉问答、物体检测、强化学习、文本生成图像等领域。结论 数据驱动的机器学习方法已成功运用于自然语言、多媒体、计算机视觉、语音等领域，数据驱动和知识引导将是人工智能未来发展的趋势之一。