| 基于多维度和多模态信息的视频描述方法 |
| |
| 引用本文： | 丁恩杰,刘忠育,刘亚峰,郁万里. 基于多维度和多模态信息的视频描述方法[J]. 通信学报, 2020, 41(2): 36-43. DOI: 10.11959/j.issn.1000-436x.2020037 |
| |
| 作者姓名： | 丁恩杰 刘忠育 刘亚峰 郁万里 |
| |
| 作者单位： | 1. 中国矿业大学物联网(感知矿山)研究中心 |
| |
| 基金项目： | The National Key Research and Development Program of China(2017YFC0804400);The National Key Research and Development Program of China(2017YFC0804401) |
| |
| 摘 要： | 针对视频自动描述任务中的复杂信息表征问题,提出一种多维度和多模态视觉特征的提取和融合方法。首先通过迁移学习提取视频序列的静态和动态等多维度特征,并采用图像描述算法提取视频关键帧的语义信息,完成视频信息的特征表征;然后采用多层长短期记忆网络融合多维度和多模态信息,最终生成视频内容的语言描述。实验仿真表明,所提方法与目前已有方法相比,在视频自动描述任务中取得了较好的效果。
|
| 关 键 词： | 视频描述 多模态 迁移学习 长短期记忆网络 循环神经网络 |
Video description method based on multidimensional and multimodal information |
| |
| Enjie DING,Zhongyu LIU,Yafeng LIU,Wanli YU. Video description method based on multidimensional and multimodal information[J]. Journal on Communications, 2020, 41(2): 36-43. DOI: 10.11959/j.issn.1000-436x.2020037 |
| |
| Authors: | Enjie DING Zhongyu LIU Yafeng LIU Wanli YU |
| |
| Affiliation: | 1. IoT/Perception Mine Research Center,China University of Mining ＆Technology,Xuzhou 221008,China;2. Institute of Electrodynamics and Microelectronics,University of Bremen,Bremen 28359,Germany |
| |
| Abstract: | |
| |
| Keywords: | |
|
| 点击此处可从《通信学报》浏览原始摘要信息 |
|
点击此处可从《通信学报》下载全文 |
|
