| 基于知识元模型的跨模态聊天卡通表情图像合成 |
| |
| 引用本文： | 李小瑞,谢诚,李宾,柳青,胡健龙. 基于知识元模型的跨模态聊天卡通表情图像合成[J]. 图学学报, 2021, 42(6): 908-916. DOI: 10.11996/JG.j.2095-302X.2021060908 |
| |
| 作者姓名： | 李小瑞 谢诚 李宾 柳青 胡健龙 |
| |
| 作者单位： | 云南大学软件学院，云南 昆明 650500 |
| |
| 基金项目： | 云南省科技厅面上项目(202001BB050035，202001BB05003)；中国科协“青年人才托举工程”项目(W8193209) |
| |
| 摘 要： | 传统的聊天卡通表情图像生成技术主要基于预定义的聊天卡通表情图像库，通过用户的语义描述，进行“语义-视觉”跨模态检索，匹配合适的表情图像。但是，预定义表情图像库样本数量有限且是固定形式的，在实际的聊天场景中常常出现表情图像的错误匹配或无合适匹配。针对此问题，聚焦于合成新的聊天卡通表情图像而非检索，设计了一种基于知识元模型的跨模态聊天卡通表情图像合成方法，根据用户的语义描述，即时合成对应的聊天卡通表情图像。通过表情知识元模型建立聊天卡通表情图像的内在语义逻辑关系，增强聊天卡通表情图像合成的语义一致性。通过多生成器模型，从每个元知识点合成对应的局部图像，再经过联合生成器整合为完整的卡通表情图像，极大地减少了训练样本需求。在公开的聊天卡通表情图像合成数据集的测试中，该方法在语义一致性上取得了更好的结果，同时在图像质量上与现有的方法具有可比性。
|
| 关 键 词： | 图像生成 跨模态学习 文本合成图像(T2I) 知识元模型 图像表情包 |
Cross-modal chat cartoon emoticon image synthesis based on knowledge meta-model |
| |
| LI Xiao-rui,XIE Cheng,LI Bin,LIU Qing,HU Jian-long. Cross-modal chat cartoon emoticon image synthesis based on knowledge meta-model[J]. Journal of Graphics, 2021, 42(6): 908-916. DOI: 10.11996/JG.j.2095-302X.2021060908 |
| |
| Authors: | LI Xiao-rui XIE Cheng LI Bin LIU Qing HU Jian-long |
| |
| Affiliation: | School of Software, Yunnan University, Kunming Yunnan 650500, China |
| |
| Abstract: | |
| |
| Keywords: | image synthesis cross-modal learning text to image (T2I) knowledge meta-model emoticon pack |
| 本文献已被 万方数据 等数据库收录！ |
| 点击此处可从《图学学报》浏览原始摘要信息 |
|
点击此处可从《图学学报》下载免费的PDF全文 |
