首页 | 官方网站   微博 | 高级检索  
     

结合门循环单元和生成对抗网络的图像文字去除
引用本文:王超群,全卫泽,侯诗玉,张晓鹏,严冬明.结合门循环单元和生成对抗网络的图像文字去除[J].中国图象图形学报,2022,27(4):1264-1276.
作者姓名:王超群  全卫泽  侯诗玉  张晓鹏  严冬明
作者单位:中国科学院大学人工智能技术学院, 北京 100049;中国科学院自动化研究所模式识别国家重点实验室, 北京 100190;清华大学水沙科学水利水电工程国家重点实验室, 北京 100084
基金项目:国家重点研发计划资助(2019YFB2204104);国家自然科学基金项目(61772523);清华大学水沙科学水利水电工程国家重点实验室及宁夏银川水联网数字治水联合研究院联合开放研究基金项目(sklhse-2019-Iow04) Supported by:National Key R&D Program of China (2019YFB2204104);National Natural Science Foundation of China (61772523);Joint Open Research Fund Program of State Key Laboratory of Hydroscience and Engineering and Tsinghua-Ningxia Yinchuan Joint Institute of Internet of Waters on Digital Water Governance (sklhse-2019-Iow04)
摘    要:目的 图像文本信息在日常生活中无处不在,其在传递信息的同时,也带来了信息泄露问题,而图像文字去除算法很好地解决了这个问题,但存在文字去除不干净以及文字去除后的区域填充结果视觉感受不佳等问题。为此,本文提出了一种基于门循环单元(gate recurrent unit,GRU)的图像文字去除模型,可以高质量和高效地去除图像中的文字。方法 通过由门循环单元组成的笔画级二值掩膜检测模块精确地获得输入图像的笔画级二值掩膜;将得到的笔画级二值掩膜作为辅助信息,输入到基于生成对抗网络的文字去除模块中进行文字的去除和背景颜色的回填,并使用本文提出的文字损失函数和亮度损失函数提升文字去除的效果,以实现对文字高质量去除,同时使用逆残差块代替普通卷积,以实现高效率的文字去除。结果 在1 080组通过人工处理得到的真实数据集和使用文字合成方法合成的1 000组合成数据集上,与其他3种文字去除方法进行了对比实验,实验结果表明,在峰值信噪比和结构相似性等图像质量指标以及视觉效果上,本文方法均取得了更好的性能。结论 本文提出的基于门循环单元的图像文字去除模型,与对比方法相比,不仅能够有效解决图像文字去除不干净以及文字去除后的区域与背景不一致问题,并能有效地减少模型的参数量和计算量,最终整体计算量降低了72.0%。

关 键 词:文字去除  门循环单元(GRU)  生成对抗网络(GAN)  逆残差块  图像修复
收稿时间:2020/12/14 0:00:00
修稿时间:2021/2/8 0:00:00

Gate recurrent unit and generative adversarial networks for scene text removal
Wang Chaoqun,Quan Weize,Hou Shiyu,Zhang Xiaopeng,Yan Dongming.Gate recurrent unit and generative adversarial networks for scene text removal[J].Journal of Image and Graphics,2022,27(4):1264-1276.
Authors:Wang Chaoqun  Quan Weize  Hou Shiyu  Zhang Xiaopeng  Yan Dongming
Affiliation:School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing 100049, China;National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences, Beijing 100190, China;State Key Laboratory of Hydro-Science and Engineering, Tsinghua University, Beijing 100084, China
Abstract:
Keywords:text removal  gate recurrent unit(GRU)  generative adversarial network(GAN)  inverted residuals block  image inpainting
点击此处可从《中国图象图形学报》浏览原始摘要信息
点击此处可从《中国图象图形学报》下载免费的PDF全文
设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司    京ICP备09084417号-23

京公网安备 11010802026262号