视频字幕去除系统的设计及实现

老式视频中固化的字幕影响了不同语种间视频的交流和处理。论文基于视频字幕的特点,提出了一种视频字幕的定位及提取方法,并结合图像修复技术,实现了一个自动视频字幕去除系统。实验结果表明,该系统能够较好地去除字幕。     

利用OCR识别技术实现视频中文字的提取

为了在视频图像中进行字幕信息的实时提取,提出了一套简捷而有效的方法。首先进行文字事件检测,然后进行边缘检测、阈值计算和边缘尺寸限制,最后依据文字像素密度范围进一步滤去非文字区域的视频字幕,提出的叠加水平和垂直方向边缘的方法,加强了检测到的文字的边缘;对边缘进行尺寸限制过滤掉了不符合文字尺寸的边缘。应用投影法最终确定视频字幕所在区域。最后,利用OCR识别技术对提取出来的文字区域进行识别,完成视频中文字的提取。以上方法的结合保证了提出算法的正确率和鲁棒性。     

基于时空解耦Transformer的视频字幕去除算法

视频字幕在传递信息的同时,固化在视频中的字幕也阻碍了视频的重复利用。提出一种基于时空解耦Transformer的视频字幕去除算法,能够从带有字幕文本的视频序列中去除字幕文本,并重建出被字幕区域遮挡的背景图像。整体框架分为两个部分,字幕掩膜提取模块和字幕去除模块,前者快速精准地获得输入视频序列的二值字幕掩膜,将得到的二值字幕掩膜作为辅助信息,输入到基于时空解耦Transformer的字幕去除模块,进行字幕文本的去除和背景纹理的恢复,实现对整体视频字幕的去除。与现有的经典视频字幕去除方法相比,在峰值信噪比和结构相异性等图像质量指标以及视觉效果上,该方法均取得了更好的性能,实验结果验证了该方法在视频字幕去除领域的有效性。     

一种多模态融合新闻视频条目分割算法

新闻视频条目分割是新闻视频检索和浏览中重要的底层支持技术,本文提出了一种融合主持人模板匹配和主题字幕帧检测的多模态新闻视频条目分割算法。先用基于主持人模板的算法进行第一次分割,再用基于改进的字幕检测方法进行第二次分割,最后将两次分割的结果融合并去除重复的分割点。实验证明,该算法对新闻视频条目分割具有较好的效果。     

一种自适应的视频帧中字幕检测定位方法

视频帧中的字幕往往包含当前视频的高层语意内容，对视频内容的自动理解、索引和检索有重要意义。文中提出了一种视频帧中字幕的自适应检测定位方法，与以往根据经验设定阈值的方法相比，该方法简单，对视频帧的复杂变化的适应能力更强，检测定位更快速、准确。大量实验结果显示该方法是有效的。     

基于边缘检测和线条特征的新闻字幕探测

新闻视频中的字幕包含有丰富的语义信息,对理解当前的视频内容,具有重要的意义.如何准确的探测出新闻字幕,显得尤为重要.通过对新闻字幕的特点进行分析,提出了一种基于边缘检测和线条特征的新闻字幕探测方法.算法首先对图像进行灰度变换,去除冗余颜色信息,然后进行边缘检测、线条过滤,去除不符合字符特征的线条,最后进行字幕区域探测与合并,提取出字幕.选用不同频道的新闻视频帧对文中算法进行实验,并与其他方法进行比较,结果表明,提出的算法具有较高的探测召回率与探测准确率.     

数字视频中字幕检测及提取的研究和实现

首先进行文字事件检测，然后进行边缘检测、阈值计算和边缘尺寸限制，最后依据文字像素密度范围进一步滤去非文字区域的视频字幕．提出的叠加水平和垂直方向边缘的方法，加强了检测到的文字的边缘；对边缘进行尺寸限制过滤掉了不符合文字尺寸的边缘；进一步，提出像素密度α的概念，并指出文字区域的像素密度α应在某一阈值范围之内(αmin≤α≤αmax)．通过像素密度α滤去了非文字区域，应用投影法最终确定视频字幕所在区域．以上方法的结合保证了提出的算法的正确率和鲁棒性．选用不同类型的视频素材对文中算法进行实验，并与其他方法进行比较，得出文中算法具有较高的正确率和较快的计算速度．     

视频图像文字检测综述

自动从视频图像中提取文字信息,对于监控视频图像内容、添加视频标签和建立视频图像检索系统,有重要的意义。文字检测是文字信息提取系统的前端,是文字信息提取中最关键的一步。近年来,视频图像文字信息检测领域有了新的重要的发展,综述从基于区域和基于纹理的文字检测方法进行归纳、比较和分析,概括了近年来文字检测技术的主要进展。此外,为了突出综合性方法的重要性,对其专门进行了总结。最后对视频图像中的文字检测技术的难点进行总结,并对其发展趋势进行展望。     

两阶段的视频字幕检测和提取算法

视频字幕检测和提取是视频理解的关键技术之一。文中提出一种两阶段的字幕检测和提取算法,将字幕帧和字幕区域分开检测,从而提高检测效率和准确率。第一阶段进行字幕帧检测:首先,根据帧间差算法进行运动检测,对字幕进行初步判断,得到二值化图像序列;然后,根据普通字幕和滚动字幕的动态特征对该序列进行二次筛选,得到字幕帧。第二阶段对字幕帧进行字幕区域检测和提取:首先,利用Sobel边缘检测算法初检文字区域;然后,利用高度约束等剔除背景,并根据宽高比区分出纵向字幕和横向字幕,从而得到字幕帧中的所有字幕,即静止字幕、普通字幕、滚动字幕。该方法减少了需要检测的帧数,将字幕检测效率提高了约11%。实验对比结果证明, 相比单一使用帧间差和边缘检测的方法,该方法在F值上提升约9%。     

基于图像分析的数字视频字幕检测及恢复

视频已广泛应用于各个领域,所以对视频字幕的处理具有重要的意义。提出一种新的数字视频字幕检测及恢复算法。首先进行边缘检测,通过分析图像的边缘密度在水平和垂直方向的投影,得到字幕的粗略区域;再利用水平集方法进一步确定字幕的具体位置;最后用Criminisi算法对检测到的字幕进行恢复。通过对不同类型的视频素材进行实验验证,结果表明该方法能够达到理想效果。     

基于空域与频域关系建模的篡改文本图像检测

近年来,篡改文本图像在互联网的广泛传播为文本图像安全带来严重威胁。然而,相应的篡改文本检测（TTD,tampered text detection）方法却未得到充分的探索。TTD任务旨在定位图像中所有文本区域,同时根据纹理的真实性判断文本区域是否被篡改。与一般的文本检测任务不同,TTD 任务需要进一步感知真实文本和篡改文本分类的细粒度信息。TTD 任务有两个主要挑战：一方面,由于真实文本和篡改文本的纹理具有较高的相似性,仅在空域（RGB）进行纹理特征学习的篡改文本检测方法不能很好地区分两类文本;另一方面,由于检测真实文本和篡改文本的难度不同,检测模型无法平衡两类文本的学习过程,从而造成两类文本检测精度的不平衡问题。相较于空域特征,文本纹理在频域中的不连续性能够帮助网络鉴别文本实例的真伪,根据上述依据,提出基于空域和频域（RGB and frequency）关系建模的篡改文本检测方法。采用空域和频域特征提取器分别提取空域和频域特征,通过引入频域信息增强网络对篡改纹理的鉴别能力;使用全局空频域关系模块建模不同文本实例的纹理真实性关系,通过参考同幅图像中其他文本实例的空频域特征来辅助判断当前文本实例的真伪性,从而平衡真实和篡改文本检测难度,解决检测精度不平衡问题;提出一个票据篡改文本图像数据集（Tampered-SROIE）来验证上述篡改文本检测方法的有效性,该数据集包含986张图像（626 张训练图像和 360 张测试图像）。该方法在 Tampered-SROIE 上的真实和篡改文本检测 F 值分别达到95.97%和 96.80%,同时降低检测精度不平衡性 1.13%。该方法从网络结构与检测策略的角度为篡改文本检测任务提供了新的解决方案,同时Tampered-SROIE为以后的篡改文本检测方法提供了评估基准。     

基于多帧图像的视频文字跟踪和分割算法

视频中文字的提取是视频语义理解和检索的重要信息来源．针对视频中的静止文字时间和空间上的冗余特性,以文字区域的边缘位图为特征对检测结果作精化,并提出了基于二分搜索法的快速文字跟踪算法,实现了对文字对象快速有效的定位．在分割阶段,除了采用传统的灰度融合图像进行文字区域增强方法,还结合边缘位图对文字区域进行进一步的背景过滤．实验表明,文字的检测精度和分割质量都有很大提高．     

顾及目标关联的自然场景文本检测

目的 目前基于卷积神经网络（CNN）的文本检测方法对自然场景中小尺度文本的定位非常困难。但自然场景图像中文本目标与其他目标存在很强的关联性,即自然场景中的文本通常伴随特定物体如广告牌、路牌等同时出现,基于此本文提出了一种顾及目标关联的级联CNN自然场景文本检测方法。方法 首先利用CNN检测文本目标及包含文本的关联物体目标,得到文本候选框及包含文本的关联物体候选框;再扩大包含文本的关联物体候选框区域,并从原始图像中裁剪,然后以该裁剪图像作为CNN的输入再精确检测文本候选框;最后采用非极大值抑制方法融合上述两步生成的文本候选框,得到文本检测结果。结果 本文方法能够有效地检测小尺度文本,在ICDAR-2013数据集上召回率、准确率和F值分别为0.817、0.880和0.847。结论 本文方法顾及自然场景中文本目标与包含文本的物体目标的强关联性,提高了自然场景图像中小尺度文本检测的召回率。     

视频图像中维吾尔文字的识别研究

提出了从复杂背景视频图像中提取文字并识别的一套算法,利用自适应迭代算法提取视频中维吾尔文字,针对维吾尔文字的一些特点,利用合适的预处理方法保留维吾尔文字中的各种点及特殊笔画,同时有效地消除了复杂背景带来的噪声。考虑维吾尔文字书写的特点,利用滑动窗口法提取文字特征避免了文字分割,将产生的特征向量输入到隐马尔可夫模型（Hidden Morkov Model）中进行训练和识别。     

Text detection in images using sparse representation with discriminative dictionaries

Text detection is important in the retrieval of texts from digital pictures, video databases and webpages. However, it can be very challenging since the text is often embedded in a complex background. In this paper, we propose a classification-based algorithm for text detection using a sparse representation with discriminative dictionaries. First, the edges are detected by the wavelet transform and scanned into patches by a sliding window. Then, candidate text areas are obtained by applying a simple classification procedure using two learned discriminative dictionaries. Finally, the adaptive run-length smoothing algorithm and projection profile analysis are used to further refine the candidate text areas. The proposed method is evaluated on the Microsoft common test set, the ICDAR 2003 text locating set, and an image set collected from the web. Extensive experiments show that the proposed method can effectively detect texts of various sizes, fonts and colors from images and videos.     

A new robust algorithm for video text extraction

We report on the development and implementation of a robust algorithm for extracting text in digitized color video. The algorithm first computes maximum gradient difference to detect potential text line segments from horizontal scan lines of the video. Potential text line segments are then expanded or combined with potential text line segments from adjacent scan lines to form text blocks, which are then subject to filtering and refinement. Color information is then used to more precisely locate text pixels within the detected text blocks. The robustness of the algorithm is demonstrated by using a variety of color images digitized from broadcast television for testing. The algorithm also performs well on images after JPEG compression and decompression, and on images corrupted with different types of noise.     

基于边缘和基线的维吾尔文图像文字定位算法

在基于维吾尔文特殊字体的基础上,提出了一种维吾尔文视频文字定位方法。该方法首先利用RGB彩色边缘检测算子获得水平、垂直、右上方和左上方的边缘图,然后根据加权后的边缘图提取图像的纹理特征,用改进的模糊C均值聚类算法检测出候选的文本区域,根据文本区域的启发式规则,去除虚假的文本区域,最后由维吾尔文本的基线特征判定检测出的区域是否为维吾尔文本区域。实验结果表明,这种方法在简单背景和复杂背景视频图像中均具有较好的效果。     

图像和视频中的文字获取技术

许多图像都包含丰富的文字信息，如用作网页设计的以图像形式存在的标语和视频图像中的字幕。这些文字的自动检测、分割、提取和识别，对图像高层语义内容的自动理解、索引和检索非常有价值，因此引起国内外众多学者的研究兴趣。为使人们对该领域有一个系统的了解，并使该领域研究人员有所借鉴，在对目前国内外图像和视频中文字获取技术相关文献综合理解的基础上，综述了该领域的发展现状，同时从文字检测、抽取和文字识别两个方面，重点讨论了其主要的技术方法及应用优缺点，并结合当前面临的问题，指出今后可进一步研究的方向。