基于边缘特征增强的任意形状文本检测网络

在场景文本检测方法中,文本实例的边缘特征与其他特征在大多数模型中都是以同样的方式进行处理,而准确检测相邻文本边缘区域是正确识别任意形状文本区域的关键之一.如果对边缘特征进行增强并使用独立分支进行建模,必能有效提高模型的标识准确率.为此,提出了三个用以增强边缘特征的网络模块.其中,浅层特征增强模块可有效增强包含更多边缘特征的浅层特征;边缘区域检测分支将普通特征和边缘特征进行区分以对目标的边缘特征进行显式建模;而分支特征融合模块可将两种特征在识别过程进行更好的融合.在将这三个模块引入渐进尺度扩张网络(Progressive scale expansion network, PSENet)之后,相关消融实验表明这三个模块的单独使用及其组合均可进一步增加网络的预测准确率.此外,在三个常用公开数据集上与其他十个最新模型的比较结果表明,改进后得到边缘特征增强网络(Edge-oriented feature reinforcing network, EFRNet)的识别结果具有较高的F1值.     

卷积深度置信网络的场景文本检测

自然场景中的文本检测对于视频、图像和图片等海量信息的检索管理具有重要意义.针对自然场景中的文本检测面临着图像背景复杂、分辨率低和分布随意的问题,提出一种场景文本检测的方法.该方法将最大稳定极值区域算法与卷积深度置信网络进行结合,把从最大稳定极值区域中提取出来的候选文本区域输入到卷积深度置信网络中进行特征提取,由Softmax分类器对提取的特征进行分类.该方法在ICDAR数据集和SVT数据集上进行实验,实验结果表明该方法有助于提高场景文本检测的精确率及召回率.     

基于特征融合网络的自然场景文本检测

目前,基于深度学习的自然场景文本检测在复杂的背景下取得很好的效果,但难以准确检测到小尺度文本.本文针对此问题提出了一种基于特征融合的深度神经网络,该网络将传统深度神经网络中的高层特征与低层特征相融合,构建一种高级语义的神经网络.特征融合网络利用网络高层的强语义信息来提高网络的整体性能,并通过多个输出层直接预测不同尺度的文本.在ICDAR2011和ICDAR2013数据集上的实验表明,本文的方法对于小尺度的文本,定位效果显著.同时,本文所提的方法在自然场景文本检测中具有较高的定位准确性和鲁棒性,F值在两个数据集上均达到0.83.     

基于深度学习的文本检测算法在银行运维中应用

银行故障单中故障的截图常存在与自然场景中,能够在该图中精确地进行文本检测,将可以提高文本识别的精确度,并提高案例库的搜索和主动运维能力.为了提高自然场景文本检测的效率,提出了一种基于深度学习的自然场景文本检测算法.算法首先提取出图像中的最大稳定极值区域作为候选字母,利用单链接层次聚类得到候选文本,对候选文本进行中值滤波,最后通过一个深度置信网络DBN来删除非文本候选.实验结果表明,基于DBN的方法能有效提高自然场景文本检测的准确率,比传统方法具有更好的结果.     

基于光照不均的场景文本提取算法

场景文本检测与识别对于自然场景的理解、图像中物体信息的获取以及自动驾驶与导航等研究有非常重要的作用。其中文本字符提取属于场景文本检测与识别的一个分支。在自然场景中,针对当前场景文本图像的不均匀照明等问题,提出一种基于边缘检测和改进的全局自适应文本提取模型结合的文本检测提取方法。首先,对输入的图像先做灰度处理和边缘检测,然后,将文本边缘图像进行二值化和形态学处理,获得候选的字符区域,最后,将其输入到改进的全局自适应文本提取模型中进行分类筛选,从而实现文本字符的检测提取。实验结果表明,该方法具有较好的场景文本字符区域提取能力。     

自然场景文本检测与识别的深度学习方法

许多自然场景图像中都包含丰富的文本,它们对于场景理解有着重要的作用。随着移动互联网技术的飞速发展,许多新的应用场景都需要利用这些文本信息,例如招牌识别和自动驾驶等。因此,自然场景文本的分析与处理也越来越成为计算机视觉领域的研究热点之一,该任务主要包括文本检测与识别。传统的文本检测和识别方法依赖于人工设计的特征和规则,且模型设计复杂、效率低、泛化性能差。随着深度学习的发展,自然场景文本检测、自然场景文本识别以及端到端的自然场景文本检测与识别都取得了突破性的进展,其性能和效率都得到了显著提高。本文介绍了该领域相关的研究背景,对基于深度学习的自然场景文本检测、识别以及端到端自然场景文本检测与识别的方法进行整理分类、归纳和总结,阐述了各类方法的基本思想和优缺点。并针对隶属于不同类别下的方法,进一步论述和分析这些主要模型的算法流程、适用场景和技术发展路线。此外,列举说明了部分主流公开数据集,对比了各个模型方法在代表性数据集上的性能情况。最后总结了目前不同场景数据下的自然场景文本检测、识别及端到端自然场景文本检测与识别算法的局限性以及未来的挑战和发展趋势。     

TextRail：复杂自然场景下的不规则文本检测算法

文本检测是文本识别的前提和基础。复杂自然场景下，受透视、遮挡、变形等因素影响，图像质量难以保证，同时图像中的文字形式丰富多样，多呈不规则形状，加上复杂背景的干扰，致使文本检测难度大、精确度低。针对文本形状不规则的场景，提出了一种文本边轨模型（TextRail），该模型基于文本上、下边界基准点表示文本区域的思想，实现对任意形状文本的高效检测。TextRail使用全卷积网络（full convolutional network,FCN）及特征金字塔网络（feature pyramid network,FPN）提取文本图像特征；将特征送入检测头网络，实现文本区域上下边界基准点的预测，将预测结果通过位置感知非极大抑制（locality-aware non-maximum suppression,LNMS）合并，得到最终的上下边界基准点；采用薄板样条插值（thin plate spline,TPS）的方法实现对不规则文本的自动矫正。通过大量的实验验证，TextRail在F1分值上优于其他文本检测模型。同时TextRail模型可以准确表示出文字的朝向、弯曲和变形情况，有效提升了不规则文本检测的准确...     

基于边缘检测和特征融合的自然场景文本定位

文本定位作为文本识别的基础和前提,对图像深层信息的理解至关重要。针对自然场景下的文本定位受光照、复杂背景等因素影响较大的问题,提出了一种基于多方向边缘检测和自适应特征融合的自然场景文本定位方法。该方法首先将自然场景图像进行三通道八方向的边缘检测;然后 通过启发式规则 对得到的边缘图像进行过滤从而提取出备选文本域,进而对备选文本域进行自适应权值的HOG-LBP特征提取与融合;最后采用支持向量机进行特征分类学习,实现文本定位。实验结果表明,该方法能准确定位自然场景图片的文本区域,对光照和复杂背景具有较强的鲁棒性。     

基于改进DRRG的自然场景文本检测算法

随着人们对场景文本检测领域的探索，对于自然场景中较规则文本的检测结果较好，然而对于任意方向的文本和复杂背景图像文本检测结果依然不理想。基于此，提出了一种改进的深度关系推理图网络模型。模型通过不同于anchor思想的文本组件预测部分，直接预测文本行，然后利用深度关系推理网络，推理出待检测文本行。同时引入Resnet50和SENet网络，提高模型特征提取能力和模型鲁棒性。通过在CTW1500和ICDAR2015两个数据集上对改良的模型进行评价，证明了改进算法的可行性。     

局部与全局双重特征融合的自然场景文本检测

自然场景中文本的形状、方向和类别等变化丰富,场景文本检测仍然面临挑战.为了能够更好地将文本与非文本分隔并准确定位自然场景图像中的文本区域,本文提出一种局部与全局双重特征融合的文本检测网络,通过跳跃连接的方式实现多尺度全局特征融合,对恒等残差块进行改进实现局部细粒度特征融合,从而减少特征信息丢失,增强对文本区域特征提取力...     

基于文本特征及二次矫正的指针式仪表自动读数算法

现有的指针式仪表读数算法常通过检测仪表的刻度进行示数识别,但仪表图像中的刻度包含的特征较少,从而容易出现误检测。针对此问题,提出了一种新的指针式仪表自动读数算法,该算法通过选取较大区域的图像特征大幅度地提高了仪表读数识别的鲁棒性。由于指针刻度值文本是各类仪表具有的共同部分且具有远多于刻度图像的特征,因此所提算法以刻度值文本作为识别依据,首先通过卷积神经网络检测仪表图像中的刻度值文本,并使用其位置坐标来拟合仪表的圆心,在得到圆心的基础上通过极坐标变换及图像二次矫正将圆弧形的刻度区域转换为水平直线型的区域,同时被识别的文本值也用于改进距离判读法。该方法与其他读数算法的比较结果表明,该算法具有较高的读数准确率,引用误差在0.5%以下,且在复杂拍摄条件下具有更高的鲁棒性。     

面向混叠文字检测的单向投影Transformer方法

针对基于分割的文字检测方法在混叠文字场景下性能下降的问题,提出了单向投影Transformer （SDPT）用于混叠文本检测。首先,使用深度残差网络（ResNet）和特征金字塔网络（FPN）提取并融合多尺度特征;然后,利用水平投影将特征图投影成向量序列,并送入Transformer模块进行建模,以挖掘文本行与行之间的关系;最后,使用多目标来进行联合优化。在合成数据集BDD-SynText和真实数据集RealText上进行了大量实验,结果表明,所提SDPT在高混叠度的文字检测下取得了最优的效果,而与PSENet等文本检测算法在相同骨干网络（ResNet50）条件下相比,在BDD-SynText上F1-Score（IoU75）至少提高了21.36个百分点,在RealText上的F1-Score （IoU75）至少提高了18.11个百分点,验证了所提方法对于混叠文字检测性能改善的重要作用。     

基于学习主动中心轮廓模型的场景文本检测

在场景文本检测领域,存在由于文本尺寸波动较大导致的小文本漏检、大文本欠检测和多尺度文本边界检测错误的情况。针对上述问题,提出一种基于学习主动中心轮廓模型的场景文本检测网络。在残差网络ResNet的基础上构建多尺度特征权重融合模型,对输入的场景文本图片进行多尺度特征提取和权重融合,并计算出最终的特征融合图,适应场景文本长宽比变化较大的情况。在此基础上,将融合后的特征图输入到学习主动中心轮廓模型预测文本框的中心点和边界,该模型为场景文本检测提供丰富先验知识,以解决多尺度文本检测框包含过多背景或部分包围文本造成的边界检测错误问题。在MSRA-TD500、IC13、IC15和IC17MLT数据集上的实验结果表明,该网络能够提高多尺度场景文本检测的准确率,其中在MSRA-TD50数据集上F-measure为0.83,相较于MSR方法提升1%,在IC13数据集上F-measure为0.91,相较于PixelLink网络提升2%,在IC15数据集上F-measure值为0.87,相较于PSENet网络提升1%,在IC17MLT数据集上F-measure值为0.74,相较于TridentNet网络提升1%。     

CNN and Fuzzy Rules Based Text Detection and Recognition from Natural Scenes

In today’s real world, an important research part in image processing is scene text detection and recognition. Scene text can be in different languages, fonts, sizes, colours, orientations and structures. Moreover, the aspect ratios and layouts of a scene text may differ significantly. All these variations appear assignificant challenges for the detection and recognition algorithms that are considered for the text in natural scenes. In this paper, a new intelligent text detection and recognition method for detectingthe text from natural scenes and forrecognizing the text by applying the newly proposed Conditional Random Field-based fuzzy rules incorporated Convolutional Neural Network (CR-CNN) has been proposed. Moreover, we have recommended a new text detection method for detecting the exact text from the input natural scene images. For enhancing the presentation of the edge detection process, image pre-processing activities such as edge detection and color modeling have beenapplied in this work. In addition, we have generated new fuzzy rules for making effective decisions on the processes of text detection and recognition. The experiments have been directedusing the standard benchmark datasets such as the ICDAR 2003, the ICDAR 2011, the ICDAR 2005 and the SVT and have achieved better detection accuracy intext detection and recognition. By using these three datasets, five different experiments have been conducted for evaluating the proposed model. And also, we have compared the proposed system with the other classifiers such as the SVM, the MLP and the CNN. In these comparisons, the proposed model has achieved better classification accuracywhen compared with the other existing works.     

基于深度神经网络损失函数融合的文本检测

针对基于传统深度神经网络的自然场景文本检测存在检测效果较差、文本边界框检测不准确等缺陷,提出基于损失函数融合的深度神经网络。将损失函数Balanced loss,利用加权的方法与传统深度神经网络进行融合,用于提高文本框边界区域及图像中难检测像素点的损失值,从而约束模型的优化方向,提升模型学习复杂特征的能力。实验结果表明,在自然场景文本检测中所提出方法有效提高了网络的检测准确性。     

针对直播弹幕的TextCNN过滤模型

网络直播的兴起,促使直播弹幕成为一种新型的交流方式。随之而来的还有各类非法弹幕。在识别非法弹幕方面,人工筛选过于低效,传统关键词过滤方法和统计机器学习方法识别率较低,且无法应对变异短文本。如何让机器更高效、更准确地识别非法弹幕以营造更好的网络环境是一个很有意义的问题。提出了基于文本卷积神经网络（TextCNN）的带噪非法短文本识别方法。通过对带噪短文本的预处理以及利用文本卷积神经网络挖掘字符间的相关特征,极大地提高了直播弹幕中非法短文本的识别率。     

像素聚合和特征增强的任意形状场景文本检测

目的 获取场景图像中的文本信息对理解场景内容具有重要意义,而文本检测是文本识别、理解的基础。为了解决场景文本识别中文字定位不准确的问题,本文提出了一种高效的任意形状文本检测器：非局部像素聚合网络。方法 该方法使用特征金字塔增强模块和特征融合模块进行轻量级特征提取,保证了速度优势;同时引入非局部操作以增强骨干网络的特征提取能力,使其检测准确性得以提高。非局部操作是一种注意力机制,能捕捉到文本像素之间的内在关系。此外,本文设计了一种特征向量融合模块,用于融合不同尺度的特征图,使尺度多变的场景文本实例的特征表达得到增强。结果 本文方法在3个场景文本数据集上与其他方法进行了比较,在速度和准确度上均表现突出。在ICDAR（International Conference on Document Analysis and Recognition） 2015数据集上,本文方法比最优方法的F值提高了0.9%,检测速度达到了23.1 帧/s;在CTW（Curve Text in the Wild） 1500数据集上,本文方法比最优方法的F值提高了1.2%,检测速度达到了71.8 帧/s;在Total-Text数据集上,本文方法比最优方法的F值提高了1.3%,检测速度达到了34.3 帧/s,远远超出其他方法。结论 本文方法兼顾了准确性和实时性,在准确度和速度上均达到较高水平。     

基于Encoder-Decoder框架的双监督机制自然场景文本识别

针对复杂的自然场景下文本较难识别的情况,特别是对不规则文本的识别仍很具挑战性,提出了一种具有注意机制的双监督网络。考虑到在现实世界中阅读单词时通常不会在脑海中纠正他,而是调整焦点和视觉范围。在特征提取过程中利用几何结构可调的可变形卷积层结合文本注意模块,强制模型专注于文本区域,无需对不规则的文本进行位置纠正。该文的总体框架有两个分支监督,一个监督分支来自上下文级别建模,另一个监督分支来自一个额外的监督增强分支,旨在处理角色级别的不明确的语义信息。这两个监督可以相互促进,并产生更好的性能。所提出的方法可以识别任意长度的文本,并且不需要任何预定义的词典。实验表明,与对比方法相比,提出的方法在场景文本基准数据集上的识别精度有明显提升。     

一种轻量化中文指路标志的文本识别算法

针对中文交通指路标志中多方向、多角度的文本提取与识别困难的问题,提出了一种融合了卷积神经网络与传统机器学习方法的轻量化中文交通指路标志文本提取与识别算法。首先,对YOLOv5l目标检测网络进行轻量改进,提出了YOLOv5t网络用以提取指路标志牌中的文本区域;然后,结合投影直方图法与多项式拟合法的M-split算法,对提取到的文本区域进行字符分割;最后,使用MobileNetV3轻量化网络对文本进行识别。提出的算法在自制数据集TS-Detect上进行近景文本识别,精度达到了901%,检测速度达到了40 fps,且权重文件大小仅有24.45 MB。实验结果表明,提出的算法具有轻量化、高精度的特性,能够完成复杂拍摄条件下的实时中文指路标志文本提取与识别任务。     

基于改进EAST的自然场景文本定位算法

目前在图像处理领域,自然场景下的文本定位算法是一项具有困难的挑战,EAST算法是近年来性能比较出色的自然场景文本定位算法之一,具有较高的召回率和识别率,但是仍存在感受野不够大,样本权重不合理的问题。因此对EAST算法进行改进,对EAST网络结构进行改进,加入ASPP网络,提高了感受野,对loss进行改进,优化了样本权重不合理的问题,提高了对文本的定位效果。实验结果表明,提出的算法在保持18 f/s的同时,在ICDAR 2015文本定位任务的召回率为78.43%,准确率为85.78%,F-score为81.94%,优于经典EAST算法。