手写数学公式的识别研究及在Android上的应用

为了开发一款在Android平板电脑上运行的手写数学公式识别的软件,首先采用特征值多级分类方法对手写字符进行识别;然后提出一种使用三叉结点结构存储数学公式的算法,将手写数学公式转换成一棵三叉树;最后利用三叉树的先序算法将三叉树转换成MathML语言即可在Web浏览器上显示。     

人在回路的在线手写数学公式识别方法

在线手写数学公式识别面临书写字符的不确定性、数学公式结构的复杂性,以及公式书写风格因人而异等问题,特别是在公式书写中出现偶然性错误和包含复杂结构的情况下,现有的仅依赖机器的识别算法的识别准确率较低.为了解决这一问题,提出了人在回路的手写公式识别方法,该方法主要在结构分析阶段引入了人的参与,借助人对结构中歧义笔画的修改和结构补笔操作,完善和界定结构笔画和结构内笔画信息.为了评估该方法的有效性,将其与不含用户参与信息的一个基线识别方法在结构识别率和表达式识别率方面进行了对比分析.结果表明,该方法能够有效地促进用户参与到手写识别过程,同时,针对实验收集的手写数学公式数据,引入用户参与的方法能够有效地提高手写数学公式的结构和表达式识别率,分别提高了9.26％和13.99％.     

基于语音和笔的手写数学公式纠错方法

采用识别技术的用户界面往往由于识别率的限制容易出错,如何为这类界面提供自然高效的纠错方法十分重要.手写数学公式具有二维结构,难以识别和纠错.提出一种用于纠正手写数学公式识男噜错误的多通道技术.它允许用户使用笔纠正切分错误,用笔和语音纠正符号识别和表达式结构分析错误.该技术的核心是一个多通道融合算法.融合算法以笔选择的符号和语音作为输入,根据语音输入的类型是数学术语或者数学符号分别选择融合方法,最后修正手写公式并输出最有可能的识别结果.实验结果表明,该技术能有效地纠正手写数学公式识别中的错误,它比基于笔的单通道纠错技术更加高效.     

一种基于分块树的手写数学公式结构分析算法

本文源于一个手写数学公式识别系统,该系统实现了手写数学公式到文本公式的自动转化。文中提出了一种基于分块树的数学公式结构分析方法,该方法首先根据其内部结构特征将数学表达式分解为若干子模块,并采用树型结构对每个子模块内部字符之间的结构关系进行表示,最终形成整个表达式的树型表示。该方法定义了一系列的字符结构属性,将字符及属性值作为结构分析的结果,这些属性值再现了公式的结构特征,并很容易被系统的公式文本显示部分所利用。另外,该方法对传统的字符空间关系类型进行了简化,减小了识别误差,而引入的分块处理方式更加适合具有根式和分式等多层嵌套结构公式的处理,并且具有较强的可扩展性。     

印刷体数学公式重构技术的研究

数学公式重构是公式识别的重要环节,目前相关的研究还很欠缺.基于MathML提出了一种印刷体数学公式重构的方法.在已实现的公式符号识别与结构分析程序所生成的公式关系树基础上,将公式关系树重构为MathML文档,并设计公式编辑器,实现了公式的再编辑和重用.实验表明,这种重构方法对印刷体数学公式具有较好的适应性和较高的准确率.     

基于基准线的多候选数学公式识别

提出了一种基于基准线的多候选数学公式识别(Baseline Based Multi-candidate Mathematical Expression Recognition,BBMMER)方法。现代印刷体数学公式识别是模式识别的重要组成部分,而数学公式结构分析又是数学公式识别技术发展的瓶颈所在。提出了一种利用基准线定位公式嵌套结构,多候选分析公式符号间结构关系的方法,并使用LaTex格式表示数学公式的识别结果。在大量的公式图像组成的测试集上取得了良好的公式分析正确率。     

数学公式基线结构分析及识别算法研究

公式识别问题被分为字符分割和结构分析两部分内容。系统地研究了数学公式识别的全过程,使用自适应字符分割方法和基线结构分析算法成功地实现了一般数学公式的识别,识别率比较高,较好地完成了公式识别任务。从实验结果中可以看出,这种基于基线结构分析的数学公式识别方法能够满足大多数印刷体公式的识别,是一种较好的方法。     

用于在线手写公式合成的编解码网络

目的 在线公式识别是一种将在线输入手写轨迹点序列转换为公式文本的任务,其广泛应用在手机、平板等便携式设备上。众所周知,训练数据对于神经网络十分重要,但获取有标注的在线公式数据所需要的成本十分昂贵,在训练数据不足的情况下,深度神经网络在该任务上的泛化性和鲁棒性会受到影响。为此,提出了一个基于编码—解码模型的在线数据生成模型。方法 该模型从给定的公式文本生成对应的在线轨迹点序列,从而灵活地扩充训练数据规模。生成模型在编码器端设计了结合树形表示的文本特征提取模块,并且引入了基于位置的注意力算法,使模型实现了输入文本序列与输出轨迹序列间的对齐。同时,解码器端融入了不同手写人风格特征,使模型可以生成多种手写人风格的样本。结果 实验中,首先,将本文生成方法在不同类型输入文本和不同手写人风格上的结果可视化,并展示了模型在多数情况下的有效性。其次,生成模型合成的额外数据可作为训练集的增广,该数据被用于训练Transformer-TAP（track,attend,and parse）、TAP和DenseTAP-TD（DenseNet TAP with tree decoder）模型,并分析了3种模型在使用增广数据前后的性能变化。结果表明,引入增广数据分进行训练后,3个模型的绝对识别率分别提升了0.98%、1.55%和1.06%;相对识别率分别提升了9.9%、12.37%和9.81%。结论 本文提出的在线生成模型可以更加灵活地实现对原有数据集的增广,并有效提升了在线识别模型的泛化性能。     

印刷体数学公式结构分析的一种方法

数学公式识别是OCR技术的重要组成部分,目前相关的研究还很欠缺。文章在简要介绍数学公式识别发展状况的基础上,针对结构分析这一公式识别的关键环节,提出了一种基于基准线、运算符作用域并结合语法分析数学公式结构的方法。实验表明,该方法对公式结构具有较好的适应性。     

一种基于二叉树的数学公式抄袭检测算法

提出了一种基于二叉树的LaTeX格式数学公式抄袭检测算法。在待检测文档中提取数学公式,根据数学公式的LaTeX格式生成其二叉树表示,对树形结构作归一化处理得到结构码;在公式检测库中查找文件名为该结构码的数据表,若该数据表存在,则在数据表中查找与二叉树根结点公式元素和变量名归一化的先序遍历序列都相同的记录;根据查找结果确定数学公式是否为抄袭。实验结果表明,该算法准确地实现了数学公式的抄袭检测,是一种较实用的算法。     

基于多重规则和路径评价的在线中英文手写识别方法

手写文本识别方法主要应用于文本输入技术,对人机交互领域的发展起关键作用。针对多数在线输入法无法识别中英文混合手写识别的问题,提出一种在线中英文混合手写文本识别方法。通过对文本笔画进行基于水平相对位置、垂直重叠率、面积重叠率规则的整合以及连笔切分,得到一系列字符片段,同时利用笔画个数、宽高比、中心偏离、平滑度等几何特征和识别置信度,对字符片段进行中英文分类。在此基础上,根据分类结果并结合自然语言模型的路径评价及动态规划搜索算法,分别对候选的中、英文字符片段进行合并处理,得到待识别的中、英文字符序列,并将其分别送入卷积神经网络的中、英文识别模型中,得到手写文本识别结果。实验结果表明,在线手写中英文混合文本识别正确率达93.67%,不仅能切分在线手写中文文本行,而且对包含字符连笔的在线手写中英文文本行也有较好的切分效果。     

Recognition of online handwritten mathematical expressions

This paper aims at automatic understanding of online handwritten mathematical expressions (MEs) written on an electronic tablet. The proposed technique involves two major stages: symbol recognition and structural analysis. Combination of two different classifiers have been used to achieve high accuracy for the recognition of symbols. Several online and offline features are used in the structural analysis phase to identify the spatial relationships among symbols. A context-free grammar has been designed to convert the input expressions into their corresponding T(E)X strings which are subsequently converted into MathML format. Contextual information has been used to correct several structure interpretation errors. A new method for evaluating performance of the proposed system has been formulated. Experiments on a dataset of considerable size strongly support the feasibility of the proposed system.     

Handwritten Chinese text line segmentation by clustering with distance metric learning

Separating text lines in unconstrained handwritten documents remains a challenge because the handwritten text lines are often un-uniformly skewed and curved, and the space between lines is not obvious. In this paper, we propose a novel text line segmentation algorithm based on minimal spanning tree (MST) clustering with distance metric learning. Given a distance metric, the connected components (CCs) of document image are grouped into a tree structure, from which text lines are extracted by dynamically cutting the edges using a new hypervolume reduction criterion and a straightness measure. By learning the distance metric in supervised learning on a dataset of pairs of CCs, the proposed algorithm is made robust to handle various documents with multi-skewed and curved text lines. In experiments on a database with 803 unconstrained handwritten Chinese document images containing a total of 8,169 lines, the proposed algorithm achieved a correct rate 98.02% of line detection, and compared favorably to other competitive algorithms.     

基于统计和结构特征的手写数字识别研究

针对目前手写数字识别精度不高的问题,通过对手写数字图像的研究,提出了基于手写数字图像的空间、旋转、层次和结构特性的特征提取方法.该方法把手写数字的统计和结构特征结合起来,以特征提取方法为基础,利用LibSVM算法对手写数字特征进行了训练和识别.通过实验给出了各个参数的推荐值,利用推荐参数值,手写数字MNIST字体库的识别率高达99.3333％.实验结果表明了该算法在识别手写数字上的有效性和准确性.     

利用层次图形元法识别工整手写汉字的研究

本文提出了利用层次图形元识别工整手写汉字的算法。详细介绍了手写汉字图形元抽取规则、图形元隶属度计算、层次结构描述方法及模糊匹配算法。经对有代表性的800个高频汉字非限人识别实验,平均识别率达85%。     

基于实时样本采集的个性化手写汉字输入系统设计

手写汉字识别是手写汉字输入的基础。目前智能设备中的手写汉字输入法无法根据用户的汉字书写习惯,动态调整识别模型以提升手写汉字的正确识别率。通过对最新深度学习算法及训练模型的研究,提出了一种基于用户手写汉字样本实时采集的个性化手写汉字输入系统的设计方法。该方法将采集用户的手写汉字作为增量样本,通过对服务器端训练生成的手写汉字识别模型的再次训练,使识别模型能够更好地适应该用户的书写习惯,提升手写汉字输入系统的识别率。最后,在该理论方法的基础上,结合新设计的深度残差网络,进行了手写汉字识别的对比实验。实验结果显示,通过引入实时采集样本的再次训练,手写汉字识别模型的识别率有较大幅度的提升,能够更有效的满足用户在智能设备端对手写汉字输入系统的使用需求。     

联机手写化学公式识别与分析

随着移动设备的日渐普及,联机手写输入方式为化学知识的使用和分享提供了可能,而化学公式的数字化处理也逐渐成为热点。为了有效进行联机手写化学公式的识别,通过整理6种化学公式中常见的符号位置关系,提出了一种用于联机手写化学公式识别与分析的方法,该方法在处理了断笔、粘连、连笔等书写异常情况后,完成了对化学公式的切分。识别时,先利用SVM+HMM的两级分类机制识别独立的化学符号;然后以公式的语义和语法规则协助理解用户的书写原意。实验证明,该方法应用于平板电脑,对于上述3个阶段的化学公式识别均取得了理想的结果,从而为联机手写化学公式重现和重用打下了基础。     

Online recognition of handwritten music symbols

In this paper, we propose an effective online method to recognize handwritten music symbols. Based on the fact that most music symbols can be regarded as combinations of several basic strokes, the proposed method first classifies all the strokes comprising an input symbol and then recognizes the symbol based on the results of stroke classification. For stroke classification, we propose to use three types of features, which are the size information, the histogram of directional movement angles, and the histogram of undirected movement angles. When combining classified strokes into a music symbol, we utilize their sizes and spatial relation together with their combination. The proposed method is evaluated using two datasets including HOMUS, one of the largest music symbol datasets. As a result, it achieves a significant improvements of about 10% in recognition rates compared to the state-of-the-art method for the datasets. This shows the superiority of the proposed method in online handwritten music symbol recognition.