A Hidden Markov Models combination framework for handwriting recognition

We propose a general framework to combine multiple sequence classifiers working on different sequence representations of a given input. This framework, based on Multi-Stream Hidden Markov Models (MS-HMMs), allows the combination of multiple HMMs operating on partially asynchronous information streams. This combination may operate at different levels of modeling: from the feature level to the post-processing level. This framework is applied to on-line handwriting word recognition by combining temporal and spatial representation of the signal. Different combination schemes are compared experimentally on isolated character recognition and word recognition tasks, using the UNIPEN international database.Received: 16 August 2002, Accepted: 21 November 2002, Published online: 6 June 2003     

Hidden Markov Models for crop recognition in remote sensing image sequences

This work proposes a Hidden Markov Model (HMM) based technique to classify agricultural crops. The method uses HMM to relate the varying spectral response along the crop cycle with plant phenology, for different crop classes, and recognizes different agricultural crops by analyzing their spectral profiles over a sequence of images. The method assigns each image segment to the crop class whose corresponding HMM delivers the highest probability of emitting the observed sequence of spectral values. Experimental analysis was conducted upon a set of 12 co-registered and radiometrically corrected LANDSAT images of region in southeast Brazil, of approximately 124.100 ha, acquired between 2002 and 2004. Reference data was provided by visual classification, validated through extensive field work. The HMM-based method achieved 93% average class accuracy in the identification of the correct crop, being, respectively, 10% and 26% superior to multi-date and single-date alternative approaches applied to the same data set.     

马尔可夫及隐马尔可夫模型在数据挖掘中的应用

随着用户对于数据挖掘的精确度与准确度要求的日益提高,马尔可夫模型与隐马尔可夫模型被广泛用于数据挖掘领域。本文阐述了马尔可夫模型和隐马尔可夫模型数据挖掘领域的应用,以及隐马尔可夫模型可解决的问题,以供其他研究者借鉴。     

马尔可夫及隐马尔可夫模型在数据挖掘中的应用

随着用户对于数据挖掘的精确度与准确度要求的日益提高,马尔可夫模型与隐马尔可夫模型被广泛用于数据挖掘领域。本文阐述了马尔可夫模型和隐马尔可夫模型数据挖掘领域的应用,以及隐马尔可夫模型可解决的问题,以供其他研究者借鉴。     

脱机自由手写英文单词的识别

介绍了一个基于隐马尔科夫模型的、采用模糊分割方式的脱机手写英文单词识别系统。该系统由图像预处理、特征提取、基于HMM的训练和识别四个模块组成。图像预处理中包括二值化、平滑去噪、倾斜校正和参考线提取。然后通过宽度不固定的滑动窗提取特征,前两组特征是整体形状和象素分布特征,另外又引入了Sobel梯度特征。HMM模型采用嵌入式的Baum-Welch算法训练,这种训练方式无需分割单词。最后用Viterbi算法识别。对字典中的每个单词,采用字母模型线性连接成单词模型。     

基于HMM-SVM的图像型火焰识别

针对单一的隐马尔科夫模型在图像型火灾探测中误报率偏高的问题,提出了隐马尔科夫模型和支持向量机相结合的图像型火焰识别算法。对捕获到的图像进行运动区域检测和颜色分析,提取疑似火焰区域,利用隐马尔科夫模型计算疑似区域与火焰模型的相似度,并输入到训练好的支持向量机进行二次识别。实验结果表明,与传统单一隐马尔科夫模型相比,该方法可以有效地降低误报率,提高火焰识别准确性。     

DNA序列的二阶隐马尔科夫模型分类

隐马尔可夫模型是对DNA序列建模的一种简单且有效的模型, 实际应用中通常采用一阶隐马尔可夫模型. 然而, 由于其一阶无后效性的特点, 一阶隐马尔科夫模型无法表示非相邻碱基间的依赖关系, 从而导致序列中一些有用统计特征的丢失. 本文在分析DNA序列特有的生物学构造的基础上, 提出一种用于DNA序列分类的二阶隐马尔可夫模型, 该模型继承了一阶隐马尔可夫模型的优点, 充分表达了蕴涵在DNA序列中的生物学统计特征, 使得新模型具有明确的生物学意义. 基于新模型, 提出一种DNA序列的贝叶斯分类新方法, 并在实际DNA序列上进行了实验验证. 实验结果表明, 由于二阶隐马尔可夫模型充分反映了DNA序列碱基间的结构信息, 新方法有效地提高了序列的分类精度.     

基于拉普拉斯脸和隐马尔可夫的视频人脸识别

提出了一种基于拉普拉斯脸和隐马尔可夫模型的视频人脸识别方法。在训练过程中，采用拉普拉斯脸方法将每一视频序列中的人脸图像映射到拉普拉斯空间，将降维后的特征作为观测值，通过隐马尔可夫模型得到每一训练视频的统计特性和时间动态特性。在识别过程中，用每一个训练视频的隐马尔可夫模型来分析测试视频的时间动态特性，计算出每一训练模型产生该序列的概率，概率最大值所对应的模型就是待识别序列所属的类别。实验结果表明，该方法能够很好地进行视频人脸识别。     

IP包间关联异常检测的免疫隐马尔柯夫模型

数据包是网络通信的基本单位,网络上的入侵行为都应该在数据包中以不同的形式存在、表达着,而且网络中流通的数据包之间必然存在一定的关联性。人工免疫以往的研究多集中在对单个数据包的分析,很难察觉到隐蔽的、缓慢的入侵行为（这些行为的数据包序列间大多有一定的关联性）。因此,该文对于相互联系的多个数据包,挖掘出它们之间的关联特征,并针对这些特征采用了隐马尔柯夫模型的自动机识别器来检测入侵。     

Realistic disturbance modeling using Hidden Markov Models: Applications in model-based process control

Understanding and modeling disturbances play a critical part in designing effective advanced model-based control solutions. Existing linear, stationary disturbance models are oftentimes limiting in the face of time-varying characteristics typically witnessed in process industries. These include intermittent drifts, abrupt changes, temporary oscillations, outliers and the likes. This work proposes a Hidden Markov Model-based framework to deal with such situations that exhibit discrete, modal behavior. The usefulness of the proposed disturbance framework – from modeling to ensuring the integral action under a wide variety of scenarios – is demonstrated through several examples.     

脱机手写体签名识别的小波包隐马尔可夫模型

提出了一种基于小波包隐马尔可夫的脱机手写体签名识别方法。该方法用小波包对归一化的签名图像进行特征提取,用混合高斯模型刻画各频带的小波包的系数分布,并用隐马尔可夫的状态转移模型描述了高斯模型在各频带间的相关性和依赖性。该方法数据预处理简单,特征提取完全可逆,避免了复杂分割,很好地描述了签名图像的小波包分解的统计特性,实验表明具有较好的抗噪性、鲁棒性、适应性和较高的识别率。     

Combining diverse on-line and off-line systems for handwritten text line recognition

In this paper we present a multiple classifier system (MCS) for on-line handwriting recognition. The MCS combines several individual recognition systems based on hidden Markov models (HMMs) and bidirectional long short-term memory networks (BLSTM). Beside using two different recognition architectures (HMM and BLSTM), we use various feature sets based on on-line and off-line features to obtain diverse recognizers. Furthermore, we generate a number of different neural network recognizers by changing the initialization parameters. To combine the word sequences output by the recognizers, we incrementally align these sequences using the recognizer output voting error reduction framework (ROVER). For deriving the final decision, different voting strategies are applied. The best combination ensemble has a recognition rate of 84.13%, which is significantly higher than the 83.64% achieved if only one recognition architecture (HMM or BLSTM) is used for the combination, and even remarkably higher than the 81.26% achieved by the best individual classifier. To demonstrate the high performance of the classification system, the results are compared with two widely used commercial recognizers from Microsoft and Vision Objects.     

基于隐马尔科夫模型的DNA序列分类方法

DNA序列分类是生物信息学的一项基础任务,目的是根据结构或功能的相似性预测DNA序列所属的类别。为进行有效分类,如何将序列映射到特征向量空间并最大程度地保留序列中蕴含的碱基间顺序关系是一项困难的任务。为克服现有方法容易导致因DNA序列碱基残缺而影响分类精度等问题,提出一种新的DNA序列特征表示方法。新方法首先为每条序列训练一个隐马尔科夫模型（HMM）,然后将DNA序列投影到由HMM状态转移概率矩阵的特征向量构成的向量空间中。基于这种新的特征表示法,构造了一种 K-NN分类器对DNA序列进行分类。实验结果表明,新型特征表示方法可以较为完整地保留 DNA 序列中不同碱基间的关系,充分反映序列的结构信息,从而有效提高了序列的分类精度。     

基于隐马尔可夫模型的行为轨迹还原算法

针对行为轨迹还原过程中观察序列状态缺失、无法对终端轨迹进行精确还原的问题,提出一种基于隐马尔可夫模型的行为轨迹还原算法。利用基站布局的空间相关性,在不考虑缺失观察状态的情况下,对隐马尔可夫模型求解过程中的局部概率进行修订,还原出轨迹序列。性能分析和仿真结果表明,状态倾向度越大,轨迹还原成功率越高,当状态倾向度取0.8时,轨迹还原成功率在90%左右。     

基于隐Markov模型的文本分类

把基于序列模型的隐Markov模型引入文本分类领域。把待分类文本描述成一系列状态演化的隐Markov过程,其中状态以特定的概率产生代表文本的特征项。用序列模式来描述文本类,文本序列通过与隐Markov模型的匹配,求出其对应状态序列和最大输出概率。比较各个文本类的结果,达到文本分类的目的。最后通过和简单向量算法,KNN,Naive Bayes分类算法的比较,说明本算法的在文本分类中的成功应用。     

基于小波变换和隐马尔可夫模型的人脸识别方法

提出了基于小波变换和隐马尔可夫模型的人脸识别方法。对原始图像采用小波分解后,原始图像被分解到不同的频带上。利用小波理论分析可知,在每一级分解中,低频子图像包含了原始图像的主要描述信息,而其他3个高频子图像包含的信息较少,对模式分类的作用也较小,所以可忽略不计。该算法首先对图像进行3级小波分解,然后把3个不同分辨率的低频子图像由小到大排列成树状结构,形成低频小波树。接着利用主元分析对每个小波树枝进行去相关、降维,形成特征小波树枝,并把它作为观测向量对隐马尔可夫模型进行训练,把优化的模型参数用于人脸识别,实验结果表明,该方法识别率较高,具有很好的发展前景。     

结合图像数据和HMM模型的卫星传播仿真

实质上信号在信道由于外加噪声和多径效应的影响,接收端所接到的信号是完全随机的,因此大多数的传播模型都是采用统计的方法建立的。根据卫星通信信道传播的特性,掌握在不同环境下信道特性的变化情形,并进一步建立一个准确的信道特性预测模型,来评估不同的用户环境下信号衰落情况。利用隐马尔可夫模型(Hidden Markov Models,HMMs)的统计方法,结合用户所在位置的环境图像来建立预测模型,仿真结果表明,可以得到不错的预测结果。     

基于隐马尔可夫模型的音乐分类

音乐类型（Genre）是应用最普遍的管理数字音乐数据库的方式,提出一种基于隐马尔可夫模型（Hidden Markov Models,HMMs）的音乐自动分类方案。在考虑传统的音色特征（Timbre）的同时,将另一重要特征节奏（Tempo）也加以考虑,并通过bagging训练两组HMM进行分类,达到了良好的效果。从结构、状态数和混合高斯模型数三个方面进行了参数优化,找到了最佳的HMM参数。在音乐数据集GTZAN上对传统模型和新模型分类效果进行了测试,结果表明考虑了节奏特征的HMM分类效果更佳。