基于隐马尔可夫模型的文本分类算法

自动文本分类领域近年来已经产生了若干成熟的分类算法,但这些算法主要基于概率统计模型,没有与文本自身的语法和语义建立起联系。提出了将隐马尔可夫序列分析模型（HMM）用于自动文本分类的算法,首先构造表示文档类别的特征词集合,并以文档类别的特征词序列作为不同HMM分类器的观察序列,而HMM的状态转换序列则隐含地表示了不同类别文档内容的形成演化过程。分类时,具有最大生成概率的HMM分类器类标即为测试文档的分类结果。该算法构造的分类器模型一定程度上体现了不同类别文档的语法和语义特征,并可以实现多类别的自动文本分类,分类效率较高。     

基于BP-HMM的网络入侵检测方法研究

提出了基于BP-HMM模型的网络入侵检测方法,给出了该模型的训练和识别方法.由于纯粹的HMM建立的分类器不能兼顾每个模型对其对应目标有很强的识别能力和模型之间差异性的最大化,因此将BP神经网络集成到HMM框架中,用BP网络为HMM提供状态概率输出.通过BP网络的粗分类,克服了HMM的缺陷,提高了系统的分类识别能力.     

SVM+BiHMM:基于统计方法的元数据抽取混合模型

提出了一种SVM BiHMM的混合元数据自动抽取方法.该方法基于SVM(support vector machine)和二元HMM(bigram HMM(hidden Markov model),简称BiHMM)理论.二元HMM模型BiHMM在保持模型结构不变的前提下,通过区分首发概率和状态内部发射概率,修改了HMM发射概率计算模型.在SVM BiHMM复合模型中,首先根据规则把论文粗分为论文头、正文以及引文部分,然后建立SVM模型把文本块划分为元数据子类,接着采用Sigmoid双弯曲函数把SVM分类结果用于拟合调整BiHMM模型的单词发射概率,最后用复合模型进行元数据抽取.SVM方法有效考虑了块间联系,BiHMM模型充分考虑了单词在状态内部的位置信息,二者的元数据抽取结果得到了很好的互补和修正,实验评测结果表明,SVM BiHMM算法的抽取效果优于其他方法.     

音频信息检索的研究及实现

介绍了常见的基于内容的音频检索的关键技术和音频特征提取的一般方法，讨论了其中基于隐马尔科夫(HMM)模型识别音频例子的关键问题，并在此基础上给出了一个基于内容的音频信息检索系统的框架和实例。     

基于动态贝叶斯网络的音视频连续语音识别和音素切分

构造了两个单流单音素的动态贝叶斯网络（DBN）模型，以实现基于音频和视频特征的连续语音识别，并在描述词和对应音素具体关系的基础上，实现对音素的时间切分。实验结果表明，在基于音频特征的识别率方面：在低信噪比（0~15dB）时，DBN模型的识别率比HMM模型平均高12.79%；而纯净语音下，基于DBN模型的音素时间切分结果和三音素HMM模型的切分结果很接近。对基于视频特征的语音识别，DBN模型的识别率比HMM识别率高2.47%。实验最后还分析了音视频数据音素时间切分的异步关系，为基于多流DBN模型的音视频连续语音识别和确定音频和视频的异步关系奠定了基础。     

一种有效的基于关联规则的视频分类方法

视频内容的分类是归纳、理解、检索视频数据的一个重要环节.现有的很多视频分类方法大都采用隐马尔科夫模型(HMM)理论,但是利用HMM模型处理视频数据有其固有的局限性.为了解决HMM模型存在的问题,提出了一种基于关联规则的视频分类方法.该方法在建立了状态模型之后,首先挖掘出各个状态之间的相互关联关系,利用关联距离(AD)的约束来衡量关联关系的可靠程度并形成状态转换模式(STP),进而由这些状态转换模式构成关联规则(AR),最后利用关联规则对视频数据进行分类.实验结果表明,这种分类方法适用于很多类型的视频数据,尤其对体育视频的效果更佳,其性能优于采用HMM理论的分类方法,是一种简单、有效的视频分类方法.     

基于HMM的电动出租汽车行驶状态预测改进模型研究

对电动出租汽车行驶状态预测是交通状况和负荷预测方面的重要研究内容.通过模拟电动出租汽车行驶状态,匹配电动出租汽车特殊的行驶特征,提出一种基于隐马尔可夫模型(HMM)的行驶状态预测改进模型.利用出租汽车GPS行驶数据,通过载客情况和停留识别算法进行行程划分.在求解电动出租汽车的行驶状态时,使用滑动窗口模型改进状态转移概率求解,通过Baum-Welch算法求解观察概率与初始概率分布.测试结果表明HMM能准确地对电动出租汽车行程的目的地与行驶里程进行预测.     

基于HMM模型的语音单元边界的自动切分

基于隐尔马可夫模型（HMM）的强制对齐方法被用于文语转换系统（TTS）语音单元边界切分.为提高切分准确性,本文对HMM模型的特征选择,模型参数和模型聚类进行优化.实验表明：12维静态Mel频率倒谱系数（MFCC）是最优的语音特征;HMM模型中的状态模型采用单高斯;对于特定说话人的HMM模型,使用分类与衰退树（CART）聚类生成的绑定状态模型个数在3 000左右最优.在英文语音库中音素边界切分的实验中,切分准确率从模型优化前的77.3%提高到85.4%.     

基于状态空间与概率空间映射的极大相似度匹配情感模型

机器人情感建模是研究情感机器人的热点问题。文中以情感心理学知识为基础,模拟具有不同个性的情感机器人在外界刺激作用下情感动态变化的过程,研究个性和外界刺激对情感转移过程的影响。采用基于状态空间的情感空间模型来描述机器人的情感状态,并用HMM过程来模拟情感状态的转移过程。但HMM过程只能求得当前情感状态的概率,为得到具体的情感状态,文中提出一种基于状态空间与概率空间映射的极大相似度匹配的情感转移模型。首先利用HMM过程计算出当前情感概率,然后通过极大相似度匹配来得到转移后具体的情感状态。通过调节模型参数来模拟不同个性和外界刺激,该模型能有效模拟情感状态变化过程。实验结果验证模型模拟的情感变化过程符合人类情感变化的一般规律。     

基于Improved-HMM的进程行为异常检测

针对传统隐马尔可夫模型(HMM)状态转移概率仅与前一状态有关的不足,提出了一种改进的隐马尔可夫模型(Im-proved-HMM),该模型考虑到状态转移概率与前两时刻状态相关,旨在提高异常检测准确率。用基于Improved-HMM的Baum-Welch(BW)算法对正常进程行为进行建模,并采用滑动窗口的方法,检测进程行为是否处于异常状态。实验结果表明,该模型的检测准确率高于传统的HMM模型,能及时、准确检测到进程行为的异常。     

基于单类支持向量机的音频分类

研究一种基于单类支持向量机的音频分类方法,能够使每一类样本都独立地获得一个决策函数,通过决策函数的最大值来判断样本所属的类。通过使用小波包变换提取语音特征向量,并融合多特征向量,将音频分为5类：纯语音、音乐、环境音、含背景音语音和静音。实验结果表明这种方法具有较好的分类精度,性能优于贝叶斯、隐马尔可夫模型和神经网络分类器。     

Multi-aspect target discrimination using hidden Markov models and neural networks

This paper presents a new multi-aspect pattern classification method using hidden Markov models (HMMs). Models are defined for each class, with the probability found by each model determining class membership. Each HMM model is enhanced by the use of a multilayer perception (MLP) network to generate emission probabilities. This hybrid system uses the MLP to find the probability of a state for an unknown pattern and the HMM to model the process underlying the state transitions. A new batch gradient descent-based method is introduced for optimal estimation of the transition and emission probabilities. A prediction method in conjunction with HMM model is also presented that attempts to improve the computation of transition probabilities by using the previous states to predict the next state. This method exploits the correlation information between consecutive aspects. These algorithms are then implemented and benchmarked on a multi-aspect underwater target classification problem using a realistic sonar data set collected in different bottom conditions.     

Joint scene classification and segmentation based on hidden Markov model

Scene classification and segmentation are fundamental steps for efficient accessing, retrieving and browsing large amount of video data. We have developed a scene classification scheme using a Hidden Markov Model (HMM)-based classifier. By utilizing the temporal behaviors of different scene classes, HMM classifier can effectively classify presegmented clips into one of the predefined scene classes. In this paper, we describe three approaches for joint classification and segmentation based on HMM, which search for the most likely class transition path by using the dynamic programming technique. All these approaches utilize audio and visual information simultaneously. The first two approaches search optimal scene class transition based on the likelihood values computed for short video segment belonging to a particular class but with different search constrains. The third approach searches the optimal path in a super HMM by concatenating HMM's for different scene classes.     

Multi-Modal Dialog Scene Detection Using Hidden Markov Models for Content-Based Multimedia Indexing

A class of audio-visual data (fiction entertainment: movies, TV series) is segmented into scenes, which contain dialogs, using a novel hidden Markov model-based (HMM) method. Each shot is classified using both audio track (via classification of speech, silence and music) and visual content (face and location information). The result of this shot-based classification is an audio-visual token to be used by the HMM state diagram to achieve scene analysis. After simulations with circular and left-to-right HMM topologies, it is observed that both are performing very good with multi-modal inputs. Moreover, for circular topology, the comparisons between different training and observation sets show that audio and face information together gives the most consistent results among different observation sets.     

一种基于二维隐马尔可夫模型的图像分类算法

针对图像分块之间的相互依赖关系,提出一种基于二维隐马尔可夫模型的图像分类算 法。该算法将一维隐马尔可夫模型扩展成二维隐马尔可夫模型,模型中相邻的图像分块在平面两个 方向上按条件转移概率进行状态转换,反应出两个维上的依赖关系。隐马尔可夫模型参数通过期望 最大化算法(EM)来估计。同时,本文利用二维Viterbi算法,在训练隐马尔可夫模型的基础上,实现 对图像进行最优分类。文件图像分割的应用表明,隐马尔可夫算法优于CART算法。     

Robust visual speakingness detection using bi-level HMM

Visual voice activity detection (V-VAD) plays an important role in both HCI and HRI, affecting both the conversation strategy and sync between humans and robots/computers. The typical speakingness decision of V-VAD consists of post-processing for signal smoothing and classification using thresholding. Several parameters, ensuring a good trade-off between hit rate and false alarm, are usually heuristically defined. This makes the V-VAD approaches vulnerable to noisy observation and changes of environment conditions, resulting in poor performance and robustness to undesired frequent speaking state changes. To overcome those difficulties, this paper proposes a new probabilistic approach, naming bi-level HMM and analyzing lip activity energy for V-VAD in HRI. The designing idea is based on lip movement and speaking assumptions, embracing two essential procedures into a single model. A bi-level HMM is an HMM with two state variables in different levels, where state occurrence in a lower level conditionally depends on the state in an upper level. The approach works online with low-resolution image and in various lighting conditions, and has been successfully tested in 21 image sequences (22,927 frames). It achieved over 90% of probabilities of detection, in which it brought improvements of almost 20% compared to four other V-VAD approaches.     

Learning dynamic audio-visual mapping with input-output Hidden Markov models

In this paper, we formulate the problem of synthesizing facial animation from an input audio sequence as a dynamic audio-visual mapping. We propose that audio-visual mapping should be modeled with an input-output hidden Markov model, or IOHMM. An IOHMM is an HMM for which the output and transition probabilities are conditional on the input sequence. We train IOHMMs using the expectation-maximization(EM) algorithm with a novel architecture to explicitly model the relationship between transition probabilities and the input using neural networks. Given an input sequence, the output sequence is synthesized by the maximum likelihood estimation. Experimental results demonstrate that IOHMMs can generate natural and good-quality facial animation sequences from the input audio.     

基于CI-HMM的运动想象脑电信号分类

针对隐马尔科夫模型在运动想象脑电信号分类应用中,其独立性假设与脑电信号间相关性的不一致问题,提出一种基于Choquet 模糊积分隐马尔科夫模型的脑电信号分类方法。该模型应用模糊积分的单调性取代了概率测度的可加性,放宽了隐马尔科夫模型的独立性假设。利用重叠滑动窗对脑电信号分段,然后对每段数据提取绝对均值、波长和小波包相对能量特征,构成特征序列用于CI-HMM的训练和分类。选取2008年BCI竞赛Datasets 1的两类运动想象数据进行分类,实验结果表明,该方法有效提高了隐马尔科夫模型方法对运动想象脑电信号分类的性能。     

语音/音乐自动分类中的特征分析

综合分析了语音和音乐的区别性特征，包括音调，亮度，谐度等感觉特征与MFCC（Mel-Frequency Cepstral Coefficients)系数等，提出一种left-right DHMM(Discrete Hidden Markov Model)的分类器，以极大似然作为判别规则，用于语音，音乐以及它们的混合声音的分类，并且考察了上述特征集合在该分类器中的分类性能，实验结果表明，文中提出的音频特征有效，合理，分类性能较好。