基于LHMM的聚众异常事件实时检测改进方法

提出了一种改进的分层隐马尔科夫模型(LHMM)结合熵值的聚众异常事件实时检测方法。使用直方图均衡化对视频帧做预处理,增加图像质量;以分块区域中的人数和总速度作为观察值分两层训练出聚众事件的LHMM。当观察值序列与模型的相似度大于设定阈值时,利用光流法计算该帧熵值,当熵值大于设定阈值时,则认为聚众事件发生;否则,为非聚众事件,继续下一帧的处理。大量实验结果表明:改进的方法具有较高的识别率、较好的鲁棒性和高的处理速度,并且应用环境更广。     

LHMM熵的聚众事件实时检测

提出一种结合分层隐马尔科夫模型(LHMM)与熵值的聚众事件实时检测方法。使用长宽比消除前景中其他物体的影响,以区域中的人数和总速度为观察值,分2层训练出聚众事件的LHMM。当观察值序列与模型的相似度大于设定阈值时,利用光流法计算该帧熵值,若熵值大于设定阈值,则表示发生聚众事件;否则,为非聚众事件,继续下一帧的处理。实验结果表明,该方法具有较高的识别率和较好的鲁棒性。     

面向特征的ICA和HP滤波实现视频异常事件检测

针对室外环境下光照亮度变化、阴影和树木遮挡等问题,对利用隐马尔可夫模型进行视频异常事件检测的影响,提出基于独立分量分析（ICA）和HP（Hodrick-Prescott）滤波器的隐马尔可夫模型视频异常事件检测方法。该方法首先利用ICA构造正常视频的特征子空间,将图像序列投影到特征子空间上得到投影序列,实现数据降维;然后利用HP滤波器滤除投影序列中环境变化引起的趋势分量;最终克服不利的环境因素,有效改善隐马尔可夫模型的视频异常事件检测性能。机动车辆禁行路段视频的检测实验表明,该方法能够在复杂的室外环境下较好地检测出异常事件。     

基于主题隐马尔科夫模型的人体异常行为识别

针对基于监控视频的人体异常行为识别问题,提出了基于主题隐马尔科夫模型的人体异常行为识别方法,即通过无任何人工标注的视频训练集自动学习人体行为模型,并能够应用学到的人体行为模型实时检测异常行为和识别正常行为。这一方法主要围绕"低层视频表示-中层语义行为建模-高层语义分类"3个方面进行:1)基于时-空间兴趣点构建了一种紧凑的和有效的视频表示方法。2)提出一种新颖的语义主题模型(Topic Model,TM)——主题隐马尔科夫模型(Topic Hidden Markov Model,THMM),它能够自然地分组视频中检测到的人体行为。主题隐马尔科夫模型基于已有的马尔科夫模型和主题模型构造,不但聚类运动词汇成简单动作,而且聚类简单动作成全局行为,同时建模了行为时间上的相关性。THMM是一个4层贝叶斯主题模型,它将视频序列建模为行为的马尔科夫链,同时行为是视频序列中某些视频剪辑(Clip)的概率分布;将视频剪辑建模为动作的随机组合,同时动作是视频剪辑中运动词汇的概率分布。克服了传统隐马尔科夫模型和主题模型在人体复杂行为建模过程中精度、鲁棒性和计算效率上的不足。3)提出运行时累积的异常性测度及其在线异常行为检测方法和基于在线似然比检验(Likelihood Ratio Test,LRT)的实时正常行为分类方法,从而克服了实时行为识别过程中由于缺乏充分的视觉证据而引发的行为类型歧义,能完较好地完成监控场景中实时异常行为检测和在线正常行为识别的任务。取自实际监控场景的实验数据集上的实验结果证明了本方法的有效性。     

基于光流法的聚众事件检测

随着人们对安全监控的需求,视频监控中的异常事件检测越来越引起人们的关注。介绍了一种聚众异常事件检测的新方法,其核心是感兴趣点光流信息的变化。当使用背景差分法所获得的前景大于设定阈值,并且目标之间相互距离在某一范围内时,提取感兴趣点,使用光流法跟踪感兴趣点,然后计算熵值,一旦熵值大于设定的阈值,则聚众事件发生,系统报警;否则,将该帧熵值设置为某一固定值,继续下一帧的背景差分处理。通过实拍视频序列验证了该算法的有效性。     

基于隐马尔科夫模型的非平稳信源参数估计

在数据压缩领域,如何获取非平稳信源的统计特性一直是一个被广泛关注的热点问题。针对非平稳信源统计特性的时变性,提出一种基于隐马尔科夫模型的参数估计方法。通过将非平稳信源的输出对应为隐马尔科夫模型的观察值序列,构造合适的隐马尔科夫模型,改进前向算法和后向算法,最后再利用改进后的算法对非平稳信源的统计特性进行估计。实验结果表明利用提出的方法非常逼近非平稳信源的统计特性,为更有效地进行非平稳信源的压缩提供了实现基础。     

融合HCRF和AAM的足球视频精彩事件检测

精彩事件检测在体育视频语义分析领域具有很高的学术研究价值和广泛的市场应用前景.利用隐条件随机场(hidden conditional random field,HCRF)模型在表达和识别语义事件方面的强大功能,创新性地提出了一种融合了HCRF和情感激励模型(affective arousal model,AAM)的精彩事件检测方法.首先,通过精彩事件视频结构语义分析,定义了13种多模态语义线索,以准确描述精彩事件富含的语义信息;其次,在基于概念格的多模态语义线索聚类基础上,添加时域特征信息,以构建特征值加权的情感激励模型,得到了各类精彩事件的情感激励值;最后,在小规模训练样本情况下,有效建立了各类精彩事件检测的HCRF模型,基于视频语义镜头序列、情感激励值序列和精彩事件之间的映射关系,从多模态语义线索、视频结构语义、情感语义等多个维度挖掘了精彩事件的潜在规律,实现了同一HCRF模型下各类精彩事件的同时检测.实验证明了该方法的有效性.     

基于CHMM的背景差算法

为了解决背景差算法在前景提取的过程中对光照变化的敏感性和提取的前景中容易产生椒盐噪声的问题,提出了一种基于耦合隐马尔科夫模型的背景差方法.对像素的马尔科夫性进行了分析,并对像素建立耦合隐马尔科夫模型,通过时间统计的方法统计了像素隐含状态的转移概率,通过实验的方法选取了合适的前景标准差和背景标准差,利用Viterbi算法来求解耦合隐马尔科夫模型的最优隐含状态问题,运用该算法对一段交通监控视频进行分析,表明了该算法能够有效的抑制光照变化的影响,并且能够在一定程度上抑制前景噪声的出现.     

一种基于非参数贝叶斯估计的PHMM模型

传统时间序列模型很少从时间序列系统本身角度分析时间序列数据.目前,一种基于模式的隐马尔科夫模型(PHMM)实现了对时序数据系统的内部状态转换机制的建模,从而在时间序列的多步预测和相关性检测上提供了一种高效途径.然而,PHM M模型在考虑隐状态内部观测数据分布时,直接采用高斯分布进行估计的方法受训练数据影响较大.因此,提出一种利用非参数贝叶斯估计来计算模型隐状态内分布的方法.考虑到与固定状态集的隐马科夫模型不同,PHMM模型是一种无限状态隐马尔科夫模型,通过引入非参数HDP过程实现对PHMM模型两层随机过程的解释.实验结果证明,引入非参数估计后模型的预测效率显著提升.     

基于HMM的足球视频语义分析研究

针对视频高层语义分析问题,文章结合足球比赛的领域知识,按照足球比赛转播,视频编辑的一般规律,根据足球比赛语义事件随机性的特点,选择特定的视频物理特征,应用 HMM (隐马尔科夫模型) 分析视频的语义结构,确定视频和HMM 模型中各元素的对应关系,构建一个基于HMM 的视频语义分析框架,并通过进行足球视频 HMM 参数的训练,得到视频各语义事件的 HMM 模型,达到视频语义自动分析的目的.     

Abnormal crowd behavior detection using high-frequency and spatio-temporal features

Abnormal crowd behavior detection is an important research issue in computer vision. The traditional methods first extract the local spatio-temporal cuboid from video. Then the cuboid is described by optical flow or gradient features, etc. Unfortunately, because of the complex environmental conditions, such as severe occlusion, over-crowding, etc., the existing algorithms cannot be efficiently applied. In this paper, we derive the high-frequency and spatio-temporal (HFST) features to detect the abnormal crowd behaviors in videos. They are obtained by applying the wavelet transform to the plane in the cuboid which is parallel to the time direction. The high-frequency information characterize the dynamic properties of the cuboid. The HFST features are applied to the both global and local abnormal crowd behavior detection. For the global abnormal crowd behavior detection, Latent Dirichlet allocation is used to model the normal scenes. For the local abnormal crowd behavior detection, Multiple Hidden Markov Models, with an competitive mechanism, is employed to model the normal scenes. The comprehensive experiment results show that the speed of detection has been greatly improved using our approach. Moreover, a good accuracy has been achieved considering the false positive and false negative detection rates.     

基于隐马尔可夫模型的拷贝数变异检测算法研究

针对目前拷贝数变异检测存在的参数优化,额外信息利用不充分等问题,提出一种基于隐马尔科夫模型的拷贝数变异检测算法。首先对读数据与参考序列比对并存储匹配失效的数据,实现窗口读数据的计数和平滑校正;然后引入隐马尔科夫模型对读计数的异常信号进行检测,得出候选的拷贝数检测结果;最后采用基于匹配失效数据的裂读比对实现候选结果的过滤,从而提高检测性能。模拟和实验数据的拷贝数变异检测结果表明本算法具有较高的检测精度和覆盖度,优于现有常用的检测算法。     

基于曲线波隐马尔可夫模型的人脸检测

提出了一种基于曲线波隐马尔可夫模型的混合人脸检测算法.曲线波变换是一种多尺度几何变换,具有很好的方向性,能用极少的非零系数精确表示图像的边缘,是一种最稀疏的表示方法.根据隐马尔可夫模型对人脸拓扑结构的约束,采用3状态的隐马尔可夫模型进行从粗到细的人脸检测.实验结果表明,这种算法具有较好的检测速度与正确率及鲁棒性.     

Beyond Tracking: Modelling Activity and Understanding Behaviour

In this work, we present a unified bottom-up and top-down automatic model selection based approach for modelling complex activities of multiple objects in cluttered scenes. An activity of multiple objects is represented based on discrete scene events and their behaviours are modelled by reasoning about the temporal and causal correlations among different events. This is significantly different from the majority of the existing techniques that are centred on object tracking followed by trajectory matching. In our approach, object-independent events are detected and classified by unsupervised clustering using Expectation-Maximisation (EM) and classified using automatic model selection based on Schwarz's Bayesian Information Criterion (BIC). Dynamic Probabilistic Networks (DPNs) are formulated for modelling the temporal and causal correlations among discrete events for robust and holistic scene-level behaviour interpretation. In particular, we developed a Dynamically Multi-Linked Hidden Markov Model (DML-HMM) based on the discovery of salient dynamic interlinks among multiple temporal processes corresponding to multiple event classes. A DML-HMM is built using BIC based factorisation resulting in its topology being intrinsically determined by the underlying causality and temporal order among events. Extensive experiments are conducted on modelling activities captured in different indoor and outdoor scenes. Our experimental results demonstrate that the performance of a DML-HMM on modelling group activities in a noisy and cluttered scene is superior compared to those of other comparable dynamic probabilistic networks including a Multi-Observation Hidden Markov Model (MOHMM), a Parallel Hidden Markov Model (PaHMM) and a Coupled Hidden Markov Model (CHMM). First online version published in February, 2006     

基于手部轨迹识别的ATM智能视频监控系统

为实时阻止针对自动取款机的犯罪行为发生,设计一种基于手部轨迹识别的ATM智能视频监控系统。对于采集所得的监控区域内的视频图像,利用混合高斯背景建模方法为视频图像建立背景模型,通过背景剪除法和跟踪算法得到监控区域内的人体信息,分析进入监控区域的人体面积变化情况,由此判断是否有异常行为发生,存在异常则报警,否则采用基于颜色空间的皮肤检测算法和位置约束检测人手部分,利用隐马尔可夫模型对分段的手部运动轨迹分别进行匹配识别,进一步判断是否存在犯罪行为。实验结果表明,该方法对于犯罪行为的识别率能达到88%。     

网络风险评估方法研究

为了进行网络风险评估,采用隐马尔可夫随机过程作为分析手段,以入侵检测系统的输出（报警事件）为处理对象,建立了描述主机系统受到攻击后状态转化的隐马尔可夫模型(HMM),给出了主机系统风险指数的计算方法,并经过简单叠加得到整个网络风险的定量评价。最后通过实验证实了所提出方法的有效性。     

Determination of emotional content of video clips by low-level audiovisual features

Affective analysis of video content has greatly increased the possibilities of the way we perceive and deal with media. Different kinds of strategies have been tried, but results are still opened to improvements. Most of the problems come from the lack of standardized test set and real affective models. In order to cope with these issues, in this paper we describe the results of our work on the determination of affective models for evaluation of video clips using audiovisual low-level features. The affective models were developed following two classes of psychological theories of affect: categorial and dimensional. The affective models were created from real data, acquired through a series of user experiments. They reflect the affective state of a viewer after watching a certain scene from a movie. We evaluate the detection of Pleasure, Arousal and Dominance coefficients as well as the detection rate of six affective categories. For this end, two Bayesian network topologies are used, a Hidden Markov Model and an Autoregressive Hidden Markov Model. The measurements were done using audio-only models, video-only models and fused models. Fusion is done using two different methods, a Decision Level Fusion and Feature Level Fusion. All tests were conducted using localized affective models, both categorial and dimensional. Results are presented in terms of detection rate and accuracy for affective families, affective dimensions and probabilistic networks. Arousal was the best detected dimension, followed by dominance and pleasure.     

改进Hu矩的ATM机异常行为识别研究

提出一种基于改进Hu矩和隐马尔可夫模型相结合的ATM机异常行为识别方法。对ATM机前用户存(取)款行为的视频序列用改进Hu变换提取运动目标的行为特征,采用Baum-Welch算法对用户的正常行为进行训练,并建立隐马尔可夫模型;最后通过模型输出测试样本序列的概率来识别异常行为。采用Matlab对ATM机用户运动行为的模拟视频进行实验仿真,结果表明:该方法对ATM机前的用户行为具有较高的识别率。     

基于HMM的车辆碰撞事件预测

近年来,基于数字图像处理的交通事件检测技术应用日益广泛.本文应用了隐马尔可夫模型进行高速公路上的车辆碰撞预测.本文首先通过车辆跟踪得到车辆的运动信息,然后根据提取的车辆相互运动信息利用HMM模型判断碰撞事件发生的概率.实验证明,该方法有效可行.     

基于隐马尔可夫模型的视频异常场景检测

视频技术的广泛应用带来海量的视频数据,仅依靠人力对监控视频中的异常进行检测是不太可能的。异常行为的自动化检测在公共安全等领域的地位极其重要。提出一种综合考虑目标特性和时空上下文的异常检测方法,该方法利用光流纹理图描述移动物体的刚性特征,建立基于隐马尔可夫模型HMM的时间上下文异常检测模型。在此基础上,提取异常目标的Radon特征,以支持向量机SVM的异常预分类结果为基础,通过HMM建立异常场景的空间上下文分类模型。该模型在公共数据集UCSD PED2上进行了实验验证,结果表明,本算法不仅在异常检测方面优于已有算法,而且还能给出异常分类。