基于中层时空特征的人体行为识别

目的 人体行为识别是计算机视觉领域的一个重要研究课题,具有广泛的应用前景.针对局部时空特征和全局时空特征在行为识别问题中的局限性,提出一种新颖、有效的人体行为中层时空特征.方法 该特征通过描述视频中时空兴趣点邻域内局部特征的结构化分布,增强时空兴趣点的行为鉴别能力,同时,避免对人体行为的全局描述,能够灵活地适应行为的类内变化.使用互信息度量中层时空特征与行为类别的相关性,将视频识别为与之具有最大互信息的行为类别.结果 实验结果表明,本文的中层时空特征在行为识别准确率上优于基于局部时空特征的方法和其他方法,在KTH数据集和日常生活行为(ADL)数据集上分别达到了96.3%和98.0%的识别准确率.结论 本文的中层时空特征通过利用局部特征的时空分布信息,显著增强了行为鉴别能力,能够有效地识别多种复杂人体行为.     

基于尺度自适应局部时空特征的足球比赛视频中的多运动员行为表示

为提高足球比赛视频中的多运动员行为识别的准确率,提出一种基于尺度自适应局部时空特征的足球比赛视频中的多运动员行为表示方法,利用时空兴趣点来表示足球比赛视频中的多运动员行为。首先将足球比赛视频序列中的多运动员行为看作是三维空间中的时空兴趣点的集合,然后采用直方图量化技术将时空兴趣点集合量化为维数固定的直方图（即时空单词）,最后采用K-means聚类算法生成时空码本。在聚类生成码本之前,对每个时空兴趣点都进行了归一化,以保证其缩放和平移不变性。实验结果表明,该方法能够大大减少足球比赛视频中的多运动员行为识别算法的计算量,显著提高识别的准确率。     

基于局部描述子的人体行为识别

提出一种新的局部时空特征描述方法对视频序列进行识别和分类。结合SURF和光流检测图像中的时空兴趣点,并利用相应的描述子表示兴趣点。用词袋模型表示视频数据,结合SVM对包含不同行为的视频进行训练和分类。为了检测这种时空特征的有效性,通过UCF YouTube数据集进行了测试。实验结果表明,提出的算法能够有效识别各种场景下的人体行为。     

基于PE-Cuboid特征的人体行为识别算法

为了克服单纯使用局部时空兴趣点(spatial-temporal interest point,STIP)的方法在对视频序列中人体行为进行识别时提取的特征点太少,且其不能完整的表征图像的特征,提出一种结合局部特征和全局特征的特征描述子PE-Cuboid,能有效的提高人体行为识别的正确率。对每一个视频序列提取PE-Cuboid特征,利用像素变化概率图(PCRM)和边缘方向直方图(EOH)捕捉全局运动信息,局部的Cuboid描述子对全局特征做进一步区分,对最终生成的PE-Cuboid特征进行K-means聚类形成视觉词汇本(visual dictionary),将视觉词汇本输入到线性SVM分类器(linear Support Vector Machines,LSVM)中进行学习、训练、分类,最后采用打分的机制得到行为类别。该文算法在KTH、Weizmann行为数据库和我们自拍测试集中都做了测试,实验结果显示算法具有较高的识别率。     

基于局部时空特征方向加权的人体行为识别

目的 对人体行为的描述是行为识别中的关键问题,为了能够充分利用训练数据从而保证特征对行为的高描述性,提出了基于局部时空特征方向加权的人体行为识别方法。方法 首先,将局部时空特征的亮度梯度特征分解为3个方向(X、Y、Z)分别来描述行为, 通过直接构造视觉词汇表分别得到不同行为3方向特征描述子集合的标准视觉词汇码本,并利用训练视频得到每个行为的标准3方向词汇分布;进而,根据不同行为3方向特征描述子集合的标准视觉词汇码本,分别计算测试视频相应的3方向的词汇分布,并利用与各行为标准3方向词汇分布的加权相似性度量进行行为识别;结果 在Weizmann数据库和KTH数据库中进行实验,Weizmann数据库中的平均识别率高达96.04%,KTH数据库中的平均识别率也高达96.93%。结论 与其他行为识别方法相比可以明显提高行为平均识别率。     

基于动作串的人体行为识别

提出了一种以运动人体侧影为特征的基于模板匹配的人体行为识别方法.首先,利用背景差分法和阴影消除技术提取运动人体侧影.利用缓变换对人体侧影进行特征提取,将时变的2D区域形状转换为对应的1D距离向量.然后,利用谱系聚类方法提取动作序列的关键姿态,将关键姿态编码为称为动作串的模板.最后,利用动态时间规整算法度量测试序列与标准模板之间的相似性.实验结果表明,本方法对人的6种日常行为进行识别的正确识别率达到85％以上,具有简单实用的特点.     

改进联合彩色和深度图像特征的人体行为识别

与传统光学相机相比,能同步获取RGB图像和深度图像数据,对人体行为识别提供了新的解决方案。因此,分别对RGB和深度图像序列提取改进的时空兴趣点特征,并基于一定规则实现时空兴趣点特征的融合。由于融合后特征的冗余性,基于时空聚类的方法,对特征进行优化处理,并采用SVM分类器进行训练和测试。实验结果表明提出的RGB和深度图像特征联合方法的行为识别平均准确率为91%,相对于其他方法取得了更好的识别结果。     

基于时空深度特征的人体行为识别算法

针对底层局部时空特征数量少以及中层特征表达能力弱的问题,结合时空深度特征,提出一种人体行为识别算法。依据运动剧烈区域在行为识别中提供更多判别信息的思想,利用视频图像的深度信息确定人体运动显著性区域,通过计算区域内光流特征作为度量区域活跃度的能量函数,依据能量函数对运动显著性区域进行高斯取样,使样本点分布于运动剧烈区域。将采集到的样本点作为动作底层特征描述人体行为,结合词袋模型,采用支持向量机分类器对行为进行识别。实验结果表明,在SwustDepth数据集中,基于时空深度特征的人体行为识别算法的平均行为识别准确率达到92%,且具有较高的鲁棒性。     

基于三维时空直方图特征的人体行为识别

提出一种基于三维时空直方图特征的人体行为识别方法。通过引入时间维度构建三维时空概念,探索时空中梯度方向信息,由梯度方向经过空间中不同的区域形成梯度直方图,获取时空特征矩阵,结合K均值聚类提取时空直方图特征来描述人体行为;采用图像显著性检测算法,获取人体行为轮廓,从轮廓图中提取二维轮廓特征;将获得的特征输入支持向量机进行训练以及人体行为识别。实验结果表明,相比其它特征描述的方法,该方案对人体行为的特征描述更丰富,识别准确率更高。     

基于遗传模糊分类的步态识别

提出基于遗传模糊分类的步态识别方法.采用新的特征提取方法,该方法将目标按人体结构特点划分为多个子区域,利用各个子区域的质心与头部质心形成的距离和夹角对步态特征进行描述.运用模糊聚类算法构建不同距离函数的分类器,并用遗传算法对分类器进行集成,组成的集成融合分类器对步态序列进行识别.实验结果表明该方法具有较高的识别性能.     

基于改进时空兴趣点特征的双人交互行为识别

针对实际监控视频下双人交互行为的兴趣点特征选取不理想,且聚类词典中冗余单词导致识别率不高的问题,提出一种基于改进时空兴趣点（STIP）特征的交互行为识别方法。首先,引入基于信息熵的不可跟踪性检测方法,对序列图像进行跟踪得到交互动作的前景运动区域,仅在此区域内提取时空兴趣点以提高兴趣点检测的准确性。其次采用3维尺度不变特性转换（3D-SIFT）描述子对检测得到的兴趣点进行表述,利用改进的模糊C均值聚类方法得到视觉词典,以提升词典的分布特性;在此基础上建立词袋模型,即将训练集样本向词典进行投影得到每帧图像的直方图统计特征表示。最后,采用帧帧最近邻分类方法进行双人交互动作识别。在UT-interaction数据库上进行测试,该算法得到了91.7%的正确识别率。实验结果表明,通过不可跟踪性检测得到的时空兴趣点的改进词袋算法可以较大程度提高交互行为识别的准确率,并且适用于动态背景下的双人交互行为识别。     

基于差异性聚类的选择性集成人体行为识别模型

为了提高基于智能手机的人体行为识别率,优化多分类器集成系统的泛化性能及个体分类器的差异性,提出了基于差异性增量聚类(Diversity Measure Increment-Affinity Propagation clustering,DMI-AP)的选择性集成人体行为识别模型。首先对训练集的所有样本进行bootstrap抽样并训练基分类器,选出大于平均识别率的基分类器构成分类器集合;然后将集合的基分类器作为聚类对象进行分组,通过计算基分类器间的双误差异性值求出表征个体分类器特征的双误差异性增量值,输入近邻传播聚类算法得到k个类簇,选取每簇的中心分类器构成多分类器集成系统;最后使用等概率均值法融合k个分类器的输出结果。实验表明,该模型算法使个体分类器的差异性增大、分类器搜索空间缩小;与传统的Bagging,Adaboost以及RF方法相比,该模型的识别准确率平均提高了8.11%。     

模糊加权的高效鲁棒人体动作视频检索

为了提高人体动作视频检索的鲁棒性和效率,提出了一种模糊加权的人体动作视频检索方法。该方法采用3D Harris算子检测视频中的时空兴趣点,提取这些兴趣点的梯度信息,构建特征向量;然后采用模糊聚类方法构建聚类特征向量,提高特征向量的抗干扰能力;接着匹配聚类特征向量中的梯度向量对,构建模糊权重矩阵,计算查询视频与数据库中各个视频的相似度;最后在KTH数据库上进行视频检索实验,结合精确度、召回率和检索耗时三个指标进行评价,证明该方法的性能最优。     

基于轮廓特征的人体行为识别

提出了一种以人的动作序列图像的轮廓为特征、基于隐条件随机场的行为识别方法。首先,利用背景差分法 和阴影消除技术提取运动人体轮廓。星型骨架方法只采用单一质心一边界距离来描述人体轮廓,因此对轮廓的局部特 征描述能力较弱。定义一种新的基于距离组的轮廓描述方法,它将时变的2D轮廓形状转换为对应的1D距离向量。 最后利用判别隐条件随机场对行为进行训练和识别。实验结果表明,本方法的正确识别率达到91. 4%以上,识别结 果较为理想。     

基于时空权重姿态运动特征的人体骨架行为识别研究

人体行为识别在视觉领域的广泛应用使得它在过去的几十年里一直都是备受关注的研究热点.近些年来,深度传感器的普及以及基于深度图像实时骨架估测算法的提出,使得基于骨架序列的人体行为识别研究越来越吸引人们的注意.已有的研究工作大部分提取帧内骨架不同关节点的空间域信息和帧间骨架关节点的时间域信息来表征行为序列,但没有考虑到不同关节点和姿态对判定行为类别所起作用是不同的.因此本文提出了一种基于时空权重姿态运动特征的行为识别方法,采用双线性分类器迭代计算得到关节点和静止姿态相对于该类别动作的权重,确定那些信息量大的关节点和姿态;同时,为了对行为特征进行更好的时序分析,本文引入了动态时间规整和傅里叶时间金字塔算法进行时序建模,最后采用支持向量机完成行为分类.在多个数据集上的实验结果表明,该方法与其它一些方法相比,表现出了相当大的竞争力,甚至更好的识别效果.     

基于复合时空特征的人体行为识别方法

为了有效地表征人体行为中的姿势信息和运动信息,提高行为识别算法的准确率,提出一种融合三维方向梯度直方图特征与光流直方图特征的复合时空特征,并利用其进行人体行为识别.首先采用复合时空特征综合描述三维时空局部区域的像素分布和像素变化;然后构建复合时空特征词典,并根据该特征词典完成对人体行为序列特征集合的描述;最后采用主题模型构建人体行为识别算法,对行为序列中提取的复合时空特征进行分类,实现人体行为的识别.实验结果表明:该方法能有效地提高人体行为识别准确率.     

动作识别中局部时空特征的运动表示方法研究

近年来,基于局部时空特征的运动表征方法已被越来越多地运用于视频中的动作识别问题,相关研究人员已经提出了多种特征检测和描述方法,并取得了良好的效果。但上述方法在适应摄像头移动、光照以及穿着变化等方面还存在明显不足。为此,提出了基于时空兴趣点局部时空特征的运动表示方法,实现了基于时空单词的动作识别。首先采用基于Gabor滤波器和Gaussian滤波器相结合的检测算法从视频中提取时空兴趣点,然后抽取兴趣点的静态特征、运动特征和时空特征,并分别对运动进行表征,最后利用基于时空码本的动作分类器对动作进行分类识别。在Weizmann和KTH两个行为数据集进行了测试,实验结果表明：基于时空特征的运动表示能够更好地适应摄像头移动、光照变化以及施动者的穿着和动作差异等环境因素的影响,取得更好的识别效果。     

深度时空能量特征表示下的人体行为识别

目的 利用深度图序列进行人体行为识别是机器视觉和人工智能中的一个重要研究领域,现有研究中存在深度图序列冗余信息过多以及生成的特征图中时序信息缺失等问题。针对深度图序列中冗余信息过多的问题,提出一种关键帧算法,该算法提高了人体行为识别算法的运算效率;针对时序信息缺失的问题,提出了一种新的深度图序列特征表示方法,即深度时空能量图（depth spatial-temporal energy map,DSTEM）,该算法突出了人体行为特征的时序性。方法 关键帧算法根据差分图像序列的冗余系数剔除深度图序列的冗余帧,得到足以表述人体行为的关键帧序列。DSTEM算法根据人体外形及运动特点建立能量场,获得人体能量信息,再将能量信息投影到3个正交轴获得DSTEM。结果 在MSR_Action3D数据集上的实验结果表明,关键帧算法减少冗余量,各算法在关键帧算法处理后运算效率提高了20% 30%。对DSTEM提取的方向梯度直方图（histogram of oriented gradient,HOG）特征,不仅在只有正序行为的数据库上识别准确率达到95.54%,而且在同时具有正序和反序行为的数据库上也能保持82.14%的识别准确率。结论 关键帧算法减少了深度图序列中的冗余信息,提高了特征图提取速率;DSTEM不仅保留了经过能量场突出的人体行为的空间信息,而且完整地记录了人体行为的时序信息,在带有时序信息的行为数据上依然保持较高的识别准确率。     

基于时空信息融合的人体行为识别研究

在视频理解任务中,人体行为识别是一个重要的研究内容,但视频序列中存在时空信息融合困难、准确率低等问题。针对这些问题,提出一种基于时空信息融合的双流时空残差卷积网络模型。将视频分段采样提取RGB图像和光流图像,并将其输入到双流时空残差网络,通过设计的时空残差模块提取视频的深度时空特征,将每个视频片段的类别结果加权融合得到行为类别。提出的双流时空残差模块引入了少量的三维卷积和混合注意力机制,能够同时获取不同尺度的时空信息并且抑制无效信息,可以有效平衡时空信息的捕捉和计算量问题,并且提升了精度。实验基于TSN网络模型,在UCF101数据集上进行验证,实验结果表明提出的模型比原TSN网络模型的精准度提高了0.9个百分点,有效地提高了网络的时空信息捕获效率。