基于显著性检测和稠密轨迹的人体行为识别

稠密轨迹的人体行为识别对每一帧全图像密集采样导致特征维数高、计算量大且包含了无关的背景信息。提出基于显著性检测和稠密轨迹的人体行为识别方法。首先对视频帧进行多尺度静态显著性检测获取动作主体位置,并与对视频动态显著性检测的结果线性融合获取主体动作区域,通过仅在主体动作区域内提取稠密轨迹来改进原算法;然后采用Fisher Vector取代词袋模型对特征编码增强特征表达充分性;最后利用支持向量机实现人体行为识别。在KTH数据集和UCF Sports数据集上进行仿真实验,结果表明改进的算法相比于原算法识别准确率有所提升。     

面向Remeshing的混合材质布料仿真

目前布料仿真所采用的布料模型主要是单一材质的,导致了布料的真实性和多样性没有得到很好体现。从布料材质的多样性角度出发,对Narain提出的自适应Remeshing方法进行改进和扩展,使其适合于混合材质问题。首先提出一种交互方法对布料模型进行分割,然后通过材质属性库为分割的区域填充不同的材质,设计出混合材质的布料模型,并通过改进的自适应网格法来克服布料模型材质单一性的限制,得到真实感较强的混合材质布料仿真效果。     

视觉假体中动态图像识别研究

为了确定低分辨率动态图像识别的最小信息需求,通过灰度化、二值化、边缘提取和匹配不同的仿真光幻视模板等处理策略将绘画过程视频处理为五种分辨率（24×24,32×32,48×48,64×64和128×128）的像素化动态视频,对其进行视频复杂度分析,并使用简化的Itti算法提取特征点来分类有效信息,记录并统计分析不同分辨率下的被试者识别时间以及识别准确率。实验结果表明,随着不同分辨率下的视频复杂度的升高,识别时间逐渐减少,识别准确率不断升高;动态视频的像素化分辨率越高,识别所需特征信息越少,当视频像素化分辨率达到64×64或128×128时,被试者只需少量特征信息即可完成识别。     

布料运动模型参数学习方法

为了在布料运动仿真中通过调整其中的模型参数表现不同材质布料的运动差异,提出一种基于实例的布料运动模型参数学习方法.该方法利用运动捕获设备获取布料样本的运动实例数据;通过仿真数据与实例数据对比,利用遗传算法逐步进化、学习得到布料运动模型的全部参数.采用文中方法对6种不同材质布料的运动模型参数进行学习,并利用学习结果合成相应的布料运动模拟数据.实验结果表明,每段布料运动模拟数据(时间长度为5 s)与实例数据间的相对位置误差小于6%;在相同外力驱动下,不同材质布料的运动模拟结果能够较好地反映不同材质布料的运动特性.     

基于深度运动图和密集轨迹的行为识别算法

为了融合深度图中不易受光照等环境因素影响的深度信息和RGB视频序列中丰富的纹理信息,提出一种基于深度运动图（Depth Motion Maps,DMMs）和密集轨迹的人体行为识别算法。利用卷积神经网络训练DMMs数据并提取高层特征作为行为视频的静态特征表示,使用密集轨迹来描述RGB视频序列的动态运动信息,将行为视频的静态特征和动态特征串联,作为整个视频的行为特征表示并输入到线性支持向量机（Support Vector Machine,SVM）进行识别。实验结果表明,在公开的动作识别库UTD-MHAD和MSR Daily Activity 3D上,该算法能够有效提取深度信息和纹理信息,并取得了较好的识别效果。     

基于稠密光流轨迹和稀疏编码算法的行为识别方法

针对现有行为特征提取方法识别率低的问题,提出了一种融合稠密光流轨迹和稀疏编码框架的无监督行为特征提取方法(DOF-SC)。首先,在稠密光流(DOF)轨迹提取的基础上,对以轨迹为中心的原始图像块进行采样作为轨迹的原始特征;其次,对轨迹原始特征基于稀疏编码框架训练稀疏字典,得到轨迹的稀疏特征表示,利用词袋(BF)模型对稀疏特征聚类得到轨迹的码书,再根据码书对每个动作中出现的所有轨迹所属的码书类别进行投票,统计该动作中每个码书出现的次数,得到行为特征;最后,对行为特征利用基于直方图交叉核函数的支持向量机(SVM)进行训练得到行为识别模型,再利用该模型对行为进行分类预测,得到最终行为识别的结果。在对轨迹采样10%的情况下,DOF-SC算法得到的行为识别准确率在KTH数据库上高出采用运动边界直方图(MBH)作为特征的行为识别准确率的0.9%,在YouTube数据库上高出MBH作为特征的行为识别准确率的1.2%。实验数据表明了所提方法对行为识别的有效性。     

基于多特征融合的动态手势识别

针对目前动态手势识别计算复杂度较高以及对实验器材有相应要求的问题,提出基于多特征融合的动态手势识别.使用OpenPose得到手部关键点信息,建立手势模型,将坐标信息利用手部的结构关系进行处理,得到手部的角度和长度特征.将角度特征序列和长度特征序列进行融合,利用阈值设定过滤序列中的奇异点,使用FastDTW算法计算待测动态手势与手势模板库中的序列距离,得到预测手势动作类别.实验表明,该方法计算复杂度较低,识别速度快,选取的四种手势动作的识别准确率均在90％以上,有较好的识别效果.     

基于规则网格的层次化布料动态模拟方法

在布料动态模拟仿真过程中,收敛速度和模拟效率是两个核心指标,可以很好的反应布料在动态过程中的模拟效果。针对布料动态模拟中的收敛速度慢、模拟效率低的问题,提出了一种基于规则网格的层次化模拟方法,实现了基于位置的层次化动态模拟。在该方法中,利用层次化思想在原始网格的基础上构建层次化约束网格,在这个过程中,可以采用不同的决策函数对网格进行精简,构造出更加满足目标要求的约束网格,在构造完成后利用提出的权值关联模型对各层次进行再矫正。在模拟过程中,原始网格利用层次化约束网格从最粗层到最精细层进行收敛矫正,有效避免了传统为提高收敛速度而单一的增加约束矫正迭代次数的问题。为了检验模拟性能,布料在周期钟摆风场下进行了实验。实验表明,在基于规则网格的层次化方法模拟下,能很好的解决传统模拟的约束震荡问题,并且效率高,稳定性好。     

基于Kinect的动态手势识别研究

针对人机交互领域中基于视觉的传统动态手势识别方法准确率不高、易受不同强度光照影响等问题,对动态手势识别方法进行了研究;首先利用Kinect传感器采集的深度图像对手势进行分割,并基于矩和链码进行手势质心与手势轨迹特征的计算,再利用动态时间规整算法进行手势轨迹特征识别,最后将识别结果传输给六足机器人进行人机交互实验,实现了动态手势对六足机器人的控制;实验结果证明:该方法识别准确率最高可达97%,且不易受光照影响,具有较强的鲁棒性,同时也满足了人机交互需求。     

基于BP神经网络的异常轨迹检测方法

为有效利用轨迹内外部属性进行异常检测,提出一种基于BP神经网络的异常轨迹识别方法。对原始轨迹数据进行去噪处理,存储至百度云的LBS云端,基于百度地图的轨迹数据可视化网站实现轨迹显示,并通过归一化数据计算轨迹属性值。同时,将轨迹内外部特征属性作为BP神经网络算法的输入层,轨迹相似度量值作为输出层,调整隐含层系数得到训练模型,从而识别用户异常轨迹。在2个用户数据集上的仿真结果表明,该方法的异常轨迹识别准确率分别达到92.3%和100%。     

基于关键帧特征库统计特征的双人交互行为识别

针对双人交互行为识别算法中普遍存在的算法计算复杂度高、识别准确性低的问题,提出一种新的基于关键帧特征库统计特征的双人交互行为识别方法。首先,对预处理后的交互视频分别提取全局GIST和分区域方向梯度直方图（HOG）特征。然后,采用k-means聚类算法对每类动作训练视频的所有帧的特征表示进行聚类,得到若干个近似描述同类动作视频的关键帧特征,构造出训练动作类别对应的关键帧特征库;同时,根据相似性度量统计出特征库中各个关键帧在交互视频中出现的频率,得到一个动作视频的统计直方图特征表示。最后,利用训练后的直方图相交核支持向量机（SVM）,对待识别视频采用决策级加权融合的方法得到交互行为的识别结果。在标准数据库测试的结果表明,该方法简单有效,对交互行为的正确识别率达到了85%。     

一种基于多模态特征的新闻视频语义提取框架

为提高视频语义信息提取准确率,提出了一种基于多模态特征的新闻视频语义提取框架。在视频中提取主题字幕信息,对音频进行分类和语音识别,根据主题字幕信息借助搜索引擎得到与新闻视频相关的网页;最后利用网页文本对语音识别的结果进行纠错,从而通过视频字幕信息和语音脚本的跨模态融合提高视频语义提取的准确率。在中等规模的新闻视频(含新闻网页)库测试表明了该方法的有效性,经纠错后的语音识别准确率达到了65%左右。     

基于DenseNet和深度运动图的行为识别算法

结合深度信息以及RGB视频序列中丰富的纹理信息,提出了一种基于DenseNet和深度运动图像的人体行为识别算法。该算法基于DenseNet网络结构,首先获取彩色纹理信息和光流信息,然后从同步的深度视频序列获取深度信息,以增强特征互补性;再将空间流、时间流和深度流三种特征信息分别作为网络的输入;最后通过LSTMs进行特征融合和行为分类。实验结果表明,在公开的动作识别库UTD-MHAD数据集上,该算法识别准确率为92. 11%,与该领域中的同类算法相比表现优异。     

基于SURF特征跟踪的动态手势识别算法

提出了一种基于加速鲁棒特征(SURF)跟踪的动态手势识别算法.其特征在于算法无需预先检测分割人手区域,仅通过跟踪统计相邻帧间匹配SURF特征点的移动主方向来刻画手势运动轨迹.提出采用经时间规整的轨迹方向数据流来建立动态手势模型,利用基于相关分析的数据流聚类方法实现动态手势的识别,大大提高动态手势识别速度.实验使用26个英文字母作为动态手势训练和识别,手势训练集和测试集的识别率分别为87.1%和84.6%,并成功用于实验室自主研制的侦察移动机器人Hunter的运动控制中,证实了该方法的有效性.     

基于稠密卷积神经网络的烟雾识别方法

针对传统烟雾检测方法中提取的图像特征鲁棒性较差的问题,提出了基于稠密卷积神经网络(DenseNet)的烟雾识别方法。首先,利用卷积操作和特征图融合构建稠密网络块,在卷积层之间设计稠密连接机制,以增强稠密网络块结构内的信息流通和特征重利用;然后,将已构建的稠密网络块叠加成稠密卷积神经网络用于烟雾识别,节省计算资源的同时提升对烟雾图像特征的表达能力;最后,针对烟雾图像数据量较小的问题,采取数据增强技术进一步改善训练模型的识别能力。在公开烟雾数据集上对提出的方法进行实验验证,实验结果表明,所提方法的模型大小只有0.44 MB,在两个测试集上的准确率分别为96.20%和96.81%。     

视频监控场景下基于单视角步态的人体身份及属性识别系统

基于步态的特征识别是一种新兴的生物特征识别技术, 旨在通过人们走路的姿态进行身份和相关属性的分析. 与其他的生物识别技术相比, 基于步态的识别方法具有难隐藏性、非接触性和可远距离使用的优点. 本文设计出一个视频监控场景下基于单视角步态的人体身份及属性识别系统, 该系统通过图像处理方法从复杂的监控视频中实时检测出人体的步态, 经过利用深度学习训练过的算法进行分析后, 获取人体的身份、性别和年龄信息. 实验表明, 系统的身份识别准确率达98.1%, 性别预测准确率达97.1%, 年龄预测平均绝对误差为6.21岁, 实验结果均优于传统基准算法, 且系统开发成本低, 支持实时检测, 能充分满足中小规模步态研究与分析的需要.     

基于机器学习合成高分辨率布料褶皱

为了精化布料网格得到逼真的布料模拟效果,提出了一种基于机器学习的方法合成高分辨率布料褶皱。首先模拟真实的布料运动,获取布料运动的帧数据信息,将布料运动的帧数据信息转换为图像信息的形式进行存储。然后将图像信息作为输入,输入到卷积神经网络(CNN)中进行训练,通过将卷积神经网络与缩小网络相结合,最终得到高分辨率布料图像。最后将高分辨率布料图像转换为高分辨率布料网格,对布料进行模拟。实验结果表明,与初始的低分辨率布料网格对比,合成的高分辨率布料网格模拟出的布料有着大量且细微的褶皱,并且能够模拟出真实的布料效果,与真实场景中的布料模拟效果相似。该方法在不同的场景中都可以模拟出高质量的布料动画效果,而且减少了仿真速度,验证了该方法的有效性。     

纤维可控的质感布料三维建模与服装仿真

传统布料和服装动态仿真主要通过网格模型进行模拟,并通过光照、材质和颜色设置进行渲染,布料与服装质感效果通常不能体现.本文提出一种新的基于纤维的质感布料建模与服装仿真算法.首先使用集合球约束粒子扰动的方法模拟纤维轮廓,然后根据纱线加捻的动力学和运动学原理模拟基于纤维的纱线构造方法,接着将纱线经纬编织组织结构与弹簧-质点模型结合起来,构造基于纤维块的织物布料模型,最后通过建立人体混合层次包围盒进行快速碰撞检测,实现由质感布料生成的服装动态仿真.实验结果验证了该方法可靠,有效,生成的布料能体现织物外观纤维级别的细节,对应的服装几何纹理和质感效果得到增强.     

采用等几何质点-弹簧模型的布料动态仿真方法

为了高效实时地模拟出布料的动态效果,提出一种基于等几何分析思想的布料动态仿真方法.首先使用张量积Bézier曲面来构建布料几何模型;然后对布料的质点进行受力分析,并直接在该曲面上进行质点-弹簧模型数值求解;最后将更新后的质点的位置和速度变换到等几何布料曲面的控制顶点上,进行实时的碰撞处理.实验结果表明,该方法无需预先对布料进行三角网格剖分,可精确地表示布料几何模型;同时在较少的自由度数目下,可得到高精度的动态仿真效果,提高了仿真效率;可在CPU仿真环境下进行实时的动态仿真,适用于对实时性要求较高的虚拟试衣等工程应用领域.     

基于前景置信的人体行为识别

为减少背景特征对行为识别的影响,提出一种基于前景置信的人体行为识别方法。该方法在基于稠密时空兴趣点的行为识别基础上,结合像素前景置信估计对特征描述器进行加权分类,再利用词袋模型判别行为。融合运动、外观及视觉显著性的像素前景置信的引入,提高了算法处理复杂背景视频的能力。该方法在UCF50和HMDB51视频库中进行训练和测试,平均识别率为66.4%。