基于加速度传感器的上肢运动信息采集与姿态识别

为了对脑卒中病人的康复训练效果进行评价,针对基于加速度传感器的人体上肢动作识别这一新兴的领域开展研究,提出了一套基于蓝牙4.0的人体上肢姿态采集系统,对患者上肢康复训练中常见的7种运动信息进行采集和姿态识别.系统包括运动信息采集、信号传输、信号去噪声、动作识别等几个主要部分.实验结果表明:将传统的时域特征和过零点特征与上四分位点和下四分位点的特征进行组合,能够更好地将曲肘侧平举与曲臂弯曲静止等动作分开,有效提高识别的准确率.与BP神经网络相比,基于径向基核函数的支持向量机(support vector madine,SVM)分类器具有明显的性能优势,获得了较好的姿态识别性能,交叉验证平均正确识别率可达90%.     

基于卷积神经网络的人体动作识别方法

针对较小数据集识别时的过拟合和误差传递问题,提出了一种基于卷积神经网络的常见人体动作识别方法.该方法首先利用经典雷达信号处理方法对人体动作回波进行预处理,生成人体动作的时频图像;然后构建卷积神经网络(CNN),并以时频图作为CNN输入数据对网络参数进行训练;最后利用网络公开数据集对所提方法进行了实验验证.实验结果表明,构建的CNN能够准确识别4类不同的人体动作,准确率不低于97%.     

一种基于CSI的人体动作计数与识别方法

WiFi信道状态信息（CSI）被广泛应用于被动式（非侵入式）人体行为判断,为使用现有商用设备实现人体连续动作计数与识别,提出了一种Wi-ACR方法.先利用阈值和活动指标检测出一组连续动作发生的区间和时间,再通过peak-find算法统计出动作的数量,并确定每个动作的开始和结束时间;再分别采用基于波形特征的动作识别模型和基于统计特征的动作识别模型,得到动作识别结果.实验评估结果表明,Wi-ACR对动作计数的准确率可达95%,两类识别模型对于2个动作（深蹲和走）的平均识别精准率为90%.     

基于三维重力加速器人体动作识别与分类

运用单个动作传感器通过机器学习算法——支持向量机(SVM),建立出色的人体日常动作识别模型.通过3个主要步骤对动作数据进行了处理,即小波转换,基于降维和K层交叉验证的主成分分析(PCA)以及自动寻优搜索获得SVM径向基核函数中的最佳参数σ和c,获得识别6种人体动作的最佳分类器.采用SVM(支持向量机)算法获得的动作分类器,在对不同动作识别时,得出的平均准确率达到94.5%.这表明基于人体动作识别的验证方法具有实用价值的,并在不久的将来会有进一步的提升.     

基于改进R-FCN与语义分割相结合的人体姿态估计

随着深度学习的广泛应用,人体姿态估计成为动作识别领域的重要研究方向.为了解决人体姿态估计的准确率低以及目标的多尺度问题,提出了一种基于改进R-FCN(Region-based Fully Convolutional Networks)与语义分割相结合的人体姿态估计模型.首先针对模型的主体网络部分,采用ResNeXt-101深度学习网络替换R-FCN原有的ResNet-101基础网络,使得减少超参数的数量,从而提高准确率.然后针对候选区域结构,结合了一种多尺度RPN(Region Proposals Network)结构,处理候选区域中出现的多尺度问题.最后针对姿态估计部分,以目标检测框架R-FCN为基础,添加了Mask R-CNN中并行的mask分支作为语义分割网络,并且对人体的关键点进行提取,从而实现多任务的姿态识别.实验结果显示,模型在2017 MS COCO数据集上平均检测精度比Mask R-CNN模型提升了12.1％,比RMPE模型提升了2％.     

基于3D运动历史图像和多任务学习的动作识别

针对使用深度传感器采集的深度图像序列,在3D运动历史图像的基础上提出一种基于Gabor特征提取和多任务学习的人体动作识别方法。为了解决基于轮廓特征对运动历史图像不能充分表达的问题,引入Gabor滤波器组对3D运动历史图像进行特征提取;为了刻画在不同时间维度上人体动作的变化过程,引入时域金字塔对动作视频进行划分;最后,为了挖掘动作识别任务间的相关性,采用多任务学习训练动作分类模型。实验结果表明,该方法可有效提高动作识别的准确率。     

3D CNN人体动作识别中的特征组合优选

为了提高人体动作识别准确率,改进原有3D CNN网络模型以获得更为丰富细致的人体动作特征,并通过对比实验为模型输入优选出识别效果最好的特征组合。该模型主要包括5个卷积层、3个下采样层和2个全连接层,二次卷积操作有利于提取到更为细致的特征,BN算法和dropout层用以防止模型过拟合,空间金字塔池化技术可以使网络能够处理任何分辨率的图像,提高模型适用性。通过在KTH和UCF101数据集上做识别测试实验,特征组合"ViBe二值图+光流图+三帧差分图"作为模型输入可以得到较高的识别准确率,尤其针对背景较复杂、动作类别多且差异性较小的数据集提高明显,具有较好的实际应用价值。     

基于ANOVA和BP神经网络的最优肌电信号测量位置选择

基于肌电信号的手部动作识别中,肌电信号测量位置的选择直接关系到动作识别的准确率.本文以使用最少的肌电传感器和获得较高的动作识别率为目标,提出一种基于ANOVA(方差分析)和BP神经网络的肌电信号测量位置优选方法.使用4个肌电传感器采集受试者做出指定动作时的肌电信号,提取肌电信号的时域特征,并按测量位置组合构成15个不同的样本进行BP神经网络的训练和测试.采用单因素ANOVA分析测量位置对动作识别结果影响的显著性,采用Tukey HSD将测量位置进行归类,并从动作识别率最高的子集中选择测量位置最少但识别准确率最高的测量位置组合作为最优的肌电信号测量位置.实验结果表明,测量位置对动作识别的结果具有显著的影响,随着测量位置数的增加,动作识别准确率呈上升趋势,最优的测量位置组合为P1+P3+P4,其动作识别准确率为94.6%.     

基于卷积姿态机的潜航员作业姿态识别方法

针对现有潜航员作业姿态识别分析方法中识别过程繁琐、识别精度低的问题,提出基于卷积姿态机的潜航员作业姿态识别分析方法. 对人体姿态特征进行结构化编码,构建空间及投影坐标系进行解析,定义肢体角度计算公式与肢体特殊状态判断流程. 通过搭建潜航员作业姿态识别算法,实现作业姿态RGB图像空间特征与纹理特征的提取,输出潜航员作业姿态关节点、肢体角度与状态数据. 通过采集潜航员作业姿态图像构建潜航员作业姿态样本数据集,对所提方法进行应用验证. 在算法测试中,识别算法的PCK指标值达到81.2%. 在应用验证实验中,算法识别关节点的平均准确率达到87.7%. 该方法在潜航员作业姿态识别分析上是可靠的,可以有效地识别与分析潜航员作业姿态中的危险因素.     

人体动作数据编码与CNN精确识别

人体动作的精确识别面临多方面的挑战,特别是动作采集易受光照强度的影响、动作特征描述不清楚和易物理变形。为了降低这些不利因素的影响,提高动作的识别精确度,该文从3个步骤展开研究:首先,对Kinect提取的人体关节数据进行预处理,从而克服光照问题;随后,使用针对性编码方法对人体动作数据进行编码,进而利用卷积神经网络(convolutional neural network,CNN)自动提取人体动作特征,解决动作特征描述的难题;最后,使用SoftMax完成复杂动作的识别。实验表明,该文算法具有较高的识别准确率和泛化能力,其F₁值普遍在0.8以上;在单一属性测试中,复合属性数据比被复合的单一属性数据更有优势,F₁值可达0.916;混合属性测试的F₁值相比单一属性测试有所下降,下降幅度最高可达约25%。     

Combining Multi-scale Directed Depth Motion Maps and Log-Gabor Filters for Human Action Recognition

结合多尺度有向深度运动图和Log-Gabor滤波器的人体行为识别

赵晓叶，吉训生，李元祥，彭力

（江南大学 物联网工程学院物联网应用技术教育部工程中心，江苏 无锡214122）

创新点说明：

1）考虑到动作执行速度的不同，本文提出了一种新的基于能量均分的视频分割方法，传统方法对第n层金字塔进行了 等分，其中，第n-1层金字塔的细节信息完全可以在第n层金字塔中体现出来。因此，为了在金字塔的不同层更大限度的包含细节信息，本文在第n层金字塔进行了 等分，构建多尺度深度运动图。

2）在行为识别中，除了身体形状和运动信息外，运动方向也至关重要。考虑到动作执行时，时间顺序的不同，本文提出了有向深度运动图。有向DMM分为正向DMM（Positive DMM，PDMM）、反向DMM（Negative DMM，NDMM），前者反映的是当前帧图像的深度值比前一帧图像的深度值大的形状和运动信息，后者反映的是当前帧图像的深度值比前一帧图像的深度值小的形状和运动信息，相似但时间排序相反的两个动作的PDMM和NDMM正好是相反的，因此基于PDMM和NDMM表示可以区别两个动作。最后综合得到基于能量的多尺度有向深度运动图。

3）为描述多尺度有向深度运动图纹理细节，本文采用在纹理表征方面具有优势同时符合人眼视觉特性的Log-Gabor作为特征表示。

针对上述新的算法进行了实验验证，且对参数设置进行了大量对比实验，得到对应的最佳参数。结果表明, 本文算法准确率分别达95.79%和96.43%，与现存许多算法相比，有更高的识别率、鲁棒性。

研究目的：

DMM是基于整个深度序列得到的，丢失了人体行为本身的时间信息，对于动作相似但时间顺序不同的两个人体动作，是很难区分的，比如“坐下”和“站起”。另外，DMMs并没有考虑到动作执行速度差异造成的类内误差，从而降低识别率。本文的目的就是在尽量满足实时性的前提下，提高动作的识别率。

研究方法：

研究方法：主要是使用MATLAB进行仿真实验。在公开动作识别库MSRAction3D和手势识别库MSRGesture3D上进行实验验证。最后将本文识别率与其他现有算法识别率进行对比，结果表明本文具有更高的识别率，分别达到95.79%和96.43%。另外混淆矩阵也显示了在两个数据库中各个动作识别的情况，从而进一步显示本文方法有效地减少了相似动作的误判率。另外，针对参数选择，本文也进行了对比试验。

实验设置：动作识别库MSRAction3D：一个包含20种动作，由10个表演者对每个动作重复2~3次得到的人体行为公共数据库，共557个视频序列。该数据库许多动作高度相似，具有很大挑战性。为了便于性能比较，本文将20个动作作为一个集合，在10个表演者中选择第奇数个的数据作为训练集，第偶数个的数据作为测试集。在实验中，正面、侧面、顶面的MsdDMM尺寸分别归一化为102*54，102*75和75*54，Log-Gabor滤波器尺寸设置为10*11，CRC中的正则化参数λ设置为0.001。

手势识别库MSRGesture3D：是一个包含12个由美国标准手语定义的动态手势，由10个表演者对每个动作重复2~3次得到的人体手势测试评价数据库，共333个视频序列，该数据库存在很多自遮挡问题。本文采用Leave one-subject-out交叉验证方法，总共进行10次实验。第n次实验使用第n个表演者的所有数据作为测试集，其余表演者的数据作为训练集，最终取10次实验结果的平均值作为最终识别率。

结果：

1）在公开动作识别库MSRAction3D和手势识别库MSRGesture3D上，识别率可分别达到95.79%和96.43%，与现存许多算法相比，有更高识别率。

2）在公开动作识别库MSRAction3D上， =0.001，特征子为Log-Gabor时，取得最高识别率95.79%。

3）在手势识别库MSRGesture3D上， =0.01，特征子为Log-Gabor时，取得最高识别率96.43%。

结论：

MSRAction3D数据集：

取不同值时的识别率

基于Zernike矩的人体行为识别

为了保证特征提取的有效性,更完备地描述人体行为序列,提出了一种基于Zernike矩的人体行为识别方法.该方法利用规范化的运动历史图像(MHI)进行图像序列的表示,从中提取出基于Zernike矩的统计描述作为特征向量进行识别.同时,提出了一种利用图像的重建过程确定分类时采用的Zernike矩的最高阶次的算法.实验中,对8类不同的人体行为进行了测试.应用Zernike矩特征的分类精度高于用规则矩和Hu矩作为特征的方法,证明了基于Zernike矩的人体行为识别方法的有效性.     

基于智能手机感知的人体运动状态深度识别

为提高智能手机对人体运动状态识别的准确率,提出一种基于并联卷积神经网络（PCNN）的深度识别方法.首先,使用三维数据矩阵规范传感器数据输入格式;其次,使用2个PCNN分别对人体运动的加速度传感器和陀螺仪数据进行卷积和池化操作,实现部分权重共享;最后,在全连接层对两组卷积神经网络进行合并,并使用softmax函数对人体运动状态进行分类.实验结果表明,采用该方法可以从传感器原始数据中提取人体运动状态的深层特征,与传统的机器学习方法相比较,提高了运动状态的识别率.     

基于Kinect的跌倒行为识别算法

根据人体跌倒时的骨架特征,提出了一种人体跌倒行为识别方法.首先,依据跌倒行为的定义,将人体的头部和重心节点作为表征跌倒行为的特征参数,通过Kinect传感器获取人体骨架信息; 其次,采用滑动窗口和阈值方法确定行为的发生阶段,并提取其运动特征向量; 最后,通过人工神经网络对本文提取的跌倒行为特征进行训练和识别.实验结果表明,本文提出的方法高效准确,识别率达到90.5%.     

基于运动学动态图的人体动作识别方法

为了识别RGB-D视频中的人体动作,针对视频中运动信息利用不充分的问题,提出了一种基于运动学动态图的人体动作识别方法。首先利用RGB视频序列和对应的深度图序列生成场景流特征图,基于场景流特征图计算运动学特征图序列,其中包含丰富的运动信息;使用分层排序池化将运动学特征图序列编码为运动学动态图,同时将RGB视频序列编码为外观动态图,最后将运动学动态图和外观动态图输入到双流卷积网络进行人体动作识别。结果表明:基于运动学动态图和双流卷积网络的人体动作识别方法融合了外观信息和运动信息,不仅充分表征了视频的动态,而且使用了视频中具有丰富运动信息的运动学特征;在公开的数据集上对本方法进行验证,在M2I数据集和SBU Kinect Interaction数据集的动作识别率分别为91.8%和95.2%。     

基于多元函数主成分表示的识别学习

针对识别学习中的多维信息融合问题, 提出一种基于多元函数主成分表示识别方法。给出多元函数主成分的数值计算方法, 利用联合协方差算子计算特征值与特征向量, 提取关键区分特征。基于这些综合特征应用随机森林方法对多元函数型数据进行识别学习。在模拟数据和真实数据上比较多元函数主成分表示方法与其他几种表示方法的识别性能。试验结果表明, 在模拟数据集、英文手写体数据集和中文手写体数据集中, 准确率为1, 在运动数据集中, 准确率为0.954 4。相较于其他方法, 多元函数主成分分析这一特征抽取方法的识别效果更好, 有效地提高了识别准确率。     

基于线性加速度的多节点人体行为识别

针对当前基于加速度人体行为识别方法中存在的行为数据易受重力加速度影响以及空间信息欠缺等问题,提出一种基于线性加速度的多节点人体行为识别算法。通过分段双向去除重力加速度算法,去除传感器加速度中的重力加速度得到线性加速度;使用滑动均值滤波器滤除线性加速度与传感器加速度的颤抖运动,并对两种加速度中的冗余动作进行裁剪;分别从两种加速度中提取不同关节点数据间的动态时间规整算法(dynamic time warping, DTW)距离特征以及7种常规时域特征;利用支持向量机对人体行为进行分类。试验结果表明,该方法能有效提高人体行为识别的准确性。     

全身步态模型的视触融合步态识别算法

为减少背包负重、衣着和环境等因素对步态识别率的影响,提出一种融合视觉和触觉特征的全身步态模型。首先,以支撑脚为起点,根据运动传递过程,建立身体各个部分质量与地面支持力的动力学关系,并且通过加速度引入视觉特征;然后,对模型进行参数分离,得到代表不同步态运动特征的特征矩阵,利用Kinect和步道式足底压力仪获得的视觉图像序列和足底压力图像提取视觉和触觉特征,建立包含正常、背包负重和穿大衣3种步态运动状态下的数据库;最后,选择支持向量机中的多分类方法完成步态识别,在识别过程中通过K-CV法对分类器参数进行了寻优。实验结果表明:足底压力分区方式增加了特征识别点,提高了模型识别率;在正常步态运动条件下模型平均识别率为97.31%,在背包和穿大衣的情况下模型识别性能下降比较少。融合视觉和触觉特征建立包含上肢摆动的全身步态模型可以有效提高模型在复杂步态运动条件下的鲁棒性和步态识别准确率。     

车辆颜色和型号识别算法研究与应用

针对目前基于机器学习的车辆颜色和型号识别方法的识别准确率低问题, 提出基于卷积神经网络的车辆颜色和型号识别方法。该方法使用Darknet网络中YOLOv3(You Only LookOnce Version 3)算法对车辆图片的车脸进行检测与定位, 再对车脸区域使用车辆颜色和型号识别算法同时识别车辆颜色和型号, 这是对车辆多属性同时识别的方法, 不同于车辆单一属性识别的方法。在公开车辆数据集(Peking University Vehicle Datasets, PKU-VD)上进行实验, 实验结果表明, 车辆颜色和型号同时识别准确率为93.75%, 车辆颜色单一属性识别准确率为94.98%, 车辆型号单一属性识别准确率98.38%, 明显优于基于机器学习的车辆属性识别算法, 从而验证该算法是可行且有效的。最后将车辆颜色和型号识别技术应用在智能停车场收费系统中。