基于稀疏编码的时空金字塔匹配的动作识别

针对复杂场景下的动作识别,提出一种基于稀疏编码的时空金字塔匹配的动作识别方法.通过稀疏编码的方法学习更具有判别性的码书和计算局部块(cuboids)的稀疏表示;然后基于max pooling的时空金字塔匹配进行动作分类.该方法在KTH和YouTube两大公开数据集上进行了评价,实验结果表明,与基于K-means的时空金字塔匹配方法相比,该方法提高了2%-7%左右的识别率,在复杂的视频中取得了较好的识别效果.     

自适应加权LGCP与快速稀疏表示的面部表情识别

针对传统LBP特征提取方法对非单调光线变化比较敏感且无法对全局特征进行稀疏表示的缺陷,提出一种自适应加权局部格雷码模式（Local Gray Code Patterns,LGCP）与快速稀疏表示相结合的特征提取方法。先对原始图像应用边缘检测算子最大化边缘值,以克服光线变化对特征描述的影响。采用LGCP编码得到八位格雷码并转换为十进制,然后对图像进行分块加权级联,使描述子能够对局部特征进行最优表征;同时,为了得到更好的全局特征的稀疏表示,将级联后的直方图分布特征描述子作为原子构造字典;最后,使用一种快速稀疏表示方法作为分类器进行分类识别。基于扩展Cohn-Kanade（CK+）表情数据集进行多组实验,结果表明该方法的识别速度更快,识别率可达94%。     

基于稠密光流轨迹和稀疏编码算法的行为识别方法

针对现有行为特征提取方法识别率低的问题,提出了一种融合稠密光流轨迹和稀疏编码框架的无监督行为特征提取方法(DOF-SC)。首先,在稠密光流(DOF)轨迹提取的基础上,对以轨迹为中心的原始图像块进行采样作为轨迹的原始特征;其次,对轨迹原始特征基于稀疏编码框架训练稀疏字典,得到轨迹的稀疏特征表示,利用词袋(BF)模型对稀疏特征聚类得到轨迹的码书,再根据码书对每个动作中出现的所有轨迹所属的码书类别进行投票,统计该动作中每个码书出现的次数,得到行为特征;最后,对行为特征利用基于直方图交叉核函数的支持向量机(SVM)进行训练得到行为识别模型,再利用该模型对行为进行分类预测,得到最终行为识别的结果。在对轨迹采样10%的情况下,DOF-SC算法得到的行为识别准确率在KTH数据库上高出采用运动边界直方图(MBH)作为特征的行为识别准确率的0.9%,在YouTube数据库上高出MBH作为特征的行为识别准确率的1.2%。实验数据表明了所提方法对行为识别的有效性。     

三维动作识别时空特征提取方法

针对传统的彩色视频中动作识别算法成本高,且二维信息不足导致动作识别效果不佳的问题,提出一种新的基于三维深度图像序列的动作识别方法。该算法在时间维度上提出了时间深度模型(TDM)来描述动作。在三个正交的笛卡尔平面上,将深度图像序列分成几个子动作,对所有子动作作帧间差分并累积能量,形成深度运动图来描述动作的动态特征。在空间维度上,用空间金字塔方向梯度直方图(SPHOG)对时间深度模型进行编码得到了最终的描述符。最后用支持向量机(SVM)进行动作的分类。在两个权威数据库MSR Action3D和MSRGesture3D上进行实验验证,该方法识别率分别达到了94.90%(交叉测试组)和94.86%。实验结果表明,该方法能够快速对深度图像序列进行计算并取得较高的识别率,并基本满足深度视频序列的实时性要求。     

基于稀疏编码的脑脊液图像快速识别模型

考虑到采用传统的图像分割算法很难准确地分割脑脊液(CSF)细胞图像,提出了一种基于稀疏编码的脑脊液图像快速识别模型。该模型首先利用稀疏编码提取图像中的局部特征以及特征描述子,然后将特征描述子转换成线性空间金字塔匹配(SPM)结构,最后将计算结果输入到线性支持向量机(SVM)中进行训练和预测。对脑脊液细胞图像做了异常识别和分类测试,其中异常识别准确率达到了89.4±0.9%,且对每张760×570的图像平均识别时间只需1.3s, 由此可以表明所提出的模型能够有效快速地区分脑脊液细胞是否异常。     

基于改进时空兴趣点特征的双人交互行为识别

针对实际监控视频下双人交互行为的兴趣点特征选取不理想,且聚类词典中冗余单词导致识别率不高的问题,提出一种基于改进时空兴趣点（STIP）特征的交互行为识别方法。首先,引入基于信息熵的不可跟踪性检测方法,对序列图像进行跟踪得到交互动作的前景运动区域,仅在此区域内提取时空兴趣点以提高兴趣点检测的准确性。其次采用3维尺度不变特性转换（3D-SIFT）描述子对检测得到的兴趣点进行表述,利用改进的模糊C均值聚类方法得到视觉词典,以提升词典的分布特性;在此基础上建立词袋模型,即将训练集样本向词典进行投影得到每帧图像的直方图统计特征表示。最后,采用帧帧最近邻分类方法进行双人交互动作识别。在UT-interaction数据库上进行测试,该算法得到了91.7%的正确识别率。实验结果表明,通过不可跟踪性检测得到的时空兴趣点的改进词袋算法可以较大程度提高交互行为识别的准确率,并且适用于动态背景下的双人交互行为识别。     

采用蒸馏训练的时空图卷积动作识别融合模型

目的 基于深度学习的动作识别方法识别准确率显著提升,但仍然存在很多挑战和困难。现行方法在一些训练数据大、分类类别多的数据集以及实际应用中鲁棒性较差,而且许多方法使用的模型参数量较大、计算复杂,提高模型准确度和鲁棒性的同时对模型进行轻量化仍然是一个重要的研究方向。为此,提出了一种基于知识蒸馏的轻量化时空图卷积动作识别融合模型。方法 改进最新的时空卷积网络,利用分组卷积等设计参数量较少的时空卷积子模型;为了训练该模型,选取两个现有的基于全卷积的模型作为教师模型在数据集上训练,在得到训练好的教师模型后,再利用知识蒸馏的方法结合数据增强技术训练参数量较少的时空卷积子模型;利用线性融合的方法将知识蒸馏训练得到的子模型融合得到最终的融合模型。结果 在广泛使用的NTU RGB + D数据集上与前沿的多种方法进行了比较,在CS(cross-subject)和CV(cross-view)两种评估标准下,本文模型的准确率分别为90.9%和96.5%,与教师模型2s-AGCN(two-stream adaptive graph convolutional networks for skeleton-based action)相比,分别提高了2.4%和1.4%;与教师模型DGNN(directed graph neural network)相比,分别提高了1.0%和0.4%;与MS-AAGCN(multi-stream attention-enhanced adaptive graph convolutional neural network)模型相比,分别提高了0.9%和0.3%。结论 本文提出的融合模型,综合了知识蒸馏、数据增强技术和模型融合的优点,使动作识别更加准确和鲁棒。     

双人交互行为的稀疏表征方法*

提出一种双人交互行为的稀疏表征方法,融合体现全局变化的轨迹特征和突出区域运动的时空特征。首先,采用词袋模型得到轨迹特征的稀疏表示。然后,对提取的时空特征采用三层时空金字塔分解得到多层特征,并对其进行稀疏编码,利用多尺度Maxpooling算法融合得到局部稀疏特征。最后,将2种稀疏特征加权串联得到双人交互行为的稀疏表征。采用基于隐动态条件随机场的识别算法对文中提取的稀疏表征进行验证,通过实验证明其有效性。     

基于K-SVD的最大似然稀疏表示体域网动作分类算法

为有效提高体域网动作分类性能,本文提出了一种基于K-SVD的最大似然稀疏表示体域网动作分类算法. 该算法首先基于K-SVD优化学习算法,将不同动作模式训练样本按其所属类别分组优化训练,避免各类样本数据训练时相互干扰,得到不同动作模式类别所属的子字典,然后将其拼合构成一个完整字典,准确稀疏表示测试样本,最后基于最大似然稀疏模型准确估计稀疏表示系数残差,并得到测试样本所属类别. 实验结果表明,本文所提算法能够获得最优字典,基于最大似然稀疏表示可准确估计测试动作样本稀疏表示残差. 所提算法识别率明显优于传统稀疏表示动作分类算法,可有效提高体域网动作模式分类性能.     

基于子编码和全编码联合惩罚的稀疏表示字典学习方法

针对目前稀疏表示字典学习的惩罚函数版本不一且各有优势的问题,提出基于子编码和全编码联合惩罚的稀疏表示字典学习方法,该方法在字典学习的目标函数中同时加入子编码惩罚函数和全编码惩罚函数。子编码惩罚函数使得学习后的字典在稀疏表示识别时可以用子字典的重构误差和子字典上编码系数的大小来识别,全编码惩罚函数则能直接利用整个字典上的编码系数来识别,通过联合这两个惩罚函数可以获得非常好的识别效果。为了验证所提方法的有效性,在语音情感库和人脸库上与最新的基于字典学习的稀疏表示识别方法 DKSVD和FDDL进行对比,并与著名的识别方法SVM和SRC进行比较,实验结果显示所提方法具有更好的识别性能。     

时空双仿射微分不变量及骨架动作识别

目的 人体骨架的动态变化对于动作识别具有重要意义。从关节轨迹的角度出发,部分对动作类别判定具有价值的关节轨迹传达了最重要的信息。在同一动作的每次尝试中,相应关节的轨迹一般具有相似的基本形状,但其具体形式会受到一定的畸变影响。基于对畸变因素的分析,将人体运动中关节轨迹的常见变换建模为时空双仿射变换。方法 首先用一个统一的表达式以内外变换的形式将时空双仿射变换进行描述。基于变换前后轨迹曲线的微分关系推导设计了双仿射微分不变量,用于描述关节轨迹的局部属性。基于微分不变量和关节坐标在数据结构上的同构特点,提出了一种通道增强方法,使用微分不变量将输入数据沿通道维度扩展后,输入神经网络进行训练与评估,用于提高神经网络的泛化能力。结果 实验在两个大型动作识别数据集NTU（Nanyang Technological University）RGB+D（NTU 60）和NTU RGB+D 120（NTU 120）上与若干最新方法及两种基线方法进行比较,在两种实验设置（跨参与者识别与跨视角识别）中均取得了明显的改进结果。相比于使用原始数据的时空图神经卷积网络（spatio-temporal graph convolutional networks,ST-GCN）,在NTU 60数据集中,跨参与者与跨视角的识别准确率分别提高了1.9%和3.0%;在NTU 120数据集中,跨参与者与跨环境的识别准确率分别提高了5.6%和4.5%。同时对比于数据增强,基于不变特征的通道增强方法在两种实验设置下都能有明显改善,更为有效地提升了网络的泛化能力。结论 本文提出的不变特征与通道增强,直观有效地综合了传统特征和深度学习的优点,有效提高了骨架动作识别的准确性,改善了神经网络的泛化能力。     

用于骨架行为识别的多维特征嵌合注意力机制

目的 在行为识别任务中,妥善利用时空建模与通道之间的相关性对于捕获丰富的动作信息至关重要。尽管图卷积网络在基于骨架信息的行为识别方面取得了稳步进展,但以往的注意力机制应用于图卷积网络时,其分类效果并未获得明显提升。基于兼顾时空交互与通道依赖关系的重要性,提出了多维特征嵌合注意力机制(multi-dimensional feature fusion attention mechanism,M2FA)。方法 不同于现今广泛应用的行为识别框架研究理念,如卷积块注意力模块(convolutional block attention module,CBAM)、双流自适应图卷积网络(two-stream adaptive graph convolutional network,2s-AGCN)等,M2FA通过嵌入在注意力机制框架中的特征融合模块显式地获取综合依赖信息。对于给定的特征图,M2FA沿着空间、时间和通道维度使用全局平均池化操作推断相应维度的特征描述符。特征图使用多维特征描述符的融合结果进行过滤学习以达到细化自适应特征的目的,并通过压缩全局动态信息的全局特征分支与仅使用逐点卷积层的局部特征分支相互嵌合获取多尺度动态信息。结果 实验在骨架行为识别数据集NTU-RGBD和Kinetics-Skeleton中进行,分析了M2FA与其基线方法2s-AGCN及最新提出的图卷积模型之间的识别准确率对比结果。在Kinetics-Skeleton验证集中,相比于基线方法2s-AGCN,M2FA分类准确率提高了1.8%;在NTU-RGBD的两个不同基准分支中,M2FA的分类准确率比基线方法2s-AGCN分别提高了1.6%和1.0%。同时,消融实验验证了多维特征嵌合机制的有效性。实验结果表明,提出的M2FA改善了图卷积骨架行为识别方法的分类效果。结论 通过与基线方法2s-AGCN及目前主流图卷积模型比较,多维特征嵌合注意力机制获得了最高的识别精度,可以集成至基于骨架信息的体系结构中进行端到端的训练,使分类结果更加准确。     

结合径向线的局部遮挡下的3维人脸识别

目的 3维人脸点云的局部遮挡是影响3维人脸识别精度的一个重要因素。为克服局部遮挡对3维人脸识别的影响,提出一种基于径向线和局部特征的3维人脸识别方法。方法 首先为了充分利用径向线的邻域信息,提出用一组局部特征来表示径向线;其次对于点云稀疏引起的采样点不均匀,提出将部分相邻局部区域合并以减小采样不均匀的影响;然后,利用径向线的邻域信息构造代价函数,进而构造相应径向线间的相似向量。最后,利用相似向量来进行径向线匹配,从而完成3维人脸识别。结果 在FRGC v2.0数据库上进行不同局部特征识别率的测试实验,选取的局部特征Rank-1识别率达到了95.2%,高于其他局部特征的识别率;在Bosphorus数据库上进行不同算法局部遮挡下的人脸识别实验,Rank-1识别率达到了最高的92.0%;进一步在Bosphorus数据库上进行不同算法的时间复杂度对比实验,耗费时间最短,为8.17 s。该算法在准确率和耗时方面均取得了最好的效果。结论 基于径向线和局部特征的3维人脸方法能有效提取径向线周围的局部信息;局部特征的代价函数生成的相似向量有效减小了局部遮挡带来的影响。实验结果表明本文算法具有较高的精度和较短的耗时,同时对人脸的局部遮挡具有一定的鲁棒性。该算法适用于局部遮挡下的3维人脸识别,但是对于鼻尖部分被遮挡的人脸,无法进行识别。     

基于改进初始化判别K SVD方法的人脸识别

基于稀疏表示的人脸识别问题希望字典同时具有良好的表示能力和较强的辨识性。采用判别式K SVD（D ksvd）算法,可训练得到较好的字典和线性判别函数,但该算法中的初始化字典是从各类样本中选择部分样本经K SVD方法得到的,不能较完整地表示所有样本的特性,影响了基于该初始字典的训练字典的表示能力和分类器的辨识性。在字典初始化方法上进行了改进,先训练类内字典再级联成新的初始化字典,由于类内训练字典是各类别的优化字典,降低了训练字典的误差,提高了训练字典与线性分类器的判别性,在保持较快识别速度的同时,提高了人脸识别率。