基于张量的KFLD-SIFT与RVM模糊积分融合的人体行为识别方法

针对人体行为识别领域中视频序列的大样本及多特征问题,提出一种基于张量的核Fisher非线性鉴别(KFLD)-尺度不变特征变换(SIFT)与相关向量机(RVM)模糊积分融合的人体行为识别方法.该方法首先通过预处理视频序列得到二值视频,并采用三阶张量表示.然后针对大样本特征提出KFLD-SIFT局部特征提取算法,对不同初始尺度下的关键点周围的多特征降维,同时提出RVM模糊积分融合算法进行行为分类.最后应用4种经典评价指标及计算得到的平均识别率对比分析文中方法与其他相关方法的识别效果,数据采用KTH人体行为数据库中的视频,并采用三重交叉方法验证和测试.实验表明文中方法对多种行为取得较好的识别效果,平均识别率比其他主流方法至少提高2.3%.     

基于聚类关联网络的群组行为识别

目前群组行为识别方法没有充分利用群组关联信息而导致群组识别精度无法有效提升,针对这个问题,提出了基于近邻传播算法（AP）的层次关联模块的深度神经网络模型,命名为聚类关联网络（CRN）。首先,利用卷积神经网络（CNN）提取场景特征,再利用区域特征聚集提取场景中的人物特征。然后,利用AP的层次关联网络模块提取群组关联信息。最后,利用长短期记忆网络（LSTM）融合个体特征序列与群组关联信息,并得到最终的群组识别结果。与多流卷积神经网络（MSCNN）方法相比,CRN方法在Volleyball数据集与Collective Activity数据集上的识别准确率分别提升了5.39与3.33个百分点。与置信度能量循环网络（CERN）方法相比,CRN方法在Volleyball数据集与Collective Activity数据集上的识别准确率分别提升了8.7与3.14个百分点。实验结果表明,CRN方法在群体行为识别任务中拥有更高的识别准确精度。     

基于聚类关联网络的群组行为识别

目前群组行为识别方法没有充分利用群组关联信息而导致群组识别精度无法有效提升，针对这个问题，提出了基于近邻传播算法（AP）的层次关联模块的深度神经网络模型，命名为聚类关联网络（CRN）。首先，利用卷积神经网络（CNN）提取场景特征，再利用区域特征聚集提取场景中的人物特征。然后，利用AP的层次关联网络模块提取群组关联信息。最后，利用长短期记忆网络（LSTM）融合个体特征序列与群组关联信息，并得到最终的群组识别结果。与多流卷积神经网络（MSCNN）方法相比，CRN方法在Volleyball数据集与Collective Activity数据集上的识别准确率分别提升了5.39与3.33个百分点。与置信度能量循环网络（CERN）方法相比，CRN方法在Volleyball数据集与Collective Activity数据集上的识别准确率分别提升了8.7与3.14个百分点。实验结果表明，CRN方法在群体行为识别任务中拥有更高的识别准确精度。     

基于时序二维化和卷积特征融合的表面肌电信号分类方法

针对传统模式识别方法在表面肌电信号(sEMG)分类时容易忽略非线性、时序性等特征的问题,文中提出基于时序二维化和卷积特征融合的分类方法.通过格拉姆角场转换实现时序二维化,保留sEMG原始时间序列的时间依赖性和相关性.为了在突出局部信息的同时充分保留细节信息,引入胶囊网络与卷积神经网络共同提取特征,并进行特征融合,实现不同条件下的手势识别.对比多种分类方法的实验表明,文中方法可以有效增强电极偏移情况和面向新对象时手部动作的整体识别水平,具有较强的鲁棒性.     

基于分块注意力机制和交互位置关系的群组活动识别

复杂场景下的群体活动识别是一项具有挑战性的任务,它涉及一组人在场景中的相互作用和相对空间位置关系。针对当前复杂场景下群组行为识别方法缺乏精细化设计以及没有充分利用个体间交互式特征的问题,提出了基于分块注意力机制和交互位置关系的网络框架,进一步考虑个体肢体语义特征,同时挖掘个体间交互特征相似性与行为一致性的关系。首先,采用原始视频序列和光流图像序列作为网络的输入,并引入一种分块注意力模块来细化个体的肢体运动特征;然后,将空间位置和交互式距离作为个体的交互特征;最后,将个体运动特征和空间位置关系特征融合为群体场景无向图的节点特征,并利用图卷积网络（GCN）进一步捕获全局场景下的活动交互,从而识别群体活动。实验结果表明,此框架在两个群组行为识别数据集（CAD和CAE）上分别取得了92.8%和97.7%的识别准确率,在CAD数据集上与成员关系图（ARG）和置信度能量循环网络（CERN）相比识别准确率分别提高了1.8个百分点和5.6个百分点,同时结合消融实验结果验证了所提算法有较高的识别精度。     

基于空间分布特征的人体动作动态建模识别

人体动作的表面特征和动态特征无统一性描述,导致无法精确地区分人体动作.文中提出基于空间分布特征的人体动作动态建模识别方法(DMRSD).利用相对极坐标划分特征的空间区域,统计局部区域非零信息点数目,形成空间分布特征描述表面特征.然后利用自回归滑动平均动态模型建模空间特征序列,形成模型参数特征描述动态时间结构特征.最后通过各参数特征的相似矩阵线性关系假设,结构融合表面特征和动态运动特征,形成统一性描述特征.用最近邻识别人体动作.在Weizmann和KTH库中比对当前方法的识别结果,文中方法获得较好的识别性能.     

基于Haar-like和MB-LBP特征分区域多分类器车辆检测*

高级辅助驾驶系统中的预碰撞系统不仅需要检测前向车辆,预防追尾碰撞,同时需要检测临近车道斜侧向车辆,实现对其潜在换道、合流行为的预测,提供实时的预警功能.文中提出分区域融合多种特征的车辆检测方法,解决前向车辆特征与斜侧向车辆特征存在明显差异的问题.同时,文中方法分别检测远近不同的车辆,进行不同程度的图像降采样,提高检测系统的实时性.多种交通场景的实地测试表明,文中方法可以实时、稳定、准确地检测到前向车辆和斜侧向车辆,在行车环境良好的情况下,具有较高的召回率和准确率.     

一种融合全局及显著性区域特征的室内场景识别方法

针对常规场景识别方法在室内环境中性能显著下降的问题,提出一种融合全局及显著性区域特征的移动机器人室内场景识别方法.利用改进的Bo W(bag-of-words)模型进行室内场景判别的同时,结合视觉注意方法提取出场景图像的最大及次大显著区域,送入改进的BDBN(bilinear deep belief network)模型来自动学习图像特征,进行类别判断.利用分段判别策略对于两个模型的结果进行融合,并输出最终场景判别结果.将本方法应用于实际机器人平台及包含67个类别的MIT室内场景数据库,实验结果表明,相较于常规Bo W模型,本方法可以有效提高识别准确率10%以上.此外,本方法在MIT数据库中达到平均44.3%的准确率,优于相关文献算法.     

基于混合特征和多HMM融合的图像序列表情识别

当前多数图像序列的人脸表情识别方法仅提取图像的某一类特征,导致特征参数不能全面地反映脸部情感信息.提出一种基于混合特征和多HMM融合的图像序列表情识别方法.采用Gabor小波变换、二维离散余弦变换分别提取眼睛及眉毛区域、鼻子区域的纹理变化特征,对嘴巴区域则采用主动表观模型提取形状变化特征.对待测图像序列中的每个表情特征区域采用离散隐马尔可夫模型得出6种表情概率;然后根据在训练阶段得到的每个表情特征区域对每种表情的贡献权值进行加权融合,并选择融合后的表情概率最大者作为识别结果.实验结果表明,该方法综合了表情的纹理与形状变化,能够得到很好的识别效果,且处理速度快,适合于实时图像序列的表情识别.     

场景关系图学习的群组行为识别

为解决群组行为识别中复杂个体关系描述不准确，造成的个体关系推理不可靠的问题，关注于面向个体、群体、场景三个方面来构建场景关系图，提出场景关系图网络用于实现群组行为识别。该网络包括特征提取模块、场景关系图推理模块以及分类模块。特征提取模块通过卷积神经网络提取个体特征、群组特征、和场景特征。为了充分描述场景对于个体和群组描述的影响，场景关系图推理模块通过使用两分支网络分别建立个体—场景关系图以及群组—场景关系图帮助学习个体特征和群组特征。场景关系图推理同时考虑了个体特征对群组特征的影响，并引入了跨分支关系。分类模块用于将个体特征和群体特征进行分类预测。实验结果显示该方法在volleyball和collective activity数据集上的群组识别准确率分别提升了1.1%和0.5%,证实了提出的场景关系图在描述个体特征和群组特征上的有效性。     

低小慢无人机降落野外场景识别方法

针对低小慢无人机野外飞行场景复杂自主降落场景识别问题,提出了一种融合局部金字塔特征和卷积神经网络学习特征的野外场景识别算法。首先,将场景分为4×4和8×8块的小场景,使用方向梯度直方图（HOG）算法提取所有块的场景特征,所有特征首尾连接得到具有空间金字塔特性的特征向量。其次,设计一个针对场景分类的深度卷积神经网络,采用调优训练方法得到卷积神经网络模型,并提取深度网络学习特征。最后,连接两个特征得到最终场景特征,并使用支持向量机（SVM）分类器进行分类。所提算法在Sports-8、Scene-15、Indoor-67以及自建数据集上较传统手工特征方法的识别准确率提高了4个百分点以上。实验结果表明,所提算法能有效提升降落场景识别准确率。     

结合目标检测的室内场景识别方法

在目标检测网络（ObjectNet）和场景识别网络相结合的方法中，由于ObjectNet提取的目标特征和场景网络提取的场景特征的维度和性质不一致，且目标特征中存在影响场景判断的冗余信息，导致场景识别的准确率低。针对这个问题，提出一种改进的结合目标检测的室内场景识别方法。首先，在ObjectNet中引入类转换矩阵（CCM），将ObjectNet输出的目标特征进行转化，使得目标特征的维度与场景特征的维度相一致，以此减少特征维度不一致带来的信息丢失；然后采用上下文门控（CG）机制对特征中的冗余信息进行抑制，从而降低不相关信息的权重，提高了目标特征在场景识别中的作用。该方法在MIT Indoor67数据集上的识别准确率达到90.28%，与维护空间布局的对象语义特征（SOSF）方法相比识别准确率提高了0.77个百分点；其在SUN397数据集上识别准确率达到81.15%，与交替专家层次结构（HoAS）方法相比识别准确率提高了1.49个百分点。实验结果表明，所提方法提高了室内场景识别的准确率。     

基于多支路残差深度网络的跨视角步态识别方法

针对基于卷积神经网络的步态识别模型不能充分利用局部细粒度信息的问题,提出基于多支路残差深度网络的跨视角步态识别方法.将多支路网络引入卷积神经网络中,分别提取步态轮廓序列图中不同粒度的特征,并利用残差学习和多尺度特征融合技术,增强网络的特征学习能力.在公开步态数据集CASIA-B和OU-MVLP上的实验证实文中方法的识别准确率较高.     

面向RGB-D场景解析的三维空间结构化编码深度网络

有效的RGB-D图像特征提取和准确的3D空间结构化学习是提升RGB-D场景解析结果的关键。目前,全卷积神经网络（FCNN）具有强大的特征提取能力,但是,该网络无法充分地学习3D空间结构化信息。为此,提出了一种新颖的三维空间结构化编码深度网络,内嵌的结构化学习层有机地结合了图模型网络和空间结构化编码算法。该算法能够比较准确地学习和描述物体所处3D空间的物体分布。通过该深度网络,不仅能够提取包含多层形状和深度信息的分层视觉特征（HVF）和分层深度特征（HDF）,而且可以生成包含3D结构化信息的空间关系特征,进而得到融合上述3类特征的混合特征,从而能够更准确地表达RGB-D图像的语义信息。实验结果表明,在NYUDv2和SUNRGBD标准RGB-D数据集上,该深度网络较现有先进的场景解析方法能够显著提升RGB-D场景解析的结果。     

用于交通图像识别的改进尺度依赖池化模型

针对交通标志在自然场景中所占的比例较小、提取的特征量不足、识别准确率低的问题,提出改进的尺度依赖池化（SDP）模型用于小尺度交通图像的识别。首先,基于神经网络深卷积层具有较好的轮廓信息与类别特征,在SDP模型只提取浅卷积层特征信息的基础上,使用深卷积层特征补足型SDP（SD-SDP）映射输出,丰富特征信息;其次,因SDP算法中的单层空间金字塔池化损失边缘信息,使用多尺度滑窗池化（MSP）将特征池化到固定维度,增强小目标的边缘信息;最后,将改进的尺度依赖池化模型应用于交通标志的识别。实验结果表明,与原SDP算法比较,提取特征量增加,小尺度交通图像的识别准确率较好地提升。     

基于空间通道挤压激励模块的肝硬化识别

针对卷积神经网络对特征信息学习不全面、识别准确率和分类精度不高的问题,提出一种采用空间通道挤压激励模块的scSE_MVGG网络,将其应用于肝硬化识别。对肝硬化图像进行数据增强,以避免深度学习训练出现过拟合现象,改进VGG网络使其适应不同实验样本尺寸,同时将scSE模块与改进的MVGG网络相融合,通过提高网络提取特征的指向性增强肝硬化识别效果。实验结果表明,该网络对肝硬化图像的识别率达到98.78%,较scSE_VGG、scSE_AlexNet等网络识别效果更优。     

基于改进全局—局部注意网络的室内场景识别方法

由于卷积神经网络(CNN)大多侧重于全局特征学习,忽略了包含更多细节的局部特征信息,使得室内场景识别的准确率难以提高。针对这一问题,提出了基于改进全局—局部注意网络(GLANet)的室内场景识别方法。首先,利用GLANet捕捉场景图像的全局特征和局部特征,增加图像特征中的细节信息;然后,在局部网络中引入non-local注意力模块,通过注意力图和特征图的卷积来进一步保留图像的细节特征,最后融合网络不同阶段的多种特征进行分类。通过在MIT Indoor67和SUN397数据集上的训练和验证,所提方法的识别准确率与LGN方法相比分别提高了1.98%和3.07%。实验结果表明,该算法能够有效捕获全局语义信息和精细的局部细节,显著提高了识别准确率。