基于图卷积的3D骨架数据的双人交互行为识别

针对图卷积神经网络的双人交互行为识别方法存在交互语义信息表达不充分的问题,提出了一种新的双人交互时空图卷积神经网络（DHI-STGCN）用于行为识别的方法。该网络包含空间子网络模块和时间子网络模块。将基于交互动作视频获取的3D骨架数据生成一种双人交互动作的空间动作图用于空间信息的表示,图中根据关节点位置信息对双人之间的连接边赋予不同的权重。时间信息处理中,在构造的邻接矩阵中增加了上下文时间信息的联系,图中关节点与其一定时间范围内的节点增加连接。将生成的时空图数据送入空间图卷积网络模块,结合时间图卷积网络模块增强帧间运动特征连续性进行时序建模。该模型充分考虑了双人交互动作的紧密关系,具有较强的鲁棒性,获得了比现有模型更好的交互动作识别效果。     

基于运动学动态图的人体动作识别方法

为了识别RGB-D视频中的人体动作,针对视频中运动信息利用不充分的问题,提出了一种基于运动学动态图的人体动作识别方法。首先利用RGB视频序列和对应的深度图序列生成场景流特征图,基于场景流特征图计算运动学特征图序列,其中包含丰富的运动信息;使用分层排序池化将运动学特征图序列编码为运动学动态图,同时将RGB视频序列编码为外观动态图,最后将运动学动态图和外观动态图输入到双流卷积网络进行人体动作识别。结果表明:基于运动学动态图和双流卷积网络的人体动作识别方法融合了外观信息和运动信息,不仅充分表征了视频的动态,而且使用了视频中具有丰富运动信息的运动学特征;在公开的数据集上对本方法进行验证,在M2I数据集和SBU Kinect Interaction数据集的动作识别率分别为91.8%和95.2%。     

基于时空兴趣点的单人行为及交互行为识别

本文方法首先从视频中提取出代表足够运动信息的时空兴趣点,并通过人体前景剪影连通性分析判别时空兴趣点的点集范围。然后对每个视频的兴趣点样本进行高斯混合聚类生成时空单词。最后对时空单词进行训练得到每个行为的高斯混合模型用于人体行为的识别。该方法既可用于单人行为识别也可用于双人行为识别。在行为库上的实验结果证明了该方法有较高的正确率。     

基于卷积神经网络视觉融合的动态手势识别

为了提高多帧视频序列中动态手势的识别效果,结合计算机视觉分析,提出了基于卷积神经网络视觉融合的动态手势识别方法.采用模糊数据多频谱方法进行多帧视频序列中动态手势视觉图像采集,对采集的图像用Harris角点检测和多传感识别方法进行多模状态分层特征点标定,用卷积神经网络视觉融合方法提取多帧视频序列中动态手势动作的边界轮廓特征点信息,分析多帧视频序列中动态手势的层次化分割特征,用图像分割和边缘信息增强方法,提高动态手势图像的分辨能力,结合角点优化检测技术,用视觉动态跟踪分析实现对手势动作特征点的自动化标定,根据动态手势的帧点分布规则实现多帧视频序列中动态手势动作图像的自适应特征检测和识别.仿真结果表明,采用该方法进行多帧视频序列中动态手势识别的准确性较高、实时性较好.     

基于融合不变性特征与混合核方法的体育视频动作识别

针对体育视频动作识别方法正确率较低的问题，提出了一种结合融合不变性特征与混合核方法的体育视频动作识别方法.采用高斯混合模型构建不变性特征，并对特征进行降维.采用混合核方法分别完成局部特征与全局特征的分类.标准体育动作数据集上的实验结果表明，降维后的融合不变性特征能够保留体育动作关键信息，与混合核方法配合密切，该方法既能够显著提升识别性能，也能够提升识别效率.该方法可以构建实时、在线的体育视频动作识别，且识别效果良好.     

基于关键帧的双流卷积网络的人体动作识别方法

针对视频序列中人体动作识别存在信息冗余大、准确率低的问题,提出基于关键帧的双流卷积网络的人体动作识别方法.该方法构建了由特征提取、关键帧提取和时空特征融合3个模块构成的网络框架.首先将空间域视频的单帧RGB图像和时间域多帧叠加后的光流图像作为输入,送入VGG16网络模型,提取视频的深度特征;其次提取视频的关键帧,通过不断预测每个视频帧的重要性,选取有足够信息的有用帧并汇聚起来送入神经网络进行训练,选出关键帧并丢弃冗余帧;最后将两个模型的Softmax输出加权融合作为输出结果,得到一个多模型融合的人体动作识别器,实现了对视频的关键帧处理和对动作的时空信息的充分利用.在UCF-101公开数据集上的实验结果表明,与当前人体动作识别的主流方法相比,该方法具有较高的识别率,并且相对降低了网络的复杂度.     

基于优化PSO-BP的多特征融合图像识别算法研究

为提高水果种类识别的准确性,本文提出一种基于优化粒子群结合BP神经网络的识别算法.在算法初期,针对不同种类水果图像样本,借助K均值聚类分割算法,融合彩色信息和灰度信息,完成目标图像的准确分割,提取目标区域在HSV颜色空间下非均匀量化后的颜色特征,使用分块局部二值模式和灰度共生矩阵,分别提取局部和全局纹理特征,并对与粒子...     

基于融合约束局部模型的三维人脸特征点定位

提出基于特征融合约束局部模型的三维人脸特征点定位算法. 该算法对每个特征点分别使用三维网格的深度信息和网格局部形状信息训练分类器,对分类器的响应进行融合. 使用基于融合响应的正则化特征点均值漂移算法进行模型拟合,实现特征点定位. 三维人脸特征点定位经常需要对每个特征点的候选点集进行遍历产生候选点组合,该算法使用模型拟合代替穷举搜索,避免了嵌套循环带来的快速增长的时间开销. 使用FRGC v2.0和Bosphorus数据库,对算法进行实验评估. FRGC v2.0库上的特征点平均误差为2.48~4.12 mm,总体检测成功率为97.3%,其中中性、温和及极端表情下的检测成功率分别为97.6%、97.4%和95.5%. Bosphorus库上3种姿态下的检测成功率分别是94%、95%和89%. 实验结果表明,提出方法具有较好的效果,对表情和小幅度的姿态变化具有较好的鲁棒性.     

基于改进时空兴趣点检测的人体行为识别算法

提出了一种基于改进时空兴趣点检测的人体行为识别算法。旨在针对复杂环境的时空特性,在传统兴趣点检测算法的基础上,加入背景点抑制和时空兴趣点约束,以减少无用兴趣点对有效兴趣点信息的干扰。为此,首先对Harris-Laplace算法进行改进,以克服兴趣点检测过程中遇到的多尺度问题和冗余点过多问题,提取筛选后的有效兴趣点作为目标的运动坐标信息。然后基于Bag-of-words模型思想,使用HOG算子对兴趣点进行特征提取,建立视觉词典,使用AIB算法合并词义相近的视觉词汇,作为单词表中的基础词汇。最后使用SVM进行人体行为分类并实现复杂环境下的人体行为识别。为了验证新算法的有效性,分别在现有的公开人体行为基准数据库和一些复杂场景下进行实验。试验结果表明,通过对无用兴趣点的抑制,能够有效降低单帧图像的计算复杂度,减少特征提取时间,提高行为识别准确度。     

基于深度视频的人体行为特征表示与识别

深度视频中的人体行为的识别研究主要集中在对深度视频进行特征表示上,为了获得具有判别性的特征表示,首先提出了深度视频中一种基于表面法向信息的局部二值模式( local binary pattern, LBP)算子作为初级特征,然后基于稀疏表示模型训练初级特征字典,获取初级特征的稀疏表示,最后对用自适应的时空金字塔划分的若干个子序列使用时空池化方法进行初级特征与稀疏系数的规格化,得到深度视频的高级特征,最终的特征表示实现了深度视频中的准确的人体行为识别。在公开的动作识别库MSR Action3D和手势识别库MSR Gesture3D上的实验证明了本文提出的特征表示的有效性和优越性。     

Image Classification Based on the Fusion of Complementary Features

Image classification based on bag-of-words (BOW) has a broad application prospect in pattern recognition field but the shortcomings such as single feature and low classification accuracy are apparent. To deal with this problem, this paper proposes to combine two ingredients:(i) Three features with functions of mutual complementation are adopted to describe the images, including pyramid histogram of words (PHOW), pyramid histogram of color (PHOC) and pyramid histogram of orientated gradients (PHOG). (ii) An adaptive feature-weight adjusted image categorization algorithm based on the SVM and the decision level fusion of multiple features are employed. Experiments are carried out on the Caltech 101 database, which confirms the validity of the proposed approach. The experimental results show that the classification accuracy rate of the proposed method is improved by 7%-14% higher than that of the traditional BOW methods. With full utilization of global, local and spatial information, the algorithm is much more complete and flexible to describe the feature information of the image through the multi-feature fusion and the pyramid structure composed by image spatial multi-resolution decomposition. Significant improvements to the classification accuracy are achieved as the result.     

CNN特征与BOF相融合的水下目标识别算法

为了改善作为低级表示的尺度不变特征变换(scale invariant feature transform, SIFT)匹配常出现的没有足够特征来防止假匹配的问题,提出在传统方法“词袋”(bag of features, BOF)算法中融合具有较好语义分割能力的卷积神经网络(convolution neural network, CNN)特征来提高识别率的方法。利用ImageCLEF网站的LifeCLEF鱼类视频,制作目标图像数据库。在caffe平台的Alexnet模型进行卷积神经网络的训练,提取图像库和查询图像的特征。利用训练好的CNN特征在Matlab软件进行识别试验验证,计算汉明距离来验证匹配效果。改变参数值来观察不同汉明距离阈值对水下目标识别结果的影响。自制图像库的试验表明,融合深度学习的特征可以有效提高BOF算法的水下目标识别率,对汉明距离阈值的选择需要根据实际情况选择合适的参数。     

基于RG B-D数据的自适应局部时空特征提取方法

对于一次学习手势识别,噪声和全局经验运动约束严重影响时空特征的精确与充分提取,为此提出了一种融合颜色和深度( RGB-D)信息的自适应局部时空特征提取方法。首先建立连续两灰度帧和两深度帧的金字塔以及相应的光流金字塔作为尺度空间。然后根据灰度和深度光流的水平与垂直方差自适应提取运动感兴趣区域( motion regions of interest, MRoIs)。接着仅在MRoIs内检测角点作为兴趣点,当兴趣点的灰度和深度光流同时满足局部运动约束时即为关键点,局部运动约束是在每个MRoI内自适应确定的。最后在改进的梯度运动空间计算SIFT-like描述子。 Chalearn数据库上的实验结果表明：提出方法得到了较高的识别准确率,其识别性能优于现已发表的方法。     

改进的多特征融合手语字母识别方法

为了实现手语视频中手语字母的准确识别,提出一种基于DI_CamShift(depth image CamShift)和手语视觉单词(sign language visual word,SLVW)特征结合的算法.首先,采用Kinect获取手语字母手势视频及其深度信息;其次,通过计算获得深度图像中手语手势的主轴方向角和质心位置,计算搜索窗口对手势跟踪;再次,使用基于深度积分图像的大津法(OTSU)分割手势并提取其尺寸不变特征转换(scale invariant feature transform,SIFT)特征和Gabor特征,并通过典型相关分析(canonical correlation analysis,CCA)方法进行特征融合;最后,构建SLVW词包并用支持向量机(support vector machine,SVM)进行识别,单个手语字母最高识别率为99.89%,平均识别率为96.34%.     

基于卷积姿态机的潜航员作业姿态识别方法

针对现有潜航员作业姿态识别分析方法中识别过程繁琐、识别精度低的问题,提出基于卷积姿态机的潜航员作业姿态识别分析方法. 对人体姿态特征进行结构化编码,构建空间及投影坐标系进行解析,定义肢体角度计算公式与肢体特殊状态判断流程. 通过搭建潜航员作业姿态识别算法,实现作业姿态RGB图像空间特征与纹理特征的提取,输出潜航员作业姿态关节点、肢体角度与状态数据. 通过采集潜航员作业姿态图像构建潜航员作业姿态样本数据集,对所提方法进行应用验证. 在算法测试中,识别算法的PCK指标值达到81.2%. 在应用验证实验中,算法识别关节点的平均准确率达到87.7%. 该方法在潜航员作业姿态识别分析上是可靠的,可以有效地识别与分析潜航员作业姿态中的危险因素.     

空间目标序列图像识别技术

针对远距/近距空间目标成像的特点,提出一种基于序列图像的多尺度自动目标识别(ATR)方案.该方案综合利用目标的尺度变化、姿态变化及图像特征信息,分别构建多尺度目标分类器、姿态判别器,并估计目标识别结果可信度、相邻帧姿态变化的权重以及目标尺度权重;根据当前帧和上一帧的识别结果,进行目标类别的融合判别.对STK产生的10类仿真空间目标进行测试,试验结果表明:对远距空间目标,由于目标像素少,仅用单帧图像的识别率低,合理利用目标序列图像包含的信息,可有效提高目标识别率.     

Recognition of Group Activities Using Complex Wavelet Domain Based Cayley-Klein Metric Learning

A group activity recognition algorithm is proposed to improve the recognition accuracy in video surveillance by using complex wavelet domain based Cayley-Klein metric learning. Non-sampled dual-tree complex wavelet packet transform (NS-DTCWPT) is used to decompose the human images in videos into multi-scale and multi-resolution. An improved local binary pattern (ILBP) and an inner-distance shape context (IDSC) combined with bag-of-words model is adopted to extract the decomposed high and low frequency coefficient features. The extracted coefficient features of the training samples are used to optimize Cayley-Klein metric matrix by solving a nonlinear optimization problem. The group activities in videos are recognized by using the method of feature extraction and Cayley-Klein metric learning. Experimental results on behave video set, group activity video set, and self-built video set show that the proposed algorithm has higher recognition accuracy than the existing algorithms.     

抗畸变高效的视频拼接算法

针对视频拼接存在的边缘失真和融合效率问题,提出一种新的抗畸变高效的实时视频拼接算法。通过建立非线性抗畸变模型,对视频图像存在的非线性畸变进行校正,改善图像边缘过渡的平滑性;采用SURF配准算法兼顾配准的精度和效率;使用二维标记模板降低融合过程的冗余计算,进行快速图像融合。该算法提升了传统方法的视频拼接质量与融合效率。     

基于差分盒维数的彩色烟雾图像识别

提出了利用差分盒维数与颜色特征相结合的图像识别方法来将彩色烟雾图像从森林背景中识别出来。该方法首先用差分盒维数算法来计算整幅图像的分形维数值并基于该值对图像进行分割,再以RGB空间的烟雾颜色特征为依据,对差分盒维数方法分割出的区域进行判别,识别出烟雾区域。为改善算法的计算精度,提高算法运算速度,提出了减少子窗口内盒子的覆盖数量、改变子窗口内灰度等级的改进算法。仿真实验结果表明,基于改进的差分盒维数方法,不仅运算速度提高近50％,而且能够更好地反映图像表面的纹理信息。再结合颜色特征能从森林背景中准确的识别出烟雾。该方法可用于森林火灾的预警。