舞蹈视频图像中动作识别方法研究

运用计算机及"看"视频是当前人机交互领域的一个热门话题.以计算机视觉对舞蹈视频图像中舞者的动作进行识别意义重大.以舞蹈视频图像动作识别为切入点,提出对舞蹈视频图像动作进行灰度转换、阈值化处理、背景减除、降噪等预处理,对舞蹈视频图像特征提取及关节点建模进行分析,形成了舞蹈视频图像动作识别的系统思路.     

基于机器学习的武术动作姿势识别方法

武术动作姿势包括静态与动态，呈现多维性，提出基于机器学习的武术动作姿势识别方法。采用小波阈值变换去除原始图像噪声干扰，参考运动过程中关节角度变化曲线，提取人体静态特征和动态特征，构建动作图像多维分割模型，结合机器学习与目标姿势参数，获取武术动作姿势边缘轮廓的特征分布函数，完成武术动作识别。实验证明：动作识别精准度较高、特征分辨能力较强，具有很好的姿势检测和辨识能力，能够满足武术训练对姿势细节获取要求。     

基于序列多尺度特征融合表示的层级舞蹈动作姿态估计方法

人体姿态估计是计算机视觉研究领域的热点研究问题之一,但其在传统民间舞蹈动作姿态估计方面的应用研究尚处于起步阶段.由于舞蹈图像中人体动作复杂多变、舞蹈动作连贯性强、舞蹈者存在严重遮挡不易检测等特点,传统人体姿态估计方法难以准确估计舞蹈者的动作变化,导致舞蹈动作姿态估计准确率较低.针对此问题,本文提出一种基于序列多尺度特征融合表示的层级舞蹈动作姿态估计方法,该方法针对舞蹈动作骨骼关节点尺度变化剧烈的问题,构建基于序列多尺度特征融合表示的关节点估计模型.并且,针对舞蹈姿态形变较大,遮挡严重的问题,设计基于关节点几何关系的层级姿态估计模型,提高舞蹈动作姿态估计的效果.实验结果表明,本文方法在标准人体姿态估计数据集及自建舞蹈数据集上取得较好的姿态估计结果.     

基于轮廓图像空频域特征的舞蹈翻腾姿态识别模型

文中旨在研究基于轮廓图像空频域特征的舞蹈翻腾姿态识别模型。该模型先将待识别舞蹈视频图像实施腐蚀、膨胀、中心归一化等预处理,利用处理后图像提取舞蹈翻腾姿态能量图,通过离散余弦变换提取舞蹈翻腾姿态能量图频域特征,利用Contourlet变换提取舞蹈翻腾姿态能量图空域轮廓特征,采用特征级融合方法融合以上特征获取舞蹈轮廓图像的空频域特征向量集,再将待识别舞蹈视频序列候选姿态利用Baum-Welch算法训练为隐马尔可夫模型,利用舞蹈轮廓图像的空频域特征向量集将隐马尔可夫模型量化至观察序列,通过前向后向算法获取观察序列姿态概率,观察序列概率值最大的隐马尔可夫模型对应姿态即为所需识别舞蹈翻腾姿态。实验结果表明,该模型可较好地提取具有空频域特征的舞蹈轮廓图像,有效识别舞蹈视频中舞蹈翻腾姿态,且识别100帧有阴影舞蹈视频图像中舞蹈翻腾姿态识别准确率高于96%。     

基于层级化特征的人体动作识别

人体是非刚性物体,随着人体形状的变化,底层特征也会发生剧烈的改变,如何在剧烈变化的人体动作中发现其不变性是解决人体动作识别问题的关键。提出了一种基于层级化特征的人体动作识别算法。首先,基于Harris3D检测算法从动作视频中提取人体动作的底层特征;之后,根据人体结构对特征进行区域性的划分,并根据区域划分的精细程度得到高,中,低三层特征集合。利用词袋模型对特征点进行统计,使不同层级的特征映射到相同的特征维度空间。最后,使用隐条件随机模型对人体动作进行训练和识别。大量的实验结果也证明了层级化特征在人体动作识别上的稳定性。     

一种人脸识别中提高二值化图像质量的方法

提出了一种适用提高人脸识别的图像二值化质量算法。该算法尽可能保留图像目标的有用信息，解决了图像的特征提取和特征识别中关键区域不足的问题。经实验证明本算法保留图像目标有用信息比传统算法多、特征识别率较高。     

基于手部姿势判断驾驶员驾驶行为的研究

近年来,交通事故在急剧的增加,驾驶员的违规驾驶是一个很主要的原因.通过图像处理进行手部识别、驾驶姿势识别、以及驾驶员违规判定,是一种新型的判定方法.文中阐述了手部识别包括背景建立、背景更新、差分、连通区域标记;驾驶姿势识别包括手部区域确定和模板匹配以及比较常见的违规行为判定,以及算法的影响因素分析与对策.     

基于MATLAB/GUI的文字图片识别系统设计

设计一个基于MATLAB/GUI的可视化文字图片识别系统。系统主要包含三部分，分别是图像预处理、文字分割和文字模板的匹配识别、GUI可视化界面设计。图像预处理包含图像旋转、图像裁剪、灰度变换、图像增强和二值化等；然后对二值化后的图像进行文字的分割，分割后的字符与数据库里面的文字模板进行匹配识别，最后输出识别的文字内容。处理算法调试成功后，设计一个可视化用户界面。系统完成后调试系统，输入样本图像检测识别结果。经多次测试，本系统可以较为准确地提取并识别图片上的文字信息。     

基于奇异值分解的图像目标跟踪算法

传统相关跟踪方法是利用模板图像与目标图像对应像素的灰度差异信息进行跟踪,它对旋转变化敏感,且存在跟踪累积误差,容易导致模板漂移而丢失目标。文中提出基于奇异值分解的跟踪算法,算法首先建立模板图像训练集合,利用奇异值分解方法,张成模板图像特征空间,然后求出模板图像在特征空间里的投影值,代替传统算法中灰度对两幅待匹配图像进行的全局搜索定位。在进行投影值间的相似性度量时,欧氏距离同等对待所有的特征向量不移合理,文中采用了一种鲁棒估计方法,可以对不同距离的值做不同处理。匹配跟踪实验效果良好。     

基于热释电红外传感器的人体动作识别方法

针对目前人体动作识别技术中存在的隐私暴露、技术复杂度高和识别精度低等相关问题,提出了一种基于热释电红外（PIR）传感器的人体动作识别方法。首先,采用一组安置在天花板上经过视场调制的PIR传感器采集人体运动时散发的红外热辐射信号,将传感器输出的电压模拟信号进行滤波放大后通过ZigBee无线模块传送到PC端打包成原始数据集;其次,将原始数据的两路传感器输出数据进行特征融合,对融合后的数据做标准化处理封装为训练集和测试集;然后,基于数据的特征提出一种两层级联的混合深度学习网络模型作为人体动作的分类算法,第一层采用一维卷积神经网络（1DCNN）对数据进行特征提取,第二层采用门控循环单元（GRU）保存历史输入信息防止丢失有效特征;最后,利用训练集来训练该网络模型得出参数最优的分类模型,通过测试集验证模型的正确性。实验结果表明,提出的该动作识别技术模型对基本动作分类的准确率高于98%,与图像动作识别或穿戴式设备动作识别相比,实现了实时、便捷、低成本和高保密性的高精度人体动作识别。     

基于双流特征融合的FMCW雷达人体连续动作识别

本文提出了一种基于双流特征融合的FMCW雷达人体连续动作识别方法。首先对人体动作雷达回波信号进行预处理得到距离时间域图与微多普勒时频谱图,之后分别对两个不同维度的图像进行主成分分析提取对应特征并选取相同时间段的主成分分析结果进行融合得到双流融合特征,最后将双流融合特征输入到Bi-LSTM网络中训练与测试,网络对每个时间段的输入特征产生与之对应的动作类别输出从而实现连续人体动作识别。实验结果表明,当采用双流融合特征作为Bi-LSTM网络的输入时平均识别准确率要高于只采用距离时间特征或微多普勒特征作为网络输入时的平均识别准确率。     

Learning discriminative motion feature for enhancing multi-modal action recognition

Video action recognition is an important topic in computer vision tasks. Most of the existing methods use CNN-based models, and multiple modalities of image features are captured from the videos, such as static frames, dynamic images, and optical flow features. However, these mainstream features contain much static information including object and background information, where the motion information of the action itself is not distinguished and strengthened. In this work, a new kind of motion feature is proposed without static information for video action recognition. We propose a quantization of motion network based on the bag-of-feature method to learn significant and discriminative motion features. In the learned feature map, the object and background information is filtered out, even if the background is moving in the video. Therefore, the motion feature is complementary to the static image feature and the static information in the dynamic image and optical flow. A multi-stream classifier is built with the proposed motion feature and other features, and the performance of action recognition is enhanced comparing to other state-of-the-art methods.     

应用空间金字塔池化LBP特征的舰船检测识别

传统LBP特征进行目标识别主要依靠局部图像LBP特征直方图来实现,通常只能满足小邻域内小量采样点计算LBP特征的情况。当需要计算像素在更大空间邻域更多采样点的对比纹理特征时,直方图特征的维度将会造成维数灾难。本文提出应用空间金字塔池化方式对LBP特征进行池化,并在LBP特征计算过程中采用多种邻域尺度和不同采样点数量,充分挖掘不同尺度下图像的纹理特征,从而建立完备的图像描述特征。在利用支持向量机或其他训练网络进行识别模板训练时,需要输入特征集具有相同的维度,传统LBP算法首先对图像按一定尺寸重构/裁切,时常会发生畸变而与现实出现偏离和信息丢失,对识别正确率存在影响。本文通过空间金字塔尺度对任意大小图像的LBP特征进行池化,输出特征维度为固定长度,有效避免了图像畸变与信息丢失的情况。实验证明,本文方法不仅避免了维度灾难的发生,同时能够更高效地提高目标检测率和识别正确率。     

Hierarchical Learning-Guided human motion quality assessment in big data environment

Image information may be distorted during acquisition, processing, compression, and transmission. It is necessary to propose an intelligent image quality assessment model toward big data environment to quantify the degree of distortion of the image. This paper proposes a quality assessment model for human motion images. In complex scenes, the human body's action posture can be taken as an important feature point. Usually, in different scenes, the parts that affect the quality of the human body's posture are different. In other words, the weights of feature points that affect quality are different in different scenarios. However, due to the categorization of human movements, we can learn the quality assessment methods of different types of movements through sample training. Inspired by feature learning in the field of machine learning, we propose a hierarchical quality learning approach. We cast quality assessment as quality feature learning and layer by layer. The hierarchical quality learning method is based on deep reinforcement learning. The key part is that the method focuses on the region that containing more information on the features of the quality and enlarges the region layer by layer. Finally, we can determine the part of the body that affects the quality assessment. We compare this method with the subjective quality assessment results of the human observers and find that the proposed method achieves effective performance in big data environment to evaluate human motion quality.     

变形网格及其在图像识别中的应用

网格特征是图像识别中一类重要特征,而变形模板对于复杂的图像识别问题如字符识别、数字识别、图标识别等表现出很好的性能,但变形模板很费时。该文针对网格特征提出了变形网格,并分析了变形模板与变形网格之间的近似等价性。所提方法对网格进行变形而不是对图像变形,因而速度比变形模板快得多,而且性能相差不大。把这种方法分别应用于图标识别和脱机手写汉字识别。图标识别实验中变形模板使识别率提高了7.5%,而变形网格使识别率提高了7.3%、手写汉字识别实验中变形模板使识别率提高了6.1%,而变形网格使识别率提高了5.8%。考虑到变形网格比变形模板快得多,所以这种方法是有优势的。     

A novel recurrent hybrid network for feature fusion in action recognition

Action recognition in video is one of the most important and challenging tasks in computer vision. How to efficiently combine the spatial-temporal information to represent video plays a crucial role for action recognition. In this paper, a recurrent hybrid network architecture is designed for action recognition by fusing multi-source features: a two-stream CNNs for learning semantic features, a two-stream single-layer LSTM for learning long-term temporal feature, and an Improved Dense Trajectories (IDT) stream for learning short-term temporal motion feature. In order to mitigate the overfitting issue on small-scale dataset, a video data augmentation method is used to increase the amount of training data, as well as a two-step training strategy is adopted to train our recurrent hybrid network. Experiment results on two challenging datasets UCF-101 and HMDB-51 demonstrate that the proposed method can reach the state-of-the-art performance.     

基于仿生模式识别的DOA估计方法

该文就仿生模式识别(拓扑模式识别)在非感性抽象对象的信息处理方面的应用作了一些探索,提出了一种基于仿生模式识别的DOA估计方法。这种方法的建模过程是用在实际环境下采集的训练样本构造人工神经网络模型,对环境的适应能力较强,且这种方法的计算量较小,可以实现系统实时处理。实验结果表明:在信噪比为20 dB和0 dB时,该方法的正确估计率可达100%;在信噪比降为-20 dB时,该方法仍有83%的可识别率。     

多特征融合的车辆识别技术

针对运动车辆目标识别问题提出了一种自然场景下车辆识别方法。首先采用图像差分技术对目标车辆的显著特征进行统计学习,并将学习所得目标局部特征以及图像进行编码,根据以上两个信息实现目标车辆的显著性检测。其次针对车辆运动的复杂性,采用分块投影匹配方法进行全局运动估计和补偿,并利用差分技术进行运动特征检测。然后将目标车辆的显著性特征与运动特征进行融合,从而获得更精确的候选目标区域。最后对候选区域进一步使用视觉显著特征进行目标判别。实验表明该方法具有较好的目标判别性能,能较好地解决自然场景下运动车辆的识别问题。