带有协方差矩阵的卷积神经网络在人体运动识别中的应用

目前,深度学习已经在各种人体运动识别（HAR）任务中发挥了重要作用。但是,由于运动数据具有时间序列和包含肢体动作的特殊性,现有神经网络在进行卷积操作时会导致数据高度相关,并且随着网络影响到下一层,这限制了模型的识别效果。为此,提出了一种带有协方差矩阵的改进卷积神经网络用于HAR场景,通过矩阵变换搭建一种去相关的网络结构来消除相关性问题,可以在网络表现不佳时替代现有的批量归一化（BN）层用于归一化数据。在4个HAR公共数据集上进行实验,并与传统CNN和带有BN层的模型进行比较。实验结果表明,对比此前的深度学习网络,改进的神经网络有1%~2%的性能提升,验证了该方法的有效性,并将程序移植到了移动端进行实时运动识别。     

Hybrid deep neural network model for human action recognition

In this paper, we propose a hybrid deep neural network model for recognizing human actions in videos. A hybrid deep neural network model is designed by the fusion of homogeneous convolutional neural network (CNN) classifiers. The ensemble of classifiers is built by diversifying the input features and varying the initialization of the weights of the neural network. The convolutional neural network classifiers are trained to output a value of one, for the predicted class and a zero, for all the other classes. The outputs of the trained classifiers are considered as confidence value for prediction so that the predicted class will have a confidence value of approximately 1 and the rest of the classes will have a confidence value of approximately 0. The fusion function is computed as the maximum value of the outputs across all classifiers, to pick the correct class label during fusion. The effectiveness of the proposed approach is demonstrated on UCF50 dataset resulting in a high recognition accuracy of 99.68%.     

A study of deep neural networks for human activity recognition

Human activity recognition and deep learning are two fields that have attracted attention in recent years. The former due to its relevance in many application domains, such as ambient assisted living or health monitoring, and the latter for its recent and excellent performance achievements in different domains of application such as image and speech recognition. In this article, an extensive analysis among the most suited deep learning architectures for activity recognition is conducted to compare its performance in terms of accuracy, speed, and memory requirements. In particular, convolutional neural networks (CNN), long short-term memory networks (LSTM), bidirectional LSTM (biLSTM), gated recurrent unit networks (GRU), and deep belief networks (DBN) have been tested on a total of 10 publicly available datasets, with different sensors, sets of activities, and sampling rates. All tests have been designed under a multimodal approach to take advantage of synchronized raw sensor' signals. Results show that CNNs are efficient at capturing local temporal dependencies of activity signals, as well as at identifying correlations among sensors. Their performance in activity classification is comparable with, and in most cases better than, the performance of recurrent models. Their faster response and lower memory footprint make them the architecture of choice for wearable and IoT devices.     

一种改进的GRU-InFCN人体行为识别模型

为了克服传统机器学习方法在采用传感器数据进行人体行为识别领域上识别效果对人工特征选取依赖严重、识别准确率不高等问题,提出一种改进的全卷积神经网络和多层循环神经网络并联的深度学习模型(GRU-InFCN),并对传感器数据特征进行自动提取,实现人体动作的识别。该模型通过多尺度卷积神经网络和双层GRU网络(Gated Recurrent Unit,GRU)分别对传感器数据进行特征提取,将特征矩阵在矩阵维度上进行特征拼接再通过Softmax完成特征分类。实验结果表明,在开源人体行为识别(HAR)数据集上采用该方法进行人体行为识别,准确率达到了97.76%。该模型在取得高准确率的同时,避免了复杂的信号预处理和特征工程。     

基于深度学习的轻量型人体动作识别模型

针对现有基于深度学习的人体动作识别模型参数量大、网络过深过重等问题,提出了一种轻量型的双流融合深度神经网络模型并将该模型应用于人体动作识别。该模型将浅层多尺度网络和深度网络相结合,实现了模型参数量的大幅减少,避免了网络过深的问题。在数据集UCF101和HMDB51上进行实验,该模型在ImageNet预训练模式下分别取得了94.0%和69.4%的识别准确率。实验表明,相较于现有大多基于深度学习的人体动作识别模型,该模型大幅减少了参数量,并且仍具有较高的动作识别准确率。     

面向深度卷积网络的多目标神经演化算法

传统的深度卷积神经网络设计方法依赖于人工设计以及反复试错,只能采用形式单一的网络结构,导致其参数过分冗余,乘法次数巨大.为了自动化地设计出结构灵活多变,网络规模及计算量较小的深度卷积神经网络,本文提出了一种面向深度卷积网络的多目标神经演化算法.该算法将深度神经网络表达成有向图,使用神经演化和多目标优化算法实现了深度、计算量和识别率下的多目标同时优化,同时还引入了线性规划用于将基因编码翻译为卷积层的配置参数,使得演化算法可以自动调整各个网络层的具体配置.演化得到的模型其最深路径上含有36个卷积层,CIFAR-100上Top5精度为86.1%,Top1精度为60.2%,与识别率相近的网络相比,具有结构新颖,乘法次数低等特点.综上,本文提出的方法能够自动生成一系列各具特色的深度神经网络,可根据在深度、计算量和识别率3个指标上的不同应用需求选择适合的深度神经网络,为深度神经网络部署于资源受限的无线传感器网络上提供了一种快速、经济、自动化的设计方法.     

基于轻量级网络的实时人脸识别算法研究

为了在嵌入式和移动设备上实现高精度的实时人脸识别,对常见的网络在人脸识别方面的优缺点进行了分析,提出了一种高效的深度卷积神经网络模型Lightfacenet。在网络中结合深度可分离卷积、逐点卷积、瓶颈结构和挤压与激励结构提出了轻量化神经网络单元,使网络在保证有一定准确率的情况下有效地解决深层的神经网络带来的参数冗余和计算量大的问题,再通过改进的非线性激活函数进一步提高网络的准确性。该神经网络在保留卷积神经网络部分优点的同时也很好地平衡了网络的缺点。在同样的实验环境下,Lightfacenet网络既实现了非常高的识别精度,也在模型推理速度上达到实时的效果。在使用MS-Celeb-1M数据集训练后,该模型在LFW数据集上达到了99.50%的准确率,其效果已经可以与现在的大型卷积神经网络媲美。对于面部识别,Lightfacenet比目前最先进的移动卷积神经网络在保证准确率的情况下提高了效率。     

3D CNNs与LSTMs在行为识别中的组合及其应用

基于机器视觉的人体运动识别在视频监控、虚拟现实、医疗护理等诸多领域发挥着重要的作用.结合深度学习中的三维卷积神经网络和长短期记忆神经网络,提出一种融合模型,并与另外两种行为识别模型——长效递归卷积网络和时空域卷积网络,进行了对比,利用公开的KTH数据集,进行了实验测试.实验表明,提出的融合模型与长效递归卷积网络和时空域卷积网络相比,对于人体行为图像或视频数据集的学习效果明显,论证了模型的泛化性能和鲁棒性.     

基于非负矩阵分解的语音深层低维特征提取方法

作为一种基于深层神经网络提取的低维特征,瓶颈特征在连续语音识别中取得了很大的成功。然而训练瓶颈结构的深层神经网络时,瓶颈层的存在会降低网络输出层的帧准确率,进而反过来影响该特征的性能。针对这一问题,本文基于非负矩阵分解算法,提出一种利用不包含瓶颈层的深层神经网络提取低维特征的方法。该方法利用半非负矩阵分解和凸非负矩阵分解算法对隐含层权值矩阵分解得到基矩阵,将其作为新的特征层权值矩阵,然后在该层不设置偏移向量的情况下,通过数据前向传播提取新型特征。实验表明,该特征具有较为稳定的规律,且适用于不同的识别任务和网络结构。当使用训练数据充足的语料进行实验时,该特征表现出同瓶颈特征几乎相同的识别性能;而在低资源环境下,基于该特征识别系统的识别率明显优于深层神经网络混合识别系统和瓶颈特征识别系统。     

基于个体选择的动态权重神经网络集成方法研究

神经网络集成技术能有效地提高神经网络的预测精度和泛化能力,已成为机器学习和神经计算领域的一个研究热点。该文针对回归分析问题提出了一种结合应用遗传算法进行个体选择和动态确定结果合成权重的神经网络集成构造方法。在训练出个体神经网络之后,应用遗传算法对个体网络进行选择,然后根据被选择的各个体网络在输入空间上对训练样本的预测误差,应用广义回归网络来动态地确定各个体网络在特定输入空间上的合成权重。实验结果表明,与仅应用个体网络选择或动态确定权重的方法相比,该集成方法基本上能取得更好地预测精度和相近的稳定性。     

基于神经网络的人体动作识别方法

人体动作识别一直是计算机视觉领域的研究重点。为了提高人体动作识别的准确度,本文提出一种基于神经网络的加权识别方法。首先利用ViBe算法提取人体运动前景,计算前景重心,然后将轮廓重心距作傅里叶变换获得傅里叶描述子,最后利用本文提出的基于神经网络的加权识别方法进行分类。实验结果表明,本文方法的识别率在89%以上。     

基于深度残差网络的人脸表情识别

针对深度卷积神经网络随着卷积层数增加而导致网络模型难以训练和性能退化等问题,提出了一种基于深度残差网络的人脸表情识别方法。该方法利用残差学习单元来改善深度卷积神经网络模型训练寻优的过程,减少模型收敛的时间开销。此外,为了提高网络模型的泛化能力,从KDEF和CK+两种表情数据集上选取表情图像样本组成混合数据集用以训练网络。在混合数据集上采用十折（10-fold）交叉验证方法进行了实验,比较了不同深度的带有残差学习单元的残差网络与不带残差学习单元的常规卷积神经网络的表情识别准确率。当采用74层的深度残差网络时,可以获得90.79%的平均识别准确率。实验结果表明采用残差学习单元构建的深度残差网络可以解决网络深度和模型收敛性之间的矛盾,并能提升表情识别的准确率。     

融合STN和DenseNet的深度学习网络及其应用

图像识别是计算机视觉的重要分支之一，具有重要的理论和实践意义。近年来，以深度卷积神经网络为代表的图像分类方法被成功地应用到各个领域。针对神经网络对输入数据敏感、训练时间长等问题，结合空间映射网络（Spatial Transform Network，STN）和密集神经网络（Dense Neural Network，DenseNet）两者的特性，提出一种新型网络结构ST-DenseNet。该网络能够对输入图片作不变性归一化处理，解决数据敏感问题的同时提高图像识别效果。在树种叶片公开数据集Leafsnap上实现了90.43%的识别准确率、87.75%的召回率和89.07%的F-Measure的实验结果，模型ST-DenseNet明显优于其他网络模型。     

基于分布式神经网络递推预报误差算法的非线性系统建模

采用基于递推预报误差算法的分布式神经网络 结构建立非线性系统模型．子神经网络模型及其连接权值均采用递推预报误差方法来进行训 练,将所有子网络融合得到的分布式神经网络模型在模型精确性和鲁棒性方面有显著地增加 ．该方法较好地应用于复杂非线性动态系统的建模．     

基于无线体域网的在线人体活动识别

基于智能手机传感器的人体活动识别是普适计算领域的研究热点.为扩展可识别的活动种类,并提高准确率和实时性,提出了由智能手环和智能手机组建无线体域网通过深度神经网络在线识别人体活动的方法.首先,设计由智能手环和智能手机组成的无线体域网的总体框架;然后,对预处理后的传感信号,构造带有Inception结构的卷积神经网络和长短时记忆递归神经网络来分别提取时空域特征,并结合两类网络结构来融合多模态传感数据,离线进行神经网络模型训练;最后,对训练好的神经网络模型进行优化,并部署到智能手机上,在线实时识别人体活动.实验结果表明,本文方法无需手工设计特征,可自动融合各类异构传感数据,更加准确、高效地识别了更多种类的活动.     

轻量化高精度卷积神经网络的安全帽识别方法

由于施工环境的复杂性,基于机器视觉的安全帽识别方法常常出现误检与漏检的情况。为提高复杂环境下安全帽识别的准确率,同时满足实时性要求,提出一种基于视觉感受野特性的轻量化高精度卷积神经网络。该卷积神经网络以RFBnet网络为基础,增加特征金字塔网络模块,使神经网络同时兼顾浅层语义信息和深层语义信息的表示能力,以实现复杂施工环境下不同形态与大小安全帽的识别。采用SE-Ghost模块在保持网络特征提取能力不变的情况下,对主干网络结构进行轻量化。为验证方法的性能,将基于感受野特性的轻量化卷积神经网络和当前主要卷积神经网络进行实验对比,结果表明,所提网络模型的检测准确率较YOLO-v3、RFBnet-300和RFBnet-512网络分别提高了1.60个百分点、3.62个百分点和0.98个百分点,检测速度达到20?frame/s。     

基于神经网络集成的多视角人脸识别

人脸在图像深度方向上发生偏转时,即使同一对象的人脸图像也会发生极大的变化。在此,将神经网络集成应用于多视角人脸识别,所用的人脸特征通过多视角特征脸分析获得。为每一视角的特征空间各训练一个神经网络,并利用另一个神经网络对其进行结合。利用训练好的神经网络集成进行识别时不仅不需进行偏转角度估计预处理,而且还可以在给出识别结果的同时给出角度估计信息。实验结果表明,该方法的识别精度高于根据精确的偏转角度估计信息挑选最佳单一神经网络所能达到的效果。     

基于深度残差网络和GRU的SqueezeNet模型的交通路标识别

Existing traffic road sign recognition methods are all based on convolutional neural networks. As the number of the model network layers increases, the recognition accuracy will also be improved, but there are still some problems such as the reduction of efficiency and the increase of the number of parameters. Therefore, an improved SqueezeNet model combining deep residual network with GRU neural network (SqueezeNet IR GRU) is proposed. In order to enhance the learning efficiency, ELU function is used as the activation function. To avoid the disappearance of gradients when the network layer is too deep, a deep residual network is introduced to guarantee the stability of the model, GRU neural network that can memorize the important past features is utilized. Experiments were performed on the Cafir 10 and GTSRB datasets, and their recognition accuracy rates are above 99.13% and 88.25%respectively. The experimental results show that the SqueezeNet IR GRU model not only reduces the parameter amount greatly, but also its convergence, stability and recall rate are all much better than others.     

深度区域网络方法的细粒度图像分类

目的 在细粒度视觉识别中,难点是对处于相同层级的大类,区分其具有微小差异的子类,为实现准确的分类精度,通常要求具有专业知识,所以细粒度图像分类为计算机视觉的研究提出更高的要求。为了方便普通人在不具备专业知识和专业技能的情况下能够区分物种细粒度类别,进而提出一种基于深度区域网络的卷积神经网络结构。方法 该结构基于深度区域网络,首先,进行深度特征提取任务,使用VGG16层网络和残差101层网络两种结构作为特征提取网络,用于提取深层共享特征,产生特征映射。其次,使用区域建议网络结构,在特征映射上进行卷积,产生目标区域;同时使用兴趣区域（RoI）池化层对特征映射进行最大值池化,实现网络共享。之后将池化后的目标区域输入到区域卷积网络中进行细粒度类别预测和目标边界回归,最终输出网络预测类别及回归边框点坐标。同时还进行了局部遮挡实验,检测局部遮挡部位对于分类正确性的影响,分析局部信息对于鸟类分类的影响情况。结果 该模型针对CUB_200_2011鸟类数据库进行实验,该数据库包含200种细粒度鸟类类别,11 788幅鸟类图片。经过训练及测试,实现VGG16+R-CNN （RPN）和Res101+R-CNN （RPN）两种结构验证正确率分别为90.88%和91.72%,两种结构Top-5验证正确率都超过98%。本文模拟现实环境遮挡情况进行鸟类局部特征遮挡实验,检测分类效果。结论 基于深度区域网络的卷积神经网络模型,提高了细粒度鸟类图像的分类性能,在细粒度鸟类图像的分类上,具有分类精度高、泛化能力好和鲁棒性强的优势,实验发现头部信息对于细粒度鸟类分类识别非常重要。     

数据驱动的ADS-B干扰源信号类型识别

传统干扰源信号类型识别方法在提取干扰信号的细微特征时,存在干扰信号调制类型分类精度低、识别效果差等缺点。对此,本文提出一种基于深度神经网络的ADS-B干扰信号调制类型识别算法。首先将ADS-B信号和干扰波形进行叠加混合,通过控制矢量信号发生器（VSG）进行仿真信号发射,并在接收端进行采集;接着对接收的基带I、Q数据进行人为添加随机噪声,并据此构造各种信噪比场景下的张量训练样本数据集;最后,利用训练样本数据对本文设计的神经网络进行训练,并在样本数据集上将传统分类算法和本文所提出的神经网络算法两者的识别性能进行对比分析。实验结果表明本文所提的神经网络算法相比于现有的传统识别算法,具有更好的识别性能。