一种3D残差神经网络视频行人动作分类改进方法

对于视频行人动作分类方法中,卷积神经网络模型对时域信息理解能力不足的问题,针对拥有深层的3D残差卷积神经网络提出一种联合计算方法,使深层特征的时域信息差异与损失差异共同参与模型的梯度下降过程,提升网络所学特征对时域信息的稳健表达,改进网络对时域信息的理解能力。经仿真实验证明,3D ResNeXt-101网络在添加了联合计算方法后,对UCF-101和HMDB-51数据集的测试准确度都有不同程度的提升,网络模型的性能经由联合计算方法的辅助得到了增强。     

基于C3D模型的视频分类技术

目前,解决视频分类问题比较典型的方法是使用深度学习方法.该文设计了一种新的神经网络结构用于解决视频分类问题同时使用了交叉熵损失函数和一些减少神经网络过拟合的方法.网络结构采用了3D卷积神经网络结构,这是由于3D卷积神经网络相比2D卷积网络可以同时处理图像时域信息和图像空间信息,保留输入信息的时间特征.我们将视频文件通过各种手段,转化为图像帧的形式,放入该文设计的3D卷积神经网络中学习和训练,最后通过分类器对图像的的种类进行划分,得到每个数据分类概率的结果.与之前的C3D网络相比我们增加了网络的深度,优化了网络结构,并通过实验验证了改进的有效性.     

基于属性敏感卷积神经网络的行人属性分类

针对行人属性分类受行人属性不均衡影响的问题,提出了一种基于属性敏感卷积神经网络的行人属性分类方法.首先调整现有的卷积神经网络结构,通过融合正反通道激活模块的使用,使模型能够感知更加详细的行人属性;其次引入属性不均衡损失函数,根据属性的不均衡比例自适应更新网络权重,利用误差的反向传播对少类属性增加其权值,提升模型对少类属性的敏感;最后在PETA数据集上,对54个属性进行了分类试验.结果表明:相比MLCNN等方法,新方法在36分类任务上取得了提升;在平均准确度、平均召回率和平均AUC上,分别提升2.13%,2.38%和1.19%.     

基于多尺度3D卷积神经网络的行为识别方法

近年来卷积神经网络(convolutional neural network,CNN)在行为识别任务中取得了较大的进展.然而,现有的神经网络方法往往只注重高层语义信息的利用,对浅层特征信息挖掘利用不够.针对这一问题,提出一种基于3D卷积(convolution 3D,C3D)的多尺度3D卷积神经网络的行为识别方法.该方法受到特征金字塔结构的启发,在原C3D的基础上融合C3D的浅层特征信息,实现端到端的行为识别.同时该方法以现有的深度学习理论为基础,利用迁移学习的思想,将C3D和该方法中相同模块部分的参数迁移到本方法中,以降低模型的训练时间.通过在UCF101数据集上进行实验,实验结果表明,提出行为识别方法的分类精度达到84.56％,分类效果优于原C3D分类网络.     

基于3D卷积神经网络的IR-BCI脑电视频解码研究

采用3D卷积神经网络模型,对脑电信号进行解码研究,旨在挖掘其深层的特征表达,以提高脑-机接口系统的性能.实验在获取"模拟阅读"脑-机接口系统的多维脑电信号后,将原始的通道特征构建成"脑电视频"的格式.其构造方法为:将通道按实际空间排布为二维矩阵,这样某时刻的多通道采样点在空间上形成一个"视频帧",这些空间信息在连续时间帧上的堆叠,形成"脑电视频".这种自然表达信息的方法,不仅包含大脑的空间分布信息,还反映了时间信息的关联,丰富了数据所包含的事件相关信息.借鉴图像领域特征学习的"局部感受野"和"权值共享"思想,搭建了自主学习脑电信号特征的3D卷积神经网络模型,将已打标签的脑电视频数据对模型进行训练,之后对测试集进行测试.与经典的卷积神经网络和传统的最佳单通道算法相比,分类正确率有了进一步的提高.实验表明,基于脑电视频的3D卷积神经网络能够更有效地学习脑电特征,改善了模拟阅读脑-机接口系统的性能.     

一种融合全局时空特征的CNNs动作识别方法

针对基于卷积神经网络(CNNs)的人体动作识别方法通常采用空域或时域局部特征的不足,提出一种融合人体动作全局时域和空间特征的双通道CNNs动作识别模型.空间通道对动作图像进行深度学习,采用多帧融合的方式提升准确率,全局时域通道对能量运动历史图(EMHI)进行深度学习,最后融合两个通道信息识别人体动作.利用现有的大型数据集进行预训练,以解决学习过程中训练样本不足问题.在UCF101数据集和该项目小样本数据集上进行实验,结果证明了该方法的有效性.     

面向细粒度分类的预测属性引导的注意力研究

细粒度图像分类任务比一般图像分类任务更具有挑战性,其通常需要对类间差异小、类内差异大的样本进行分类.现有细粒度分类方法主要依赖视觉特征进行分类,而人类可以根据文本描述等属性描述来辅助识别图像类别.该文提出了一种通过预测属性引导的通道注意力模块,该模块可以插入到任意的卷积神经网络中,从而让模型学习到更高级的特征表示.最后,该算法在CUB-200-2011数据集上测试,在使用Resnet-50、VGG-19、Bilinear-CNN作为主干网络训练时的精度分别达到87.1%、82.1%、85.5%,精度得到显著提升.     

基于深度卷积神经网络和深度视频的人体行为识别

传统人体行为识别基于人工设计特征方法涉及的环节多,具有时间开销大,算法难以整体调优的缺点。以深度视频为研究对象,构建了3维卷积深度神经网络自动学习人体行为的时空特征,使用Softmax分类器进行人体行为的分类识别。实验结果表明,提出的方法能够有效提取人体行为的潜在特征,不但在MSR-Action3D数据集上能够获得与当前最好方法一致的识别效果,在UTKinect-Action3D数据集也能够获得与基准项目相当的识别效果。本方法的优势是不需要人工提取特征,特征提取和分类识别构成一个端到端的完整闭环系统,方法更加简单。同时,研究方法也验证了深度卷积神经网络模型具有良好的泛化性能,使用MSR-Action3D数据集训练的模型直接应用于UTKinect-Action3D数据集上行为的分类识别,同样获得了良好的识别效果。     

基于DCNN的高分辨率遥感影像场景分类

针对传统场景分类方法不能准确地表达高分辨率遥感影像丰富的语义信息问题,提出了一种基于卷积神经网络的高分辨率影像场景分类方法.此方法大致分为3步:第1步,依据不同卷积窗口做卷积运算提取颜色,纹理和形状等低阶特征;第2步,利用池化层将这些低阶特征进行过滤,得到重要特征;第3步,重组提取出来的特征以形成高阶语义特征进行场景分类.在具体实验中利用三个不同尺寸的卷积核对数据集进行分类探究,并且使用了数据增广、正则化和Dropout等手段,提升模型对新样本的适应能力,很好地解决了过拟合问题.该方法在所进行的实验中表现良好,在WHU-RS19数据集上取得了88.47%的准确率,和传统的场景分类方法相比,显著提升了分类精度.     

基于CNN的矿井富水区电磁反演研究

针对传统卷积神经网络(CNN)在电磁反演中提取数据特征时冗余信息多,导致网络反演精度降低的问题,提出一种变步长卷积神经网络电磁反演方法,将输入数据拓展为一维行向量,在各层网络中交替使用不同步长的卷积核进行卷积运算提取数据特征,利用变步长卷积方式替代传统网络的池化层,完成对冗余信息的过滤和特征信息的选择,并通过小卷积核级联的方式增大网络感受野提高网络的非线性表达能力。通过二维时域有限差分法(2D-FDTD)对不同电磁参数的富水区模型进行正演计算,并根据计算得出的电场时域响应特征建立样本数据集;将变步长卷积神经网络应用于电磁反演研究,建立适用于富水区问题的变步长卷积神经网络电磁反演模型,并验证变步长卷积神经网络电磁反演方法的精度。结果表明：该方法对坐标位置的反演平均相对误差为2.85%,对相对介电常数的反演平均相对误差为6.07%,反演结果与实际模型吻合度较高。所提方法对提高矿井富水区电磁反演的精度和效率具有一定的理论参考价值。