基于聚类关联网络的群组行为识别

目前群组行为识别方法没有充分利用群组关联信息而导致群组识别精度无法有效提升,针对这个问题,提出了基于近邻传播算法（AP）的层次关联模块的深度神经网络模型,命名为聚类关联网络（CRN）。首先,利用卷积神经网络（CNN）提取场景特征,再利用区域特征聚集提取场景中的人物特征。然后,利用AP的层次关联网络模块提取群组关联信息。最后,利用长短期记忆网络（LSTM）融合个体特征序列与群组关联信息,并得到最终的群组识别结果。与多流卷积神经网络（MSCNN）方法相比,CRN方法在Volleyball数据集与Collective Activity数据集上的识别准确率分别提升了5.39与3.33个百分点。与置信度能量循环网络（CERN）方法相比,CRN方法在Volleyball数据集与Collective Activity数据集上的识别准确率分别提升了8.7与3.14个百分点。实验结果表明,CRN方法在群体行为识别任务中拥有更高的识别准确精度。     

基于区域特征融合网络的群组行为识别

针对目前群组行为识别方法未充分利用场景空间信息和计算复杂度较高的问题,文中提出基于区域特征融合的群组行为识别方法.首先,利用卷积神经网络提取场景的区域特征.再将场景区域特征依据空间位置分离、排列、组合成一系列区域特征序列.最后,利用长短时记忆网络融合区域特征序列,同时综合多层次和多模态策略提升方法效果.在Collective、Volleyball数据集上的实验表明文中方法性能较优.     

基于注意力机制的群组行为识别方法

在基于视频图像的群组行为识别方法中,传统的深度学习方法大多使用标准（最大/平均）池化操作对卷积特征进行处理,并且未考虑群组行为中的关键人物对群组行为分类的重要性。针对以上问题,本文提出一种基于注意力机制的模型来检测群组行为视频中的行为,重点关注活动中的关键人物,根据注意力权重的不同分配动态地对卷积特征进行池化,最终正确识别视频图像中的群组行为。此模型在群组行为数据集CAD（Collective activity dataset）和CAE（Collective activity extended dataset）上的识别准确率优于许多使用标准池化结构的现有模型。     

场景关系图学习的群组行为识别

为解决群组行为识别中复杂个体关系描述不准确，造成的个体关系推理不可靠的问题，关注于面向个体、群体、场景三个方面来构建场景关系图，提出场景关系图网络用于实现群组行为识别。该网络包括特征提取模块、场景关系图推理模块以及分类模块。特征提取模块通过卷积神经网络提取个体特征、群组特征、和场景特征。为了充分描述场景对于个体和群组描述的影响，场景关系图推理模块通过使用两分支网络分别建立个体—场景关系图以及群组—场景关系图帮助学习个体特征和群组特征。场景关系图推理同时考虑了个体特征对群组特征的影响，并引入了跨分支关系。分类模块用于将个体特征和群体特征进行分类预测。实验结果显示该方法在volleyball和collective activity数据集上的群组识别准确率分别提升了1.1%和0.5%,证实了提出的场景关系图在描述个体特征和群组特征上的有效性。     

基于双向门控尺度特征融合的遥感场景分类

针对遥感影像数据集的图像在形状、纹理和颜色上存在较大差别,以及因拍摄高度和角度不同存在的尺度差异导致遥感场景分类精度不高的问题,提出利用主动旋转聚合来融合不同尺度的特征,并通过双向门控提高底层特征与顶层特征互补性的特征融合补偿卷积神经网络（FAC-CNN）。该网络利用图像金字塔为原始图像生成不同尺度图像后将其输入到分支网络中来提取多尺度特征,并提出主动旋转聚合的方式来融合不同尺度的特征,使融合后的特征具有方向信息,从而提高模型对不同尺度输入以及不同旋转输入的泛化能力,实现模型分类精度的提升。FAC-CNN比基于VGGNet的注意循环卷积网络（ARCNet-VGGNet）和门控双向网络（GBNet）在西北工业大学遥感场景图像分类数据集（NWPU-RESISC）上准确率分别提升了2.05个百分点与2.69个百分点,在航空影像数据集（AID）上准确率分别提升了3.24个百分点与0.86个百分点。实验结果表明,FAC-CNN能有效解决遥感影像数据集存在的问题,提高遥感场景分类的精度。     

基于分块注意力机制和交互位置关系的群组活动识别

复杂场景下的群体活动识别是一项具有挑战性的任务,它涉及一组人在场景中的相互作用和相对空间位置关系。针对当前复杂场景下群组行为识别方法缺乏精细化设计以及没有充分利用个体间交互式特征的问题,提出了基于分块注意力机制和交互位置关系的网络框架,进一步考虑个体肢体语义特征,同时挖掘个体间交互特征相似性与行为一致性的关系。首先,采用原始视频序列和光流图像序列作为网络的输入,并引入一种分块注意力模块来细化个体的肢体运动特征;然后,将空间位置和交互式距离作为个体的交互特征;最后,将个体运动特征和空间位置关系特征融合为群体场景无向图的节点特征,并利用图卷积网络（GCN）进一步捕获全局场景下的活动交互,从而识别群体活动。实验结果表明,此框架在两个群组行为识别数据集（CAD和CAE）上分别取得了92.8%和97.7%的识别准确率,在CAD数据集上与成员关系图（ARG）和置信度能量循环网络（CERN）相比识别准确率分别提高了1.8个百分点和5.6个百分点,同时结合消融实验结果验证了所提算法有较高的识别精度。     

低小慢无人机降落野外场景识别方法

针对低小慢无人机野外飞行场景复杂自主降落场景识别问题,提出了一种融合局部金字塔特征和卷积神经网络学习特征的野外场景识别算法。首先,将场景分为4×4和8×8块的小场景,使用方向梯度直方图（HOG）算法提取所有块的场景特征,所有特征首尾连接得到具有空间金字塔特性的特征向量。其次,设计一个针对场景分类的深度卷积神经网络,采用调优训练方法得到卷积神经网络模型,并提取深度网络学习特征。最后,连接两个特征得到最终场景特征,并使用支持向量机（SVM）分类器进行分类。所提算法在Sports-8、Scene-15、Indoor-67以及自建数据集上较传统手工特征方法的识别准确率提高了4个百分点以上。实验结果表明,所提算法能有效提升降落场景识别准确率。     

结合目标检测的室内场景识别方法

在目标检测网络（ObjectNet）和场景识别网络相结合的方法中，由于ObjectNet提取的目标特征和场景网络提取的场景特征的维度和性质不一致，且目标特征中存在影响场景判断的冗余信息，导致场景识别的准确率低。针对这个问题，提出一种改进的结合目标检测的室内场景识别方法。首先，在ObjectNet中引入类转换矩阵（CCM），将ObjectNet输出的目标特征进行转化，使得目标特征的维度与场景特征的维度相一致，以此减少特征维度不一致带来的信息丢失；然后采用上下文门控（CG）机制对特征中的冗余信息进行抑制，从而降低不相关信息的权重，提高了目标特征在场景识别中的作用。该方法在MIT Indoor67数据集上的识别准确率达到90.28%，与维护空间布局的对象语义特征（SOSF）方法相比识别准确率提高了0.77个百分点；其在SUN397数据集上识别准确率达到81.15%，与交替专家层次结构（HoAS）方法相比识别准确率提高了1.49个百分点。实验结果表明，所提方法提高了室内场景识别的准确率。     

基于多尺度卷积的船舶行为识别方法

针对复杂海洋环境下人工监管船舶行为效率低的问题,提出了一种基于多尺度卷积神经网络的船舶行为识别方法。首先,从船舶自动识别系统（AIS）中获取海量船舶行驶数据,并提取出具有判别力的船舶行为轨迹;然后,根据轨迹数据的特性,利用多尺度卷积设计并实现了针对船舶轨迹数据的行为识别网络,并且使用特征通道加权以及长短时记忆网络（LSTM）来提高算法的准确率。在船舶行为数据集上的实验结果表明,对于指定长度的船舶轨迹,所提识别网络能够达到92.1%的识别准确率,相较于传统的卷积神经网络提高了5.9个百分点,并且在稳定性以及收敛速度上都有明显提升。该方法能够有效地提高船舶行为的识别精度,为海洋监管部门提供高效的技术支持。     

结合多尺度特征与掩码图网络的小样本学习

对样本所含信息的提取能力决定网络模型进行小样本分类的效果,为了进一步提高模型挖掘信息的能力,提出一种结合多尺度特征与掩码图网络的小样本学习方法。设计由1×1卷积、全局平均池化和跳跃连接组成的最小残差神经网络块,与卷积块拼接成特征提取器,以提取样本不同尺度的特征,并通过注意力机制将不同尺度特征融合;使用融合的多尺度特征构建包含结点与边特征的图神经网络,并在其中加入一个元学习器（meta-learner）用于生成边的掩码,通过筛选边特征来指导图结点聚类与更新,进一步强化样本特征;通过特征贡献度和互斥损失改进类在嵌入空间表达特征的求解过程,提升模型度量学习能力。在MiniImagenet数据集上,该方法1-shot准确率为61.4%,5-shot准确率为78.6%,分别超过传统度量学习方法12.0个百分点与10.4个百分点;在Cifar-100数据集上分别提升9.7个百分点和6.0个百分点。该方法有效提升了小样本学习场景下的模型分类准确率。     

基于深度卷积神经网络的图像检索算法研究

为解决卷积神经网络在提取图像特征时所造成的特征信息损失,提高图像检索的准确率,提出了一种基于改进卷积神经网络LeNet-L的图像检索算法。首先,改进LeNet-5卷积神经网络结构,增加网络结构深度。然后,对深度卷积神经网络模型LeNet-L进行预训练,得到训练好的网络模型,进而提取出图像高层语义特征。最后,通过距离函数比较待检图像与图像库的相似度,得出相似图像。在Corel数据集上,与原模型以及传统的SVM主动学习图像检索方法相比,该图像检索方法有较高的准确性。经实验结果表明,改进后的卷积神经网络具有更好的检索效果。     

CGGA:一种CNN与并行门控机制混合的文本分类模型

针对中文文本分类准确率低、单一的卷积神经网络模型难以提取多方面特征的问题,本文提出一种基于CNN的并行门控机制的混合文本分类模型——CGGA(Convolutional Neural Network with parallel gating unit and attention mechanism).利用卷积提取文本的局部特征,并加入双向门控循环单元对数据进行上下文数据建模,提取关系特征,同时,引入门控Tanh-ReLU单元进行进一步的特征筛选,从而控制信息向下层流动的力度,并且减轻梯度弥散,提高模型分类准确率.最后,使用多头注意力机制进行权重更新计算,以提高在相应文本类别上的输出,进而优化模型分类性能.实验结果显示,本文提出的文本分类模型和分类算法,在THUCNews数据集和搜狐数据集上,比基线模型的宏平均精确率分别提高了2.24%、6.78%.     

改进LeNet-5网络在图像分类中的应用

LeNet-5卷积神经网络（CNN）虽然在手写数字识别上取得很好的分类效果,但在具有复杂纹理特征的数据集上分类精度不高。为提高网络在复杂纹理特征图像上分类的正确率,提出一种改进的LeNet-5网络结构。引入跨连思想,充分利用网络提取的低层次特征;把Inception V1模块嵌入LeNet-5卷积神经网络,提取图像的多尺度特征;输出层使用softmax函数对图像进行分类。在Cifar-10和Fashion MNIST数据集上进行的实验结果表明,改进的卷积神经网络在复杂纹理特征数据集上具有很好的分类能力。     

基于双流非局部残差网络的行为识别方法

针对传统卷积神经网络（CNN）对人体行为动作仅能提取局部特征易导致相似行为动作识别准确率不高的问题,提出了一种基于双流非局部残差网络（NL-ResNet）的行为识别方法。首先提取视频的RGB帧和密集光流图,分别作为空间流和时间流网络的输入,并通过角落裁剪和多尺度相结合的预处理方法进行数据增强;其次分别利用残差网络的残差块提取视频的局部表观特征和运动特征,再通过在残差块之后接入的非局部CNN模块提取视频的全局信息,实现网络局部特征和全局特征的交叉提取;最后将两个分支网络分别通过A-softmax损失函数进行更精细的分类,并输出加权融合后的识别结果。该方法能充分利用局部和全局特征提高模型的表征能力。在UCF101数据集上,NL-ResNet取得了93.5%的识别精度,与原始双流网络相比提高了5.5个百分点。实验结果表明,所提模型能更好地提取行为特征,有效提高行为识别的准确率。     

改进的Libra区域卷积神经网络的脑动脉狭窄影像学检测算法

针对断层面上血管的多形性和检测过程中出现的采样不均衡的问题,提出一种改进的Libra区域卷积神经网络（R-CNN）的脑动脉狭窄影像学检测算法,用于检测计算机断层扫描血管造影（CTA）图像的颈内动脉和椎动脉狭窄。首先,在目标检测网络Libra R-CNN中以ResNet50为骨干网络,并分别在骨干网络的3、4、5阶段引入可变卷积网络（DCN）,通过学习偏移量提取血管在不同断层面的形态特征;然后,将从骨干网络中提取的特征图输入至引入非局部神经网络（Non-local NN）的平衡特征金字塔（BFP）中进行更深度的特征融合;最后,将融合后的特征图输入至级联检测器,并通过提高交并比（IoU）阈值优化最终检测结果。实验结果表明,改进的Libra R-CNN检测算法相比Libra R-CNN算法,在脑动脉CTA数据集中平均准确率（AP）、AP₅₀、AP₇₅和AP_S分别提升了4.3、1.3、6.9和4.0个百分点;在公开的结肠息肉CT数据集中,AP、AP₅₀、AP₇₅和AP_S分别提升了6.6、3.6、13.0和6.4个百分点。通过在Libra R-CNN的骨干网络中加入DCN、Non-local NN和级联检测器,进一步融合特征从而学习脑动脉血管结构的语义信息,使得狭窄区域检测结果更精确,且改进算法在不同的检测任务中具有泛化能力。     

基于超列注意力机制的京剧人物识别

为了克服京剧人物视觉特征提取的难点及满足京剧人物实时识别的需求,提出基于超列注意力机制的卷积神经网络（HCA-CNN）来实现面向京剧人物的细粒度特征提取和识别。该网络中用于关键区域定位的注意力机制借鉴了用于图像分割和细粒度定位的超列（HyperColumn）特征思想,通过超列集基于像素点的形式串联主干分类网络来形成多层叠加特征,从而更好地兼顾早期浅层空间特征与后期深度类别语义特征,并提高定位任务与主干网络分类任务的准确度。同时,该网络的主干网络采用轻量级的MobileNetV2,从而更好地满足视频应用场景下的实时性要求。此外,还创建了京剧人物（BJOR）数据集,并在此数据集上进行了相关消融实验。实验结果显示,HCA-CNN与传统细粒度循环注意力网络（RA-CNN）相比,除了在准确率（Accuracy）指标上提高了0.63个百分点以外,其内存使用量（Memory Usage）、参数量（Params）分别减少了162.84 MB、131.5 MB,乘加次数（Mult-Adds）、每秒浮点运算次数（FLOPs）分别减少了39 885×10⁶、51 886×10⁶。可见,针对京剧人物视觉特征提出的HCA-CNN能有效提高京剧人物识别的准确率和效率,满足实际应用的需求。     

基于深度可分卷积神经网络的实时人脸表情和性别分类

针对目前普通卷积神经网络（CNN）在表情和性别识别任务中出现的训练过程复杂、耗时过长、实时性差等问题,提出一种深度可分卷积神经网络的实时人脸表情和性别识别模型。首先,利用多任务级联卷积网络（MTCNN）对不同尺度输入图像进行人脸检测,并利用核相关滤波（KCF）对检测到的人脸位置进行跟踪进而提高检测速度。然后,设置不同尺度卷积核的瓶颈层,用通道合并的特征融合方式形成核卷积单元,以具有残差块和可分卷积单元的深度可分卷积神经网络提取多样化特征,并减少参数数量,轻量化模型结构;使用实时启用的反向传播可视化来揭示权重动态的变化并评估了学习的特征。最后,将表情识别和性别识别两个网络并联融合,实现表情和性别的实时识别。实验结果表明,所提出的网络模型在FER-2013数据集上取得73.8%的识别率,在CK+数据集上的识别率达到96%,在IMDB数据集中性别分类的准确率达到96%;模型的整体处理帧率达到80 frame/s,与结合支持向量机的全连接卷积神经网络方法所得结果相比,有着1.5倍的提升。因此针对数量、分辨率、大小等差异较大的数据集,该网络模型检测快,训练时间短,特征提取简单,具有较高的识别率和实时性。     

基于注意力机制网络的航运监控图像识别模型

针对已有的航运监控图像识别模型C3D里中级表征学习能力有限,有效特征的提取容易受到噪声的干扰,且特征的提取忽视了整体特征与局部特征之间关系的问题,提出了一种新的基于注意力机制网络的航运监控图像识别模型。该模型基于卷积神经网络（CNN）框架,首先,通过特征提取器提取图像的浅层次特征;然后,基于CNN对不同区域激活特征的不同响应强度,生成注意力信息并实现对局部判别性特征的提取;最后,使用多分支的CNN结构融合局部判别性特征和图像全局纹理特征,从而利用局部判别性特征和图像全局纹理特征的交互关系提升CNN学习中级表征的能力。实验结果表明,所提出的模型在航运图像数据集上的识别准确率达到91.8%,相较于目前的C3D模型提高了7.2个百分点,相较于判别滤波器组卷积神经网络（DFL-CNN）模型提高了0.6个百分点。可见所提模型能够准确判断船舶的状态,可以有效应用于航运监控项目。