基于聚类关联网络的群组行为识别

目前群组行为识别方法没有充分利用群组关联信息而导致群组识别精度无法有效提升，针对这个问题，提出了基于近邻传播算法（AP）的层次关联模块的深度神经网络模型，命名为聚类关联网络（CRN）。首先，利用卷积神经网络（CNN）提取场景特征，再利用区域特征聚集提取场景中的人物特征。然后，利用AP的层次关联网络模块提取群组关联信息。最后，利用长短期记忆网络（LSTM）融合个体特征序列与群组关联信息，并得到最终的群组识别结果。与多流卷积神经网络（MSCNN）方法相比，CRN方法在Volleyball数据集与Collective Activity数据集上的识别准确率分别提升了5.39与3.33个百分点。与置信度能量循环网络（CERN）方法相比，CRN方法在Volleyball数据集与Collective Activity数据集上的识别准确率分别提升了8.7与3.14个百分点。实验结果表明，CRN方法在群体行为识别任务中拥有更高的识别准确精度。     

基于区域特征融合网络的群组行为识别

针对目前群组行为识别方法未充分利用场景空间信息和计算复杂度较高的问题,文中提出基于区域特征融合的群组行为识别方法.首先,利用卷积神经网络提取场景的区域特征.再将场景区域特征依据空间位置分离、排列、组合成一系列区域特征序列.最后,利用长短时记忆网络融合区域特征序列,同时综合多层次和多模态策略提升方法效果.在Collective、Volleyball数据集上的实验表明文中方法性能较优.     

基于注意力机制的群组行为识别方法

在基于视频图像的群组行为识别方法中,传统的深度学习方法大多使用标准（最大/平均）池化操作对卷积特征进行处理,并且未考虑群组行为中的关键人物对群组行为分类的重要性。针对以上问题,本文提出一种基于注意力机制的模型来检测群组行为视频中的行为,重点关注活动中的关键人物,根据注意力权重的不同分配动态地对卷积特征进行池化,最终正确识别视频图像中的群组行为。此模型在群组行为数据集CAD（Collective activity dataset）和CAE（Collective activity extended dataset）上的识别准确率优于许多使用标准池化结构的现有模型。     

基于双向门控尺度特征融合的遥感场景分类

针对遥感影像数据集的图像在形状、纹理和颜色上存在较大差别,以及因拍摄高度和角度不同存在的尺度差异导致遥感场景分类精度不高的问题,提出利用主动旋转聚合来融合不同尺度的特征,并通过双向门控提高底层特征与顶层特征互补性的特征融合补偿卷积神经网络（FAC-CNN）。该网络利用图像金字塔为原始图像生成不同尺度图像后将其输入到分支网络中来提取多尺度特征,并提出主动旋转聚合的方式来融合不同尺度的特征,使融合后的特征具有方向信息,从而提高模型对不同尺度输入以及不同旋转输入的泛化能力,实现模型分类精度的提升。FAC-CNN比基于VGGNet的注意循环卷积网络（ARCNet-VGGNet）和门控双向网络（GBNet）在西北工业大学遥感场景图像分类数据集（NWPU-RESISC）上准确率分别提升了2.05个百分点与2.69个百分点,在航空影像数据集（AID）上准确率分别提升了3.24个百分点与0.86个百分点。实验结果表明,FAC-CNN能有效解决遥感影像数据集存在的问题,提高遥感场景分类的精度。     

场景关系图学习的群组行为识别

为解决群组行为识别中复杂个体关系描述不准确，造成的个体关系推理不可靠的问题，关注于面向个体、群体、场景三个方面来构建场景关系图，提出场景关系图网络用于实现群组行为识别。该网络包括特征提取模块、场景关系图推理模块以及分类模块。特征提取模块通过卷积神经网络提取个体特征、群组特征、和场景特征。为了充分描述场景对于个体和群组描述的影响，场景关系图推理模块通过使用两分支网络分别建立个体—场景关系图以及群组—场景关系图帮助学习个体特征和群组特征。场景关系图推理同时考虑了个体特征对群组特征的影响，并引入了跨分支关系。分类模块用于将个体特征和群体特征进行分类预测。实验结果显示该方法在volleyball和collective activity数据集上的群组识别准确率分别提升了1.1%和0.5%,证实了提出的场景关系图在描述个体特征和群组特征上的有效性。     

基于分块注意力机制和交互位置关系的群组活动识别

复杂场景下的群体活动识别是一项具有挑战性的任务,它涉及一组人在场景中的相互作用和相对空间位置关系。针对当前复杂场景下群组行为识别方法缺乏精细化设计以及没有充分利用个体间交互式特征的问题,提出了基于分块注意力机制和交互位置关系的网络框架,进一步考虑个体肢体语义特征,同时挖掘个体间交互特征相似性与行为一致性的关系。首先,采用原始视频序列和光流图像序列作为网络的输入,并引入一种分块注意力模块来细化个体的肢体运动特征;然后,将空间位置和交互式距离作为个体的交互特征;最后,将个体运动特征和空间位置关系特征融合为群体场景无向图的节点特征,并利用图卷积网络（GCN）进一步捕获全局场景下的活动交互,从而识别群体活动。实验结果表明,此框架在两个群组行为识别数据集（CAD和CAE）上分别取得了92.8%和97.7%的识别准确率,在CAD数据集上与成员关系图（ARG）和置信度能量循环网络（CERN）相比识别准确率分别提高了1.8个百分点和5.6个百分点,同时结合消融实验结果验证了所提算法有较高的识别精度。     

低小慢无人机降落野外场景识别方法

针对低小慢无人机野外飞行场景复杂自主降落场景识别问题,提出了一种融合局部金字塔特征和卷积神经网络学习特征的野外场景识别算法。首先,将场景分为4×4和8×8块的小场景,使用方向梯度直方图（HOG）算法提取所有块的场景特征,所有特征首尾连接得到具有空间金字塔特性的特征向量。其次,设计一个针对场景分类的深度卷积神经网络,采用调优训练方法得到卷积神经网络模型,并提取深度网络学习特征。最后,连接两个特征得到最终场景特征,并使用支持向量机（SVM）分类器进行分类。所提算法在Sports-8、Scene-15、Indoor-67以及自建数据集上较传统手工特征方法的识别准确率提高了4个百分点以上。实验结果表明,所提算法能有效提升降落场景识别准确率。     

结合目标检测的室内场景识别方法

在目标检测网络（ObjectNet）和场景识别网络相结合的方法中，由于ObjectNet提取的目标特征和场景网络提取的场景特征的维度和性质不一致，且目标特征中存在影响场景判断的冗余信息，导致场景识别的准确率低。针对这个问题，提出一种改进的结合目标检测的室内场景识别方法。首先，在ObjectNet中引入类转换矩阵（CCM），将ObjectNet输出的目标特征进行转化，使得目标特征的维度与场景特征的维度相一致，以此减少特征维度不一致带来的信息丢失；然后采用上下文门控（CG）机制对特征中的冗余信息进行抑制，从而降低不相关信息的权重，提高了目标特征在场景识别中的作用。该方法在MIT Indoor67数据集上的识别准确率达到90.28%，与维护空间布局的对象语义特征（SOSF）方法相比识别准确率提高了0.77个百分点；其在SUN397数据集上识别准确率达到81.15%，与交替专家层次结构（HoAS）方法相比识别准确率提高了1.49个百分点。实验结果表明，所提方法提高了室内场景识别的准确率。     

基于多尺度卷积的船舶行为识别方法

针对复杂海洋环境下人工监管船舶行为效率低的问题,提出了一种基于多尺度卷积神经网络的船舶行为识别方法。首先,从船舶自动识别系统（AIS）中获取海量船舶行驶数据,并提取出具有判别力的船舶行为轨迹;然后,根据轨迹数据的特性,利用多尺度卷积设计并实现了针对船舶轨迹数据的行为识别网络,并且使用特征通道加权以及长短时记忆网络（LSTM）来提高算法的准确率。在船舶行为数据集上的实验结果表明,对于指定长度的船舶轨迹,所提识别网络能够达到92.1%的识别准确率,相较于传统的卷积神经网络提高了5.9个百分点,并且在稳定性以及收敛速度上都有明显提升。该方法能够有效地提高船舶行为的识别精度,为海洋监管部门提供高效的技术支持。     

结合多尺度特征与掩码图网络的小样本学习

对样本所含信息的提取能力决定网络模型进行小样本分类的效果,为了进一步提高模型挖掘信息的能力,提出一种结合多尺度特征与掩码图网络的小样本学习方法。设计由1×1卷积、全局平均池化和跳跃连接组成的最小残差神经网络块,与卷积块拼接成特征提取器,以提取样本不同尺度的特征,并通过注意力机制将不同尺度特征融合;使用融合的多尺度特征构建包含结点与边特征的图神经网络,并在其中加入一个元学习器（meta-learner）用于生成边的掩码,通过筛选边特征来指导图结点聚类与更新,进一步强化样本特征;通过特征贡献度和互斥损失改进类在嵌入空间表达特征的求解过程,提升模型度量学习能力。在MiniImagenet数据集上,该方法1-shot准确率为61.4%,5-shot准确率为78.6%,分别超过传统度量学习方法12.0个百分点与10.4个百分点;在Cifar-100数据集上分别提升9.7个百分点和6.0个百分点。该方法有效提升了小样本学习场景下的模型分类准确率。     

基于深度卷积神经网络的图像检索算法研究

为解决卷积神经网络在提取图像特征时所造成的特征信息损失,提高图像检索的准确率,提出了一种基于改进卷积神经网络LeNet-L的图像检索算法。首先,改进LeNet-5卷积神经网络结构,增加网络结构深度。然后,对深度卷积神经网络模型LeNet-L进行预训练,得到训练好的网络模型,进而提取出图像高层语义特征。最后,通过距离函数比较待检图像与图像库的相似度,得出相似图像。在Corel数据集上,与原模型以及传统的SVM主动学习图像检索方法相比,该图像检索方法有较高的准确性。经实验结果表明,改进后的卷积神经网络具有更好的检索效果。     

基于双流非局部残差网络的行为识别方法

针对传统卷积神经网络（CNN）对人体行为动作仅能提取局部特征易导致相似行为动作识别准确率不高的问题,提出了一种基于双流非局部残差网络（NL-ResNet）的行为识别方法。首先提取视频的RGB帧和密集光流图,分别作为空间流和时间流网络的输入,并通过角落裁剪和多尺度相结合的预处理方法进行数据增强;其次分别利用残差网络的残差块提取视频的局部表观特征和运动特征,再通过在残差块之后接入的非局部CNN模块提取视频的全局信息,实现网络局部特征和全局特征的交叉提取;最后将两个分支网络分别通过A-softmax损失函数进行更精细的分类,并输出加权融合后的识别结果。该方法能充分利用局部和全局特征提高模型的表征能力。在UCF101数据集上,NL-ResNet取得了93.5%的识别精度,与原始双流网络相比提高了5.5个百分点。实验结果表明,所提模型能更好地提取行为特征,有效提高行为识别的准确率。     

基于非对称卷积-压缩激发-次代残差网络的人脸关键点检测

级联深度卷积神经网络（DCNN）算法为首先在人脸关键点检测中使用卷积神经网络（CNN）的模型,CNN的使用使得检测精度得到极大的提升。针对该策略需要对相邻阶段间的数据反复进行回归处理使得算法流程十分复杂的问题,提出基于非对称卷积-压缩激发-次代残差网络（AC-SE-ResNeXt）的人脸关键点检测算法。所提算法仅使用单阶段回归,既避免了级联策略中多阶段回归的算法流程复杂性,又解决了相邻阶段间数据需要进行预处理的问题。为了不降低精度,在次代残差网络（ResNeXt）块的基础上添加了非对称卷积（AC）模块和压缩激发（SE）模块,构建了AC-SE-ResNeXt网络模型。同时,为了能够精确拟合在不同光照、姿态、表情等复杂环境下的人脸,将AC-SE-ResNeXt网络模型加深到101层。对训练好的模型分别在数据集BioID和LFPW上进行测试,其中该模型在BioID数据集上的人脸五点关键点检测的综合平均误差率为1.99%,在LFPW数据集上的人脸五点关键点检测的综合平均误差率为2.3%。实验结果表明,所改进的算法不但简化了算法流程使之能进行端到端处理,而且其精度与级联DCNN算法相当,鲁棒性也有明显提升。     

改进LeNet-5网络在图像分类中的应用

LeNet-5卷积神经网络（CNN）虽然在手写数字识别上取得很好的分类效果,但在具有复杂纹理特征的数据集上分类精度不高。为提高网络在复杂纹理特征图像上分类的正确率,提出一种改进的LeNet-5网络结构。引入跨连思想,充分利用网络提取的低层次特征;把Inception V1模块嵌入LeNet-5卷积神经网络,提取图像的多尺度特征;输出层使用softmax函数对图像进行分类。在Cifar-10和Fashion MNIST数据集上进行的实验结果表明,改进的卷积神经网络在复杂纹理特征数据集上具有很好的分类能力。     

改进的Libra区域卷积神经网络的脑动脉狭窄影像学检测算法

针对断层面上血管的多形性和检测过程中出现的采样不均衡的问题,提出一种改进的Libra区域卷积神经网络（R-CNN）的脑动脉狭窄影像学检测算法,用于检测计算机断层扫描血管造影（CTA）图像的颈内动脉和椎动脉狭窄。首先,在目标检测网络Libra R-CNN中以ResNet50为骨干网络,并分别在骨干网络的3、4、5阶段引入可变卷积网络（DCN）,通过学习偏移量提取血管在不同断层面的形态特征;然后,将从骨干网络中提取的特征图输入至引入非局部神经网络（Non-local NN）的平衡特征金字塔（BFP）中进行更深度的特征融合;最后,将融合后的特征图输入至级联检测器,并通过提高交并比（IoU）阈值优化最终检测结果。实验结果表明,改进的Libra R-CNN检测算法相比Libra R-CNN算法,在脑动脉CTA数据集中平均准确率（AP）、AP₅₀、AP₇₅和AP_S分别提升了4.3、1.3、6.9和4.0个百分点;在公开的结肠息肉CT数据集中,AP、AP₅₀、AP₇₅和AP_S分别提升了6.6、3.6、13.0和6.4个百分点。通过在Libra R-CNN的骨干网络中加入DCN、Non-local NN和级联检测器,进一步融合特征从而学习脑动脉血管结构的语义信息,使得狭窄区域检测结果更精确,且改进算法在不同的检测任务中具有泛化能力。     

基于迁移学习与多标签平滑策略的图像自动标注

针对图像标注数据集标签分布不平衡问题,提出了基于标签平滑策略的多标签平滑单元（MLSU）。MLSU在网络模型训练过程中自动平滑数据集中的高频标签,使网络适当提升了低频标签的输出值,从而提升了低频标注词的标注性能。为解决图像标注数据集样本数量不足造成网络过拟合的问题,提出了基于迁移学习的卷积神经网络（CNN）模型。首先利用互联网上的大型公共图像数据集对深度网络进行预训练,然后利用目标数据集对网络参数进行微调,构建了一个多标签平滑卷积神经网络模型（CNN-MLSU）。分别在Corel5K和IAPR TC-12图像标注数据集上进行实验,在Corel5K数据集上,CNN-MLSU较卷积神经网络回归方法（CNN-R）的平均准确率与平均召回率分别提升了5个百分点和8个百分点;在IAPR TC-12数据集上,CNN-MLSU较两场K最邻近模型（2PKNN_ML）的平均召回率提升了6个百分点。实验结果表明,基于迁移学习的CNN-MLSU方法能有效地预防网络过拟合,同时提升了低频词的标注效果。     

融合语法规则的双通道中文情感模型分析

针对使用中文文本进行情感分析时,忽略语法规会降低分类准确率的问题,提出一种融合语法规则的双通道中文情感分类模型CB_Rule。首先设计语法规则提取出情感倾向更加明确的信息,再利用卷积神经网络（CNN）的局部感知特点提取出语义特征;然后考虑到规则处理时可能忽略上下文的问题,使用双向长短时记忆（Bi-LSTM）网络提取包含上下文信息的全局特征,并对局部特征进行融合补充,从而完善CNN模型的情感特征倾向信息;最后将完善后的特征输入到分类器中进行情感倾向判定,完成中文情感模型的构建。在中文电商评论文本数据集上将所提模型与融合语法规则的Bi-LSTM中文情感分类方法R-Bi-LSTM以及融合句法规则和CNN的旅游评论情感分析模型SCNN进行对比,实验结果表明,所提模型在准确率上分别提高了3.7个百分点和0.6个百分点,说明CB_Rule模型具有很好的分类效果。     

基于注意力机制网络的航运监控图像识别模型

针对已有的航运监控图像识别模型C3D里中级表征学习能力有限,有效特征的提取容易受到噪声的干扰,且特征的提取忽视了整体特征与局部特征之间关系的问题,提出了一种新的基于注意力机制网络的航运监控图像识别模型。该模型基于卷积神经网络（CNN）框架,首先,通过特征提取器提取图像的浅层次特征;然后,基于CNN对不同区域激活特征的不同响应强度,生成注意力信息并实现对局部判别性特征的提取;最后,使用多分支的CNN结构融合局部判别性特征和图像全局纹理特征,从而利用局部判别性特征和图像全局纹理特征的交互关系提升CNN学习中级表征的能力。实验结果表明,所提出的模型在航运图像数据集上的识别准确率达到91.8%,相较于目前的C3D模型提高了7.2个百分点,相较于判别滤波器组卷积神经网络（DFL-CNN）模型提高了0.6个百分点。可见所提模型能够准确判断船舶的状态,可以有效应用于航运监控项目。