基于2D CNN和Transformer的人体动作识别

人体动作识别是计算机视觉领域的研究热点之一,在人机交互、视频监控等方面具有深远的理论研究意义。为了解决2D CNN无法有效获取时间关系等问题,利用Transformer在建模长期依赖关系上的优势,引入Transformer架构并将其与2D CNN相结合用于人体动作识别,以更好地捕获上下文时间信息。首先使用融合通道-空间注意力模块的2D CNN提取强化的帧内空间特征,其次利用Transformer捕捉帧间的时间特征,最后应用MLP Head进行动作分类。实验结果表明在HMDB-51数据集和UCF-101数据集上分别达到了69.4%和95.5%的识别准确度。     

宽卷积局部特征扩展的 Transformer 网络故障诊断模型

视觉Transformer网络的高精度诊断性能依赖于充分的训练数据,利用卷积网络在提取局部特征上的优势,构造能同时描述故障局部和全局特征的提取层,提高诊断模型的抗噪声干扰能力。首先,引入卷积网络模块将原始振动信号转换为Transformer网络可以直接接收的特征向量,提取故障局部特征,并通过增加卷积网络的感受野。然后,结合Transformer网络多头自注意力机制生成的全局信息,构建能同时描述故障局部和全局特征的特征向量。最后,在Transformer网络的预测层,利用高效通道注意力机制对特征向量的贡献度进行自动筛选。在西储大学(CWRU)轴承数据集上的故障诊断结果表明,在信噪比-4 dB的噪声干扰下,改进后的Transformer网络轴承故障诊断模型的准确率达90.21%,与原始Transformer模型相比,准确率提高了13.2%,在噪声环境下表现出优异的诊断性能。     

基于MSTAGNN模型的可解释海上风电场多风机出力预测

现有海上风电场出力预测研究对复杂时空关系考虑不足,且多为“黑盒”模型,缺乏可解释能力。为充分挖掘时空关联并实现模型可解释,提出一种基于多重时空注意力图神经网络(MSTAGNN)的海上风电场出力预测模型。首先,构建了一种考虑空间关联的海上风电场图拓扑,并引入空间注意力机制实现图拓扑的动态变化;其次,分别利用图卷积网络和时间门控卷积网络有效提取空间和时间特征;接着,对所提模型引入多维多头注意力机制,使其获得多重可解释能力;最后,基于中国东海大桥风电场真实数据进行仿真验证。结果表明,所提模型相比传统预测模型具有更高的预测精度,同时在空间、特征、时间多个维度具有合理的可解释性。     

基于分割注意力的特征融合 CNN-Bi-LSTM 人体行为识别算法

针对传统人体行为识别算法不能有效抑制空间背景信息,网络间缺乏信息交互,以及无法对全局时间相关性进行建模的问题,提出一种基于分割注意力的特征融合卷积神经网络-双向长短时记忆网络(CNN-Bi-LSTM)人体行为识别算法。首先以一定采样率采样30帧图像,通过分割注意力网络提取图像的深度特征,并引入特征融合机制增强不同卷积层间的信息交互;然后将深度特征输入到Bi-LSTM网络对人体动作的长时时间信息建模,最后使用Softmax分类器对识别结果进行分类。相较于传统双流卷积网络,该算法在UCF101和HMDB51数据集上的准确率分别提高了6.6%和10.2%,有效提高了识别准确率。     

基于时空注意力卷积模型的超短期风电功率预测

随着风电利用率的不断提高,风电输出功率的准确预测对电力系统的调度和稳定运行具有重要意义。然而,风力发电的随机性和波动性容易影响功率预测结果的准确性。该文提出一种基于时空相关性的风电功率预测方法,由时空注意力模块和时空卷积模块组成。首先,利用空间注意力层和时间注意力层对不同风机之间的时空相关性进行聚合提取。其次,通过空间卷积层和时间卷积层有效捕捉风电数据之间的空间特征和时间演变规律。最后,采用中国两处实际风电场运行数据对预测方法进行实验验证。结果表明,相比于传统预测方法,时空注意力和时空卷积的融合使该文所提出的预测方法具有较高的预测精度和较好的稳定性。     

基于MGAT-TCN模型的可解释电网虚假数据注入攻击检测方法

新型电力系统背景下,快速、准确的虚假数据注入攻击(FDIA)检测对电网安全运行至关重要。但现有深度学习方法未能充分挖掘电网量测数据的时序和空间特征信息,影响了模型的检测性能;同时,深度神经网络的“黑盒”属性降低了检测模型的可解释性,导致检测结果缺乏可信度。针对上述问题,提出了一种基于多头图注意力网络和时间卷积网络(MGAT-TCN)模型的可解释电网FDIA检测方法。首先,考虑电网拓扑连接关系与量测数据的空间相关性,引入空间拓扑感知注意力机制,建立多头图注意力网络(MGAT)提取量测数据的空间特征;接着,利用时间卷积网络(TCN)并行提取量测数据的时序特征;最后,在IEEE 14节点系统和IEEE 39节点系统中对所提MGAT-TCN模型进行仿真验证。结果表明,所提模型相比于现有检测模型具有更高的检测准确率和效率,且通过拓扑热力图对注意力权值可视化,实现了模型在空间维度的可解释性。     

无人化起重装卸的目标物实例分割模型研究

不确定目标物自动识别是研发无人化智能起重装卸系统的关键，目前有效的技术是基于深度学习的实例分割。设计了一个融合CNN和Transformer的异构特征信息的模块，以解决当前实例分割主干网络存在的提取图像全局上下文特征信息的能力有限、卷积算子难以对感受野的长程相关性进行建模、以及识别纹理特征单一目标时缺乏足够的深度线索等问题。通过利用Transformer建模全局依赖关系，并与CNN提取局部信息的能力相融合；然后通过引入Dense RepPoints检测网络构建了针对不确定目标物的实例分割网络，实现准确分割且能分割其不同表面。应用实验结果表明本方法具有达到很好的实例分割效果，AP达到9882%、mIoU达到9189%，分别比目前同类的研究成果提升了495%和542%。     

基于深度混合注意力网络的窃电检测

窃电检测旨在识别和检测非法或未经授权的电力使用行为。在智能电网技术高速发展的背景下,如何实现准确的窃电行为检测,是学术界和工业界广泛关注的一个重要问题。针对已有方法依赖人工特征设计以及低层特征提取能力不足的问题,提出了一种基于深度混合注意力网络的窃电检测方法,将通道注意力和自相关注意力机制相结合,在不同层次和空间范围内捕捉数据中的时间依赖性和周期性等复杂特征。所提模型在低层使用通道注意力网络来增强低层特征的表达能力,在中间层使用自相关注意力来捕捉全局上下文信息,并利用自监督方法来学习注意力参数,从而提取出更具表达力和判别力的特征表示。在中国国家电网数据集上进行实验所获得的结果表明,所提出的方法在AUC以及F1等性能指标上取得了更好的效果。     

基于CBAM-CNN的电力系统暂态电压稳定评估

为进一步提高电力系统暂态电压稳定评估模型的特征提取能力和模型在系统拓扑结构发生变化时的适应性,提出一种将改进的卷积神经网络与迁移学习相结合的方法。首先,在卷积神经网络的卷积层后插入卷积块注意力模块,对输入的数据从通道和空间两个独立的维度依次提取特征,提高卷积神经网络对系统暂态电压状态的识别能力。然后,将该模块与微调技术相结合,提高模型在系统拓扑结构改变时的在线更新速度。最后,算例分析验证了所提模型的有效性。     

基于动态自适应图神经网络的电动汽车充电负荷预测

电动汽车充电站负荷波动的不确定性与长时间预测任务给提升充电负荷预测精度带来巨大的挑战。文中提出一种基于动态自适应图神经网络的电动汽车充电负荷预测算法。首先,构建了一个充电负荷信息时空关联特征提取层,将多头注意力机制与自适应相关图结合生成具有时空关联性的综合特征表达式,以捕获充电站负荷的波动性;然后,将提取的特征输入到时空卷积层,捕获时间和空间之间的耦合关系;最后,通过切比雪夫多项式图卷积与多尺度时间卷积提升模型耦合长时间序列之间的能力。以Palo Alto数据集为例,与现有方法相比,所提算法在4种波动情况下的平均预测误差大幅降低。     

基于图卷积网络改进的人体动作识别模型

针对双流自适应图卷积动作识别网络2S-AGCN模型忽略了人体动作识别中特征的长距离信息以及通道之间的依赖的缺点，设计了一种双重注意力机制对2S-AGCN模型的图卷积模块进行改进，实现精度的提升。双重注意力机制包含了空间注意力机制以及通道注意力机制，其中空间注意力机制有选择性地聚集上下文，通道注意力机制分为两个并行的模块，第1部分提高了特征的可辨性，第2部分在捕获特征远程依赖的同时，保留了精准的位置信息。结果表明，以双流自适应图卷积动作识别网络2S-AGCN模型为基础网络，融入了双重注意力机制模块的模型在Kinetics数据集上的Top-1和Top-5分别提升了0.6%和1.3%,在NTURGB+D120数据集的CS和CV上的Top-1分别提升了1.2%和0.5%,在NTURGB+D数据集的CS和CV上的Top-1分别提了0.2%和0.1%。     

基于深层图卷积的EEG情绪识别方法研究

针对浅层图卷积提取的局部脑区空间关联信息对情感脑电表征不足的问题,本文提出了一种深层图卷积网络模型。该模型利用深层图卷积学习情绪脑电全局通道间的内在关系,在卷积传播过程中应用残差连接和权重自映射解决深层图卷积网络面临的节点特征收敛到固定空间无法学习到有效特征的问题,并在卷积层后加入PN正则化扩大不同情绪特征间的距离,提高情绪识别的性能。在SEED数据集上进行实验,与浅层图卷积网络相比准确率提高了0.7%,标准差下降了3.15。结果表明该模型提取的全局脑区空间关联信息对情绪识别的有效性。     

融合 CNN 和 Transformer 的机器人室内场景识别

为了提高机器人在复杂的室内环境中场景识别的准确率，本文提出一种融合卷积神经网络(convolutional neural network, CNN)和视觉Transformer结构的机器人室内场景识别模型。本文模型利用CNN提取场景局部特征，然后使用视觉Transformer结构捕捉特征中远距离依赖关系，其中提出的视觉Transformer结构包括3个部分，分别是特征编码结构(Attention Embedding)、Encoder结构和一个将高层语义特征转化成像素级特征的结构(Attention Project)。本文研究的机器人场景识别模型利用CNN提高视觉Transformer局部细节特征的描述能力，同时通过视觉Transformer帮助CNN构建远距离特征的依赖关系，从而能够有效的表征和利用机器人工作场景图像的视觉特征。最后，通过机器人在实际工作环境中采集的数据集和开源的COLD数据集进行实验，验证了本文研究模型的有效性，场景识别精度更高。     

注意力增强的视觉Transformer图像检索算法

基于深度哈希的图像检索方法往往利用卷积和池化技术去提取图像局部信息,并且需要不断加深网络层次来获得全局长依赖关系,这些方法一般具有较高的复杂度和计算量。本文提出了一种注意力增强的视觉Transformer图像检索算法,算法使用预训练的视觉Transformer作为基准模型,提升模型收敛速度,通过对骨干网络的改进和哈希函数的设计,实现了高效的图像检索。一方面,本文设计了一个注意力增强模块,来捕获输入特征图的局部显著信息和视觉细节,学习相应的权重以突出重要特征,并增强输入到Transformer编码器的图像特征的表征力。另一方面,为了提高图像检索的效率,设计了一种对比哈希损失函数,生成具有判别力的二进制哈希码,从而降低了内存需求与计算复杂度。在CIFAR-10和NUS-WIDE数据集上的实验结果表明,本文提出的方法,在两个不同数据集上使用不同哈希码长度的平均精度均值达到了96.8%和86.8%,性能超过多种经典的深度哈希算法和其他两种基于Transformer架构的图像检索算法。     

高光谱图像去噪的稀疏空谱Transformer模型

现阶段Transformer模型的应用提升了高光谱图像去噪的性能,但原始Transformer模型对图像空间-光谱耦合关联性的利用仍存在不足;对空间特征的处理存在过于平滑,容易丢失小尺度结构的现象;同时在光谱维度上也过于关注全部通道特征,缺乏对不同光谱波段间差异性的利用;为了应对这些问题,本文提出了一种新的稀疏空谱Transformer模型,提升了对空谱耦合关联性的利用。在空间维度,引入局部增强模块增强空间特征细节,应对过平滑问题;同时在光谱维度上提出了Top-k稀疏自注意力机制,自适应选择前K个最相关的光谱通道特征进行特征交互,从而能够有效捕获空谱特征。最终通过稀疏空谱Transformer的层级残差连接实现高光谱图像的去噪。在ICVL数据集上分别对高斯噪声和复杂噪声进行去噪处理,峰值信噪比分别达到40.56 dB和40.19 dB,证明了本文提出的稀疏空谱Transformer模型优越的性能。     

基于多层注意力机制的4DC-BGRU脑电情感识别

为了提高脑电情感识别的准确率，提取更丰富的特征信息，提升网络模型稳定性，提出一种改进的基于多层注意力机制的脑电情感识别模型。在特征提取方面，将原始脑电信号转换成四维空间 频谱 时间结构，提取丰富的脑电信息。在网络模型方面，构建双路卷积神经网络学习空间及频率信息，有效提取多尺度特征，增加网络宽度来学习更丰富的特征信息；在卷积层及池化层后融入批量归一化层，防止过拟合。最后，构建多层注意力机制 双向门控循环单元模块处理时间特征并配合Softmax分类。采用双向门控循环单元学习更全面的上下级特征信息。利用多层注意力机制使四维特征中不同时间切片与整体时间切片之间产生关联。该文在DEAP数据集唤醒度和效价两个维度进行了评估实验，二分类平均准确率分别为96.38%和96.73%，四分类平均准确率为93.78%。实验结果显示，与单路卷积神经网络及其他文献算法相比，该文算法的平均准确率有所提高，表明该算法可以有效提升脑电情感识别性能。     

基于关键帧定位的人体异常行为识别

近年来,基于视频的人体异常行为识别算法取得了一定的研究成果,但由于监控视频中存储的数据量庞大且视频时间跨度较长,在进行长视频或多行人异常动作检测与识别时,现有的识别方法并不适用。为此,提出了一种基于关键帧定位的人体异常行为识别模型,首先,通过基于标准化流和注意力增强时空图卷积的关键帧定位网络学习正常帧的概率分布,筛选和提取出长视频中的异常帧（关键帧）序列,并将其作为后续网络模型的输入。然后,为了更好地捕捉人体姿势的运动特征和异常情况,提出一种融合注意力和增强残差的时空图卷积异常行为识别算法,将关键帧序列输入到该模型网络中以实现对监控视频中的人体异常行为的高效准确识别。使用公开数据集和自建数据集对该方法的有效性进行验证,实验结果表明,在公开数据集ShanghaiTech Campus上人体异常行为识别的TOP-1准确率达到82.86%,TOP-5准确率达到98.10%,该方法可以更好的完成监控视频中的人体异常行为识别。