融合注意力与时域多尺度卷积的手势识别算法

针对基于深度学习的动态手势识别方法网络规模庞大、提取的时空特征尺度单一、有效特征的提取能力不足等问题,提出了一种深度网络框架。首先,使用时域多尺度信息融合的时空卷积模块改进3D残差网络结构,大幅度缩小网络规模,获得多种尺度的时空感受野特征;其次,引入一种全局信息同步的时空特征通道注意力机制,使用极少量参数构建特征图通道之间的全局依赖关系,使模型更加高效地获取动态手势的关键特征。在自建手势数据集SHC和公开手势数据集SKIG上的实验结果显示,提出的手势识别方法参数量更少且多尺度时空特征提取能力强,识别率高于目前的主流算法。     

融合注意力机制的多视图卷积手势识别研究

基于表面肌电信号（sEMG）的手势识别在人机交互中发挥着重要作用,然而,由于sEMG具有非线性和随机性,因此提升基于稀疏多通道sEMG的手势识别准确率难度较高。提出一种融合注意力机制的多视图卷积手势识别模型。首先使用200 ms滑动窗口提取经典的sEMG特征集构建多视图输入,其次利用高效通道注意力对多视图特征在通道维度进行加权,以强化有效特征同时弱化无效特征,最后通过多视图卷积从带有注意力权重的肌电特征中提取高层特征,利用高层特征融合模块对其进行融合以降低数据维度并提高模型鲁棒性。在NinaPro DB1、NinaPro DB5、NinaPro DB7 3个肌电公共数据集上进行训练和评估,结果表明,该模型在200 ms滑动采样窗口上的平均识别准确率分别为87.98%、94.97%和89.67%,整段手势动作的平均投票准确率分别为97.38%、98.41%和97.09%,平均信息传输率为1 308.71 bit/min。与传统机器学习方法和近年来前沿的深度学习手势识别方法相比,所提模型在单模态肌电和多模态手势识别上均具有更高的识别准确率,验证了其有效性和通用性。     

融合注意力机制的多流卷积肌电手势识别网络

针对目前表面肌电信号(surface electromyography,sEMG)端到端手势识别特征提取不充分、多手势识别准确率不高的问题,提出一种融合注意力机制的多流卷积肌电手势识别网络模型.该模型通过滑动窗口将多通道时域sEMG生成肌电子图,并使用多流卷积神经网络充分提取每个采集通道sEMG的语义特征,然后将其聚合得到丰富的多通道手势语义特征;同时从时间和特征通道维度上计算语义特征的注意力分布图,强化有用特征并弱化无用特征,进一步提高多手势识别准确率.实验使用Ninapro数据集进行训练和测试,并与主流的肌电手势识别模型进行对比.实验结果表明,该模型在识别准确率上具有更好的表现,证明了该模型的有效性.     

基于时空特征融合的交通警察手势识别

近年来,随着人体姿态估计技术的发展,基于骨架关键点的手势识别技术应运而生。提出了一个GCPMAGRU模型进行交通警察手势识别。为了更准确地定位人体关键点,对卷积姿态机（CPM）进行改进。在特征提取模块中加入残差思想、通道拆分和通道重组,设计后的特征提取模块更好提取图片特征;在CPM第一阶段加入并行多分支Inception4d结构,使CPM网络具有多尺度特征融合思想,有效改进对人体关键点定位的问题;提出基于注意力机制的GRU,通过为每帧分配不同权重来达到对每帧不同程度的关注,从而更好获取时间信息;结合时空特征信息进行交通警察手势识别。交通警察手势识别的准确度达到了93.7%,相比网络改进之前提高了2.95个百分点。     

基于深度神经网络的sEMG手势识别研究

为了提高表面肌电信号（sEMG）手势识别算法的准确性,并解决人为提取大量特征具有局限性的问题,提出了一种基于深度神经网络的手势识别方法。将MYO臂环采集到的8通道sEMG数据,采用活动段分割的方法探测到有效动作;设计出一种融合卷积神经网络（CNN）和长短时记忆（LSTM）网络的神经网络;实验的结果表明手势识别准确率为91.6%,验证了提出的方案高效可行。     

基于卷积神经网络的表面肌电信号手势识别

在当前科学技术快速发展的大背景下,通过应用卷积神经网络原理,能够将表面肌电信号的手势通过一维多通道的方式识别出来,避免在前期采用复杂的方法对表面信号进行预处理以及对信息采用手工提取方法所花费的时间.基于此,以右手为活动手,分析了握拳、向左、向右以及展拳4种手势时的表面肌电信号.将不同手势的肌电信号进行标记,生成信号长度不同的8通道信号训练集和测试集,并借助卷积神经网络的相关原理分析了卷积状态下的采样.借助相关研究后通过卷积神经网络的应用,能够实现卷积神经网络表面肌电信号的高效处理,从而实现对手势信号的识别,且识别率能够满足具体使用需求,因此其在实际工作中应用是有价值的.     

基于表面肌电和组织阻抗信息融合的手势识别研究

手势识别中的一种常见方式是通过表面肌电信号来实现。为提高手势识别的稳定性和精度, 通常需要采集多个通道的肌电信号,但这会增加电极传感器的数量以及识别系统的复杂度。因此,如 何利用较少量的通道采集信号并确保手势识别的性能一直是肌电信号应用到意图识别的研究方向之 一。该研究设计了一款便携式四通道肌电和阻抗双模信号采集器,在不增加额外传感器和通道数的情 况下,能同时采集肌电信号和差分电极对之间的组织阻抗信号。初步实验结果表明,通过该系统采集 的四通道融合信息可以提升手势识别的准确率和稳定性。与仅采集肌电信息相比,该研究采用的肌电 与阻抗信息融合方法可以将手势识别性能提升 3% 以上,达到 96.2% 的识别率。     

基于卷积注意力机制的运动想象脑电信号识别

针对多类别运动想象脑电信号识别精度不高的问题,提出了一种融合注意力模块的卷积神经网络模型。该模型利用注意力模块充分挖掘脑电信号的通道和空间特征,建立其与识别任务之间的重要程度关系,从而提高运动想象脑电信号的识别准确率。信号经过共空间模式提高信噪比,利用小波变换将信号转换成二维时频图,通过注意力模块中通道和空间两个维度进行特征的调整,以强化有用特征弱化无用特征,使卷积网络充分提取更高层次的抽象特征,并最终执行运动想象任务的识别。分别在BCI竞赛IV Datasets 2a和BCI竞赛III-IIIa数据集上进行了有效性评价,并与卷积神经网络以及其他算法进行了比较。实验结果表明,提出的方法可达到良好的准确率,能够有效提高脑电信号运动想象任务的识别准确率。     

多尺度局部特征增强Transformer道路裂缝检测模型

目的 道路裂缝是路面病害的早期征兆。定期监测路面状况、及时准确地发现路面裂缝对于交通养护机构降低成本、保证路面结构的可靠性和耐久性以及提高驾驶安全性、舒适性有重要意义。目前基于卷积神经网络的深度学习模型在长距离依赖建模方面存在不足,模型精度难以满足真实路面环境下的裂缝检测任务。一些模型通过引入空间/通道注意力机制进行长距离依赖建模,但是会导致计算量和计算复杂程度增加,无法实现实时检测。鉴于此,本文提出一种基于Transformer编码—解码结构的深度神经网络道路裂缝检测模型CTNet(crack transformer network)。方法 该模型主要由Transformer注意力模块、多尺度局部特征增强模块、上采样模块和跨越连接4部分构成。采用Transformer注意力机制能更有效提取全局和长距离依赖关系,克服传统卷积神经网络表征输入信息的短距离相关缺陷。同时,为适应裂缝尺寸变化多样性,将Transformer与多尺度局部特征增强模块相结合,从而有效整合不同尺度局部信息,克服Transformer局部特征建模不足。结果 通过与DeepCrack模型在不同裂缝检测数据集中的比较表明...     

基于卷积神经网络的表面肌电信号手势识别

运用卷积神经网络原理,实现一维多通道的表面肌电信号的手势识别,避免了复杂的前期表面信号的预处理,以及手工特征提取阶段。文中分别采集右手的握拳、向左、向右和展拳4种手势的表面肌电信号。然后将采集的四种不同手势的肌电信号进行切割与标记,生成不同信号长度的八通道信号的训练集与测试集,运用卷积神经网络的原理,分别对其进行卷积、下采样。经过试验研究发现,运用卷积神经网络处理一维多通道表面肌电信号,从而实现手势识别的算法是可行的,并且能够得到较高的识别率。     

基于残差门控循环卷积和注意力机制的端到端光学乐谱识别方法

光学乐谱识别对推动音乐智能化与数字化有着重大意义。传统的乐谱识别流程冗杂,易导致错误积累,但目前基于序列建模的乐谱识别方法不能从全尺度上获取音符上下文信息,在识别效果上仍有提升空间。为此,提出一种基于残差门控循环卷积和注意力机制的端到端光学乐谱识别方法。以残差门控循环卷积作为骨干网络,丰富模型提取上下文信息能力;结合一个注意力机制解码器,能更好地挖掘乐谱特征信息及其内部相关性,增强模型表征能力并对乐谱图像中的音符及音符序列进行识别。实验结果表明,改进后的网络与原卷积循环神经网络（CRNN）模型相比,符号错误率和序列错误率均显著下降。     

基于小波包的表面肌电信号特征表示与识别

为提高智能轮椅人机接口中表面肌电信号的正确识别率和识别效率,主要研究了基于小波包多尺度分解的特征表示及识别。把采集的表面肌电信号在指定尺度及核函数的同一组正交小波包基下进行分解,用小波包多尺度分解的系数构造表面肌电信号的特征基向量。考虑到多通道表面肌电信号可能存在特征信息冗余,为消除这些冗余信息,对多通道表面肌电信号的特征空间通过正交规范化进行重构,并且用重构特征向量的对偶坐标向量作为表面肌电信号的最终特征表示。用非线性自回归神经网络实现了双通道表面肌电信号四种不同动作模式的分类。实验结果表明,小波包多尺度分解系数的重构对偶坐标向量不仅可作为表面肌电信号的特征表示,并能有效简化分类器的结构。     

基于时移和片组注意力融合的双流行为识别网络

基于深度学习的行为识别算法往往由于复杂的网络设计而难以在实际应用中达到快速、准确的识别效果.针对以上情况,提出一种轻量型的基于时移和片组注意力融合的端到端双流神经网络模型.算法在RGB与光流分支网络中,采用时间稀疏分组随机采样策略实现长时程建模,利用时移模块在时间维度上置换部分通道从而结合邻帧信息来提升时序表征能力,同...     

融合多尺度自注意力机制的运动想象信号解析

基于运动想象脑电信号的脑机接口（BCI）技术近年来发展迅速,并且与传统方法相比,深度学习取得了具有竞争力的效果。然而如何设计和训练一个端到端网络来充分提取运动想象脑电信号的潜在特征仍然是一个挑战。从脑电的时间和空间特征出发,提出了一个基于注意力机制的多尺度时空自注意力网络模型用于运动想象脑电信号四分类（左手、右手、脚、舌头/休息）。由于运动想象脑电信号的幅值与响应时间因人而异,无法确切确定与运动想象最相关的大脑区域,在空间上使用自注意力机制自动将较高的权重加权到与运动相关的通道,将较低的权重加权到与运动无关的通道来选择最佳通道;在时间上,使用并行多尺度TCN层提取不同尺度下的时间域特征信息,消除时间域上的噪声。多尺度融合模块融合提取的空间和时间域特征,最后输入到特征分类模块进行分类。提出的模型在BCI竞赛数据集IV-2a、IV-2b数据集和HGD数据集上分别达到79.26%、85.90%和96.96%的精度。与现有方法相比,该方法在单被试分类中具有更高的准确率。结果表明,该方法具有较好的性能、鲁棒性和迁移学习能力。     

基于轻量级分组注意力模块的图像分类算法

针对图像分类任务中现有神经网络模型对分类对象特征表征能力不足,导致识别精度不高的问题,提出一种基于轻量级分组注意力模块（LGAM）的图像分类算法。该模块从输入特征图的通道和空间两个方向出发重构特征图：首先,将输入特征图沿通道方向进行分组并生成每个分组对应的通道注意力权重,同时采用阶梯型结构解决分组间信息不流通的问题;然后,基于各分组串联成的新特征图生成全局空间注意力权重,通过两种注意力权重加权得到重构特征图;最后,将重构特征图与输入特征图融合得到增强的特征图。以分类Top-1错误率作为评估指标,基于Cifar10和Cifar100数据集以及部分ImageNet2012数据集,对经LGAM增强之后的ResNet、Wide-ResNet、ResNeXt进行对比实验。实验结果表明,经LGAM增强之后的神经网络模型其Top-1错误率均低于增强之前1至2个百分点。因此LGAM能够提升现有神经网络模型的特征表征能力,从而提高图像分类的识别精度。     

三维循环密集卷积神经网络在视频手势识别的应用

手势识别是当前计算机视觉的一个重要研究课题,由于手势旋转,角度等因素的影响,视频手势识别仍是一项具有挑战性的任务。该文提出了一种基于三维密集卷积神经网络和门限循环单元的双通道手势识别算法,通过三维密集卷积神经网络获取手势的空间信息,使用门限循环单元学习视频中手势的时序信息,最后融合RGB图像和深度图像的深度学习模型特征以此对手势进行识别。在ISOGD数据集上的实验表明,该手势识别算法能够有效提高了视频手势识别的准确率。     

基于CNN和多注意力机制的XSS检测模型

为了解决普通深度学习模型存在的难以区分信息重要性差异,以及单一注意力机制存在的关注维度单一的问题,文中提出了一种基于卷积神经网络和多注意力机制的模型对XSS攻击进行检测。首先,将经过word2vec转换后的数据输入到卷积神经网络提取局部特征;然后,使用自注意力模块学习数据的长距离依赖关系,并加强模型对序列维度上重要特征的关注;接着,经过通道注意力模块从通道维度对不同的通道特征图加权;之后,将经注意力模块处理过的特征输入到池化层进行下采样处理,并使用Dropout层提高模型的泛化能力;最后,利用提取到的特征对样本进行分类。使用测试数据集对文中提出的模型进行实验,结果显示,该模型对XSS攻击的检测效果良好,准确率与F1值相比其他深度学习模型有一定程度提升。     

双通道卷积神经网络在静态手势识别中的应用

针对静态手势识别任务中,传统基于人工提取特征方法耗时耗力,识别率较低,现有卷积神经网络依赖单一卷积核提取特征不够充分的问题,提出双通道卷积神经网络模型。输入手势图片通过两个相互独立的通道进行特征提取,双通道具有尺度不同的卷积核,能够提取输入图像中不同尺度的特征,然后在全连接层进行特征融合,最后经过softmax分类器进行分类。在Thomas Moeslund和Jochen Triesch手势数据库上进行实验验证,结果表明该模型提高了静态手势识别的准确率,增强了卷积神经网络的泛化能力。     

基于表面肌电信号的人机交互软件设计

设计了一种基于Qt的人机交互软件,用于从表面肌电信号中解码出手势,控制空间机械臂灵巧手作业;介绍了肌电信号解码手势并控制仿真灵巧手系统的组成,包括下位机肌电采集接口部分和上位机人机交互软件两部分;详细说明了人机交互软件的3个功能模块,即接收并显示16路神经接口向上位机发送的肌电信号、对肌电信号进行实时手势解码以及控制仿真灵巧手;分析了软件设计过程中的几个关键技术,信号与槽机制、多线程与多进程结合、UDP通信等;最后,设计了基于肌电信号解码3种手势并控制仿真灵巧手的实时实验,手势识别率在98％以上,控制延迟为200 ms左右;实验结果表明,人机交互软件运行稳定,功能齐全,在航天遥操作人机交互系统中具有应用前景.     

基于残差双注意力与跨级特征融合模块的静态手势识别

为解决卷积神经网络提取特征遗漏、手势多特征提取不充分问题,本文提出基于残差双注意力与跨级特征融合模块的静态手势识别方法.设计了一种残差双注意力模块,该模块对ResNet50网络提取的低层特征进行增强,能够有效学习关键信息并更新权重,提高对高层特征的注意力,然后由跨级特征融合模块对不同阶段的高低层特征进行融合,丰富高级特征图中不同层级之间的语义和位置信息,最后使用全连接层的Softmax分类器对手势图像进行分类识别.本文在ASL美国手语数据集上进行实验,平均准确率为99.68%,相比基础ResNet50网络准确率提升2.52%.结果验证本文方法能充分提取与复用手势特征,有效提高手势图像的识别精度.