基于深度时空特征融合的多通道运动想象EEG解码方法

脑电(EEG)是一种在临床上广泛应用的脑信息记录形式,其反映了脑活动中神经细胞放电产生的电场变化情况.脑电广泛应用于脑-机接口(BCI)系统.然而,研究表明脑电信息空间分辨率较低,这种缺陷可以综合分析多通道电极的脑电数据来弥补.为了从多通道数据中高效地获取到与运动想象任务相关的辨识特征,该文提出一种针对多通道脑电信息的卷积神经网络(MC-CNN)解码方法,先对预先选取好的多通道数据预处理后送入2维卷积神经网络(CNN)进行时间-空间特征提取,然后利用自动编码(AE)器把这些特征映射为具有辨识度的特征子空间,最后指导识别网络进行分类识别.实验结果表明,该文所提多通道空间特征提取和构建方法在运动想象脑电任务识别性能和效率上都具有较大优势.     

卷积神经网络在脑疲劳检测中的研究

脑疲劳是由于持续进行脑力劳动导致的一种状态，脑电被认为是脑疲劳状态检测的最佳工具。如何选取合适的脑疲劳特征成为脑疲劳检测的关键问题，传统模式识别中手动提取特征会产生信息损失，针对脑电的时空特性，本文设计了具有时域卷积核、空间域卷积核的深层卷积神经网络和浅层卷积神经网络两种网络结构，将特征提取和状态分类合二为一，对正常态与疲劳态脑电数据进行分类，可视化了卷积神经网络的空间域卷积核。结果表明，浅层卷积神经网络平均分类正确率为98.868%，深层卷积神经网络平均分类正确率为98.217%，均高于传统分类方法，通过空间域卷积核的可视化，能够了解不同导联在网络中的参与程度，验证了该模型在脑疲劳检测任务中具有很高的有效性，同时为脑疲劳检测提供了新思路。      

基于脑电信号深度迁移学习的驾驶疲劳检测

脑电信号一直被誉为疲劳检测的“金标准”,驾驶者的精神状态可通过对脑电信号的分析得到。但由于脑电信号具有非线性、非平稳性和空间分辨率低等特点,传统的机器学习方法在运用脑电信号进行疲劳检测时还存在识别率低,特征提取操作繁琐等不足。为此,该文基于脑电信号的电极-频率分布图,提出运用深度迁移学习实现的驾驶疲劳检测方法,即搭建深度卷积神经网络,并利用SEED脑电情绪数据集对其进行预训练,然后通过迁移学习方法将其用于驾驶疲劳检测。实验结果表明,卷积神经网络模型能够很好地从电极-频率分布图中获得与疲劳状态相关的特征信息,达到较好的识别效果。此外,基于迁移学习策略可以将训练好的深度网络模型迁移到其他识别任务上,有助于推动脑电信号在驾驶疲劳检测系统中的应用。     

基于条件经验模式分解和串并行CNN的脑电信号识别

针对运动想象脑电信号(EEG)的非线性、非平稳特点,该文提出一种结合条件经验模式分解(CEMD)和串并行卷积神经网络(SPCNN)的脑电信号识别方法。在CEMD过程中,采用各阶固有模式分量(IMF)与原始信号的相关性系数作为第1个IMF筛选条件,在此基础上,提出各阶IMF之间的相对能量占有率作为第2个IMF筛选条件。此外,为了考虑脑电信号各个通道之间的特征和突出每个通道内的特征,该文提出SPCNN网络模型对进行CEMD过程后的脑电信号进行分类。实验结果表明,在自行采集的脑电数据集上平均识别率达到94.58%。在公开数据集BCI competition IV 2b上平均识别率达到82.13%,比卷积神经网络提高了3.85%。最后,在自行设计的智能轮椅脑电控制平台上进行了轮椅前进、左转和右转在线控制实验,验证了该文算法对脑电信号识别的有效性。     

基于时空压缩特征表示学习的毫米波雷达手势识别算法

针对现有无线射频信号的手势识别研究中的数据预处理和特征利用问题,该文提出一种用于调频连续波(FMCW)雷达的时空压缩特征表示学习的手势识别算法。首先对手部反射的毫米波雷达回波信号的距离-多普勒(RD)图进行静态干扰去除和动目标点筛选,减少杂波对手势信号的干扰,同时减少计算数据量;然后提出一种压缩手势时空特征的表示方法,利用动目标点的主导速度来表示手势的运动特征,实现多维特征的压缩映射,并保留手势运动的关键特征信息;最后设计了一个单通道的卷积神经网络(CNN)来学习和分类多维手势特征信息并应用于多用户和多位置的手势识别。实验结果表明,与现有其他手势识别算法相比,该文提出的手势识别方法在识别精度、实时性以及泛化能力上都具有明显的优势。     

基于深度学习的探地雷达二维剖面图像结构特征检测方法

该文针对探地雷达(GPR) 2维剖面图像中目标特征提取困难及其识别精度较低等问题,采用深度学习方法来提取2维剖面图像中目标的特征双曲线。根据GPR工作的物理机制,设计了一种级联结构的卷积神经网络(CNN),先检测并去除回波数据中的直达波干扰信号,再利用CNN得到B扫描(B-SCAN)图像的特征图,并对特征信号进行分类识别以提取目标的特征双曲线。同时,为处理各种干扰信号影响目标特征双曲线结构完整性的问题,提出了一种基于方向引导的特征数据补全方法,提高了目标特征双曲线识别的准确率。与方向梯度直方图(HOG)算法、单级式目标检测(YOLOV3)算法和更快速的区域卷积神经网络(Faster RCNN)算法相比,在综合评价指标F上该文方法的检测结果是最优的。     

基于卷积神经网络的SAR图像目标识别研究

针对合成孔径雷达(Synthetic Aperture Radar, SAR)的图像目标识别应用, 该文提出了一种基于卷积神经网络(Convolutional Neural Network, CNN)的SAR图像目标识别方法。首先通过在误差代价函数中引入类别可分性度量, 提高了卷积神经网络的类别区分能力;然后利用改进后的卷积神经网络对SAR图像进行特征提取;最后利用支持向量机(Support Vector Machine, SVM)对特征进行分类。使用美国运动和静止目标获取与识别(Moving and Stationary Target Acquisition and Recognition, MSTAR)SAR图像数据进行实验, 识别结果证明了所提方法的有效性。      

混合卷积神经网络的高光谱图像分类方法

为了解决高光谱图像领域中,传统卷积神经网络因部分特征信息损失而影响最终地物分类精度的问题,采用一种基于2维和3维的混合卷积神经网络的高光谱图像分类方法,从空间增强、光谱-空间两方面分别进行了特征提取.首先从空间增强角度提出一种3维-2维卷积神经网络混合结构,得到增强后的空间信息;其次从光谱-空间角度利用3维卷积网络结构...     

基于调频连续波雷达的多维信息特征融合人体姿势识别方法

为实现在复杂多样的环境下人体姿势的识别,该文提出一种基于调频连续波(FMCW)雷达的多维信息特征融合的人体姿势识别方法。该方法通过对FMCW雷达原始信号进行3维快速傅里叶变换得到目标距离、速度和角度的多维信息,在采用具有噪声的基于密度的聚类算法(DBSCAN)和 Hampel滤波算法解决运动范围内动态或静态目标的噪声干扰后使用卷积神经网络对多维信息进行特征提取,然后利用低秩多模态融合网络(LMF)充分融合多维信息的特征,并通过域鉴别器进一步获得与环境无关的特征,最终使用活动识别器获得姿势识别结果。为了实用性,在边缘计算平台上搭载预先设计的算法和训练好的网络模型进行实验验证。实验结果表明,在复杂的环境下该方法的识别精度可达到91.5%。     

残差膨胀卷积结构下的多模态特征调制方式识别

自动调制方式识别技术在通信领域有着不可或缺的作用,针对传统的卷积神经网络在信号分类问题中特征提取能力不足的问题,本文研究了一种利用多维度特征的端到端双流膨胀卷积神经网络来对调制信号进行分类的方法。该方法不仅利用原始采样信号,还利用输入信号的瞬时幅度和相位信息;原始IQ(In-phase and Quadrature, IQ)数据输入进神经网络后,网络首先通过内置的数据预处理模块对输入的IQ信号进行预处理,提取原始信号的幅度和相位信息,再将原始IQ信号和幅度相位两种特征信息分别通过两个并行的卷积神经网络结构分别进行特征提取;本文所设计的双流卷积神经网络模型中的膨胀残差网络分支利用卷积核的膨胀卷积特性,将膨胀卷积与残差网络结构相结合,在网络参数不变的情况下使得卷积核具有更大的感受野,同时也能够更好地结合上下文信息,另一个网络分支是将卷积神经网络与长短期记忆神经网络相串联,然后将两个并行卷积神经网络的输出特征向量进行矩阵相乘达到两种特征信息融合的目的。整个识别过程是基于端到端的,数据预处理模块内嵌到神经网络内部,由神经网络完成对数据的预处理,只需将原始的IQ数据直接送入神经网络即可;仿真实验...     

基于深度学习的垃圾邮件文本分类方法

文中旨在研究基于深度学习的垃圾邮件文本分类方法，该方法结合了卷积神经网络（CNN）和循环神经网络（RNN）的模型，通过对邮件文本进行特征提取和分类，能高效、准确地对垃圾邮件进行分类。文中以卷积神经网络和循环神经网络为实验对象，提出了一种垃圾邮件文本分类方法，并在公开数据集上进行了实验。实验结果表明，该方法在垃圾邮件文本分类任务上具有较高的准确率和召回率。     

A deep recursive multi-scale feature fusion network for image super-resolution

Recently, Convolutional Neural Networks (CNNs) have achieved great success in Single Image Super-Resolution (SISR). In particular, the recursive networks are now widely used. However, existing recursion-based SISR networks can only make use of multi-scale features in a layer-wise manner. In this paper, a Deep Recursive Multi-Scale Feature Fusion Network (DRMSFFN) is proposed to address this issue. Specifically, we propose a Recursive Multi-Scale Feature Fusion Block (RMSFFB) to make full use of multi-scale features. Besides, a Progressive Feature Fusion (PFF) technique is proposed to take advantage of the hierarchical features from the RMSFFB in a global manner. At the reconstruction stage, we use a deconvolutional layer to upscale the feature maps to the desired size. Extensive experimental results on benchmark datasets demonstrate the superiority of the proposed DRMSFFN in comparison with the state-of-the-art methods in both quantitative and qualitative evaluations.     

一种双向脉动数据流的全卷积神经网络加速器

全卷积神经网络近年来被应用于深度学习中的多个领域,其不仅能处理简单的图像分类任务,还能应用于例如物体检测、语义/图像分割以及基于生成式对抗网络的生成型任务.典型的全卷积神经网络中不仅包括了传统的卷积层,还有反卷积层,它们都是计算密集型的.现在大多数研究者大都关注卷积层的设计优化,而反卷积的加速优化很少.本文提出了一种双向脉动数据流的全卷积神经网络加速器,可以同时高效地处理普通卷积层以及反卷积层.实验中选取了多个具有代表性的全卷积神经网络模型,例如DCGAN,Cascaded-FCN等.相较于以往传统的未优化的加速方案,本文所设计的加速器平均可以达到2.8倍的加速比,并且能耗降低了46.3%.     

Correlation filter via random-projection based CNNs features combination for visual tracking

Object tracking based on the Convolutional Neural Networks (CNNs) with multiple feature correlation filter (CF) has become one of the best object tracking frameworks. In this paper, we propose a novel approach of CNNs based CF, which combines deep features from CNNs into low-dimensional features. To achieve the dimensionality reduction, random-projection is used due to its data-independence and superior computational efficiency over other widely used. In our proposed approach, the spectral graph theory is applied to generate a random projection matrix. This method bypasses the time-consuming Gram–Schmidt orthogonalization, where the dimension of the feature is high. The combined features have very low dimensions, less than one tenth of the dimensions of the original deep features from CNNs, offering an improvement of tracking speed and without loss of performance simultaneously. Extensive experiments are conducted on large-scale benchmark datasets. The results demonstrate that the proposed algorithm outperforms the state-of-the-art methods.     

基于骨架动作识别的协作卷积Transformer网络

近年来,基于骨架的人体动作识别任务因骨架数据的鲁棒性和泛化能力而受到了广泛关注。其中,将人体骨骼建模为时空图的图卷积网络取得了显著的性能。然而图卷积主要通过一系列3D卷积来学习长期交互联系,这种联系偏向于局部并且受到卷积核大小的限制,无法有效地捕获远程依赖关系。该文提出一种协作卷积Transformer网络(Co-ConvT),通过引入Transformer中的自注意力机制建立远程依赖关系,并将其与图卷积神经网络(GCNs)相结合进行动作识别,使模型既能通过图卷积神经网络提取局部信息,也能通过Transformer捕获丰富的远程依赖项。另外,Transformer的自注意力机制在像素级进行计算,因此产生了极大的计算代价,该模型通过将整个网络分为两个阶段,第1阶段使用纯卷积来提取浅层空间特征,第2阶段使用所提出的ConvT块捕获高层语义信息,降低了计算复杂度。此外,原始Transformer中的线性嵌入被替换为卷积嵌入,获得局部空间信息增强,并由此去除了原始模型中的位置编码,使模型更轻量。在两个大规模权威数据集NTU-RGB+D和Kinetics-Skeleton上进行实验验证,该模型分...     

融合潜在主题信息和卷积语义特征的文本分类

经典的概率主题模型通过词与词的共现挖掘文本的潜在主题信息,在文本聚类与分类任务上被广泛应用。近几年来,随着词向量和各种神经网络模型在自然语言处理上的成功应用,基于神经网络的文本分类方法开始成为研究主流。本文通过卷积神经网络(Convolutional Neural Network,CNN)和概率主题模型在文本主题分类上的效果对比,展示了CNN在此任务上的优越性。在此基础上,本文利用CNN模型提取文本的特征向量并将其命名为卷积语义特征。为了更好地刻画文本的主题信息,本文在卷积语义特征上加入文本的潜在主题分布信息,从而得到一种更有效的文本特征表示。实验结果表明,相比于单独的概率主题模型或CNN模型,新的特征表示显著地提升了主题分类任务的F1值。      

基于深度卷积神经网络的气象雷达噪声图像语义分割方法

针对新一代多普勒气象雷达的散射回波图像受非降雨等噪声回波干扰导致精细化短时气象预报准确度降低的问题,该文提出一种基于深度卷积神经网络(DCNN)的气象雷达噪声图像语义分割方法。首先,设计一种深度卷积神经网络模型(DCNNM),利用MJDATA数据集的训练集数据进行训练,通过前向传播过程提取特征,将图像高维全局语义信息与局部特征细节融合;然后,利用训练误差值反向传播迭代更新网络参数,实现模型的收敛效果最优化;最后,通过该模型对气象雷达图像数据进行分割处理。实验结果表明,该文方法对气象雷达图像的去噪效果较好,与光流法、全卷积网络(FCN)等方法相比,该文方法对气象雷达图像中真实回波和噪声回波的识别准确率高,图像的像素精度较高。     

基于FMCW雷达的多通道特征融合人体动作识别方法

针对采用单一特征进行人体动作识别准确率不高的问题,提出了一种基于调频连续波(Frequency Modulated Continuous Wave, FMCW)雷达的多通道特征融合人体动作识别方法。通过对FMCW雷达回波数据进行预处理,得到人体动作的距离参数与多普勒参数,构建出距离-时间特征谱图和多普勒-时间特征谱图数据集。为了进行人体动作特征的充分提取与精确识别,改进了单通道输入的传统卷积神经网络结构,把部分残差连接结构和跨阶段部分连接结构进行了优化应用至雷达人体动作识别领域,设计出端到端的CSP-FCNN(Cross Stage Partial-Fusion Convolutional Neural Network)多通道融合卷积神经网络。采用公开数据集进行实验,结果表明所提方法有效解决了单一特征动作识别信息量欠缺以及网络提取特征不充分的问题,识别准确率较单一特征识别方法提高了5%以上。     

AP-GAN: Predicting skeletal activity to improve early activity recognition

Early activity recognition is a classification task before the completion of activity. The study of early activity recognition is beneficial to avoid serious result. Previous studies have focused on extracting effective activity features and modeling for quick and accurate classification. It is challenging because of lack of available information. In order to get a firm basis for judgment, this paper adds an activity prediction module prior to recognition module. The main task of the module is to predict subsequent motions according to observed motions. To avoid motion blur, the structure of GAN (Generative Adversarial Networks) is used to generate the predicted motions. Compared with the traditional deep learning model, dilated neural network has advantages in large-span spatiotemporal feature modeling. The dilated RNN (Recurrent Neural Networks) and CNN (Convolutional Neural Networks) are introduced to the recognition module. In order to make the activity prediction and recognition modules work together, this paper designs and introduces a hard class mining mechanism to improve the learning ability of hard class samples. The proposed method is validated on four skeletal activity datasets and achieves state-of-the-art accuracy.     

Multimodal hand gesture recognition combining temporal and pose information based on CNN descriptors and histogram of cumulative magnitudes

In this paper, we present a new approach for dynamic hand gesture recognition. Our goal is to integrate spatiotemporal features extracted from multimodal data captured by the Kinect sensor. In case the skeleton data is not provided, we apply a novel skeleton estimation method to compute temporal features. Furthermore, we introduce an effective method to extract a fixed number of keyframes to reduce the processing time. To extract pose features from RGB-D data, we take advantage of two different approaches: (1) Convolutional Neural Networks and (2) Histogram of Cumulative Magnitudes. We test different integration methods to fuse the extracted spatiotemporal features to boost recognition performance in a linear SVM classifier. Extensive experiments prove the effectiveness and feasibility of the proposed framework for hand gesture recognition.