基于残差网络和门控卷积网络的语音识别研究

由于传统循环神经网络具有复杂的结构,需要大量的数据才能在连续语音识别中进行正确训练,并且训练需要耗费大量的时间,对硬件性能要求很大.针对以上问题,提出了基于残差网络和门控卷积神经网络的算法,并结合联结时序分类算法,构建端到端中文语音识别模型.该模型将语谱图作为输入,通过残差网络提取高层抽象特征,然后通过堆叠门控卷积神经...     

单向延迟测量中时钟动态性检测算法

延迟是评价网络性能的重要指标,也是进行其他网络性能指标测量的基础.基于全球定位系统(GPS)的端到端(end-to-end)时钟同步是测量网络单向指标的常用方法,但是其代价昂贵且缺乏灵活性.在无端到端时钟同步机制下进行网络单向延迟指标测量的关键是消除时钟偏差效应的影响.基于对时间序列分段技术的分析,提出了一种新的时间序列分段标准与改进的分段算法,实现序列的自动聚类,其时间复杂度为O(N²).将该算法应用于检测端到端时钟的动态性,识别测量过程中时钟跳变和时钟频率调整位置,实现对网络单向延迟的测量,弱化了同类工作中对时钟动态性的严格假设.同时提出了基于滑动窗的在线实时时钟动态性检测算法.实际测试实验表明,该算法是行之有效的.     

基于结构稳定性校准的在线式社区识别

本文探讨在线社会网络的社区识别问题, 重点研究网络演变特性对社区结构产生的影响. 首先基于节点的邻域倾向性提出社区稳定性的概念并给出稳定社区的快速识别算法, 然后设计了一种基于事件的社区稳定性校准算法以此识别新网络的社区结构. 由于算法的局部搜索策略, 该方法无需在新时间片段重复执行, 并且可以在无参数条件下识别加权网络中具有任意形状的社区结构. 在人工合成网络和真实网络上的实验结果验证了算法的可行性和有效性.     

基于时延优化的移动Ad Hoc网络路由算法

TDMA协议基于时隙预留的机制能够用于在移动Ad Hoc网络中提供QoS保证,然而在大规模网络中,该时分通信会带来较大的端到端时延.提出了一种基于时延优化的启发式算法,该算法将时延作为路由代价函数,并充分考虑了阻塞控制.仿真结果表明,相对于传统的基于最短跳数的路由算法,该算法能够大大减小端到端时延,可以为移动网络中实现多媒体应用提供一种有效途径.     

基于滑动窗特征融合的深信度网络驾驶行为识别*

针对动态突变行为原始信息量较少、行为不易区分以及浅层结构分类算法分类正确率较低的问题,提出一种改进的基于加速度数据特征融合的深信度网络驾驶行为识别算法。采用从手机传感器中获取的实时三轴加速度数据,进行预处理后利用端点检测算法确定行为切换点,通过滑动窗实时提取时间序列信息并计算序列片段的时频域特征,选取有效特征后,融合原始行为信息与特征建立完整时间序列段作为受限玻尔兹曼机的输入端,隐层转换为网络可识别的伯努力分布方式,优化预设参数的多隐层受限玻尔兹曼机对输入端信息的特征进行提取,最终通过DBN(Deep Belief Network,深信度网络)实现驾驶行为的识别。实验结果表明,改进的滑动窗特征融合的深信度网络驾驶行为识别算法整体识别率为85.2%,能有效进行驾驶行为的识别。     

加密MANET端到端流的推断与识别研究

根据数据流的帧发送时序特性, 提出一种基于时序匹配和关联分析的端到端流推断算法。采用时序匹配、关联分析、流追踪与回溯等机制, 分析与追踪探测区域内的所有端到端流。该算法能够在无须解密报文的前提下进行流量分析, 推断出端到端流的源、目的节点、流路径、流开始时间和流持续时长等信息。仿真实验表明, 算法可以有效识别网络中的端到端流。     

端到端维吾尔语语音识别研究

近几年来,基于端到端模型的语音识别系统因其相较于传统混合模型的结构简洁性和易于训练性而得到广泛的应用,并在汉语和英语等大语种上取得了显著的效果.本文将自注意力机制和链接时序分类损失代价函数相结合,将这种端到端模型应用到维吾尔语语音识别上.考虑到维吾尔语属于典型的黏着语,其丰富的构词形式使得维吾尔语的词汇量异常庞大,本文引入字节对编码算法进行建模单元的生成,从而获得合适的端到端建模输出单元.在King-ASR450维吾尔语数据集上,提出的算法明显优于基于隐马尔可夫模型的经典混合系统和基于双向长短时记忆网络的端到端模型,最终识别词准确率为91.35%.     

基于图像切片的移动端输电线路鸟类检测算法研究

输电线路作为电网的基础组件,其故障是影响电网稳定运行的主因,其中鸟类是输电线路的主要安全隐患.为了实现低耗能、高精度的驱鸟,论文提出一种基于图像切片的移动端鸟类检测算法,同时为减少图片传输的网络时延及避免因网络中断造成的数据丢失,鸟类检测在移动终端实现.但是移动终端的计算性能和存储性能较低,无法直接运行基于深度学习的目标检测算法,因此论文将图像进行切片把目标检测问题转换为图像分类问题,采用ResNet18对切片进行鸟类识别.此外,为进一步减少无鸟图像的识别时间,在对每一个切片进行识别之前,先计算实时采集图像和不包含鸟的模板图像的差值,只有差值较大时才进行识别.实验证明,论文提出的模型在精度和速度上都可以在移动端上满足输电线路鸟类检测任务的要求,具有推广意义.     

基于自适应感受野机制的颈部淋巴结自动识别算法

针对目前应用于医学影像目标检测的深度学习网络模型仅拥有固定的感受野,无法针对形态尺度差异明显的颈部淋巴结进行有效检测的问题,提出了一种新的基于自适应感受野机制的识别算法,将深度学习首次应用于完全三维医学图像的颈部淋巴结自动识别中。首先,采用半随机采样方法对医学序列图像进行裁剪,生成基于网格的局部图像块及对应真值标签;然后,通过局部图像块及标签构建并训练基于自适应感受野机制的DeepNode网络;最后,利用预训练的DeepNode网络模型进行预测,通过输入整体序列图像,可以端到端且快速地获得整体序列对应的颈部淋巴结识别结果。在颈部淋巴结数据集中,采用DeepNode网络识别颈部淋巴结的召回率可达98.13%,精确率可达97.38%,每次扫描的假阳性数量仅为29,同时耗时相对较短。实验结果分析表明,与当前表现优良的二维与三维卷积神经网络相结合的算法、三维通用目标检测算法、基于弱监督定位的识别算法等相比,所提算法可以实现颈部淋巴结的自动识别,并取得最优的识别效果。该算法端到端,简单高效,易于扩展到其他医学图像的三维目标检测任务中,可应用于临床的诊断和治疗。     

目标多种多值属性的端端快速识别网络

为提高图像目标多种多值属性的识别速度,提出一种端到端的识别算法。采用修正的YoloV3网络作为主网络,确定目标的boundingbox;依据属性独立特性构造子网络,多个子网络共享由boundingbox确定的主网络深层次特征,进行推断,并采用多值输出满足多值属性的识别。在训练过程中,采用了三阶段分目标训练。实验结果验证了该算法在识别准确度和时间效率上的优良性能。     

基于紧耦合时空双流卷积神经网络的人体动作识别模型

针对视频人体动作识别中动作信息利用率不高、时间信息关注度不足等问题,提出了一种基于紧耦合时空双流卷积神经网络的人体动作识别模型。首先,采用两个2D卷积神经网络分别提取视频中的空间特征和时间特征;然后,利用长短期记忆（LSTM）网络中的遗忘门模块在各采样片段之间建立特征层次的紧耦合连接以实现信息流的传递;接着,利用双向长短期记忆（Bi-LSTM）网络评估各采样片段的重要性并为其分配自适应权重;最后,结合时空双流特征以完成人体动作识别。在数据集UCF101和HMDB51上进行实验验证,该模型在这两个数据集上的准确率分别为94.2%和70.1%。实验结果表明,所提出的紧耦合时空双流卷积网络模型能够有效提高时间信息利用率和动作整体表达能力,由此明显提升人体动作识别的准确度。     

基于紧耦合时空双流卷积神经网络的人体动作识别模型

针对视频人体动作识别中动作信息利用率不高、时间信息关注度不足等问题，提出了一种基于紧耦合时空双流卷积神经网络的人体动作识别模型。首先，采用两个2D卷积神经网络分别提取视频中的空间特征和时间特征；然后，利用长短期记忆（LSTM）网络中的遗忘门模块在各采样片段之间建立特征层次的紧耦合连接以实现信息流的传递；接着，利用双向长短期记忆（Bi-LSTM）网络评估各采样片段的重要性并为其分配自适应权重；最后，结合时空双流特征以完成人体动作识别。在数据集UCF101和HMDB51上进行实验验证，该模型在这两个数据集上的准确率分别为94.2%和70.1%。实验结果表明，所提出的紧耦合时空双流卷积网络模型能够有效提高时间信息利用率和动作整体表达能力，由此明显提升人体动作识别的准确度。     

时空域融合的骨架动作识别与交互研究

在人体骨架结构动作识别方法中,很多研究工作在提取骨架结构上的空间信息和运动信息后进行融合,没有对具有复杂时空关系的人体动作进行高效表达。本文提出了基于姿态运动时空域融合的图卷积网络模型(PM-STFGCN)。对于在时域上存在大量的干扰信息,定义了一种基于局部姿态运动的时域关注度模块(LPM-TAM),用于抑制时域上的干扰并学习运动姿态的表征。设计了基于姿态运动的时空域融合模块(PM-STF),融合时域运动和空域姿态特征并进行自适应特征增强。通过实验验证,本文提出的方法是有效性的,与其他方法相比,在识别效果上具有很好的竞争力。设计的人体动作交互系统,验证了在实时性和准确率上优于语音交互系统。     

An efficient attention module for 3d convolutional neural networks in action recognition

Due to illumination changes, varying postures, and occlusion, accurately recognizing actions in videos is still a challenging task. A three-dimensional convolutional neural network (3D CNN), which can simultaneously extract spatio-temporal features from sequences, is one of the mainstream models for action recognition. However, most of the existing 3D CNN models ignore the importance of individual frames and spatial regions when recognizing actions. To address this problem, we propose an efficient attention module (EAM) that contains two sub-modules, that is, a spatial efficient attention module (EAM-S) and a temporal efficient attention module (EAM-T). Specifically, without dimensionality reduction, EAM-S concentrates on mining category-based correlation by local cross-channel interaction and assigns high weights to important image regions, while EAM-T estimates the importance score of different frames by cross-frame interaction between each frame and its neighbors. The proposed EAM module is lightweight yet effective, and it can be easily embedded into 3D CNN-based action recognition models. Extensive experiments on the challenging HMDB-51 and UCF-101 datasets showed that our proposed module achieves state-of-the-art performance and can significantly improve the recognition accuracy of 3D CNN-based action recognition methods.

     

基于手势特征融合的操作动作识别

针对动态复杂场景下的操作动作识别,提出一种基于手势特征融合的动作识别框架,该框架主要包含RGB视频特征提取模块、手势特征提取模块与动作分类模块。其中RGB视频特征提取模块主要使用I3D网络提取RGB视频的时间和空间特征;手势特征提取模块利用Mask R-CNN网络提取操作者手势特征;动作分类模块融合上述特征,并输入到分类器中进行分类。在EPIC-Kitchens数据集上,提出的方法识别抓取手势的准确性高达89.63%,识别综合动作的准确度达到了74.67%。     

采用蒸馏训练的时空图卷积动作识别融合模型

目的 基于深度学习的动作识别方法识别准确率显著提升,但仍然存在很多挑战和困难。现行方法在一些训练数据大、分类类别多的数据集以及实际应用中鲁棒性较差,而且许多方法使用的模型参数量较大、计算复杂,提高模型准确度和鲁棒性的同时对模型进行轻量化仍然是一个重要的研究方向。为此,提出了一种基于知识蒸馏的轻量化时空图卷积动作识别融合模型。方法 改进最新的时空卷积网络,利用分组卷积等设计参数量较少的时空卷积子模型;为了训练该模型,选取两个现有的基于全卷积的模型作为教师模型在数据集上训练,在得到训练好的教师模型后,再利用知识蒸馏的方法结合数据增强技术训练参数量较少的时空卷积子模型;利用线性融合的方法将知识蒸馏训练得到的子模型融合得到最终的融合模型。结果 在广泛使用的NTU RGB + D数据集上与前沿的多种方法进行了比较,在CS(cross-subject)和CV(cross-view)两种评估标准下,本文模型的准确率分别为90.9%和96.5%,与教师模型2s-AGCN(two-stream adaptive graph convolutional networks for skeleton-based action)相比,分别提高了2.4%和1.4%;与教师模型DGNN(directed graph neural network)相比,分别提高了1.0%和0.4%;与MS-AAGCN(multi-stream attention-enhanced adaptive graph convolutional neural network)模型相比,分别提高了0.9%和0.3%。结论 本文提出的融合模型,综合了知识蒸馏、数据增强技术和模型融合的优点,使动作识别更加准确和鲁棒。     

用于视频行为识别的高效二维时序建模网络

二维卷积难以对视频数据进行有效的时间信息建模。针对这个问题,提出了一个高效的基于二维卷积的时间建模网络。该网络只需要RGB图像作为输入,避免了复杂的光流计算,在低计算复杂度的前提下,可以在行为识别任务中达到先进的准确性。网络主要由两个部分组成,即运动特征增强模块和时序聚集模块。具体来说,运动特征增强模块主要实现短期时序建模,它利用当前帧与相邻帧的差异信息对当前帧中的运动信息进行自适应性的增强,让网络能够了解图像中的哪一部分将要产生运动。时序聚集模块实现长期的时序建模,主要应用于网络的后期,通过二维卷积对时序上的信息进行信息聚合,让每一帧图像经过网络提取特征后,都能够结合时序上所有帧序列的信息。在三个常见的视频动作识别数据集（UCF101、HMDB51和Something-Something V1）上进行的大量实验表明,与大多数现有方法相比,所提出的时序建模网络可以获得先进的识别性能。     

基于轻量级图卷积的人体骨架动作识别方法

视频中的人体动作识别在计算机视觉领域得到广泛关注,基于人体骨架的动作识别方法可以明确地表现人体动作,因此已逐渐成为该领域的重要研究方向之一。针对多数主流人体动作识别方法网络参数量大、计算复杂度高等问题,设计一种融合多流数据的轻量级图卷积网络,并将其应用于人体骨架动作识别任务。在数据预处理阶段,利用多流数据融合方法对4种特征数据流进行融合,通过一次训练就可得到最优结果,从而降低网络参数量。设计基于图卷积网络的非局部网络模块,以捕获图像的全局信息从而提高动作识别准确率。在此基础上,设计空间Ghost图卷积模块和时间Ghost图卷积模块,从网络结构上进一步降低网络参数量。在动作识别数据集NTU60 RGB+D和NTU120 RGB+D上进行实验,结果表明,与近年主流动作识别方法ST-GCN、2s AS-GCN、2s AGCN等相比,基于该轻量级图卷积网络的人体骨架动作识别方法在保持较低网络参数量的情况下能够取得较高的识别准确率。     

Skeleton-based action recognition with temporal action graph and temporal adaptive graph convolution structure

Skeleton-based action recognition has recently achieved much attention since they can robustly convey the action information. Recently, many studies have shown that graph convolutional networks (GCNs), which generalize CNNs to more generic non-Euclidean structures, are more exactly extracts spatial feature. Nevertheless, how to effectively extract global temporal features is still a challenge. In this work, firstly, a unique feature named temporal action graph is designed. It first attempts to express timing relationship with the form of graph. Secondly, temporal adaptive graph convolution structure (T-AGCN) are proposed. Through generating global adjacency matrix for temporal action graph, it can flexibly extract global temporal features in temporal dynamics. Thirdly, we further propose a novel model named spatial-temporal adaptive graph convolutional network (ST-AGCN) for skeletons-based action recognition to extract spatial-temporal feature and improve action recognition accuracy. ST-AGCN combines T-AGCN with spatial graph convolution to make up for the shortage of T-AGCN for spatial structure. Besides, ST-AGCN uses dual features to form a two-stream network which is able to further improve action recognition accuracy for hard-to-recognition sample. Finally, comparsive experiments on the two skeleton-based action recognition datasets, NTU-RGBD and SBU, demonstrate that T-AGCN and temporal action graph can effective explore global temporal information and ST-AGCN achieves certain improvement of recognition accuracy on both datasets.

     

基于时空关注度LSTM的行为识别

针对现有基于视频整体序列结构建模的行为识别方法中,存在着大量时空背景混杂信息,而引起的行为表达的判决能力低和行为类别错误判定的问题,提出一种基于双流特征的时空关注度长短时记忆网络模型.首先,本文定义了一种基于双流的时空关注度模块,其中,空间关注度用于抑制空间背景混杂,时间关注度用于抑制低信息量的视频帧.其次,本文为双流模型设计了两种不同的时空关注度模块,分别讨论不带融合形式和双流融合的形式对行为识别的影响.最后,为了适应不同长度视频的处理需求,本文方法采用分段策略构建行为识别框架,通过调整段的数量自适应视频长度.在UCF101和HMDB51两个数据集上进行实验验证,与现有多种基于时间和空间显著性模型的行为识别方法进行比较,实验结果表明,本文方法在识别率上优于现有行为识别方法I3D,在UCF101上提高了0.66%,在HMDB51上提高了0.75%.