基于AE-CNN的手势识别算法的探讨及实现

近年,深度学习的发展使得手势识别卷积神经网络取得了突破性进展,但现有基于卷积神经网络的手势识别方法仍存在收敛速度慢、识别率低等问题,因此手势识别很难取得较好成果。通过对CNN训练过程中误差产生的原因及其反馈模型的分析,提出了一种自适应增强卷积神经网络(Adaptively Enhanced Convolution Neural Network,AE-CNN)的识别算法。结果表明,文中算法不仅实现了分类特征的自适应增强,同时也提高了收敛速度和识别率。     

基于BP神经网络的玻璃缺陷识别技术研究

为了准确、快速地对玻璃质量进行分类,提出一种基于BP神经网络的玻璃缺陷识别方法。由于不变矩与灰度共生矩阵分别可以描述图像的形状与纹理,在分析了缺陷灰度图像特点的基础上,将图像的纹理特征和不变矩特征融合,综合提取出一个分类能力更强的特征向量,再使用一个拟牛顿改进算法的三层前向BP网络。作为分类器,对常见的玻璃缺陷进行了识别。通过实验对比该方法和传统的单一特征识别法,证明该方法不仅具有更高的识别率,并且实时性较好,为玻璃缺陷的自动识别提供了一种新的途径。     

基于特征融合的手势识别

在手势识别的过程中,手势的多样性和复杂性会对识别的可靠性和准确性带来较大影响.基于视觉的手势识别通常采取单一特征用于手势分类,但是单一特征无法较好地描述整个图像.因此本文提出多种特征融合的方法,分别提取改进后的梯度方向直方图(HOG)特征和MB-LBP特征,并进行特征融合,结合支持向量机(SVM)分类器完成手势图像的识别.实验结果表明,提取的融合特征包含手势图像的局部区域梯度信息和图像的纹理信息,可以更加全面地描述图像的手势特征.相较于单一特征识别方法而言,基于特征融合的方法有着更高的识别率.     

融合双流三维卷积和注意力机制的动态手势识别

得益于计算机硬件以及计算能力的进步,自然、简单的动态手势识别在人机交互方面备受关注。针对人机交互中对动态手势识别准确率的要求,该文提出一种融合双流3维卷积神经网络(I3D)和注意力机制(CBAM)的动态手势识别方法CBAM-I3D。并且改进了I3D网络模型的相关参数和结构,为了提高模型的收敛速度和稳定性,使用了批量归一化(BN)技术优化网络,使优化后网络的训练时间缩短。同时与多种双流3D卷积方法在开源中国手语数据集(CSL)上进行了实验对比,实验结果表明,该文所提方法能很好地识别动态手势,识别率达到了90.76%,高于其他动态手势识别方法,验证了所提方法的有效性和可行性。     

基于深度卷积神经网络的手势识别

在手势识别的过程中,手势变化的多样性和手势本身的复杂性会对手势识别的精确性和可靠性带来很大的影响。为了能够实现高准确率的手势识别,文章提出了一种基于深度卷积神经网络(CNN, Convolutional neural network)的手势识别方法。该方法针对22个英文字母(排除了G、S、J和Z)实现静态手势识别,首先选用合适的手势数据集,通过使用Keras(神经网络的高级API)实现卷积神经网络,最终获得较高的识别率,可以达到97%。实验表明,该方法可实现背景单一手势图像的精确识别。     

融合双流三维卷积和注意力机制的动态手势识别

得益于计算机硬件以及计算能力的进步,自然、简单的动态手势识别在人机交互方面备受关注。针对人机交互中对动态手势识别准确率的要求,该文提出一种融合双流3维卷积神经网络(I3D)和注意力机制(CBAM)的动态手势识别方法CBAM-I3D。并且改进了I3D网络模型的相关参数和结构,为了提高模型的收敛速度和稳定性,使用了批量归一化(BN)技术优化网络,使优化后网络的训练时间缩短。同时与多种双流3D卷积方法在开源中国手语数据集(CSL)上进行了实验对比,实验结果表明,该文所提方法能很好地识别动态手势,识别率达到了90.76%,高于其他动态手势识别方法,验证了所提方法的有效性和可行性。     

基于多特征SVMs分类器的手语识别

在手语识别的研究中,手语图像全局特征与局部特征相融合的方法可以准确地表征手语手势特征.本文在不进行图像分割的情况下提取手语图像的7Hu不变矩特征量、SIFT等多种特征,在进行了多特征融合后,分别采用基于线性核函数的SVMs和基于径向基核函数的SVMs作为分类器进行手语识别,单个手语字母最好识别率可达到99.4872%,平均识别率95.556%.     

融合Inception-LSTM级联网络下的动态手势识别

目前基于视觉的动态手势识别问题仍是研究的难 点,在大多数应用背景情况下很难提高手势识别率。传 统的动态手势识别手段主要是利用智能传感设备以及单个或多个摄像头进行数据采集的视觉 方法来实现,效率低, 准确度差。近年来,随着深度神经网络技术的快速发展,利用网络自主学习的方法来提取手 势姿态有关特征得到了 广泛关注。本文针对传统动态手势识别准确率低的问题构建了Inception-CNN网络和LSTM网 络融合的方法。在 Cambridge-Gesture、VIVA以及Sheffield Kinect Gesture Dataset(SKIG)三个动态手势数 据集上实验结果表明融合 Inception-LSTM级联网络的识别率高,与现有的传统方法和当下流行的多种卷积神经网络 方法相比,本文手势平均 识别率和各个类别的手势识别率均高于现有方法,充分证明了本文方法的有效性和鲁棒性。     

跨层融合与多模型投票的动作识别

针对动作特征在卷积神经网络模型传输时的损失问题以及网络模型过拟合的问题,该文提出一种跨层融合模型和多个模型投票的动作识别方法。在预处理阶段,借助排序池化的方法聚集视频中的运动信息,生成近似动态图像。在全连接层前设置对特征信息进行水平翻转结构,构成无融合模型。在无融合模型的基础上添加第2层的输出特征与第5层的输出特征融合结构,构造成跨层融合模型。训练时,对无融合模型和跨层融合模型两种基本模型采用3种数据划分方式以及两种生成近似动态图像顺序进行训练,得到多个不同的分类器。测试时使用多个分类器进行预测,对它们得到的结果进行投票集成,作为最终分类结果。在UCF101数据集上,提出的无融合模型和跨层融合模型的识别方法与动态图像网络模型的方法相比,识别率有较大提高;多模型投票的识别方法能有效缓解模型的过拟合现象,增加算法的鲁棒性,得到更好的平均性能。     

基于FMCW雷达的多维参数手势识别算法

该文提出一种基于调频连续波(FMCW)雷达多维参数的卷积神经网络手势识别方法。通过对雷达信号进行时频分析,估计手势目标的距离、多普勒和角度参数,构建出手势动作的多维参数数据集。同时,为了进行手势特征提取和精确分类,提出多分支网络结构和高维特征融合的方案,设计出具有端到端结构的RDA-T多维参数卷积神经网络。实验结果表明,结合手势动作的距离、多普勒和角度信息进行多维参数学习,所提方法有效解决了单维参数手势识别方法中手势描述信息量低的问题,且手势识别准确率相较于单参数方法提高了5%～8%。     

道路三维点云多特征卷积神经网络语义分割方法

针对道路场景下三维激光点云语义分割精度低的问题,提出了一种基于卷积神经网络并结合几何点云多特征的端到端的语义分割方法。首先,通过球面投影构造出点云距离、相邻夹角及表面曲率等特征图像,以便于应用卷积神经网络;接着,利用卷积神经网络对多特征图像进行语义分割,得到像素级的分割结果。所提方法将传统点云特征融入到卷积神经网络中,提升了语义分割效果。使用KITTI点云数据集进行测试,结果表明:所提三维点云多特征卷积神经网络语义分割方法的效果优于SqueezeSeg V2等没有结合点云特征的语义分割方法;与SqueezeSeg V2网络相比,所提方法对车辆、自行车和行人分割的精确率分别提高了0.3、21.4、14.5个百分点。     

基于深度学习与特征融合的人脸识别算法

卷积神经网络在人脸识别研究上有较好的效果,但是其提取的人脸特征忽略了人脸的局部结构特征。针对此问题,文中提出一种基于深度学习与特征融合的人脸识别方法。该算法将局部二值模式信息与原图信息相结合作为SDFVGG网络的输入,使得提取的人脸特征更加丰富且更具表征能力。其中,SDFVGG网络是将VGG网络进行深浅特征相融合后的网络。在CAS-PEAL-R1人脸数据库上的实验表明,将网络深浅特征相融合与在卷积神经网络中加入LBP图像信息与原图信息相融合的特征信息对于提高人脸识别准确率非常有效,可得到优于传统算法和一般卷积神经网络的最高98.58%人脸识别率。     

基于LSTM网络和特征融合的通信干扰识别

针对现有通信干扰信号识别方法识别效果不佳的问题,提出了一种基于长短时记忆网络(Long Short-Term Memory,LSTM)和特征融合的通信干扰识别方法.该方法利用LSTM网络提取干扰信号的特征,通过LSTM强大的序列特征提取能力提升干扰信号特征提取的性能;通过提取信号的时域和频域特征后进行特征融合,使用全连...     

基于卷积神经网络的手势识别

手势识别是人机交互,智能语义识别和远程人机 交流领域的热门研究课题。目前基于 视觉的手势识别问题仍是研究的难点,在多变背景下的手势姿态识别仍然存在较大问题。近 年来,随着深度神经网络技术的快速发展,利用网络自主学习的方法来提取手势姿态有关特 征得到了广泛关注。由于卷积神经网络具有较强的学习能力和个体特征的表达能力,本文针 对传统手势识别算法精度低,鲁棒性差的问题,提出了基于卷积神经网络的TensorFlow框架 下加入扁平卷积模块的FD-CNN网络手势识别算法。在预处理数据集后,基于FD-CNN网络的 手 势识别方法可以直接将预处理后的图像输入网络进行训练,最终输出测试结果的识别精度为 99.0％。与传统方法和经典卷积神经网络方法相比,本文方法提高了 网 络系统对样本数据的多样性和复杂性的有效识别,具有较高的识别率和较好的鲁棒性效果。     

基于卷积神经网络的少数民族头饰识别

传统头饰图片识别方法的特征点由研究人员手工提取,工作量大且准确率低,识别系统存在预处理步骤繁琐、样本要求高等缺点。针对上述问题,文中通过构建卷积神经网络从大量图片数据中自动学习头饰图片的深层特征。文中的CNN模型选用稀疏性较好的ReLU激活函数调整输出,利用反向传播算法(BP算法)优化网络参数,在训练得到的CNN模型后接Softmax分类器进行识别。实验结果表明,系统对头饰图片测试集的识别率达到96.25%,具有良好的识别准确率和识别效率。     

基于深度降噪自编码器的多特征目标融合跟踪算法

针对在目标遮挡、光线变化、目标模糊等情况下的目标跟踪算法抗干扰能力较差的问题,提出了一种基于深度降噪自动编码器的多特征目标融合跟踪算法。该方法首先引入稳像和图像去雾算法以改善训练集数据和测试集数据的质量;再构建多特征深度降噪自动编码网络,基于深度神经网络的强大学习能力提取目标的颜色特征和均匀模式纹理特征;将两种特征加权融合输入到逻辑回归分类器,获得置信分数,更有效地区分目标和背景。最后,采用粒子滤波算法对目标进行跟踪。实验结果表明,该方法能够更准确地对存在目标遮挡、光线变化、目标模糊等干扰问题的视频进行跟踪。与传统方法相比,该方法成功率在上述三个方面平均分别提升33.73%、9.73%和12.80%;与近年流行算法相比,该方法成功率平均达到90.16%,实时性平均达到49.37 fps。     

基于BoF模型的多特征融合果蔬图像分类方法

针对传统BoF模型无法有效利用图像颜色及纹理来更好地表述果蔬特征的问题,文中提出了一种在BoF模型中进行多特征融合的果蔬图像分类算法。该算法首先提取并融合图像的颜色矩和SURF特征形成SURFC特征描述子;然后分别对CLBP及SURFC特征进行K-均值聚类以生成特征词典,并使用特征词典对所有特征量化编码;最后使用SVM对编码结果进行训练得到分类器并识别。实验结果表明,BoF模型融合颜色和纹理特征后,在果蔬图像分类效果上明显优于单一特征或者其他特征融合的BoF模型,识别率最高可达到94%,更适合果蔬图像分类。     

基于时空注意力网络的中国手语识别

手语识别广泛应用于聋哑人与正常人之间的交流中。针对手语识别任务中时空特征提取不充分而导致识别率低的问题,提出了一种新颖的基于时空注意力的手语识别模型。首先提出了基于残差3D卷积网络(Residual 3D Convolutional Neural Network,Res3DCNN)的空间注意力模块,用来自动关注空间中的显著区域；随后提出了基于卷积长短时记忆网络(Convolutional Long Short-Term Memory,ConvLSTM)的时间注意力模块,用来衡量视频帧的重要性。所提算法的关键在于在空间中关注显著区域,并且在时间上自动选择关键帧。最后,在CSL手语数据集上验证了算法的有效性。     

Traffic sign recognition based on deep convolutional neural network

Traffic sign recognition (TSR) is an important component of automated driving systems. It is a rather challenging task to design a high-performance classifier for the TSR system. In this paper, we propose a new method for TSR system based on deep convolutional neural network. In order to enhance the expression of the network, a novel structure (dubbed block-layer below) which combines network-in-network and residual connection is designed. Our network has 10 layers with parameters (block-layer seen as a single layer): the first seven are alternate convolutional layers and block-layers, and the remaining three are fully-connected layers. We train our TSR network on the German traffic sign recognition benchmark (GTSRB) dataset. To reduce overfitting, we perform data augmentation on the training images and employ a regularization method named “dropout”. The activation function we employ in our network adopts scaled exponential linear units (SELUs), which can induce self-normalizing properties. To speed up the training, we use an efficient GPU to accelerate the convolutional operation. On the test dataset of GTSRB, we achieve the accuracy rate of 99.67%, exceed-ing the state-of-the-art results.     

基于双分类器的自适应单双手手势识别

针对传统卷积神经网络(CNN)中仅有对单手手势语义进行识别的算法和深度学习手势识别算法中CNN的收敛性差和识别精度低的问题,提出了一种基于两个分类器的自适应单双手手势识别算法以对单手和双手进行识别。该算法的核心是联合两个分类器进行单双手手势识别。首先,采用手数分类器对手势进行分割分组预测,将手势识别转化成部分手势图像识别;其次,采用自适应增强卷积神经网络(AE-CNN)进行手势识别,利用自适应模块分析出现识别误差的原因和反馈模式;最后,在迭代次数和识别结果的基础上进行参数更新。实验结果表明,手数分类器进行手势预测分组的正确概率为98.82%,AE-CNN的收敛性优于CNN和CNN+Dropout,对单手手势的识别率高达97.87%,对基于LSP数据集自建的9类单手手势和10类双手手势的整体模型识别率为97.10%,对复杂背景和不同光照强度下手势的平均识别率为94.00%,并且具有一定的鲁棒性。