深度学习算法的原理及应用

深度学习作为一种新兴的多层神经网络降维算法,通过组建含有多个隐层的神经网络深层模型,对输入的高维数据逐层提取特征,以发现数据的低维嵌套结构,形成更加抽象有效的高层表示。从深度学习算法的基本原理入手,较为详细地讲解了深度学习算法的单层网络基本结构受限波尔兹曼机及其训练过程。最后通过自动编码机举例说明深度学习技术应用于手写数字识别所带来的性能提升,并对深度学习技术做了简单总结。     

一种BP-IA数字调制方式识别方法

为提高数字调制方式的识别速度和准确率,提出一种基于免疫算法(IA)的反向后传(BP)神经网络数字调制方式识别算法。首先对信号的特征进行分析和提取,其次利用具有全局搜索能力的免疫算法优化BP神经网络的权重及阈值,最后利用Levenberg-Marquardt算法训练BP网络。文中不仅给出了详细的算法分析,同时进行了仿真实验。实验结果表明,所提方法的收敛速度明显优于传统的BP算法和遗传算法,在信噪比大于-2 dB时,所提方法的平均识别准确率也优于传统的BP算法和遗传算法。所提免疫优化算法在训练多层前向神经网络时可有效地避免BP算法易陷入局部极小,且算法收敛速度快,具有精确的全局寻优性能,进而提高了数字调制方式的识别准确率。     

基于自编码神经网络重构的车牌数字识别

提出了一种基于自编码神经网络重构的车牌数字识别方案.首先对车牌图像进行预处理,利用车牌字符的原图和Gabor特征作为自编码神经网络的输入进行识别实验.然后对每个车牌字符构造一个自编码神经网络,利用训练样本进行图像的重构训练,并根据训练得到的网络权值重构出训练样本集中的各个字符图像或特征.最后,将测试样本输入到每个自编码...     

基于模糊模式和BP算法的手写数字识别

通过对多种手写数字识别算法的研究和分析，提出了一种基于模糊模式识别和BP神经网络寸亏写数字进行识别的新算法。首先应用BP神经网络对手写数字样本进行学习，然后再结合模糊模式识别的思想进行手写数字识别。实验证明：该算法与传统的手写数字识别算法相比，识别率明显提高。经过推广，该算法可应用于汉字识别、人脸识别等领域。     

改进BP神经网络在手写数字识别中的性能研究

BP神经网络有网络结构本身的改进，基于传统梯度下降算法的改进和基于数值优化算法的改进三个主要方面。针对经过大量预处理后的较规范手写体数字样本，提取一种13维的结构特征向量，采用多种改进方式进行训练和识别测试以比较不同算法的性能。     

基于逻辑输入样本的神经网络算法

本文对确定多层前向神经网络权提出了一种基于逻辑输入样本的直接算法。对于逻辑输入样本,该算法只需一个三层网络实现;否则,需在输入层和隐层间引入一个预处理层以完成输入样本向逻辑向量的转化。由于不引入误差能量函数,该算法避免了BP算法训练过程出现的收敛速度慢和误差陷入局部极小问题。本文还对该算法的正确性作了详细论证并以XOR问题解释其计算过程。     

一种量子自组织特征映射网络模型及聚类算法

提出一种量子自组织特征映射网络模型及聚类算法.量子神经元的输入和权值均为量子比特,输出为实数,量子自组织特征映射网络由输入层和竞争层组成.首先将聚类样本转换成量子态形式并提交给输入层,完成聚类样本的输入;然后计算样本量子态与相应权值量子态的相似系数,提取聚类样本所隐含的模式特征,并对其进行自组织,在竞争层将聚类结果表现出来.采用量子门更新量子权值,分无监督和有监督两个阶段完成网络的训练.仿真实验结果表明该模型及算法明显优于普通自组织特征映射网络.     

BP在数码管字识别中的应用

人工神经网络理论是20世纪80年代在国际上迅速发展起来的一个前沿研究领域。BP是对非线性可微分函数进行权值训练的多层前向网络。即信息的正向传播及误差数据的反向传递，它在数字识别中的应用很有效果。本介绍了BP概念，算法以及在数字识别中的应用。     

正则化在逻辑回归与神经网络中的应用研究

在机器学习算法的应用中,当使用小规模、多特征数的训练样本时,模型容易出现过拟合现象。正则化方法可以在一定程度上抑制模型过拟合,提高模型的泛化能力。以手写数字识别为例,分别研究了正则化方法在逻辑回归和BP神经网络中的应用,并比较了两种算法的实际结果。从MNIST手写体数据库中随机选取了5000个样本,经过PCA(Principal Component Analysis)降维后,从中选取不同规模样本并分别将其随机划分为60%的训练集,20%的交叉验证集和20%的测试集。分别构建两种算法对样本进行训练和测试,通过学习曲线选取合适的正则化参数,并比较了在合适正则化参数与未加入正则化参数下,模型与对测试集的预测精度。实验结果表明BP神经网络对手写数字的识别效果优于逻辑回归;同时当使用样本集较小时,正则化方法可以有效地抑制模型过拟合的发生,提高模型预测精度;随着样本集规模的增大,抑制效果减弱。     

利用稀疏堆栈自编码器实现调制样式识别算法

针对传统调制样式识别方法性能受预先依靠经验设计的特征参数影响大问题,提出一种基于稀疏堆栈自编码器的数字调制样式识别算法。首先根据网络输入数据形式要求,为了利用信号幅度和相位所包含的调制样式信息,提出一种将复数信号预处理为网络可接受的实数形式的信号预处理方法。在网络训练阶段,先通过逐层训练得到每层稀疏自编码网络的初始化参数,再通过有监督算法对分类层训练,最后利用有监督算法进行整体优化。采用 作为分类层完成数字调制样式识别。7种数字调制样式识别的仿真实验表明了本文算法的有效性,相比于其他算法,本文算法在低信噪比时正确识别率较高,识别性能不受人为因素的影响。      

A Gabor atom network for signal classification with application inradar target recognition

A Gabor atom neural network approach is proposed for signal classification. The Gabor atom network uses a multilayer feedforward neural network structure, and its input layer constitutes the feature extraction part, whereas the hidden layer and the output layer constitute the signal classification part. From the physics point of view, it is shown that the time-shifted, frequency-modulated, and scaled Gaussian function is available for a basic model for the signal of high-resolution radar. Two experiment examples show that the Gabor atom network approach has a higher recognition rate in radar target recognition from range profiles as compared with several existing methods     

基于自编码网络特征降维的轻量级入侵检测模型

基于支持向量机(SVM)的入侵检测方法受时间和空间复杂度约束,在高维特征空间计算时面临“维数灾害”的问题.为此,本文提出一种基于自编码网络的支持向量机入侵检测模型(AN-SVM).首先,该模型采用多层无监督的限制玻尔兹曼机(RBM)将高维、非线性的原始数据映射至低维空间,建立高维空间和低维空间的双向映射自编码网络结构,进而运用基于反向传播网络的自编码网络权值微调算法重构低维空间数据的最优高维表示,从而获得原始数据的相应最优低维表示;最后,采用SVM分类算法对所学习到的最优低维表示进行入侵识别.实验结果表明,AN-SVM模型降低了入侵检测模型中分类的训练时间和测试时间,并且分类效果优于传统算法,是一种可行且高效的轻量级入侵检测模型.     

基于小波概率网络的局部放电模式识别

针对高压电器局部放电模式分类中样本数较少,常规的分类方法识别率较低,提出了一种基于概率神经网络与小波变换的混合算法。利用实验室模拟的局部放电信号进行小波分解,提取小波能量系数作为特征参数,并作为概率神经网络的输入进行分类。其得到的结果优于多层前馈神经网络及采用顺序最优化学习方法的支持向量机算法。     

基于多层前馈神经网络的二维自适应消噪方法

提出了一种基于多层前馈神经网络对带噪声样本进行二维去噪声建模的新方法,分析了神经网络的结构和原理并改进了反向传播训练算法,从理论上进行了论证。仿真结果表明此方法能较好地实现噪声消除,相对于传统的线性噪声对消器和基于Hopfield网络的消噪方法,具有更优越的性能,保持了原始信号的完整性,达到了有效抑制噪声的目的。     

利用卷积-循环神经网络的串行序列空时分组码识别方法

针对多输入多输出(Multiple Input Multiple Output, MIMO)系统中的空时分组码识别(Space-Time Block Code, STBC)问题,本文提出了一种利用卷积-循环神经网络的串行序列空时分组码识别方法。将一维接收信号的实部和虚部分离后输入网络,利用卷积神经网络(CNN)提取其空间特征,结合循环神经网络(RNN)提取其深层时序特征,提高网络的特征表达能力;网络训练过程采用反向传播方法,通过计算输出与目标值的误差,将误差反向传回网络中并更新权值,完成网络的训练过程;将测试集数据输入训练好的网络中,实现对空时分组码的识别和区分。该方法将深度学习算法运用到串行序列空时分组码识别当中,训练完的网络可直接对单接收天线下的空时分组码进行识别,不需要重复计算信号的统计特征,避免了人为设计特征参数和检测阈值。该方法不需要知道信道和噪声的先验信息,适用于电子侦查等非协作通信情况。仿真实验表明,该算法能够有效地对串行序列空时分组码进行识别,并且在低信噪比下有较好的识别性能。      

基于改进共轭梯度法的前馈网络快速监督学习算法

为了提高多层前馈神经网络的权参数的学习效率,通过引入改进的求解大规模线性方程组的共轭梯度法,提出一种新的基于LM的前馈网络学习算法.该算法不仅具有LM优化学习方法的快速收敛特性,而且降低了LM法的计算复杂度,可获得比其它标准算法更好的学习精度和推广预测能力.文中通过仿真结果证明了新算法在函数逼近和时间序列预测等问题环境下的有效性.     

Blind signal-type classification using a novel robust feature subset selection method and neural network classifier

Automatic modulation recognition plays an important role for many novel computer and communication technologies. Most of the proposed systems can only identify a few kinds of digital signal and/or low order of them. They usually require high levels of signal-to-noise ratio. In this paper, we present a novel hybrid intelligent system that automatically recognizes a variety of digital signals. In this recognizer, a multilayer perceptron neural network with resilient back propagation learning algorithm is proposed as the classifier. For the first time, a combination set of spectral features and higher order moments up to eighth and higher order cumulants up to eighth are proposed as the effective features. Then we have optimized the classifier design by bees algorithm (BA) for selection of the best features that are fed to the classifier. This optimization method is new for this area. Simulation results show that the proposed technique has very high recognition accuracy with seven features selected by BA.     

一种基于BP网络的星图识别算法

为了提高星图识别算法的抗噪性能,提出一种基于逆向传播(Back Propagation,BP)网络的识别算法。该算法通过将星图转换成“0”、“1”和“2”的网格矩阵,提取行列数值和星数形成匹配向量,利用多个BP识别子网进行训练完成匹配识别。通过仿真试验得出以下结论:对星等位置和星等添加噪声,当位置噪声标准偏差为2像素时,BP网络算法的识别率和识别时间相对传统栅格算法分别提高2%和60ms,对噪声有较强抗干扰能力,表明BP网络算法具有更快的识别速度。     

一种基于boosting特征选择的调制方式识别算法

针对统计调制模式识别方法中特征值提取和分类器设计两个步骤分开研究的现状,将Boosting特征选择和多层前馈神经网络算法结合研究,设计了一种改进算法,给出算法的具体步骤.使用常用特征值进行仿真实验,结果表明这种改进算法在信噪比在0 dB以上达100％的识别率.相比其他的智能分类算法,信噪比在-6 dB以下时改进算法的识别率有明显提高,因此可以较好地适用于认知无线电这种对识别准确率要求高的场景中.同时对其他分类识别的应用场景也有一定的参考价值.     

基于多端特征融合模型的MIMO-OFDM系统盲调制识别

自动调制分类（Automatic Modulation Classification, AMC）在认知无线电中起着提高频谱利用率的重要作用,然而,现有的大多数工作都集中在单输入单输出系统中的单载波通信。针对当前非协作通信中多输入多输出正交频分多路复用（Multiple-Input Multiple-Output Orthogonal Frequency Division Multiplexing, MIMO-OFDM）系统子载波的盲调制识别问题,本文提出了一种基于多端特征融合模型的盲调制识别方法。首先,利用特征矩阵的联合近似对角化算法（Joint Approximate Diagonalization of Eigenvalue Matrix, JADE）从接收端的混合信号中恢复发送信号。然后,提取恢复信号的循环谱剖面和同向正交分量作为浅层特征。最后,搭建多端特征融合模型,利用一维卷积网络（One-Dimensional Convolutional Neural Network, 1D-CNN）与通道注意力模块（Channel Attention Module, CAM）的串联模型完成对浅层特征的提取和映射,并使用测试样本对所提出的调制识别算法进行仿真验证。仿真结果表明,本文方法在不需要先验信息的情况下对MIMO-OFDM系统的调制方式可以进行有效识别,在信噪比为4 dB时的识别精度可达到90%。