基于快速密度聚类的RBF神经网络设计

针对径向基函数（radial basis function,RBF）神经网络隐含层结构难以确定的问题,提出一种基于快速密度聚类的网络结构设计算法。该算法将快速密度聚类算法良好的聚类特性用于RBF神经网络结构设计中,通过寻找密度最大的点并将其作为隐含层神经元,进而确定隐含层神经元个数和初始参数;同时,引入高斯函数的特性,保证了每个隐含层神经元的活性;最后,用一种改进的二阶算法对神经网络进行训练,提高了神经网络的收敛速度和泛化能力。利用典型非线性函数逼近和非线性动态系统辨识实验进行仿真验证,结果表明,基于快速密度聚类设计的RBF神经网络具有紧凑的网络结构、快速的学习能力和良好的泛化能力。     

RBF神经网络在人脸识别中的应用

RBF是模式识别中应用最为广泛的一种神经网络。将这种网络应用于人脸识别,建立了人脸识别模型。通过改进隐含层中心选择算法,利用Yale人脸图像数据库进行仿真实验,对比分析了它们各自的识别率指标,说明本文提出的方法在不影响识别率的情况下可以显著提高人脸识别的速度,减小系统的存储量,从而满足人脸识别的实用性要求。     

一种基于稀疏表达和神经网络的人脸识别算法

传统的基于神经网络的人脸识别算法直接从灰度空间获取人脸图像数据,其中含有大量的噪声和冗余信息,降低了识别率且延长了识别时间。提出一种基于稀疏表达和神经网络的人脸识别算法:首先通过KSVD算法将样本变换至稀疏空间,然后运用LDA算法将稀疏编码变换至子空间,最后输至RBF神经网络进行分类。在ORL和Yale人脸库上的实验结果表明,该算法比其他算法具有更高的识别率和更快的识别速度,且具有较强的鲁棒性和泛化能力。     

二次型神经网络模型及其应用

提出一种基于二次型运算和BP算法的计算神经网络模型.通过将输入向量分为若干等份的子向量,并运用二次型运算解决多线性空间的相互区分问题,消除了输入-隐含层的复杂网状连接结构,突出隐含神经元物理意义,从而实现了对传统三层BP神经网络结构的设计改进. 试验对比结果显示,经过改进的模型较标准BP收敛更快并且稳定.     

多自由度神经元模型的人脸识别算法研究

针对人脸识别问题,提出一种基于多自由度神经元模型的人脸识别算法.首先,给出多自由度神经元模型及其神经网络的构造算法;然后,将算法用于UMIST人脸库和YALE人脸库,同时在计算中给出了一种简单有效的减少光照影响的预处理的方法;最后将本文算法与SVM算法进行比较,证明了算法的有效性.     

一种连续增量学习模糊神经网络

为获得快速、准确而精简的模糊神经网络,提出一种连续增量学习模糊神经网络(ISL-FNN).将修剪策略引入到神经元的产生过程,用错误下降率定义输入数据对系统输出的影响并应用于神经元的增长过程.在参数的学习阶段,所有隐含层神经元(无论是新增还是已有)的参数使用扩展的卡尔曼算法更新.通过仿真实验,该算法在达到与其它算法性能相当甚至更好的情况下,能获得更精简的结构.     

前馈神经网络结构动态增长-修剪方法

针对前馈神经网络隐含层神经元不能在线调整的问题,提出了一种自适应增长修剪算法(AGP),利用增长和修剪相结合对神经网络隐含层神经元进行调整,实现神经网络结构的自组织,从而提高神经网络的性能.同时,将该算法应用于污水处理生化需氧量(BOD)软测量,仿真实验结果表明,与其他自组织神经网络相比,AGP具有较好的泛化能力及较高的拟合精度,能够实现出水BOD的预测.     

基于循环神经网络的藏语语音识别声学模型

探索将循环神经网络和连接时序分类算法应用于藏语语音识别声学建模,实现端到端的模型训练。同时根据声学模型输入与输出的关系,通过在隐含层输出序列上引入时域卷积操作来对网络隐含层时域展开步数进行约简,从而有效提升模型的训练与解码效率。实验结果显示,与传统基于隐马尔可夫模型的声学建模方法相比,循环神经网络模型在藏语拉萨话音素识别任务上具有更好的识别性能,而引入时域卷积操作的循环神经网络声学模型在保持同等识别性能的情况下,拥有更高的训练和解码效率。     

基于BP网络曲线拟合方法的研究

在利用BP神经网络进行曲线拟合时,为了解决如何确定BP神经网络隐含层神经元数问题,提出了一种新的快速构建BP神经网络结构的方法,即如何由输入层神经元数、输出层神经元数及样本点数来确定隐含层神经元数,同时针对在曲线拟合过程中经常出现的一些问题提出了解决方案。实验结果表明,该构建方法和改进方案在提高曲线的拟合精度、加快收敛速度方面收到了较好的效果．     

基于可拓聚类的极限学习机神经网络

针对极限学习机(ELM)算法随机选择输入层权值的问题,借鉴第2类型可拓神经网络(ENN-2)聚类的思想,提出了一种基于可拓聚类的ELM(EC-ELM)神经网络。该神经网络是以隐含层神经元的径向基中心向量作为输入层权值,采用可拓聚类算法动态调整隐含层节点数目和径向基中心,并根据所确定的输入层权值,利用Moore-Penrose广义逆快速完成输出层权值的求解。同时,对标准的Friedman#1回归数据集和Wine分类数据集进行测试,结果表明,EC-ELM提供了一种简便的神经网络结构和参数学习方法,并且比基于可拓理论的径向基函数(ERBF)、ELM神经网络具有更高的建模精度和更快的学习速度,为复杂过程的建模提供了新思路。     

基于多遗传算法的BP神经网络人脸识别

人脸识别应用十分广泛,在实际问题中较高的识别率十分重要,其中BP神经网络模型广泛用于人脸识别.然而在现实应用中,BP神经网络结构和权值阈值的选取往往依靠经验值,这使得BP神经网络存在容易陷入局部最优和收敛速度慢等问题。针对该问题,提出了一种基于多遗传算法优化BP神经网络结构和权值阈值的人脸识别方法。利用主成分分析算法对人脸图像进行降维,快速独立成分分析算法对人脸图像进行特征提取,以组合算法的方式使得处理后的人脸图像特征更加明显。通过第一层遗传算法优化BP神经网络的结构,第二层遗传算法优化BP神经网络的权值阈值,以此解决BP神经网络陷入局部最优和收敛速度慢等问题。基于ORL人脸库进行仿真验证,实验结果表明该算法具有较高的识别率。     

基于RBF神经网络的抗噪语音识别

针对目前在噪音环境下语音识别系统性能较差的问题,利用RBF神经网络具有最佳逼近性能、训练速度快等特性,分别采用聚类和全监督训练算法,实现了基于RBF神经网络的抗噪语音识别系统。聚类算法的隐含层训练采用K－均值聚类算法,输出层的学习采用线性最小二乘法;全监督算法中所有参数的调整基于梯度下降法,它是一种有监督学习算法,能够选出性能优良的参数。实验表明,在不同的信噪比下,全监督算法较之聚类算法有更高的识别率。     

基于LM算法的神经网络语音识别

由于语音识别中朵用标准BP算法存在的训练速度慢、容易陷入局部极小等问题，提出一种基于稳定、快速的Levenberg-Marquardt算法的神经网络语音识别方法，主要包括语音信号预处理、特征提取、网络结构优化设计、网络学习训练和语音识别等过程。其中网络隐含层节点数的选取采用黄金分割优选法。试验仿真表明，LM算法明显提高了网络训练速度，减少了训练时间，其效果优越于标准BP算法。     

Isomap与径向基神经网络在人脸识别系统中的应用

基于非线性降维算法的容特征映射与径向基神经网络的快速性,提出了基于Isom ap与径向基(RBF)神经网络的图像识别方法,降维方法用测地距离取代传统的欧式距离,有助于挖掘高维数据的内在结构,径向基神经网络能够快速模拟对象数据集,识别真假图像。同时该方法结合了频谱分析对初始图像进行预处理,减少了计算量。实验结果表明该方法能快速识别真假图像,提高识别率。     

Research on using genetic algorithms to optimize Elman neural networks

There is a function of dynamic mapping when processing non-linear complex data with Elman neural networks. Because Elman neural network inherits the feature of back-propagation neural network to some extent, it has many defects; for example, it is easy to fall into local minimum, the fixed learning rate, the uncertain number of hidden layer neuron and so on. It affects the processing accuracy. So we optimize the weights, thresholds and numbers of hidden layer neurons of Elman networks by genetic algorithm. It improves training speed and generalization ability of Elman neural networks to get the optimal algorithm model. It has been proved by instance analysis that new algorithm was superior to the traditional model in terms of convergence rate, predicted value error, number of trainings conducted successfully, etc. It indicates the effect of the new algorithm and deserves further popularization.     

神经网络前向传播在GPU上的实现

基于CUDA架构在GPU上实现了神经网络前向传播算法,该算法利用神经网络各层内神经元计算的并行性,每层使用一个Kernel函数来并行计算该层神经元的值,每个Kernel函数都根据神经网络的特性和CUDA架构的特点进行优化。实验表明,该算法比普通的CPU上的算法快了约7倍。研究结果对于提高神经网络的运算速度以及CUDA的适用场合都有参考价值。     

输入模式增强神经网络及应用

监督学习神经网络的学习收敛速度是网络的重要指标.以三元奇偶问题和沉积微相识别问题为例,分析了前向神经网络增强输入模式和常规输入模式的网络响应特点.分别在隐层数不变和隐层节点数不变的条件下,对常规输入模式网络和增强输入模式网络的学习速度进行了对比分析.数值实验和沉积微相应用实例说明输入模式增强网络学习迭代次数少,网络分辨率高.输入模式增强网络隐层节点数和隐层数的可选范围均比常规输入模式网络隐层节点数和隐层数的可选范围大,网络收敛稳定性好.输入模式增强网络的性能明显好于常规输入模式网络的性能.     

类矩阵神经核特征融合的人脸识别方法

针对人脸识别过程中所提取特征向量的信息不完整性与整体图像信息数据量较大的问题,提出一种类矩阵神经核特征融合的人脸识别方法。该方法为深度神经网络的首层升维操作,首先将人脸数据作为特征向量的集合,利用随机矩阵列采样构成随机特征矩阵;其次设计深度神经核将随机特征矩阵映射为高维空间中的新特征向量;最后利用快速收缩算法求解匹配过程中的不定线性代数方程组,使收敛速度达到二阶收敛。该方法既克服了直接使用人脸图像数据空间复杂度较大的问题,又增加了特征的非线性结构,提高了特征向量的表达能力。实验结果表明,该方法识别率高、稳定性强、鲁棒性好,适合处理大型数据。