关于过程神经元网络的理论探讨

过程神经元网络是一种适合于处理过程式信号输入的网络，其基本单元是过程神经元——新近出现的神经元模型．过程神经元和传统神经元有着本质的区别，但二者之间也存在着紧密的联系，前者可用后者以任意精度无限逼近．文中给出2个定理及其详细证明，分别论述了过程神经元的2种传统神经元逼近模型：时域特征扩展模型和正交分解特征扩展模型．基于第2个定理，给出了过程神经元网络相关的2个推论．最后，针对过程神经元网络面临的主要问题进行讨论，指出了一些具有前景的研究方向．文中得到的结果对过程神经元模型及其网络的研究具有一定的理论意义．     

一种分式过程神经元网络及其应用研究

针对带有奇异值复杂时变信号的模式分类和系统建模问题，提出了一种分式过程神经元网络．该模型是基于有理式函数具有的对复杂过程信号的逼近性质和过程神经元网络对时变信息的非线性变换机制构建的。其基本信息处理单元由两个过程神经元成对偶组成。逻辑上构成一个分式过程神经元，是人工神经网络在结构和信息处理机制上的一种扩展．分析了分式过程神经元网络的连续性和泛函数逼近能力，给出了基于函数正交基展开的学习算法．实验结果表明，分式过程神经元网络对于带有奇异值时变函数样本的学习性质和泛化性质要优于BP网络和一般过程神经元网络。网络隐层数和节点数可较大减少，且算法的学习性质与传统BP算法相同．     

多聚合过程神经元网络及其学习算法研究

针对系统输入为多元过程函数以及多维过程信号的信息处理问题,提出了多聚合过程神经元和多聚合过程神经元网络模型.多聚合过程神经元的输入和连接权均可以是多元过程函数,其聚合运算包括对多个输入函数的空间加权聚集和对多维过程效应的累积,可同时反映多个多元过程输入信号在多维空间上的共同作用影响以及过程效应的累积结果.多聚合过程神经元网络是由多聚合过程神经元和其它类型的神经元按照一定的结构关系组成的网络模型,按照输出是否为多元过程函数建立了前馈多聚合过程神经元网络的一般模型和输入输出均为过程函数的多聚合过程神经元网络模型,具有对多元过程信号输入输出关系的直接映射和建模能力.文中给出了一种基于多元函数基展开的梯度下降与数值计算相结合的学习算法,仿真实验结果表明了模型和算法对多元过程信号分类和多维动态过程模拟问题的适应性.     

过程神经元网络及其在时变信息处理中的应用

针对时变信息处理和动态系统建模等类问题,建立了输入输出均为时变函数的过程神经元网络和有理式过程神经元网络2种网络模型.在输入输出为时变函数的过程神经元网络中,过程神经元的时间累积算子取为对时间的积分或其他代数运算,它的时空聚合机制和激励能同时反映外部时变输入信号对输出结果的空间聚合作用和时间累积效应,可实现非线性系统输入、输出之间的复杂映射关系.在有理式过程神经元网络中,其基本信息处理单元为由2个成对偶出现的过程神经元组成,逻辑上分为分子和分母2部分,通过有理式整合后输出,可有效提高过程神经元网络对带有奇异值过程函数的柔韧逼近性和在奇异值点附近反应的灵敏性.分析了2种过程神经元网络模型的性质,给出了具体学习算法,并以油田开发过程模拟和旋转机械故障诊断问题为例,验证了这2种网络模型在时变信息处理中的有效性.     

一种反馈过程神经元网络模型及在动态信号分类中的应用*

针对动态信号模式分类问题,提出了一种反馈过程神经元网络模型和基于该模型的分类方法。这种网络的输入可直接为时变函数,网络的信息传输既有与前馈神经元网络一样的前向流,也有后面各层节点到前层节点的反馈,且可对节点自身反馈输出信息,能直接用于动态信号的模式分类。由于反馈过程神经元网络在对输入样本的学习中增加了神经元输出信息的反馈,可提高网络的学习效率和稳定性。给出了具体学习算法,以时变函数样本集的分类问题为例,实验结果验证了模型和算法的有效性。     

基于结构学习和迭代自映射的自联想记忆模型

传统的人工神经元网络连接结构是固定的,是对权值的学习.提出一种基于生理神经元特征的人工神经元模型,并在以此为单元构成的用于实现自联想记忆的神经网络上进行对结构的学习.学习算法以设定神经元的输入/输出感受野、调整突触和轴突末梢的连接、并行的自投影迭代为特征.给出了此网络模型的矩阵描述和实验结果.     

基于傅立叶函数基变换的过程神经元网络学习算法

针对过程神经元网络训练涉及的时域聚合运算问题,提出了一种基于傅立叶正交函数基展开的过程神经元网络学习算法。在网络输入函数空间中引入傅立叶正交函数基,将输入函数和网络连接权函数表示为该组正交基的有限项展开形式,利用函数基的正交性,可简化过程神经元在时间聚合运算中的复杂性,提高网络学习效率。给出了具体的实现算法,仿真实验结果证明了算法的有效性。     

分式过程神经元网络在网络流量预测中的应用

为更好解决网络流量预测问题,依据函数逼近论中分式的函数逼近性质和拟合能力要远远大于线性函数的性质,以及过程神经元网络对时变函数的非线性变换能力,提出一种分式过程神经元网络模型及其学习算法。实验结果证明,该网络模型对具有奇异值过程函数的柔韧逼近性质和在奇异值点附近区域反应的灵敏性优于一般过程神经元网络,以网络实测数据对模型进行训练和流量预测,取得了较好的应用效果。     

自我完善神经元网络模型和实现

本文提出了一类自我完善(self-improvernent)的神经元网络模型,包括一个学习过程和联想过程(retrieval procedure)。根据输入模式内在的规律性,学习算法通过统计规则确定神经元间的连接权。这种学习算法可以用一个多层次逻辑(logic)神经元网络实现。自我完善是通过联想过程实现的。这类神经元网络的特点包括无须预先确定训练模式,学习算法只需一次扫描,以及收敛速度快。计算机实验结果证明了神经元网络的自我完善能力。     

一种级联过程神经元网络及其应用研究

针对连续系统输入过程可分为若干时间阶段,输出为一个即依赖于当前阶段系统过程输入,又与前一阶段系统状态有关的离散过程,提出了一种级联过程神经元网络模型.将连续输入信号分阶段处理,不同阶段系统输入输出映射关系用不同过程子网络描述.考虑过程神经元网络计算的复杂性,提出了一种基于函数正交基展开的学习方法,利用基函数的正交性,简化计算过程.文中给出了学习算法,并以油藏开发三次采油过程模拟为例验证了模型和算法的有效性.     

语音处理的中心激励侧向抑制网络模型

根据人类听觉神经系统的结构,提出了一个“中心激励、侧向抑制”的网络模型。在该模型中,输入层的每一个神经元细胞在激励输出层对应的细胞的同时,会对其输出层其他邻近细胞起到一定的抑制作用。另外输出层的每个神经元也具有负反馈功能。该文给出了该网络模型的数学方程和网络参数调整的学习算法,证明了该算法的收敛性。该网络模型在声音处理上保留了人耳的优势,可以自动过滤噪声,搜索声音的中心频率段,将声音的物理频谱转换成相应的生理反应模型。通过仿真数据解释了人耳特有的频道抑制现象。     

一种量子神经网络模型学习算法及应用

提出一种量子神经网络模型及学习算法. 首先基于生物神经元信息处理机制和量子计算原理构造出一种量子神经元, 该神经元由加权、聚合、活化、激励四部分组成. 然后由量子神经元构造出三层量子神经网络模型, 其输入和输出为实值向量, 权值和活性值为量子比特. 基于梯度下降法构造了该模型的超线性收敛学习算法. 通过模式识别和函数逼近两种仿真结果表明该模型及算法是有效的.     

一类用于连续过程逼近的过程神经元网络及其应用

针对实际系统的输入输出是与时间有关的连续过程,提出了一类用于连续过程逼近的过程神经元网络模型.模型利用神经网络所具有的非线性映射能力,实现系统输入输出之间的连续映射关系.考虑过程神经网络计算的复杂性,在输入空间中选择一组函数正交基,将输入函数和网络权函数表示为该组正交基的展开形式,利用基函数的正交性,简化过程神经元计算.文中给出了学习算法,并以油藏开发三次采油过程模.     

基于基函数展开的双隐层过程神经元网络及其应用

提出一类基于基函数展开的双隐层过程神经元网络模型．过程神经元隐层完成对输入信息过程模式特征的提取和对时间的聚合运算，非时变一般神经元隐层用于提高网络对系统输入输出之间复杂关系的映射能力．在输入空问中引入一组函数正交基，将输入函数和网络权函数表示为该组正交基的展开形式，利用基函数的正交性简化过程神经元聚合运算．以旋转机械故障诊断和油藏开发过程采收率的模拟为例，验证了模型和算法的有效性。     

基于快速学习型神经网络的机器人运动学模型辨识及运动控制

该文提出一种快速学习型神经网络，它不仅符合生物神经网络的基本特征，而且算法简单，学习收敛速度快，有线性，非线性系统辨识精度高优异特点。因此，此类神经网络非常适合于机器人运动学模型辨识及运动控制，仿真结果表明，基于快速学习型神经网络进行机械手运动学模型辨识有运动控制是合适的。     

TMLNN: triple-valued or multiple-valued logic neural network

We discuss the problem of representing and processing triple-valued or multiple-valued logic knowledge using neural network. A novel neuron model, triple-valued or multiple-valued logic neuron (TMLN), is presented. Each TMLN can represent a triple-valued or multiple-valued logic rule by itself. We will show that there are two TMLNs: TMLN-AND (triple-valued or multiple-valued "logic AND") neuron and TMLN-OR (triple-valued or multiple-valued "logic OR") neuron. Two simplified TMLN models are also presented, and show that a multilayer neural network made up of triple-valued or multiple-valued logic neurons (TMLNN) can implement a triple-valued or multiple-valued logic inference system. The training algorithm for TMLNN is presented and can be shown to converge. In our model, triple-valued or multiple-valued logic rules can be extracted from TMLNN with ease. TMLNN can thus form a base for representing logic knowledge using neural network.     

Emergence of synchronicity in a self-organizing spiking neuron network: an approach via genetic algorithms

Based on the Theory of Neuronal Group Selection (TNGS), we have investigated the emergence of synchronicity in a network composed of spiking neurons via genetic algorithm. The TNGS establishes that a neuronal group is the most basic unit in the cortical area of the brain and, as a rule, it is not formed by a single neuron, but by a cluster of tightly coupled neural cells which fire and oscillate in synchrony at a predefined frequency. Thus, this paper describes a method of tuning the parameters of the Izhikevich spiking neuron model through genetic algorithm in order to enable the self-organization of the neural network. Computational experiments were performed considering a network composed of neurons of the same type and another composed of neurons of different types.     

A new simple /spl infin/OH neuron model as a biologically plausible principal component analyzer

A new approach to unsupervised learning in a single-layer neural network is discussed. An algorithm for unsupervised learning based upon the Hebbian learning rule is presented. A simple neuron model is analyzed. A dynamic neural model, which contains both feed-forward and feedback connections between the input and the output, has been adopted. The, proposed learning algorithm could be more correctly named self-supervised rather than unsupervised. The solution proposed here is a modified Hebbian rule, in which the modification of the synaptic strength is proportional not to pre- and postsynaptic activity, but instead to the presynaptic and averaged value of postsynaptic activity. It is shown that the model neuron tends to extract the principal component from a stationary input vector sequence. Usually accepted additional decaying terms for the stabilization of the original Hebbian rule are avoided. Implementation of the basic Hebbian scheme would not lead to unrealistic growth of the synaptic strengths, thanks to the adopted network structure.     

智能神经网络程序设计语言的研究与实现

将神经网络与逻辑推理统一到面向对象理论中,建立了同时具备神经网络和专家系统特性、融合连接机制和符号机制的智能神经元模型。提出了一种新的程序设计语言——智能神经网络程序语言(NIPL),实现了神经计算、逻辑推理和数值计算的统一。定义了NIPL的语法,设计并实现了智能神经网络程序设计语言NIPL编译器,从而为开发智能神经网络应用系统提供了有效的手段。