讲座:人工神经网络 第四讲 反馈网络与联想记忆

1引言反馈网络与前馈网络是人工神经网络中两种最基本的网络模型。从控制的观点，后者属于静态网络，前者则属于动态网络。联想特性是人工神经网络的一个重要特性。它主要包括两个方面：联想映射与联想记忆。在前馈网络的讨论中，我们着重介绍了神经网络的诱人的联想映射能力；在反馈网络的讨论中，我们将着重介绍神经网络的另一诱人特性——联想记忆能力。人类智能的一个重要特点就是，具有很强的联想记忆能力。人不仅能识别记忆中的完整模式，而且也能根据记忆中模式的部分信息进行正确的识别，由部分信息联想或恢复到完全的信息，这即所…     

自联想记忆神经网络研究

自联想记忆神经网络能模拟人脑思维和机器智能,具有信息分布式存储和内容可寻址访问的重要特征,是人工神经网络研究的一个重要分支.介绍了开创自联想记忆神经网络研究先河的Hopfield联想记忆神经网络模型,分析了该模型的优缺点;然后在系统分析现有自联想记忆神经网络相关研究文献的基础上,从学习算法、体系结构和应用领域三个方面对自联想记忆神经网络的研究进展进行了归纳阐述;总结了自联想记忆神经网络目前存在的主要问题,并且预测了其未来的发展趋势.     

基于极大极小准则的Hopfield联想记忆学习算法

基于联想记忆各记忆模式的吸收域之间的应保持大小平衡的思想，提出了设计Ｈｏｐｆｉｅｌｄ联想记忆网络的极大极小准则，即设计出的对称连接权阵应使得网络最小的记忆模式吸收域达到最大，首选提出了一种快速算法；再发展了一个启发性迭代学习算法，称为约束感知器学习算法，大量实验结果表明了本文学习算法的优越性。     

连续学习混沌神经网络的研究

近几年混沌神经网络在信息处理，特别是联想记忆中的应用得到了极大重视。本文提出了一个改进的连续学习混沌神经网络(MSLCNN)模型，它具有两个重要特征：(1)根据不同的输入，神经网络做出不同的响应，可从已知模式来识别未知模式；(2)可连续学习未知模式。计算机仿真表明我们的模型具有应用潜力。     

时变容错域的感知联想记忆模型及其实现算法

提出并用软件实现了一种时变容错域的感知联想记忆模型．该模型有以下特点：（1）模拟了大脑联想记忆的容错域随时间变化的特点．模型可以根据记忆样本的重要性，为记忆样本在不同时间设计适当的容错域;（2）实现了”维到m维空间的无穷值模式非线性联想，而且该模型的样本容错域充满整个实空间R^n，模型没有伪吸引子；（3）联想记忆速度快．     

一种联想记忆模型及附加节点方法

本文提出一种新的联想记忆模型,这种模型可根据Perceptron算法进行学习。它是一种非对称的、互连的人工神经元网络。从理论上证明了在一定条件下这种网络能记忆样本的最少个数,能够使得所要记忆的样本都能成为神经元网络动力学系统的稳定吸引子。从心理学角度看,它与人记忆采些信息的方法很相近。为了能够使网络运行时可逃离非样本吸引子,回到样本吸引子,我们又提出了一种加深联想记忆的学习及相应的运行算法。为了使任意多个样本能够存储在一个网络里,我们提出一种附加节点方法,附加节点对应于模式的一种概念,这种方法也解决了模式分类中的线性不可分问题。最后给出了计算机模拟结果。     

异联想记忆模型的优化学习算法

本文提出了一种异联想记忆模型的优化学习算法.首先,我们将反映神经元网络性能的标准转化为一个易于控制的代价函数,从而将权值的确定过程自然地转化为一个全局最优化过程.优化过程采用了梯度下降技术.这种学习算法可以保证每个训练模式成为系统的稳定吸引子,并且具有优化意义上的最大吸引域.在理论上,我们讨论了异联想记忆模型的存储能力,训练模式的渐近稳定性和吸引域的范围.计算机实验结果充分说明了算法的有效性.     

具有期望容错域的前向掩蔽联想记忆模型的设计方法

联想记忆的综合问题是目前没有很好解决的难题.文中用作者提出的通用前馈网络和排序学习算法,提出了一种设计具有期望容错域的前向掩蔽联想记忆模型的方法.该方法一般性地解决了信息空间上联想记忆的综合难题,使设计出的联想记忆模型具有任意期望的记忆样本容错域.     

联想记忆与人工神经网络

联想记忆是人类记忆的基本方式,本文通过对人类联想记忆的本质及其规律的分析,讨论了如何用人工神经网络的模型来实现这种记忆形式,同时也指出了这种模拟的不足之处及需要解决的问题。     

基于极大极小准则的Hopfield联想记忆学习算法*

基于联想记忆各记忆模式的吸引域之间应保持大小平衡的思想．提出了设计Hopfield联想记忆网络的极大极小准则，即设计出的对称连接权阵应使得网络最小的记忆模式吸引域达到最大．首先提出了一种快速学习算法;再发展了一个启发性迭代学习算法，称为约束感知器优化学习算法．大量实验结果表明了本文学习算法的优越性．     

手写体汉字识别的神经网络算法

本文提出了一种用于手写体汉字识别的神经网络算法，该算法可以模拟人类认识过程在特征提取和分类方面的联想记忆特性，可将其非监督／监督学习机制的自适应动力学属性应用于系统的稳定和优化。该算法同现有算法的区别主要体现在两，点上：（１）神经网络的联想记忆机制将传统模式识别中的两个独立过程──特征提取与模式分类有机地加以综合；（２）自组织映射（ＫｏｈｏｎｅｎＳｏｍ）网络与ＢＰ学习机制相综合，以有效地进行汉字识别和极大地提高收敛速度。该算法已应用于手写体汉字识别，并且对并行分布式仿真环境和体系结构来说，它是可并行化和实用的。     

矿山灾害评价的BP-神经网络模型研究

人工神经网络具有自适应机制,通过训练和学习,达到对知识进行分类、模式判别、联想记忆等能力。矿山开采引发的灾害评估问题可以看作是一个模式识别问题。利用BP神经网络建立了一类矿山灾害评估模型,给出了计算方法,并以单隐层和双隐层两种网络结构使用实例做了计算和分析,验证了模型的正确性。     

一种基于最大—乘积型合成神经元的模糊联想记忆网络*

本文提出了由最大－乘积型合成神经元的模糊神经网络实现双向双向联想记忆的一种学习方法实现双向联想记忆的充要条件，对于自联想记忆网络，自联想权得由广义模糊解确定，模式联想一次就收敛，该网络具有较强的容错性，大量的计算机实验结果表明该学习算法是行之有效的。     

基于约束区域的连续时间联想记忆神经网络

传统的联想记忆神经网络模型是根据联想记忆点设计权值。文中提出一种根据联想记忆点设计基于约束区域的神经网络模型,它保证了渐近稳定的平衡点集与样要点集相同,不渐近稳定的平衡点恰为实际的拒识状态,并且吸引域分布合理。它具有学习和遗忘能力,还具有记忆容量大和电路可实现优点,是理想的联想记忆器。     

时滞杂交双向联想记忆神经网络的全局指数稳定性

在近十几年里，已提出了一类与双向联想记忆相联系的神经网络模型，这些模型推广了单层自联想Hebbian相关器为两层异联想模式匹配器，因而，这类网络在模式识别、信号与图像处理等领域中有广阔的应用前景．研究了带离散时滞杂交双向联想记忆神经网络的收敛特性，利用Halanay型不等式获得了网络全局指数稳定性的充分条件，所得结果是与时滞无关的；已证明利用Halanay型不等式获得的结果改进了由Lyapunov方法获得的结果，而且获得的结果容易判定，并且给出了一个数值例子以说明所得结论的正确性．     

容量约束的自组织增量联想记忆模型

自组织联想记忆神经网络因其并行、容错及自我学习等优点而得到广泛应用,但现有主流模型在增量学习较大规模样本时,网络节点数可能无限增长,从而给实际应用带来不可承受的内存及计算开销。针对该问题,提出了一种容量约束的自组织增量联想记忆模型。以网络节点数为先决控制参数,结合设计新的节点间自竞争学习策略,新模型可满足大规模样本的增量式学习需求,并能以较低的计算容量取得较高的联想记忆性能。理论分析表明了新模型的正确性与有效性,实验分析同时显示了新模型可有效控制计算容量,提升增量样本学习效率,并获得较高的联想记忆性能,从而能更好地满足现实应用需求。     

具有非线性映射能力的高性能联想记忆模型

通常的联想记忆模型的联想性能由于受到输入模式间交叉相关项的影响而有所下降，并且在输入与输出之间缺乏非线性映射能力。本文介绍一种高性能联想记忆模型，它将低维输入向量映射到一个高维的中间向量，从而提高了系统的联想能力，又使系统具有非线性映射能力，最后给出了几种推广。     

一种能存贮相关模式的自联想记忆模型

Hopfield 的联想记忆模型只能存贮正交模式。虽然出现了一些能存贮非正模式的修正模型,但有的是针对统计无关模式的,有的学习方法显得复杂[3]。本文提出一种利用离散 Hadamard 变换存贮统计相关模式的自联想记忆模型。通过对样本模式和键模式进行预处理,该模型对于统计相关的模式仍有较好的稳定性。与其它模型相比,我们提出的学习和检索方法简单。分析表明,该模型对于统计相关的模式仍有 n/2logn 的存贮容量。     

基于元特征的联想记忆神经网络

本文作为研究神经元网络实现理解式民联想总课题的一个组成部分，主要集中讨论了基于元特征的联想记忆网络。利用我们在文献２中的给出的ＦＰ学习和综合算法思想，建立上网络模型。它与文献２中的聚类网络组合起来，可实现人类在求解复杂问题时所使用的分层递阶技术。     

最小平方高阶联想存贮器

本提出了一个新的高阶联想记忆模型。该模型采用噪声模式优化联想功能，使得对于噪声输入模式在均方误差的意义下同样达到最优的联想效果和存贮性能，推广了Ｃｈｅｎ的结果，计算机的模拟结果表明这一点。