基于梯度动力学的协同神经网络学习算法的改进

本文在研究协同神经网络梯度动力学过程的基础上,针对学习过程收敛速度缓慢的缺点,提出了一种改进的、基于梯度动力学的协同神经网络学习算法。该算法分析了非平衡注意参数对学习过程的影响,简化了初始伴随向量的选取;并引入最优化理论,将该问题归结为求解非线性最优化问题,用共轭梯度法代替梯度下降法,加快了学习过程的收敛。通过对汉字图像库和人脸图像库的图像识别实验表明,该算法比其他学习算法的识别率高,并能较快地收敛到极小值。     

一种改进的基于梯度动力学的协同神经网络学习算法

本文在研究协同神经网络梯度动力学过程的基础上,针对学习过程收敛速度缓慢的缺点,提出了一种改进的基于梯度动力学的协同神经网络学习算法.该算法分析了非平衡注意参数对学习过程的影响,简化了初始伴随向量的选取;并引入最优化理论,将该问题归结为求解非线性最优化问题,用共轭梯度法代替梯度下降法,加快了学习过程的收敛.通过对汉字图象库和人脸图象库的图象识别实验表明该算法较之其他学习算法有较高的识别率,并能较快的收敛到极小值.     

势能记忆梯度优化的协同模式分类方法

传统的协同模式分类学习方法是依据原型向量再通过伪逆或M-P广义逆的方法求出满足一定关系式的伴随向量,当样本维数大时,这种方法学习过程较慢,特别当样本维数有变化时传统的方法就不太适用了;协同势能函数优化的方法是直接利用协同动力学过程,来获得原型向量和伴随向量的收敛值,相比于传统的方法具有一定的优势。将最优化理论引入到协同进化的动力学过程,以加快学习过程的收敛,并以记忆梯度法替代了传统的梯度下降的算法进行势能函数的优化,来同时进行原型向量和伴随向量的学习,新方法能显著地提高收敛速度并获得较优的原型向量。通过图像的分类识别表明,相对于传统的方法,能提高识别率且收敛更好。     

用最优化方法解决BP神经网络训练问题

BP神经网络可以有效地对非线性系统进行逼近,但是传统的最速下降搜索方法存在收敛速度慢的问题。本文提出把BP神经网络转化为最优化问题,用一种共轭梯度算法代替最速下降法进行搜索迭代,极大地提高了收敛速度。     

一种改进的共轭梯度法及全局收敛性

在DY共轭梯度法的基础上对解决无约束最优化问题提出一种改进的共轭梯度法．该方法在标准wolfe线搜索下具有充分下降性，且算法全局收敛．数值结果表明了该算法的有效性．最后将算法用于SO2氧化反应动力学模型的非线性参数估计，获得满意效果．     

基于对偶字典学习的图像超分辨技术研究

提出一种基于对偶字典学习的图像超分辨方法,通过稀疏重建的方法得到重建的图像,对偶字典通过稀疏表示将低分辨图像和高分辨图像联系起来.在稀疏表示过程中,低分辨图像在低分辨字典上的稀疏表示能够很好地提高对应的高分辨图像在高分辨字典上的稀疏表示效果.将字典的学习建模为包含l1范数优化问题的双层最优化问题,采用隐微分法计算随机梯度下降的期望梯度.仿真实验结果表明,该方法能够达到和联合字典学习方法相同的速度和质量,同时,在实际应用中可以通过神经网络模型学习方法提高算法的速度.与现有的算法比较,表明了该算法的有效性.     

共轭梯度与牛顿混杂算法及在神经网络的应用

在Powell重启动共轭梯度法基础上,利用共轭迭代过程产生的二阶导数信息,构造出当前点的牛顿方向,从而得出一类快速共轭梯度法。用于神经网络逼近非线性函数的学习结果表明,该算法的收敛速度均高于使用相同构造公式的共轭梯度算法。     

采用资格迹的神经网络学习控制算法

强化学习是解决自适应问题的重要方法,被广泛地应用于连续状态下的学习控制,然而存在效率不高和收敛速度较慢的问题.在运用反向传播(back propagation,BP)神经网络基础上,结合资格迹方法提出一种算法,实现了强化学习过程的多步更新.解决了输出层的局部梯度向隐层节点的反向传播问题,从而实现了神经网络隐层权值的快速更新,并提供一个算法描述.提出了一种改进的残差法,在神经网络的训练过程中将各层权值进行线性优化加权,既获得了梯度下降法的学习速度又获得了残差梯度法的收敛性能,将其应用于神经网络隐层的权值更新,改善了值函数的收敛性能.通过一个倒立摆平衡系统仿真实验,对算法进行了验证和分析.结果显示,经过较短时间的学习,本方法能成功地控制倒立摆,显著提高了学习效率.     

改进的RBF学习算法及其相似性应用

针对RBF网络梯度下降法容易造成网络收敛速度不够快和陷入局部极小的缺陷,引入一个具有步长先验知识的神经网络来动态调整梯度下降法中的学习步长.该算法中构造了两个RBF网络,分别设为A网和B网,其中A网具有步长先验知识.当B网络陷入局部极小时,则调用A网获得优化的学习步长,进而来提高B网络的收敛速度.实验结果表明了该算法的有效性和优越性.同时,该算法对相似性问题也有较好的解决能力.     

Pi-sigma神经网络的乘子法随机单点在线梯度算法*

在利用梯度算法训练Pi-sigma神经网络时,存在因权值选取过小导致收敛速度过慢的问题,而采用一般罚函数法虽然可以克服这个缺点,但要求罚因子必须趋近于∞且惩罚项绝对值不可微,从而导致数值求解困难。为克服以上缺点,提出了一种基于乘子法的随机单点在线梯度算法。利用最优化理论方法,将有约束问题转换为无约束问题,利用乘子法来求解网络误差函数。从理论上分析了算法的收敛速度和稳定性,仿真实验结果验证了算法的有效性。     

智能控制的系统辨识协同算法

根据智能控制的特点，提出一个智能控制系统的多级控制解决办法，对系统辨识的协同算法进行深入研究。首先，利用协同算法进行智能控制的系统辩识，然后构造主控制级、自学习控制级和协调控制级等三级结构来解决智能控制的复杂性问题。利用协同算法实现了一个晶体生长智能控制系统，协同算法对提高系统辨识的精度是有益的，多级结构是一个发展方向，但协调控制级的工作还需要改进。     

基于改进BP神经网络的尿液中红白细胞识别算法

对显微图像中的尿液有形成分包括红白细胞等进行分析,可以帮助医生对有肾脏和泌尿系统疾病的患者进行评估。针对无染色、无标记的尿液图像中红白细胞存在对比度低、边缘模糊等问题,提出一种基于改进BP神经网络的识别方法。首先,将遗传算法引入BP神经网络对网络权值和阈值进行优化,解决训练过程中网络容易陷入局部极值等问题,提高BP神经网络的识别精度;其次,使用动量梯度下降法消除网络在梯度下降中产生的摆动,加快网络的收敛,提高BP神经网络的学习速度。与基础BP神经网络相比,改进方法对红白细胞的识别准确度分别提高了6.9%和9.5%,且识别时间分别缩短了19.3 s和42.1 s;与CNN识别算法相比,改进算法对白细胞的识别准确度提高了1.7%;与SVM识别算法相比,改进算法对红白细胞的识别准确度分别提高了12.9%和12.7%。验证实验和对照实验的结果表明,改进方法能以较高的准确率和较快的速度实现红白细胞的识别。     

基于遗传算法的原型模式选取算法

该文了原型模式选取对协同方法的模式识别性能有着非常重要的作用,并提出了一种基于遗传算法的原型模式选取算法,对从实际应用中获得的样本进行的实验证明：新算法能有效地在原型模式空间搜索全局最优解,使协同方法的识别性能有较大提高。     

面向深度神经网络训练的数据差分隐私保护随机梯度下降算法

针对传统深度神经网络所采用的随机梯度下降算法忽略了对数据集隐私性保护的缺点,提出一种基于数据差分隐私保护的随机梯度下降算法。引入范数剪切与附加高斯噪声操作,对传统梯度更新策略进行改进。为衡量每次迭代过程中对数据隐私性的破坏,提出隐私损失累积函数在迭代过程中对数据隐私性的侵犯程度进行度量。MNIST手写数字识别和CIFAR-10图像分类实验表明,该算法在保护数据集隐私性的同时,对手写数字以及图像分类的识别准确率分别超过了90%和70%,且相较于传统的随机梯度下降算法,其准确率提升了5%以上。该算法在实际工程中能够有效兼顾数据隐私性保护与神经网络辨识准确度。     

基于协同感知的视觉选择注意计算模型

鉴于在任务相关的视觉注意中,需要建立基于任务的视觉注意显著图来引导视觉注意,为此利用与人认知过程相接近的协同感知理论来研究基于任务的视觉注意计算模型,即首先利用协同识别理论研究二义及多义模式的视觉感知,得到协同视觉感知理论;然后将协同视觉感知中的模式与从视觉注意模型中提取的底层视觉特征相对应,利用偏置矩阵的性质计算底层视觉特征间受任务影响而产生的偏置,再由此偏置和底层视觉特征生成基于任务的视觉注意显著图;最后提出了基于协同感知理论的视觉选择注意计算模型。该算法用于基于任务的视觉搜索的实验结果表明,该算法是有效的,在认知上是合理的。     

A robotic vision system for object identification and manipulation using synergetic pattern recognition

This paper discusses the application of the synergetic pattern recognition method to a robotic vision system for workpiece identification and manipulation in automated flexible manufacturing environments. The original synergetic algorithm is extended to allow its pattern attention parameters to have different values. Stability analysis of the extended recognition model indicates that the prototype patterns are the only stable patterns and undesired spurious patterns cannot exist. A simple scheme for tuning attention parameters is developed. Simulation results show that the number of object misclassification is reduced significantly with this extension. In addition, an image preprocessing procedure enables synergetic recognition to be simultaneously invariant to spatial pattern translation, rotation, and scaling; while an approach for recovering position, orientation, and size information is also proposed. Simple and efficient task-directed and object-specific strategies for robotic workpiece manipulation are now easy to implement based on these results and procedures.     

基于协同神经网络的图像数字水印算法

为保证图像数字水印的鲁棒性和安全性,结合加密技术,提出了一种使用协同神经网络的图像数字水印算法。该算法是先对有意义的灰度图像进行水印序列化处理后,再将其作为水印信号嵌入到载体图像的分块DCT系数直流分量里。水印的检测提取算法是采用协同神经网络,将疑似水印信号作为网络的输入,而网络的输出就是识别的结果。经仿真实验验证,该算法可承受一定的图像处理操作,不仅能同时完成水印的检测与提取,而且能有效判断水印的归属,具有较好的性能。     

基于正交梯度二值模式的单样本人脸识别

针对传统人脸识别方法在单样本条件下识别效果不佳的问题,提出一种改进的对光照和表情姿态等变化具有较强鲁棒性的梯度脸算法——正交梯度二值模式(OGBP)。首先采用正交梯度二值模式对样本图像进行特征提取,然后将每个方向特征向量串接起来作为用于人脸识别的总体特征向量,最后通过主成分分析(PCA)方法降维并利用最近邻分类器分类识别。在YALE和AR人脸库上进行测试,实验结果表明所提方法简单有效,性能优于原始的梯度脸算法,且对单样本人脸描述具有更好的效果。     

基于改进非负矩阵分解的手背静脉识别算法

为提高手背静脉识别过程中特征的有效性,提出了一种基于改进非负矩阵分解（NMF）的识别算法．首先,静脉图像经过分块后,将每一块子图像的像素均值与平均梯度幅值作为图像原始特征;其次,将所有训练样本原始特征形成的特征矩阵进行非负矩阵分解,其中对分解后的系数向量加以稀疏性与可区分性约束,从而形成改进的非负矩阵分解模型;再次,基于梯度投影法对提出的非负矩阵分解模型进行求解,获取新的特征基与特征向量;最后,利用最近邻匹配算法对特征向量进行分类,实现身份的识别．实验结果表明,提出的识别算法可获得较高的识别率,处理过程具有较好实时性．