基于梯度动力学的协同神经网络学习算法的改进

本文在研究协同神经网络梯度动力学过程的基础上,针对学习过程收敛速度缓慢的缺点,提出了一种改进的基于梯度动力学的协同神经网络学习算法。该算法分析了非平衡注意参数对学习过程的影响,简化了初始伴随向量的选取;并引入最优化理论,将该问题归结为求解非线性最优化问题,用共轭梯度法代替梯度下降法,加快了学习过程的收敛。通过对汉字图像库和人脸图像库的图像识别实验,表明该算法较之其他学习算法有较高的识别率,并能较快的收敛到极小值。     

一种改进的基于梯度动力学的协同神经网络学习算法

本文在研究协同神经网络梯度动力学过程的基础上,针对学习过程收敛速度缓慢的缺点,提出了一种改进的基于梯度动力学的协同神经网络学习算法.该算法分析了非平衡注意参数对学习过程的影响,简化了初始伴随向量的选取;并引入最优化理论,将该问题归结为求解非线性最优化问题,用共轭梯度法代替梯度下降法,加快了学习过程的收敛.通过对汉字图象库和人脸图象库的图象识别实验表明该算法较之其他学习算法有较高的识别率,并能较快的收敛到极小值.     

势能记忆梯度优化的协同模式分类方法

传统的协同模式分类学习方法是依据原型向量再通过伪逆或M-P广义逆的方法求出满足一定关系式的伴随向量,当样本维数大时,这种方法学习过程较慢,特别当样本维数有变化时传统的方法就不太适用了;协同势能函数优化的方法是直接利用协同动力学过程,来获得原型向量和伴随向量的收敛值,相比于传统的方法具有一定的优势。将最优化理论引入到协同进化的动力学过程,以加快学习过程的收敛,并以记忆梯度法替代了传统的梯度下降的算法进行势能函数的优化,来同时进行原型向量和伴随向量的学习,新方法能显著地提高收敛速度并获得较优的原型向量。通过图像的分类识别表明,相对于传统的方法,能提高识别率且收敛更好。     

用最优化方法解决BP神经网络训练问题

BP神经网络可以有效地对非线性系统进行逼近,但是传统的最速下降搜索方法存在收敛速度慢的问题。本文提出把BP神经网络转化为最优化问题,用一种共轭梯度算法代替最速下降法进行搜索迭代,极大地提高了收敛速度。     

一种改进的共轭梯度法及全局收敛性

在DY共轭梯度法的基础上对解决无约束最优化问题提出一种改进的共轭梯度法．该方法在标准wolfe线搜索下具有充分下降性，且算法全局收敛．数值结果表明了该算法的有效性．最后将算法用于SO2氧化反应动力学模型的非线性参数估计，获得满意效果．     

基于对偶字典学习的图像超分辨技术研究

提出一种基于对偶字典学习的图像超分辨方法,通过稀疏重建的方法得到重建的图像,对偶字典通过稀疏表示将低分辨图像和高分辨图像联系起来.在稀疏表示过程中,低分辨图像在低分辨字典上的稀疏表示能够很好地提高对应的高分辨图像在高分辨字典上的稀疏表示效果.将字典的学习建模为包含l1范数优化问题的双层最优化问题,采用隐微分法计算随机梯度下降的期望梯度.仿真实验结果表明,该方法能够达到和联合字典学习方法相同的速度和质量,同时,在实际应用中可以通过神经网络模型学习方法提高算法的速度.与现有的算法比较,表明了该算法的有效性.     

共轭梯度与牛顿混杂算法及在神经网络的应用

在Powell重启动共轭梯度法基础上,利用共轭迭代过程产生的二阶导数信息,构造出当前点的牛顿方向,从而得出一类快速共轭梯度法。用于神经网络逼近非线性函数的学习结果表明,该算法的收敛速度均高于使用相同构造公式的共轭梯度算法。     

采用资格迹的神经网络学习控制算法

强化学习是解决自适应问题的重要方法,被广泛地应用于连续状态下的学习控制,然而存在效率不高和收敛速度较慢的问题.在运用反向传播(back propagation,BP)神经网络基础上,结合资格迹方法提出一种算法,实现了强化学习过程的多步更新.解决了输出层的局部梯度向隐层节点的反向传播问题,从而实现了神经网络隐层权值的快速更新,并提供一个算法描述.提出了一种改进的残差法,在神经网络的训练过程中将各层权值进行线性优化加权,既获得了梯度下降法的学习速度又获得了残差梯度法的收敛性能,将其应用于神经网络隐层的权值更新,改善了值函数的收敛性能.通过一个倒立摆平衡系统仿真实验,对算法进行了验证和分析.结果显示,经过较短时间的学习,本方法能成功地控制倒立摆,显著提高了学习效率.     

Pi-sigma神经网络的乘子法随机单点在线梯度算法*

在利用梯度算法训练Pi-sigma神经网络时,存在因权值选取过小导致收敛速度过慢的问题,而采用一般罚函数法虽然可以克服这个缺点,但要求罚因子必须趋近于∞且惩罚项绝对值不可微,从而导致数值求解困难。为克服以上缺点,提出了一种基于乘子法的随机单点在线梯度算法。利用最优化理论方法,将有约束问题转换为无约束问题,利用乘子法来求解网络误差函数。从理论上分析了算法的收敛速度和稳定性,仿真实验结果验证了算法的有效性。     

改进的RBF学习算法及其相似性应用

针对RBF网络梯度下降法容易造成网络收敛速度不够快和陷入局部极小的缺陷,引入一个具有步长先验知识的神经网络来动态调整梯度下降法中的学习步长.该算法中构造了两个RBF网络,分别设为A网和B网,其中A网具有步长先验知识.当B网络陷入局部极小时,则调用A网获得优化的学习步长,进而来提高B网络的收敛速度.实验结果表明了该算法的有效性和优越性.同时,该算法对相似性问题也有较好的解决能力.     

面向深度神经网络训练的数据差分隐私保护随机梯度下降算法

针对传统深度神经网络所采用的随机梯度下降算法忽略了对数据集隐私性保护的缺点,提出一种基于数据差分隐私保护的随机梯度下降算法。引入范数剪切与附加高斯噪声操作,对传统梯度更新策略进行改进。为衡量每次迭代过程中对数据隐私性的破坏,提出隐私损失累积函数在迭代过程中对数据隐私性的侵犯程度进行度量。MNIST手写数字识别和CIFAR-10图像分类实验表明,该算法在保护数据集隐私性的同时,对手写数字以及图像分类的识别准确率分别超过了90%和70%,且相较于传统的随机梯度下降算法,其准确率提升了5%以上。该算法在实际工程中能够有效兼顾数据隐私性保护与神经网络辨识准确度。     

一种能实现免脱帽人脸识别系统算法

针对人脸识别系统在人脸被遮挡情况下识别率低的问题,为进一步提升人脸在遮挡情况下的识别率,文章提出一种通过图像多方向梯度值,使用融合、补偿等方式产生可以对原图像进行特征描述的特征图像,通过对特征图进行一系列处理后实现人脸识别的算法;算法首先计算图像四方位的梯度值;其次对4个梯度值进行融合运算,产生合融梯度、差融梯度;再次以合融梯度、差融梯度作为补偿变量在原图像上进行适当系数的补偿,形成人脸图像特征图;然后对特征图依次进行直方图统计、主成分分析后,使用SVM分类器进行分类识别;使用Matlab2016试验仿真平台在ORL、CMU_PIE等多个人脸数据库上进行测试,分别取得100%、92.21%的准确率,结果表明推荐算法在人脸被遮挡情况下的识别率具有很好的表现。     

智能控制的系统辨识协同算法

根据智能控制的特点，提出一个智能控制系统的多级控制解决办法，对系统辨识的协同算法进行深入研究。首先，利用协同算法进行智能控制的系统辩识，然后构造主控制级、自学习控制级和协调控制级等三级结构来解决智能控制的复杂性问题。利用协同算法实现了一个晶体生长智能控制系统，协同算法对提高系统辨识的精度是有益的，多级结构是一个发展方向，但协调控制级的工作还需要改进。     

增强边缘梯度特征局部量化策略驱动下的车标识别

目的 车标是车辆的显著性特征,通过车标的分类与识别可以极大缩小车辆型号识别的范围,是车辆品牌和型号识别中的重要环节。基于特征描述子的车标识别算法存在如下缺点：一方面,算法提取的特征数量有限,不能全面描述车标的特征;另一方面,提取的特征过于冗杂,维度高,需要大量的计算时间。为了提取更加丰富的车标特征,提高识别效率,提出一种增强边缘梯度特征局部量化策略驱动下的车标识别方法。方法 首先提取车标图像的增强边缘特征,即根据不同的梯度方向提取梯度信息,生成梯度大小矩阵,并采用LTP（local ternary patterns）算子在梯度大小矩阵上进一步进行特征提取,然后采用特征码本对提取的特征进行量化操作,在确保车标特征描述能力的同时,精简了特征数目,缩短了局部向量的长度,最后采用WPCA（whitened principal component analysis）进行特征降维操作,并基于CRC（collaborative representation based classification）分类器进行车标的识别。结果 基于本文算法提取的车标特征向量,能够很好地描述车标图像的特征,在HFUT-VL1车标数据集上取得了97.85%的识别率（平均每类训练样本为10张）,且在识别难度较大的XMU车标数据集上也能取得90%以上的识别率（平均每类训练样本为100张）,与其他识别算法相比,识别率有明显提高,且具有更强的鲁棒性。结论 增强边缘梯度特征局部量化策略驱动下的车标识别算法提取的特征信息能够有效地描述车标,具有很高的识别率和很强的鲁棒性,大大降低了特征向量的维度,提高了识别效率。     

修改标记符梯度图像的分水岭变换

针对传统分水岭算法中存在的过分割现象,提出了一种修改标记符梯度图像的分水岭分割方法。该算法首先利用阈值分割法对图像中感兴趣的目标和背景进行标记;然后根据标记的二值图像,运用形态学极小值标定技术对原有梯度图像进行修正;最后,使用分水岭算法对修正的梯度图像进行分割。实验结果表明,该算法能有效地抑制过分割问题,并且使用标记符会为分割问题带来先验知识,这为人们解决模式识别等更高级的工作提供了一种有效方法。     

基于改进非负矩阵分解的手背静脉识别算法

为提高手背静脉识别过程中特征的有效性,提出了一种基于改进非负矩阵分解（NMF）的识别算法．首先,静脉图像经过分块后,将每一块子图像的像素均值与平均梯度幅值作为图像原始特征;其次,将所有训练样本原始特征形成的特征矩阵进行非负矩阵分解,其中对分解后的系数向量加以稀疏性与可区分性约束,从而形成改进的非负矩阵分解模型;再次,基于梯度投影法对提出的非负矩阵分解模型进行求解,获取新的特征基与特征向量;最后,利用最近邻匹配算法对特征向量进行分类,实现身份的识别．实验结果表明,提出的识别算法可获得较高的识别率,处理过程具有较好实时性．     

基于非单调共轭梯度算法的声纹识别机器人控制系统设计

传统声纹识别人控制系统识别准确率低,存在语音识别噪声鲁棒性问题。针对上述问题,基于非单调共轭梯度算法设计了一种新的声纹识别机器人控制系统,采用BioVoice 2.0 标准声纹采集器采集数据,提取声纹特征,根据提取的声纹特征建立模型库,同时引用了两个声纹数据采集终端,型号分别是TMC104-B和TMC104,选用型号为AS-MrobotR的机器人配合采集器和采集终端实现工作。在Windows平台下使用C/C+语言研究了一种专用的程序,在程序内部添加mde-api数据库,完成训练程序和识别程序。实验结果表明,基于非单调共轭梯度算法的声纹识别机器人控制系统能够很好地解决语音识别噪声鲁棒性问题,在有噪声环境下识别准确率提高15.24%,在无噪声环境下识别准确率提高21.55%。     

基于正交梯度二值模式的单样本人脸识别

针对传统人脸识别方法在单样本条件下识别效果不佳的问题,提出一种改进的对光照和表情姿态等变化具有较强鲁棒性的梯度脸算法——正交梯度二值模式(OGBP)。首先采用正交梯度二值模式对样本图像进行特征提取,然后将每个方向特征向量串接起来作为用于人脸识别的总体特征向量,最后通过主成分分析(PCA)方法降维并利用最近邻分类器分类识别。在YALE和AR人脸库上进行测试,实验结果表明所提方法简单有效,性能优于原始的梯度脸算法,且对单样本人脸描述具有更好的效果。