基于熵误差函数的BP算法及其应用

BP算法现在已成为目前最广泛的神经网络学习算法之一,但存在收敛速度较慢和学习不稳定的问题.为了加快收敛,用熵作为误差函数来对BP算法进行改进,在训练过程中加入动量项,并且对样本作归一化处理.通过对函数逼近和异或问题实例的仿真,与通常改进的BP算法所得的结果进行比较,仿真结果表明熵作为误差函数的改进BP算法比通常改进的BP算法有更好的收敛性和稳定性.最后,通过改进的BP神经网络实现对矩形波导匹配负载的结构设计,结果表明网络能很好地达到工程的要求.     

一种改进的动量粒子群算法及实验分析

为了克服粒子群算法存在的收敛缓慢、后期振荡等缺陷,在基本粒子群算法的基础上,引入动量项,提出一种新的改进型粒子群算法.新算法中动量项与微粒的历史修正量线性相关,典型复杂优化函数的实验结果表明:该算法不但保持了基本粒子群算法的简单、易实现等优点,而且提高了算法的收敛速度及部分地避免了算法的后期振荡.     

绝对值方程的交叉熵蝙蝠算法求解

针对绝对值方程这一NP-难问题和其转换为无约束优化问题具有不可微的特点,一种交叉熵蝙蝠算法被构建.该算法将基于方差最小化、重要性抽样和Kullback-Leibler距离的交叉熵随机优化算法嵌入到基于仿生学的蝙蝠算法中,充分发挥交叉熵方法的随机性、自适应性和鲁棒性,有效抑制蝙蝠算法的早熟收敛现象,提高优化性能.数值结果表明,新算法具有全局搜索能力强、计算精度高和数值稳定性好等特点,也适用于高维绝对值方程问题.     

动量滤波-eLMS算法及其性能分析

针对有源噪声控制中滤波-e LMS(最小均方算法)算法收敛速度慢,收敛步长取值范围小及受参考信号自相关矩阵特征值分散程度影响较大的缺点,提出一种改进的滤波-e LMS箅法一动量滤波-e LMS算法.算法在滤波-e LMS算法的基础上,结合动量LMS算法,在权系数更新迭代时引入一个动量项,此动量项包含了先前梯度的估计值.理论推导证明算法不仅可以加快系统的收敛速度还可以扩大收敛因子的取值范围.仿真结果表明,动量滤波-e LMS算法具有收敛速度快、稳态误差小的优点.还讨论了算法中不同动量因子对算法收敛性能的影响,确定了它们的最优取值范围.     

求解高维函数优化问题的交叉熵蝙蝠算法

为改善蝙蝠算法求解高维函数优化问题的全局搜索能力,提高其搜索精度,将交叉熵方法和蝙蝠算法相结合,提出一种交叉熵蝙蝠算法。该算法将基于重要度抽样和Kullback-Leibler距离的交叉熵全局随机优化算法应用于蝙蝠算法中,采用自适应平滑技术提高算法的收敛速度,利用交叉熵方法的遍历性、自适应性和鲁棒性,有效抑制蝙蝠算法的早熟收敛现象。对经典测试函数和CEC2005测试函数的仿真结果表明,该算法具有全局搜索能力强、求解精度高和鲁棒性好等特性。     

基于成对约束的交叉熵半监督聚类算法*

极大熵聚类(MEC)目标函数中缺乏成对约束的有效信息表达,在拥有少量成对约束的情况下,可能导致有效监督信息的浪费.在MEC的基础上,文中提出基于成对约束的交叉熵半监督聚类算法.利用样本交叉熵表达成对约束信息,并作为惩罚项引入至MEC的目标函数中,通过拉格朗日最优化处理目标函数,得出聚类中心与隶属度的迭代公式.实验表明,文中算法能有效利用少量的成对约束监督信息提高聚类性能,在实际数据应用中性能较好     

前馈神经网络的一种非线性同伦综合学习算法

本文考虑到同伦论中采用零点路径跟踪算法时不同的同伦路径对计算速度的影响，将其应用到多层前向神经网络能量函数极小点的路径跟踪算法中，提出了一种改进的同伦ＢＰ算法一非线性同伦ＢＰ算法，其次，提出了将其与其它改进的神经算法综合作用的新算法，既能快速收敛，又能较大地提高其避免陷入局部极小的能力，收到很好的训练效果。本文的理论分析和计算机仿真实验表明了这些结论的准确性和有效性。     

具有随机附加项的PSO改进算法

在粒子群算法的基础上引入第3方随机项:随机数和全局最优、自身最优的差值的乘积项,对算法中的速度-位置更新方程进行了改进,更好地保持粒子群的多样性,使算法可以不断地进化,提高算法的收敛速度,避免过早陷入局部最优解的现象.分别采用Sphere、Rosenbrock、Griewank和Rastrigrin4个标准函数对其进行测试.对比结果表明引入第3方随机项的PSO基本模型和收敛因子模型比传统模型的最优适宜度精度和优化收敛速度都有所提高.因此,改进的算法表现出更强的求解能力.     

基于粒子群算法的数字滤波器优化与仿真

研究数字滤波器优化问题,针对传统算法在数字滤波器优化过程中易出现“早熟”和后期收敛速度慢等等问题,提出了一种动量交叉粒子群算法的数字滤波器优化方法.首先把求解数字滤波器参数的问题数学化为性能指标优化模型,然后采用动量交叉粒子群算法找到符合特征要求的数字滤波器参数值,并通过仿真对性能进行测试.仿真结果表明,动量交叉粒子群算法较好地解决了传统算法的易出现“早熟”和后期收敛速度慢等等难题,设计数字滤波器的频域响应十分逼近理想频域响应,提高数字滤波器的设计效率.     

小生境分布估计量子遗传算法及其仿真分析

针对现有量子遗传算法进化机制存在的收敛速度慢以及易陷入局部极值的问题,为提高量子进化算法的全局收敛性能,结合小生境技术中的共享适应度函数方法,提出了小生境分布估计量子遗传算法NEDQGA,在种群内部利用多粒度机制和边缘积模块(MPM)进行量子染色体的两步旋转;并提出利用MPM进行交叉的方法,从而增强了种群多样性,避免了优良模式的损失,加快了算法的收敛;对算法的收敛性进行了分析,提出了MPM更新量子染色体的熵收敛准则。经函数仿真分析,算法收敛效果明显提高。     

A new active contour remote sensing river image segmentation algorithm inspired from the cross entropy

The CV (Chan–Vese) model is a piecewise constant approximation of the Mumford and Shah model. It assumes that the original image can be segmented into two regions such that each region can be represented as constant grayscale value. In fact, the objective functional of the CV model actually finds a segmentation of the image such that the within-class variance is minimized. This is equivalent to the Otsu image thresholding algorithm which also aims to minimize the within-class variance. Similarly to the Otsu image thresholding algorithm, cross entropy is another widely used image thresholding algorithm and it finds a segmentation such that the cross entropy of the segmented image and the original image is minimized. Inspired from the cross entropy, a new active contour image segmentation algorithm is proposed. The region term in the new objective functional is the integral of the logarithm of the ratio between the grayscale of the original image and the mean value computed from the segmented image weighted by the grayscale of the original image. The new objective functional can be solved by the level set evolution method. A distance regularized term is added to the level set evolution equation so the level set need not be reinitialized periodically. A fast global minimization algorithm of the objective functional is also proposed which incorporates the edge term originated from the geodesic active contour model. Experimental results show that, the algorithm proposed can segment images more accurately than the CV model and the implementation speed of the fast global minimization algorithm is fast.     

二维类内最小交叉熵的图像分割快速方法

熵是基于图像的一维灰度直方图得到的,仅利用了像素的灰度信息。最小交叉熵就是要寻找最优阈值使原始图像和分割图像之间的信息量的差异最小,在交叉熵的基础上,通过引入图像的空间信息,定义了二维类内交叉熵,并提出了基于二维类内最小交叉熵的图像分割方法。实验结果表明,充分利用图像的灰度信息和空间信息后,二维类内交叉熵取得了比交叉熵更好的分割效果。为了提高运算效率,提出了相应的快速递推算法,计算时间由从多于3小时减少到只要几秒。     

CUDA平台下信息熵多种群遗传算法设计

为了进一步提高信息熵多种群遗传算法的计算效率,缩短计算时间,提出了一种基于CUDA平台的信息熵多种群遗传算法。通过分析原算法的并行因素,结合CUDA开发平台,对原算法进行适合GPU加速的并行化处理,实现了遗传算子、惩罚函数和空间收缩因子等的并行计算,有效地提高了算法效率。例题数值测试表明,在保持了快速收敛特性和计算精度的前提下,CUDA并行算法相对于原算法具有很高的加速效率。     

改进同伦分析方法及推广Kuramoto Sivashinsky方程的近似解

首先介绍了带有两个辅助参数的改进同伦分析方法,然后用该方法得到了推广Kuramoto-Sivashin-sky方程的同伦近似解.所得近似解与精确孤立波解进行比较,发现本文得到的近似解更有效地逼近真实解.因为该解包含了两个辅助参数,所以能够更有效地调节和控制其收敛区域和速度.研究表明带有两个辅助参数的改进同伦分析方法对复杂非线性系统的研究更有它的优点.     

基于混沌布谷鸟优化的二维Tsallis交叉熵建筑物遥感图像分割

为了进一步提升建筑物遥感图像分割的准确性和运算速度,本文提出了基于混沌布谷鸟优化的二维Tsallis交叉熵的建筑物遥感图像分割方法。首先给出了二维Tsallis交叉熵的阈值选取公式,然后将Logistic混沌映射引入布谷鸟算法,进一步加快布谷鸟算法的收敛速度,最后通过该混沌布谷鸟算法优化基于二维Tsallis交叉熵的阈值寻找过程,并以得到的最优阈值分割建筑物遥感图像。大量实验结果表明,与二维倒数交叉熵法、二维Tsallis熵法、基于混沌粒子群优化的二维Tsallis灰度熵法等方法相比较,本文方法分割的目标更为准确,细节更为清晰,且运算时间更短。     

分解的二维非对称Tsallis 交叉熵图像阈值选取

现有的Tsallis 交叉熵能够度量图像分割前后的差异,但公式复杂,计算效率不高,据此, 提出了基于分解的二维非对称Tsallis 交叉熵图像阈值选取方法。首先给出了非对称Tsallis 交叉熵的定 义,提出了一维非对称Tsallis 交叉熵阈值选取方法;然后,将其拓展到二维,推导出相应的阈值选取 公式;最后,在此基础上提出了二维非对称Tsallis交叉熵阈值选取的分解算法,使求解二维非对称Tsallis 交叉熵阈值法的运算转化到两个一维空间上,将计算复杂度从O(L4)降低为O(L)。大量实验结果表明, 与基于混沌粒子群优化的二维Tsallis 灰度熵法、二维斜分对称交叉熵法,二维斜分对称Tsallis 交叉熵 法等方法相比,该方法分割性能优,运行时间短,可望满足实际应用系统对分割的实时要求。     

基于交叉熵及曲线进化的图像分割算法

该文提出一种新的图像分割算法,从目标和背景区域的差异性出发,利用信息论中的交叉熵作为衡量标准,构造能量函数,通过最小化能量即可得到分割结果。在最小化能量函数时,运用最陡梯度下降法导出曲线进化方程,然后考虑噪声的影响提出了改进模型,并用水平集方法来表示此曲线进化方程,利用快速水平集方法来进行数值求解。最后的仿真结果证明了本文算法的有效性。     

退火期望最大化算法A-EM

使用EM算法训练随机多层前馈网具有低开销、易于实现和全局收敛的特点,在EM算法的基础上提出了一种训练随机多层前馈网络的新方法AEM.AEM算法利用热力学系统的最大熵原理计算网络中隐变量的条件概率,借鉴退火过程,引入温度参数,减小了初始参数值对最终结果的影响.该算法既保持了原EM算法的优点,又有利于训练结果收敛到全局极小.从数学角度证明了该算法的收敛性,同时,实验也证明了该算法的正确性和有效性.     

平面连杆变幅机构轨迹综合遗传退火优化算法的研究

基于遗传和模拟退火两种算法的优点,提出了一种遗传退火耦合算法,并将该算法用于平面连杆变幅机构的轨迹优化,数值实验表明,该算法具有群体搜索、在有限遗传代数内以较大概率搜索到全局最优解等特点,同时,在求解连杆曲线非线性方程组中引入同伦算法,使算法具有大范围收敛性,从而保证了优化过程的稳定收敛。     

Estimation of convergence rate for multi-regression learning algorithm

In many applications, the pre-information on regression function is always unknown. Therefore, it is necessary to learn regression function by means of some valid tools. In this paper we investigate the regression problem in learning theory, i.e., convergence rate of regression learning algorithm with least square schemes in multi-dimensional polynomial space. Our main aim is to analyze the generalization error for multi-regression problems in learning theory. By using the famous Jackson operators in approximation theory, covering number, entropy number and relative probability inequalities, we obtain the estimates of upper and lower bounds for the convergence rate of learning algorithm. In particular, it is shown that for multi-variable smooth regression functions, the estimates are able to achieve almost optimal rate of convergence except for a logarithmic factor. Our results are significant for the research of convergence, stability and complexity of regression learning algorithm.