多个体网络分布式随机投影无梯度优化算法

研究了有向多个体网络的无梯度优化问题,提出了一种分布式随机投影无梯度优化算法。假定网络的优化目标函数可分解成所有个体的目标函数之和,每个个体仅知其自身的目标函数及其自身的状态约束集。运用无梯度方法解决了因个体目标函数可能非凸而引起的次梯度无法计算问题,并结合随机投影算法解决了约束集未知或约束集投影运算受限的问题。在该算法作用下,所有个体状态几乎必然收敛到优化集内,并且网络目标函数得到最优。     

基于互补约束规划模型的投影Barzilai-Borwein梯度算法求解绝对值方程

在绝对值方程◢Ax-|x|=b◣问题有解情形下,给出了求解绝对值问题的一种新方法。首先建立了一等价求解绝对值问题的互补约束规划模型,进而利用新模型中的非负约束给出了求解绝对值问题投影Barzilai-Borwein（BB）梯度算法。数值实验结果表明了该方法的有效性。     

基于梯度投影的图像盲复原算法

为了利用多帧退化图像信息快速恢复出高质量的图像,提出了一种新的递归梯度投影多帧图像盲复原算法。该算法充分利用多帧图像的先验信息,首先给出一种能够有效抑制噪声放大的新的代价函数,然后通过梯度投影算法对新的代价函数进行最小化以推导出迭代公式,最后通过频率域多次递归迭代运算对退化图像进行复原。模拟实验结果证明该算法运算快速,对于不同高斯噪声级别和不同PSF衰退的图像,均能够清晰地恢复出图像细节特征、同时也能够准确地恢复出衰退PSF。     

基于梯度投影法的电子稳像算法

灰度投影法在灰度值单一、对比度差的图像序列中的运动估计不精准,易造成误差。针对该问题,提出一种基于梯度投影法的电子稳像算法。该算法根据梯度帧内变化剧烈、帧间变化稳定、梯度投影曲线变化明显等特点,利用图像的梯度分布情况进行运动估计。实验结果表明,该算法可提高微光图像序列的帧间运动估计精度。     

基于随机谱梯度的在线学习

考虑一类学习问题,问题的目标函数可表示为大量组函数的平均,并且假设每一个组件函数都是光滑的。在众多机器学习方法中,在线学习操作流程简洁、收敛速度快,而且可以实现模型的自动更新,为大数据的学习提供了有利的工具。针对这类问题,提出了一种基于随机谱梯度下降(Stochastic Spectral Gradient Descent,S²GD)的在线学习方法。该方法利用Rayleigh商收集目标函数的二阶信息来构造Hessian阵逆的近似。S²GD方法可以看作是谱梯度方法从确定性优化到随机优化的延伸。算法每次迭代所产生的搜索方向具有下降性,且现有结论表明算法收敛。在LIBSVM数据库上的初步实验表明S²GD方法是可行的、有效的。     

基于随机投影的K-means算法研究

对于大量的高维训练数据,数据降维是提高存储和计算效率、避免维数灾难的有效手段。提出了一种方法:首先基于随机投影理论对原始数据集进行随机投影变换,将数据集矩阵A映射为ā,而后再对矩阵ā执行K-means聚类算法,这样不仅能降低数据集的维度,同时也能减少执行K-means算法的时间,并且能够保证良好的聚类效果。最后在人工数据集和面部图像数据集上的仿真实验验证了该理论的有效性和准确性。     

随机并行梯度下降图像匹配方法性能研究及优化

随机并行梯度下降图像匹配方法是一种全新的图像匹配方法,该方法同时对所有的变形参数施加相互统计独立的随机扰动,并以相关系数随机梯度分量代替真实的梯度分量进行迭代运算,使之能够快速地得到最优参数估计。在编程实现该技术方案的过程中,匹配坐标系选取、双边或单边扰动方式等因素对匹配效果影响明显。本文主要从这两个方面对匹配性能的影响进行分析研究并采取优化措施,使该方法得到进一步完善。     

基于随机扰动梯度近似的图像复原与重构算法

为了复原缺乏先验知识的降质图像以及探索层析X射线图像重构的新途径,借鉴Spall 和Cristion的随机扰动近似(SPSA)方法,将其扩展到高阶和多元的情形,进而提出了一种新的随机扰动梯度近似算法.此算法无须先验知识或后验概率,具有良好的稳定收敛性.对比实验表明,将此算法用于图像的复原和重构可获得良好的效果,而且性能稳定.     

基于遗传算法和梯度算法的一种结构优化混合方法

基于遗传算法和梯度算法,文章提出了一种结构优化的混合方法。算例表明该方法兼具遗传算法的优良全局搜索能力和梯度算法的强大局部搜索的特点,且具有很好的工程适应性。     

基于梯度粒子群算法的细菌觅食算法

针对细菌觅食算法在优化过程中环境感知能力较弱且容易陷入局部极值的缺陷,将梯度粒子群算法的基本思想引入细菌觅食算法中,改进原算法的收敛速度和收敛能力,并据此提出了基于梯度粒子群算法的细菌觅食算法GPSO-BFA。该算法既利用了细菌觅食算法出色的全局搜索能力,又借助梯度粒子群算法的快速局部寻优能力,很好地将两者的优势结合在一起。基于六个高维Benchmark函数的实验结果显示,该算法在收敛速度和精度方面都优于其他四种细菌觅食算法。     

随机优化问题基于假设检验的遗传算法

为了有效解决具有不确定性和多极小性的随机优化问题 ,提出了一类基于假设检验的遗传算法 .该方法通过多次评价来进行解性能的合理估计 ,利用遗传操作来进行解空间的有效搜索 ,采用假设检验来增加种群的多样性和算法的探索能力 ,从而避免遗传算法的早熟收敛 .基于典型的随机函数优化和组合优化问题 ,仿真研究了假设检验、性能估计次数、噪声幅度对算法性能的影响 ,验证了所提方法的有效性和鲁棒性     

结合梯度法的混合微粒群优化算法

在微粒群优化算法PSO中引入梯度算法,提出了一种新型的混合微粒群优化算法——GPSO。该混合优化算法是对PSO每一次进化后的所有微粒进一步执行梯度法寻优操作,并以寻找到的更优个体替代当前个体参与群体的下一代进化。GPSO既利用了PSO出色的全局搜索能力,又借助梯度法的快速局部寻优能力,很好地将两者的优势结合在一起。数值实验表明：无论是对于低维的多峰函数,还是高维的多峰和单峰病态函数,GPSO都表现出很强的优化效率、适用性和鲁棒性。     

混沌梯度组合优化算法

提出一种混沌梯度组合全局优化算法，并对该算法进行了收敛性分析．算法首先采用改进的变步长梯度法得到某个优化值，然后利用变尺度混沌搜索跳出局部极小，经过反复组合迭代，直至到达最优解．仿真结果表明，该算法能充分发挥梯度法寻优的快速性和混沌法寻优的全局搜索能力．     

基于伸缩梯度投影的天文图像复原改进算法

在地基天文观测中,克服大气湍流造成的图像模糊是获取高分辨率天文图像的关键.反卷积是图像复原过程中的重要步骤,基于伸缩梯度投影的反卷积算法具有较高的复原精度和处理效率,且鲁棒性好,适用于天文图像的复原.但由于实际应用中清晰图像是未知的且存在噪声的干扰,该算法存在着无法自行停止迭代的弊端,限制了其应用.结合图像无参考质量度量给出一种可自动停止迭代的改进算法.仿真表明:改进的算法对最优点判断较为准确,能够运用于实际天文图像处理.     

随机仿真优化的一类遗传序优化框架

针对仿真优化问题存在随机性、计算费时、解空间巨大、多极小等难点,结合遗传算法的并行遗传搜索、最优计算量分配以及序优化的目标软化和序比较思想提出一类遗传序优化框架,进而讨论了该方法的收敛性和具体实施问题,最后指出了进一步的研究内容.     

Generalized gradient projection neural networks for nonsmooth optimization problems

Generalized gradient projection neural network models are proposed to solve nonsmooth convex and nonconvex nonlinear programming problems over a closed convex subset of R n . By using Clarke’s generalized gradient, the neural network modeled by a differential inclusion is developed, and its dynamical behavior and optimization capabilities both for convex and nonconvex problems are rigorously analyzed in the framework of nonsmooth analysis and the differential inclusion theory. First for nonconvex optimizati...     

A new clustering method based on the bio-inspired cuttlefish optimization algorithm

Most of the well-known clustering methods based on distance measures, distance metrics and similarity functions have the main problem of getting stuck in the local optima and their performance strongly depends on the initial values of the cluster centers. This paper presents a new approach to enhance the clustering problems with the bio-inspired Cuttlefish Algorithm (CFA) by searching the best cluster centers that can minimize the clustering metrics. Various UCI Machine Learning Repository datasets are used to test and evaluate the performance of the proposed method. For the sake of comparison, we have also analysed several algorithms such as K-means, Genetic Algorithm and the Particle Swarm Optimization (PSO) Algorithm. The simulations and obtained results demonstrate that the performance of the proposed CFA-Clustering method is superior to the other counterpart algorithms in most cases. Therefore, the CFA can be considered as an alternative stochastic method to solve clustering problems.     

基于二次优化的随机优化算法结果的改进

统计研究发现,随机优化算法多次运行后的优化结果满足正态分布,且期望值更接近最优解。为此,提出一种基于统计学理论并结合牛顿法的二次优化方法来改进随机优化算法的求解结果,以克服将多次优化结果的平均值作为最优解时不能满足精度要求的缺陷。以遗传算法对4个经典测试函数的多次优化为例,分别运用平均法和二次优化法来综合其优化结果。多次实验表明,二次优化法在处理多次随机运行结果时,比平均法精度更高、稳定性更好。     

改进的粒子群模糊聚类方法

针对基于粒子群的模糊聚类算法以隶属度编码时对噪音敏感,以及处理样本数小于样本维数的数据集效果较差等问题,通过改进其中的模糊聚类约束方法,提出一种改进的基于粒子群的模糊聚类方法.当样本对各类的隶属度之和不为1时,新方法在粒子群优化得出的隶属度基础上,根据样本与各类之间的距离对隶属度进一步分配,以使隶属度满足模糊聚类约束条件.新方法显著地改善了在隶属度编码下使用粒子群进行模糊聚类的效果,并通过典型的数据集进行了验证.