Markov控制过程基于性能势仿真的并行优化

Markov控制过程是研究随机离散事件动态系统性能优化问题的一个重要模型，并在许多实际工程问题中有着广泛的应用。在Markov性能势理论的基础上，我们讨论了一类连续时间Markov控制过程在紧致行动集上的性能优化仿真问题。由于实际系统的状态空间往往非常巨大，通常的串行仿真算法，可能耗时过长，也可能由于硬件限制而无法实现，故我们提出了一种基于性能势的并行仿真优化算法，来寻找系统的最优平稳策略。一个仿真实例表明该算法有较好的运行效率。该算法可应用于大规模实际系统的性能优化。     

一种MDP基于性能势的并行Q学习算法

在性能势理论框架内,研究折扣和平均准则马尔可夫决策过程(MDP)的统一并行Q学习算法.提出了独立并行Q学习算法和状态划分并行Q学习算法,重点讨论了算法中的关键参数的设计,即同步点如何选择的同步策略和如何合成Q因子的Q值构建策略,给出了一种固定步长结合一定偏移量的同步策略,并分析了并行中Q值构建策略的确定原则,给出了几种Q值构建策略的选择方法.仿真实验表明并行Q学习算法的有效性.     

基于性能势的Markov控制过程双时间尺度仿真算法

在基于性能势的随机逼近方法中引入双时间尺度的概念,提出了离散时间Markov控制过程的基于性能势的双时间尺度仿真梯度算法,弥补了传统算法中每步更新算法更新频率过快和更新环更新算法更新频率过慢的不足,并利用三个数值例子来说明双时间尺度更新算法在计算复杂度、收敛速度和收敛精度上的优势.     

考虑随机需求和库存决策的多商品物流网络设计的优化模型与算法

提出一种将库存控制决策和设施选址模型相结合的优化方法,用来解决一类多商品物流网络优化设计问题, 网络内的用户需求是随机的且服从正态分布,优化设计的目的是在满足一定服务水平的前提下,最小化物流网络内包括建设费用、储存费用 和运输费用在内的总成本费用,建立了一个能同时描述设施选址决策和库存决策的多商品物流网络设计问题的非线性混合整数优化模型,并使用组合模拟退火算法对其进行求解分析,最后的算例计算结果验证了模型和算法的有效性.     

GPC隐式算法及其在供热控制中的仿真研究

基于理论研究和工程应用的需要，提出了广义预测隐式算法。首先介绍了具有滤波器的模型已知的基本广义预测控制（GPC）算法，然后给出了两种隐式自适应算法，一种是已知对象阶跃响应前P个参数的算法，这种算法既不需要在线递推求解Diophantine方程，也不需在线求逆；另一种是一次辨识控制器参数的算法。最后以集中供热热力站热交换过程为应用背景，对基本算法和两种隐式算法进行仿真研究，其结果证明了算法的有效性。     

广义预测控制的快速算法及其应用

针对工业过程控制中的典型回路 ,一般采用一阶或二阶系统加纯滞后模型的特点 ,提出了一种快速广义预测控制算法 (FGPC) ,与标准的广义预测控制算法相比 ,该算法具有结构简单 ,在线运算量小的特点 ,比较适用于实时控制 ,并讨论了其中的参数计算。最后以典型工业过程系统的控制仿真验证了所提出算法的有效性。     

改进的蚁群聚类算法及在多属性大群体决策中的应用

多属性复杂大群体决策中,对决策人员的决策结果进行有效地聚类,是分析以及完成群体决策的基础。针对蚁群聚类算法参数选取复杂、自适应性差以及随机性等缺点,提出了一种改进的蚁群聚类算法,该算法将决策群体成员对决策问题的若干个评价准则值转化成偏好矢量,以偏好矢量相聚度作为邻域相似度的计算公式,形成一个启发式聚类算法。通过一个算例计算说明该算法具有聚类质量高、自组织和鲁棒性的特点,适用于解决多属性复杂大群体聚类与决策问题。     

PGAs求解双层规划及其在分销系统优化设计中的应用

研究并行基因算法求解双层规划问题及其在供应链物流分销系统优化设计中的应用.利用下层优化问题的KKT条件把双层规划问题转化为等价的单层规划问题,再利用并行基因算法对得到的单层规划问题进行全局优化,从而得到双层规划问题的全局最优解,最后,通过具体案例研究了上述算法在供应链物流分销系统优化设计中的应用.结果表明,并行基因算法求解双层规划,充分利用了现有计算环境的并行能力,加快了收敛速度,改善了基因算法的全局收敛性能,算法达到了实用化的规模,是一种很有应用前景的计算方法.     

改进微粒群算法及其在生料浆调配多目标优化中的应用

微粒群算法是一种简单易行、收敛快速的演化计算方法，但也存在早熟收敛的缺陷。鉴于惯性权值对控制算法收敛所起的作用，本文提出一种改进的微粒群算法，让惯性权值按类S型曲线形式随迭代次数非线性变化，并根据微粒当前的搜索状态自适应调节该曲线的曲率，有效保证算法收敛速度和全局寻优能力。改进的微粒群算法用于求解氧化铝生料浆调配过程0-1组合优化问题，与传统微粒群算法及遗传算法比较的结果表明，改进的微粒群算法具有较强的全局搜索能力且能有效避免早熟收敛问题。     

改进的进化规划算法及其在采购方案优化中的应用

采用高斯变异算子的进化规划算法存在早熟现象,根本原因是高斯变异产生的变异量较小,导致个体分量乃至整个个体不发生变异.文中从变异算子、个体分量值的计算和搜索空间三个方面改进了进化规划算法.设计了能产生较大变异量的离散余弦变换算子,并且采用动态比例变异法动态调整个体中的每个分量,多个体竞争策略扩大了算法的搜索空间. 针对复杂采购业务模型,运用改进的进化规划算法求解. 实验证明,改进的算法在求解精度上优于采用高斯变异和随机变异的进化规划算法,解决了进化规划算法的早熟问题.     

直接配送的三层随机库存路径问题

库存路径问题是研究如何协调库存管理和运输规划的一类问题,是企业实施供应商管理库存策略需要解决的问题.本文提出了一种有车辆限制、直接配送的无限阶段三层随机库存路径问题,并运用马尔可夫决策规划解决此问题.通过把该问题分解成若干个具有马氏性的子问题,降低了运算难度,得到该问题的近似最优解.     

SINGULARLY PERTURBED MARKOV DECISION PROCESSES WITH INCLUSION OF TRANSIENT STATES

1 IntroductionMarkov decision processes (MDP) have drawn much sttention because of their capabilityin dealing with a wide range of application under UnCertainty. Many problems in operationsresearch such as resource allocation, queueing networks, and maChine replaCement etc., fit wellin the framework of Markov decision processes. Classical aPProaChes of discrete-time MDPmodels can be foUnd in Dermanll], RDssIZ], and ~e[3] among others.Because most of the systems in real life are large a…     

基于市场的再制造P制造系统集成库存随机最优控制研究

在逆向物流中,再制造零部件的数量具有不确定性.根据这一特点,将其看成是随机参数,给出了再制造/制造系统集成库存模式.基于市场对再生品和新产品的不同需求,利用马尔科夫决策理论对具有随机再制造零部件的再制造/制造系统集成库存进行研究,考虑再制造零部件单位成本、新零部件(新购或新制造)单位成本和固定成本及有缺货赔偿的情况,给出了马尔科夫决策过程模型,得到了随机最优控制策略,并用案例进行分析验证.     

基于RBF神经网络的Q学习飞行器

基于马尔科夫决策过程框架研究了三维空间内隐蔽接敌策略的强化学习方法,定义了环境模型中的优势区域和暴露区域。针对高维状态空间策略学习所面临的维数灾问题,给出基于径向基神经网络（radial basis function neural network, RBFNN）的Q学习算法,说明了训练样本的分级采样方法,并针对不同情况下的接敌机动策略学习进行了仿真分析。仿真结果表明,借助于合理的分级采样方法,基于RBFNN的Q学习算法能有效生成隐蔽接敌策略。     

多链MDP的鲁棒控制策略求解

马尔可夫决策过程(MDP)的许多优化算法一般依赖系统的转移速率,而系统参数的不确定性使得MDP的转移速率往往很难精确得知。针对一类不确定多链MDP模型,基于性能势对参数不相关和相关两种情况下的鲁棒控制问题进行了探讨,并分别给出求解系统最优鲁棒性能的策略迭代和并行遗传算法。最后,通过一个数值例子分析相关算法的有效性。     

卫星组网与星座控制设计、分析、仿真系统研究

设计和开发了卫星组网与星座控制设计、分析、仿真系统。该系统具有卫星组网优化设计、星座控制优化设计、星座性能分析、星座运行和控制过程仿真演示的功能,系统中的每个组成单元软件可以通过任务设定软件进行预定任务要求星座的设计、分析和仿真,也可以根据自身输入参数进行卫星组网与星座控制的设计、分析和仿真。最后利用该系统完成了对一个导航星座的设计、分析和仿真。