一种基于状态聚类的SARSA(λ)强化学习算法

为求解大状态空间的强化学习问题，提出了一种基于状态聚类的SARSA（λ）强化学习算法，其基本思想是利用先验知识或事先训练控制器，对状态空间进行聚类，分为不同的簇，然后在簇空间上进行SARSA（λ）学习，若能进行适当的状态聚类，算法将可得到一个相对好的近似值函数。     

回眸与展望——中国城市如何勾划未来

中国城市(China city)，最初发祥于“氏族公社”。远古时代．人们在恶劣的自然环境中，为了生存而并同聚居的“部落”人口由少民发展至多，结构由简单而趋于复杂：其后，由于“私有制”和“集权”的产生，真正意义上的“城市”诞生丁，这个过程，是由鸿蒙初开而转入日渐封闭的“围城”时期，漫长的奴隶制与封建制时代，伴随着花开花落、战争与和     

参数自适应动态贝叶斯舰船态势估计算法

为减少动态海域下贝叶斯网络舰船态势估计算法较大的误差,提出了一种改进的动态贝叶斯网络舰船态势估计算法。该算法根据多路传感器的数据和新获取的态势信息进行推理,通过计算新态势要素与原有态势要素间的互信息构建并更新动态贝叶斯网络参数。与传统贝叶斯网络态势估计算法对比,在仿真情况下对10000艘舰船进行合作态势估计,改进动态贝叶斯网络的舰船态势估计算法合作舰船错误率降低了7.1%;用实测数据,目标的合作态势提升了4.2%。改进的算法不仅能够实时地反映舰船环境变化,同时还提高了目标态势估计的准确概率,为海监提供了一种舰船态势分析与决策的技术支持。     

基于三维线性倒立摆的仿人机器人步态规划

为了实时调整仿人机器人的步态,提出一种仿人机器人的步态生成方法。把机器人运动简化为三维线性倒立摆运动模式,通过预先规划好的零力矩点(ZMP)轨迹,根据质心(CoM)和ZMP的关系,求出CoM轨迹;再将前向步态和侧向步态简化为七连杆结构和五连杆结构,利用三角定理求出各个关节的角度,结合ZMP方程讨论了行走过程中的稳定性。利用给定的条件进行了系统的仿真,并结合实际系统及其运行状况进行分析,验证了所提出规划方法的有效性。