基于多智能体的作战模拟仿真模型框架研究

传统的作战模拟仿真模型大都是数学模型，难以刻画战争推进过程中所表现出来的复杂的战场态势变化及其内在的动力学机制。复杂适应系统理论和基于多智能体的建模仿真方法为作战模拟研究提供了新的思路。该文以复杂适应系统理论和基于多智能体的建模仿真方法为指导，提出了一种基于多智能体的作战模拟仿真模型的框架，着重分析了其中智能体的结构，对智能体的属性和行为进行了进一步的讨论。通过与面向对象的方法中对象概念的比较，认为面向对象的方法是实现基于多智能体的作战模拟仿真模型的有效途径。     

作战智能体的机动行为模型研究

作战模型是对部队与武器系统及其作战行动的描述.智能体是在复杂和动态环境中将知识和推理相结合,执行任务的自主或半自主的对象.在基于多智能体的作战模型中,作战智能体模型是参与作战过程的作战单元在模型空间上的逻辑映射,是基本的行为主体.行为是作战智能体进行观察,与其他作战智能体和环境进行交互的过程.考虑作战智能体的机动目的和机动过程,抓住确定机动方向或目标点、确定机动路线、确定加速度和空间状态转移等四个主要环节,建立了作战智能体的机动行为模型,描述了作战智能体在作战空间中的位置变换过程.研究对解决作战仿真中的机动模型问题具有重要意义.     

基于人工生命方法的作战仿真模型研究

简要介绍了人工生命的概念、基本原理与方法，指出它是解决复杂系统的有效途径。作战是典型的复杂自适应系统(CAS)，传统的作战仿真方法(如兰彻斯特方程)将作战视为确定性过程，难以将许多重要的无形因素进行建模。将人工生命方法应用于作战仿真，以细胞自动机为工具，通过多智能体的相互作用来研究系统高层的突现行为，可以更好地揭示作战的本质和作战过程的演化规律。讨论了基于人工生命方法的作战仿真的一般过程和智能体的结构模型，总结了作战仿真新方法的特点，最后展望了今后的研究工作。     

稀疏异质多智能体环境下基于强化学习的课程学习框架

现代战争的战场较大且兵种较多，利用多智能体强化学习(MARL)进行战场推演可以加强作战单位之间的协同决策能力，从而提升战斗力。当前MARL在兵棋推演研究和对抗演练中的应用普遍存在两个简化：各个智能体的同质化以及作战单位分布稠密。实际战争场景中并不总是满足这两个设定，可能包含多种异质的智能体以及作战单位分布稀疏。为了探索强化学习在更多场景中的应用，分别就这两方面进行改进研究。首先，设计并实现了多尺度多智能体抢滩登陆环境M2ALE,M2ALE针对上述两个简化设定做了针对性的复杂化，添加了多种异质智能体和作战单位分布稀疏的场景，这两种复杂化设定加剧了多智能体环境的探索困难问题和非平稳性，使用常用的多智能体算法通常难以训练。其次，提出了一种异质多智能体课程学习框架HMACL,用于应对M2ALE环境的难点。HMACL包括3个模块：1)任务生成模块(STG),用于生成源任务以引导智能体训练；2)种类策略提升模块(CPI),针对多智能体系统本身的非平稳性，提出了一种基于智能体种类的参数共享(Class Based Parameter Sharing)策略，实现了异质智能体系统中的参数共享；3)训练模...     

基于智能体模型的路径规划与行为模拟仿真研究

智能体模型是当前在模拟仿真领域内能够实现的最为接近人类的方式。是实现复杂行为模拟仿真的重要方法,智能体能够通过逻辑驱动或自学习模式进行决策。多智能体系统在复杂战场环境的模拟仿真方面有着较大的优势,其分布式交互原理能够模拟不同兵种或者不同个体的行为与路径规划决策。文章针对当前智能体模型的研究现状以及路径规划领域的各种方法进行了简要介绍,并指出优点和不足,最后对其发展趋势进行了展望。     

面向战场信息共享的Agent动态聚类算法研究

针对联合作战中分布、动态的战场环境和海量的战场信息,满足不同作战实体对战场信息资源共享的需求。构建了一个基于多智能体的、面向作战任务的信息资源共享模型,并在考虑战场信息时效性的前提下提出了一种新颖的基于相似度的用户动态聚类方法,从用户的资源请求中发现用户兴趣和用户之间的相似度,通过交互机制有效的将相同兴趣的用户及资源智能体关联起来,提高作战主体获取战场信息的能力。实验证明该算法具有较高的效率和良好的可扩展性。     

一种空战任务可视化仿真系统的开发

为了研究飞机作战武器的作战使用和协同对抗过程,针对新型战斗机作战使用研究需要,提出了一个以某型飞机建立的飞行和武器控制模型,同时研制了模拟座舱,数个座舱之间可以通过网络通信实现多机的协同或对抗系统。利用在FlightGear和Simulink上建立的空战视景仿真系统实现协同对抗可视化任务计算和进行仿真。结果显示,改进方案切实可行,可扩展性强,并为空战武器系统战场环境可视化提供了依据。     

深度强化学习算法在智能军事决策中的应用

深度强化学习算法能够很好地实现离散化的决策行为,但是难以运用于高度复杂且行为连续的现代战场环境,同时多智能体环境下算法难以收敛。针对这些问题,提出了一种改进的深度确定策略梯度（DDPG）算法,该算法引入了基于优先级的经验重放技术和单训练模式,以提高算法收敛速度;同时算法中还设计了一种混合双噪声的探索策略,从而实现复杂且连续的军事决策控制行为。采用Unity开发了基于改进DDPG算法的智能军事决策仿真平台,搭建了蓝军步兵进攻红军军事基地的仿真环境,模拟多智能体的作战训练。实验结果显示,该算法能够驱动多作战智能体完成战术机动,实现绕过障碍物抵达优势区域进行射击等战术行为,算法拥有更快的收敛速度和更好的稳定性,可得到更高的回合奖励,达到了提高智能军事决策效率的目的。     

基于元Agent技术的作战个体行为建模

针对虚拟作战个体行为具有智能性和自主性的特点,从行为功能考虑,将影响人员外在行为的内部因素分解为元Agent,提出一种基于元Agent聚集的作战人员行为模型。依据各个主体特点采用智能模型实现其结构,描述感知因素的量化值和可信度,引入收益指标评估意图的远景规划,通过动作执行概率的赋值达到重复作战行为的优先选择。与传统方法相比,该模型充分考虑到个体行为内在因素间的交互耦合和复杂反馈,提高了作战个体战场行为的智能性、自主性和差异性,为作战人员行为建模等问题提供一种新的研究思路。     

舰空对抗智能行为仿真框架设计研究

现在舰艇作战仿真系统存在各子系统间耦合性强的问题,不利于系统的扩展与使用.针对以上问题,通过分析虚拟海战场环境对实体对象行为仿真的要求,结合某训练模拟系统战场环境仿真分系统的研制项目,以舰空对抗作战想定为实例,对实体行为仿真框架(Sensors,Actuators,Controllers,Connections,简称SACC)进行了研究,得出了组成舰空对抗作战想定行为仿真框架的各子系统模型,并抽取组成各子系统模型的各行为组件结构层作为系统可复用的元素,将组件及组件连接关系以结构化参数的形式进行配置,即利用每一仿真子系统中的各模型组件接口来实现模型组件之间数据的交互.结果表明,该方法可以较好地解决上述问题,使仿真系统具备良好的可复用性和可扩展性,更加满足作战仿真的需求.     

面向体系对抗仿真的模型测试方法研究

模型的有效性评估一直是建模与仿真领域研究的重要课题.针对传统校核与验证方法难以确定模型被确认为无效的原因以及传统建模过程中模型开发与实现紧耦合的特点,通过对武器装备体系对抗仿真与模型测试的需求分析,以层次化建模为基础提出了面向武器装备体系对抗仿真的模型测试方法论,从纵向和横向两个层次论述了概念模型和仿真模型的测试方法,给出了层次化模型测试环境的参考实现.该方法不仅为武器装备体系对抗的仿真模型开发提供质量控制手段,同时也为其它仿真应用的模型校核、验证与确认提供有效的方法支撑.     

基于网络中心战的空战仿真多Agent理论实现

概述了基于网络中心战的空战网络结构和系统特性,讨论了基于网络中心战空战多Agent系统结构,分析了基于网络中心战的空战想定、组织结构和空战过程,利用分布式多Agent系统理论对其进行了描述,实现了多Agent系统理论的空战过程仿真模型;仿真结果表明,基于网络中心战的空战飞机的作战效能优于基于平台中心战的蓝方作战飞机,赢得了先发射导弹的机会,提高了导弹武器系统的杀伤概率。     

步兵分队作战仿真军事概念模型研究

面向步兵分队作战效能评估需求,针对步兵分队作战仿真系统的研制,基于任务空间概念模型(CMMS)开展军事概念模型的研究.介绍了军事概念模型的基本定义及其在军事仿真中的作用,阐述了CMMS的定义和组成.针对步兵分队作战仿真建立了军事概念模型,包括想定概念描述、作战实体概念描述、战斗指挥概念描述、战斗行动概念描述和战斗动作概念描述五大部分,为步兵分队作战仿真系统的详细设计和实现奠定了基础.     

无人机编队超视距空战决策及作战仿真

以无人机的超视距空战为研究背景,建立一种综合态势评估、目标分配和损耗裁定的协同空战仿真模型。首先,综合友机位置和敌方战机威力对我机的态势影响,提出一种基于人工势场的态势评估方法;然后,利用文化基因算法进行目标分配,分别采用离散差分进化算法和邻域搜索算法作为其全局和局部搜索策略;最后,用两步裁定法模拟空战双方的相互攻击,实现超视距空战中的损耗裁定。仿真结果验证了所提出模型的合理性和算法的有效性。     

基于Agent的空防作战系统建模仿真方法研究

空防作战系统是一类复杂的军事作战系统.从军事作战系统的主导因素入手,讨论了传统研究方法的局限性,进而提出使用基于Agent的建模仿真(ABMS)方法研究空防作战系统的思路,并根据空防作战系统建模仿真应用的需要对ABMS进行了改进:建立了层次化的ABMS建模框架,为解决对作战动态过程的建模而引入了事件的扩展概念及其分析方法.然后介绍了一个空防作战系统建模仿真研究的完整过程,给出了系统动态演化的事件模型和作战单元的Agent模型,并针对仿真结果进行了分析;从而证明了ABMS方法的可行性和有效性.     

基于Multi-agent的坦克分队作战仿真

坦克分队作战仿真系统开发是一项很复杂的工程，各组成要素之间的活动很难进行定量分析和描述，战场情况也复杂多变，具有不可预见性和不可再现性。该文基于目前坦克分队作战仿真的发展现状，结合计算机软件技术的最新成果——Multi-agent技术，提出了基于Multi-agent的坦克分队作战复杂系统分析与设计仿真模型，论述了该方法的美妙机制；并根据Multi-agent的特点，介绍了运用Swarm建模和开发工具对Multi-agent的坦克分队作战仿真的实现。     

神经触角“单兵千里眼”

针对无人机蜂群作战,基于分布式网络化协同作战体系,提出一种单兵无人机蜂群作战云体系,利用其动态聚能、灵活配置的优势,通过前置无人机蜂群作战云天线阵列获取战场信号,传入尾随的无人机综合信息处理作战云,提高单兵作战效能。同时,具备不同功能的无人机作战云可在战场上通过快速敏捷的飞行控制形成单兵分布在战场上的神经触角,完成远距离侦察、探测、对抗与评估的任务。仿真结果表明,无人机蜂群天线作战云阵列规模越大,天线主瓣波束越窄,其方向特性越好,探测的距离也越远;单兵无人机作战云系统的探测无人机群仅需要10 W的功率就能达到50 km以上的探测距离,扩大了单兵作战的侦察范围。     

作战仿真数据体系分析

作战仿真通过模拟作战过程来支持作战研究,作战仿真数据是其基础。作战仿真数据所涵盖的数据量多、面广、粒度细,数据的建设需要按工程化方式进行。分析了作战数据的体系结构和特点,对作战仿真基础数据体系、想定数据体系、过程数据体系以及评估数据体系进行了系统的研究,提出了一种作战仿真数据体系,对数据工程的目标、机制和管理进行了分析。该数据体系可促进建模仿真的标准化,对于构建作战仿真的数据结构体系以及一体化建模仿真环境具有一定的意义。     

A study of evolution strategy based cooperative behavior in collective agents

The following paper introduces an evolution strategy on the basis of cooperative behaviors in each group of agents. The evolution strategy helps each agent to be self-defendable and self-maintainable. To determine an optimal group behavior strategy under dynamically varying circumstances, agents in same group cooperate with each other. This proposed method use reinforcement learning, enhanced neural network, and artificial life. In the present paper, we apply two different reward models: reward model 1 and reward model 2. Each reward model is designed as considering the reinforcement or constraint of behaviors. In competition environments of agents, the behavior considered to be advantageous is reinforced as adding reward values. On the contrary, the behavior considered to be disadvantageous is constrained as subtracting the values. And we propose an enhanced neural network to add learning behavior of an artificial organism-level to artificial life simulation. In future, the system models and results described in this paper will be applied to the framework of healthcare systems that consists of biosensors, healthcare devices, and healthcare system.