基于随机博弈的Agent协同强化学习方法

本文针对一类追求系统得益最大化的协作团队的学习问题，基于随机博弈的思想，提出了一种新的多Agent协同强化学习方法。协作团队中的每个Agent通过观察协作相识者的历史行为，依照随机博弈模型预测其行为策略，进而得出最优的联合行为策略。     

进化博弈中交流系数的引入及分析

在传统的进化博弈理论中，假设博弈方与另外博弈方之间的交流是平等的，与其所选择的博弈策略无关。文中将此传统框架扩展，用各博弈方所选择的策略决定其之间的交流程度，即交流系数。交流系数的引入使得各博弈方之间的博弈速率不再是统一的，而是与其各自所选择的策略有关，从而使原本线性的适应度函数成为非线性函数，扩展了进化博弈理论的框架。     

基于Alpha-Beta剪枝法的中国象棋博弈系统研究

目前国内中国象棋人机博弈方面的研究相对落后。针对这一状况,设计了一个中国象棋博弈系统,本系统实现前台界面、棋盘表示、着法生成、棋局评估、博弈树搜索等必要过程。棋局评估考虚到了棋子的基本值、灵活性、受攻击度、受保护度,棋子位置附加值等。搜索引擎采用Alpha-Beta剪枝法。整个系统功能完备,具有较强的象棋对弈水平,为相关研究提供了较强的借鉴意义和参考价值。     

基于机器视觉的中国象棋人机博弈系统设计

通过对图像处理及人机博弈相关理论的研究,实现了一种中国象棋人机博弈机器人系统的设计。该系统通过摄像头采集棋盘图像,之后将图像传入计算机,同时计算机通过图像剪切方法和基于对数极坐标变换&傅里叶变换的模板匹配方法实现棋盘中棋子的定位与识别,之后调用中国象棋人机博弈算法得出下一步应进行的走法,计算机通过串口将走法信息传入下位机单片机中,单片机根据走法信息控制机械臂实现棋子的移动,完成与人的对弈过程。经测试,该系统能够完成基本的功能并且具有较好的稳定性。     

一种博弈树静态估值算法——ΔFeature状态估值

在考虑下棋操作对棋盘影响的局部性后,提出了棋博弈的Δfeature状态估值算法,通过计算博弈树中相邻结点的特征变化来避免在叶结点上扫描整个棋盘,有效地减少了静态估值的时间开销。若棋子影响的局部范围足够小,还可以考虑将局部范围的所有情况列成表,以查表代替棋形匹配。ΔFeature状态估值算法也可以与其它优化博弈树搜索的方法一同使用,达到更好的效果。     

基于stackelberg多步博弈的无人机协同搜索路径规划

考虑到现有无人机搜索问题研究中无人机、移动目标仅有一方具有远距离探测能力的设定，已经无法体现出战场环境下双方的博弈关系。针对这一不足，基于stackelberg均衡策略，结合多步预测的思想，提出了stackelberg多步博弈策略，实现了无人机、目标都具有远距离探测能力的博弈搜索。通过建立无人机、目标各自的路径收益函数，使双方能够根据不同时刻的博弈状态选择相对应的函数，实现无人机的动态路径规划。仿真结果表明所提出策略完全适用于该博弈模型，比贪婪策略具有更高的搜索效率，大大提高了目标捕获率。     

一种博弈树静态估值算法--△Feature状态估值

在考虑下棋操作对棋盘影响的局部性后，提出了棋博弈的△feature状态估值算法，通过计算博弈树中相邻结点的特征变化来避免在叶结点上扫描整个棋盘，有效地减少了静态估值的时间开销。若棋子影响的局部范围足够小，还可以考虑将局部范围的所有情况列成表，以查表代替棋形匹配。ΔAFeature状态估值算法也可以与其它优化博弈树搜索的方法一同使用，达到更好的效果。     

社交网络用户隐私保护的博弈模型

基于不完全信息的动态博弈,分别通过攻防博弈、共同防御博弈、联合攻击博弈研究了社交网络用户隐私的攻防博弈过程,并重点探讨了用户关系层次对博弈结果的影响。结论表明,非完全自私的防御者可以优化整体的防御水平,优化的程度取决于用户隐私价值大小和关系层次的综合作用;攻击者之间共谋可以获得更高的攻击效用,关系层次对不同的攻击者具有不同的影响。研究结果对社交网络用户更好地保护隐私具有一定指导作用。     

基于信号博弈的主动防御模型

为了更贴近网络实际,针对当前网络攻防信息不均衡和网络对抗动态性的问题,提出了一种具有主动防御功能的信号博弈模型。在不完全信息约束条件下,通过释放不同防御虚假信号,构建了攻防策略博弈树对攻击者和防御者策略进行了建模,并利用网络伪装信号降低攻击策略的成功率;对存在的各类均衡进行了分析,设计了博弈模型求解方法,并在此基础上给出了最优防御策略。最后,通过仿真实验证明了模型的可操作性和有效性,并对实验结果进行了分析和总结。     

基于不完全信息博弈模型的信息系统安全风险评估方法

博弈理论具有的目标对立性、关系非合作性和策略依存性等特征与网络攻防对抗过程保持一致，将博弈理论应用于网络信息安全已经成为研究热点，但目前已有的研究成果大都采用完全信息博弈模型，与网络攻防实际不符。基于此，为提高信息系统风险评估的准确性，本文构建不完全信息条件下的静态贝叶斯攻防博弈模型，将其应用于网络信息系统安全风险评估，构建相应的信息系统安全风险评估算法。通过仿真实验验证了本文模型和方法的有效性，能够对信息系统安全威胁进行科学、有效的评估。     

基于LabVIEW的五子棋博弈算法

针对目前五子棋人机对弈多数基于电脑、手机,缺少真实环境的问题,提出一种基于LabVIEW的博弈算法,并运用于真实的五子棋人机对弈。首先通过图像采集系统获取当前状态下棋盘及人机双方棋子的位置信息;然后对棋局的局势进行分析;同时为了提高下棋的效率,对棋型进行了分类,并对原有的博弈算法进行改进,采用进攻和防守两个权值简化决策过程。通过真实的对弈测试表明,基于LabVIEW的五子棋博弈算法能快速、准确地实现五子棋的人机对弈。     

A* search algorithm applied to a Chinese chess game

This article presents an A* search algorithm to be applied to path planning in a Chinese chess game, and uses multiple mobile robots to present the scenario. The mobile robots have a cylindrical shape, and their diameter, height, and weight are 8 cm, 15 cm, and 1.5 kg, respectively. The controller of the mobile robots is a MCS-51 chip. We play the Chinese chess game using multiple mobile robots according to the evaluation algorithm of the game, and calculate the displacement by the encoder of a DC servomotor. The A* search algorithm can solve the shortest-path problem for the mobile robots from the starting point to the target point on the chess board. The simulated results found the shortest path for the mobile robots (chess pieces) moving to target points from their starting points in a collision-free environment. Finally, we implemented the experimental results on a Chinese chess board using mobile robots. Users can play the Chinese chess game using the supervising computer via a wireless RF interface. The scenario of the feedback of the Chinese chess game to the user interface uses an image system.     

基于棋型的藏族“久”棋计算机博弈研究

“久”棋是藏族人民的传统棋类游戏,游戏过程分为布局阶段和战斗阶段,布局的质量对弈棋结果影响很大。与围棋博弈智能软件战胜人类高手的情况比较,“久”棋博弈研究几乎空白。为了拓宽机器博弈研究的游戏范围,开发具有较高棋力的“久”棋软件,作者开展了基于棋型的“久”棋计算机博弈研究。通过实地考察,在四川阿坝地区采集了约300局有效的“久”棋对弈数据,提取了常见棋型,分别为棋型命名为三角、三子、二子、对角、四子等。在布局阶段,采用模式匹配算法提高棋型的匹配速度。在布局和战斗阶段,基于棋型,设计了具有优先级别的防守、攻击、连子策略。采用C语言开发了“久”棋博弈软件,该软件具有人人对弈、人机对弈、自动录制棋谱等功能。该软件在2016年四川省阿坝县第七届“体彩杯”藏棋比赛中成功开展了人机对弈,但是棋力有待提高。结果表明,基于棋型的攻防策略能够有效地应用于“久”棋计算机博弈。     

棋牌游戏与事件对策

博弈的原意便是下棋，博弈论的概念也源于棋类游戏．而博弈论的现有成果还难以描述和处理棋牌游戏这一类复杂的动态过程．为此．在分析棋牌游戏特点的基础上．指出它们属于离散事件的动态过程；在阐述离散事件动态系统（DEDS）特点与方法的基础上，应用DEDS的有关理论为象棋博弈过程建模，并提出了事件对策的概念与形式框架．探讨了事件对策理论在战争模拟中的应用，为迅速发展的机器博弈研究创造了良好的理论条件．     

A STRATEGIC METAGAME PLAYER FOR GENERAL CHESS-LIKE GAMES

This paper introduces METAGAMER, the first program designed within the paradigm of Metagame-playing (Metagame). This program plays games in the class of symmetric chess-like games, which includes chess, Chinese chess, checkers, draughts, and Shogi. METAGAMER takes as input the rules of a specific game and analyzes those rules to construct an efficient representation and an evaluation function for that game; they are used by a generic search engine. The strategic analysis performed by METAGAMER relates a set of general knowledge sources to the details of the particular game. Among other properties, this analysis determines the relative value of the different pieces in a given game. Although METAGAMER does not learn from experience, the values resulting from its analysis are qualitatively similar to values used by experts on known games and are sufficient to produce competitive performance the first time METAGAMER plays a new game. Besides being the first Metagame-playing program, this is the first program to have derived useful piece values directly from analysis of the rules of different games. This paper describes the knowledge implemented in METAGAMER, illustrates the piece values METAGAMER derives for chess and checkers, and discusses experiments with METAGAMER on both existing and newly generated games.     

人机丈棋游戏算法研究

丈棋游戏是一种新发明的二人对弈数字游戏,该游戏对开发人类智力有很大的帮助。通过分析研究,我们发现丈棋游戏实际上是一个数字组合问题,它很难设计出博弈搜索算法。最后,我们提出了求解丈棋游戏问题的动态规划算法,并用实验验证了算法的有效性。     

Real-time game-theoretic model predictive control for differential game of target defense

This paper evaluates experimentally a novel strategy for solving a variant of the differential game of target defense in presence of obstacles. The game is widely applied in the areas of military defense for protecting important equipment such as a ship, an aircraft, a moving vehicle, or a sensitive installation from a malicious attacker. The state-of-the-art approaches mostly employ an offline optimization strategy that is only applicable to holonomic robots. Moreover, most of the approaches could not autonomously avoid obstacles or take into account uncertainties. As a consequence, this paper presents an online optimization technique, by designing a trade-off parameter that integrates game theory with the model predictive control, which allows a nonholonomic defender to intercept the attacker while simultaneously defending the target. Simulations under different conditions as well as several indoor laboratory experiments validate the proposed approach. Moreover, performance is compared with a standard model predictive control approach.     

中国象棋机器人棋子定位与识别方法

针对中国象棋机器人系统中棋子定位与识别问题,提出了一种基于最小外接圆二次定位的定位方法和一种旋转差分识别算法。首先,采用Hough圆检测进行粗定位获取棋子区域,并对棋子进行均值二值化处理。随后,对二值化图像进行形态学处理,提取最大面积轮廓,并利用其最小外接圆实现棋子二次精准定位。最后,对二次定位修正后的图像进行旋转差分识别。以直径为15 mm的棋子为测试对象,利用我们研制的象棋机器人采集图像进行测试,结果表明,棋子的定位精度为0.5 mm,平均定位时间为2.6 ms;在保证棋子识别正确率在98%以上的情况下,单个棋子平均全流程运算时间为10 ms,完全满足现有象棋机器人需求。     

五子棋算法的研究与思考

通过对五子棋算法的研究,探讨在博弈算法设计中优化的一些基本思路,并对其他棋类博弈算法提出一些思考和展望。     

一种自对弈棋局学习样例质量评价方法

计算机棋类游戏学习中的自对弈学习指仅依赖行棋过程及最终的输赢结果的学习.整个过程中除下棋规则外不预设任何领域知识,也无专家指导.虽然基于极大极小算法、α-β剪枝算法和蒙特卡洛搜索的自对弈学习已经取得了卓越成果,但是目前仍旧缺乏对于学习样例质量评价的针对性研究.因此,本文首次提出了一种自对弈棋局学习样例质量评价方法,该方法采用样本规模综合指标T—使用样例重复度和样例个数的线性组合—来决定学习样例大小.在西洋跳棋上的实验表明,本评价方法可以达到有效控制学习样例规模的目的,在不降低学习效果的前提下大幅降低学习样例产生的计算成本.