元强化学习综述

强化学习在游戏对弈、系统控制等领域内表现出良好的性能,如何使用少量样本快速学习新任务是强化学习中亟需解决的问题。目前的有效解决方法是将元学习应用在强化学习中,由此所产生的元强化学习日益成为强化学习领域中的研究热点。为了帮助后续研究人员快速并全面了解元强化学习领域,根据近年来的元强化学习文献对研究方法进行梳理,将其归纳成基于循环网络的元强化学习、基于上下文的元强化学习、基于梯度的元强化学习、基于分层的元强化学习和离线元强化学习,对五种类型的研究方法进行对比分析,简要阐述了元强化学习的基本理论和面临的挑战,最后基于当前研究现状讨论了元强化学习的未来发展前景。     

多智能体博弈强化学习研究综述

使用深度强化学习解决单智能体任务已经取得了突破性的进展。由于多智能体系统的复杂性,普通算法无法解决其主要难点。同时,由于智能体数量增加,将最大化单个智能体的累积回报的期望值作为学习目标往往无法收敛,某些特殊的收敛点也不满足策略的合理性。对于不存在最优解的实际问题,强化学习算法更是束手无策,将博弈理论引入强化学习可以很好地解决智能体的相互关系,可以解释收敛点对应策略的合理性,更重要的是可以用均衡解来替代最优解以求得相对有效的策略。因此,从博弈论的角度梳理近年来出现的强化学习算法,总结当前博弈强化学习算法的重难点,并给出可能解决上述重难点的几个突破方向。     

基于均值漂移聚类的开关柜局部放电异常检测

针对开关柜现场带电检测数据,提出一种基于多维特征量的均值漂移聚类算法,对开关柜的局部放电进行异常识别。采用局部放电检测数据的离散度、平均距离百分比、集中度和最大波动率指标全面量化开关柜局部放电的程度,并构建多维特征数据库;通过自动搜索偏移量的均值漂移聚类算法对开关柜的状态进行划分,并通过所给定的开关柜簇标签隶属度函数判定是否为异常点,由此实现开关柜的绝缘状态异常检测。对现场带电检测实际数据进行实例分析,验证该方法的可行性,为开关柜的绝缘状态异常识别提供一定的理论依据。     

超疏水表面微结构的设计及其注射成型

目的 从超疏水表面的功能设计出发,主动设计三种深宽比的微结构阵列并洞察其在不同润湿接触状态下的疏水性能。方法 首先,采用热力学分析方法,建立三种深宽比微结构的系统自由能与其接触角、结构几何参数之间的函数关系,探明自主设计微结构表面的润湿性能。继而,在热力学分析的基础上,采用紫外光刻、电铸和注射成型技术相结合的方法实现三种深宽比微结构聚丙烯（PP）超疏水表面的制备。最后,进一步测量与分析聚丙烯（PP）微结构表面的润湿性能。结果 三种深宽比微结构表面的静态接触角测量值均大于150?,滚动角分别为12?、14?和15?,基本达到设计目标;同时,微结构表面的表观接触角测量值与理论计算值基本符合。表面的接触角滞后分别为15?、21?、22?,且接触角滞后随着深宽比的增加而变大,使液滴在PP表面的流动性也变差。结论 在设计微结构超疏水表面的过程中,可以适当降低微结构的深宽比,以获取更好的超疏水特性。自主设计的微结构表面基本实现超疏水性,为高聚物超疏水表面的功能设计与高效制备提供了理论依据与技术支撑。     

基于证据推理的风电场SCADA系统安全脆弱性定量评估方法

针对风电场数据采集与监控(SCADA)系统的信息安全脆弱性,文中提出了一种基于证据推理的定量评估方法。该方法以系统发现的某个异常作为根节点,将可能导致异常发生的若干假设事件或因假设事件引发的事件作为假设点,构建系统安全脆弱性的可解释性假设链,推理出所有的攻击路径;然后对每条攻击路径进行计算,寻找系统脆弱性的关键路径,将与假设相关的证据作为证据点,采用链接函数连接证据点和假设点,并搭建每条路径的脆弱性贝叶斯网络,进而应用等级反应模型计算贝叶斯网络节点间的条件概率;接着将关键路径作为依据对系统脆弱性进行测评,以假设发生的概率作为安全脆弱性的评判标准,量化证据点的可信度,经贝叶斯网络推理出SCADA系统脆弱性。最后,通过一个实例说明所提方法的具体应用,应用结果表明该方法能够对风电场SCADA系统安全脆弱性进行有效分析,并可找出系统信息安全的薄弱环节,以及可量化信息安全脆弱性评估值,具有较高的测评准确性。     

多智能体路径规划综述

多智能体路径规划（multi-agent path finding,MAPF）是为多个智能体规划路径的问题,关键约束是多个智能体同时沿着规划路径行进而不会发生冲突。MAPF在物流、军事、安防等领域有着大量应用。对国内外关于MAPF的主要研究成果进行系统整理和分类,按照规划方式不同,MAPF算法分为集中式规划算法和分布式执行算法。集中式规划算法是最经典和最常用的MAPF算法,主要分为基于[A*]搜索、基于冲突搜索、基于代价增长树和基于规约四种算法。分布式执行算法是人工智能领域兴起的基于强化学习的MAPF算法,按照改进技术不同,分布式执行算法分为专家演示型、改进通信型和任务分解型三种算法。基于上述分类,比较MAPF各种算法的特点和适用性,分析现有算法的优点和不足,指出现有算法面临的挑战并对未来工作进行了展望。     

多智能体深度强化学习研究综述

多智能体深度强化学习是机器学习领域的一个新兴的研究热点和应用方向,涵盖众多算法、规则、框架,并广泛应用于自动驾驶、能源分配、编队控制、航迹规划、路由规划、社会难题等现实领域,具有极高的研究价值和意义。对多智能体深度强化学习的基本理论、发展历程进行简要的概念介绍;按照无关联型、通信规则型、互相合作型和建模学习型4种分类方式阐述了现有的经典算法;对多智能体深度强化学习算法的实际应用进行了综述,并简单罗列了多智能体深度强化学习的现有测试平台;总结了多智能体深度强化学习在理论、算法和应用方面面临的挑战和未来的发展方向。     

深度强化学习在室内无人机目标搜索中的应用

针对室内无人机随机目标搜索效率不高、准确率低等问题,提出了一种基于空间位置标注的好奇心驱动的深度强化学习方法。用正六边形对探索空间进行区域划分,并标记无人机在各区域的访问次数,将其作为好奇心,产生内部奖励,以鼓励无人机不断探索新领域,有效避免其陷入到局部区域;训练时采用近端策略优化算法（PPO）优化神经网络参数,该算法能使无人机更快找到最优搜索策略,较好躲避障碍物,有效缩短训练周期,提升搜索效率和准确率。     

一种改进Borda分值的决策方法

针对传统的Borda法存在无法反映方案之间优劣程度和容易被操纵的缺陷,设计了一种Borda分修正算法。该算法充分考虑了全局成员和单个成员两方面的利益,借鉴模糊Borda法变换得分值和SPAN法中成员相互作用的全局思想,对Borda分矩阵进行修正;根据 加权和公式集结方案的综合值进行方案排序;最后,通过一个算例验证了该算法的可行性与准确性。     

三步做大 两手做强——重庆市远大印务有限公司的高效发展新路

重庆市远大印务有限公司(以下简称"远大印务")坐落于重庆最重要的开放高地和水陆空交通枢纽——两江新区,公司总占地面积65亩,建筑面积45亩。自1992年创立以来,远大印务已发展成为一家拥有印务、信息技术、房地产、投融资等多元产业的企业集团,年产值也由建厂之初的30万元发展到现在的过亿元,走出了一条传统印刷企业快速做大、做强、高效稳健发展的新路。而在这其中,其独特的发展模式和经营思路起到了决定性作用。