基于分区缓存区重放与多线程交互的多智能体深度强化学习算法

近些年,深度强化学习(Deep Reinforcement Learning,DRL)已成为人工智能领域一个新的机器学习范式与方法论,它在许多高维度大状态的复杂空间任务中能够取得显著的成功.然而,传统的深度强化学习仍然存在着学习效率低、训练时间长的问题,在多智能体的行为决策研究中难以达到理想的效果.针对这些问题,本文提出了一种基于分区缓存区重放与多线程交互的多智能体深度强化学习算法(Partitioned Buffer Replay and Multiple Process Interaction,PBR-MPI).首先,该算法使用分区缓存区的经验重放形式,通过划分奖励空间来区分正面经验、负面经验与中性经验,并在训练时使用分层随机的采样方式抽取这些经验数据.其次,算法运用多线程的交互方式促进了智能体与环境的试错过程,通过智能体的多个克隆体并行的学习并整合它们的学习经验来训练网络模型的参数.然后,为了构建PBR-MPI算法的适用场景,本文根据目前多智能体系统(Multi-Agent System,MAS)的最新研究进展,将多智能体的信息交互方式归纳总结为集中式信息交互、全信息交互和欠信息交互三大类.最后,将新算法与其它的多智能体DRL算法分别在三种不同的信息交互场景中进行对比实验,用于验证和评价PBR-MPI的有效性及整体性能.实验结果表明,在智能体个数为5的多智能体目标追踪任务中,缓存区数为3、线程数为5的PBR-MPI算法的学习收敛速度平均提高了21％,训练效率平均提升了34％,并且在综合性能的评估中新算法的整体性能改善了50％.     

面向全流程优化的选矿过程仿真系统研发

选矿过程的物流是各环节有机联系的纽带,进行选矿物流仿真实验研究对实现优化操作与优化控制生产具有重要的意义。面向选矿过程生产全流程的优化,为了对选矿全流程的物流与生产过程进行仿真,研究选矿过程各个单元的操作与控制对生产全流程指标的影响,建立了基于物料平衡和金属守恒原理的选矿过程物流模拟数学模型总体框架;设计开发了选矿过程物流仿真系统,包括实验软硬件平台结构、功能及其对控制与优化系统的通讯接口。该系统主要侧重其物流的仿真,及其操作与控制对选矿全流程指标(即金属回收率、精矿品位和产量等)的影响,从而为全流程优化的研究提供依据。在所开发的平台上开展了仿真实验研究,实验结果验证了所研发实验平台的有效性。     

定向井压裂裂缝三维扩展形态的可视化仿真

在石油定向井压裂过程中,井筒附近的水力裂缝的三维扩展往往存在转向及扭曲等复杂形态,容易引起一系列施工问题.由于目前条件的限制,裂缝形态大多以图表数据来展示,使得人们很难对裂缝的三维形态产生形象的直观认识.为了解决定向井三维裂缝扩展形态复杂难以可视化的问题,深入研究了井筒附近裂缝空间转向模型,并进一步将定向井裂缝延伸模型的适用范围扩展到了任意的井斜、方位及射孔方位下.同时,对可视化平台软件进行二次开发,使得建立的定向井裂缝扩展模型能在仿真界面上显示出来.仿真结果表明,裂缝扩展的建模思路和仿真方法能够取得很好的可视化效果.     

阻燃型氢氧化镁制备及其影响因素探讨

以七水硫酸镁为原料、氨水为沉淀剂、选择适宜的表面活性剂。以样品XRD图中（001）面与（101）面衍射峰的相对强弱为考察指标，通过单因素实验，分别考察了反应温度、恒温反应时间、陈化时间、表面活性剂用量及氨镁摩尔比等因素对氢氧化镁样品XRD图中（001）面与（101）面衍射峰相对强弱的影响。实验结果表明，制备阻燃氩氧化镁较适宜的工艺条件为：反应温度40℃、恒温反应时间40min、陈化时间120min、表面活性剂A体积用量4ml、氨镁摩尔比6：1.     

超声预处理对控制南水藻类的可行性探究

针对夏季高藻时期的北方某市南水北调原水,研究了以超声波预处理工艺代替加氯预处理工艺的可行性.在小试试验的基础上进行了中试试验,对比了无预处理、加氯预处理与超声预处理3种工艺处理效果的差异.结果 表明,超声预处理频率为40 kHz、功率为0.12 W/cm2、处理时间为2 min时,对浑浊度、藻类数量和溶解性有机物的处理效果与传统加氯预处理相近.另外,超声预处理可使消毒副产物前体物减少,使工艺出水的三氯甲烷生成量减少42.02％,而加氯预处理则会使三氯甲烷生成量增加12.54％,故超声预处理在降低消毒副产物方面存在优势.在实际应用上,以超声波作为预处理手段理论上存在可行性,但是在实际应用中需要解决设计安装、运行调试与成本方面的问题.     

高风电渗透率下考虑需求侧管理策略的智能微电网调度方法

提出了一种高风电渗透率下考虑需求侧管理策略的智能微电网调度方法。首先,考虑经济、环境成本指标、清洁能源就地消纳量以及可中断负荷和可转移负荷策略,建立了多目标优化调度模型。然后,引入ε约束法生成Pareto前沿解集,利用归一化方法求出最优折衷解。最后,基于24节点配电系统对所提方法进行分析验证。算例结果表明:建立的多目标优化模型能够有效提升清洁能源的消纳率,提高调度方案经济性,同时有效降低发电污染排放。采用的需求侧管理策略能够有效平抑负荷波动,达到削峰填谷的目的。     

基于现代学徒制的校企双元育人机制构建与实施路径

以现代学徒制为载体,加快构建校企双元育人机制是我国职业教育改革的新要求。基于现代学徒制的发展趋势,保障校企双元育人的有效落实,需要将校企共建命运共同体、共建高水平专业和课程标准、共建育人队伍、共建共享教学资源作为双元育人机制的建设主线。在此基础上提出注重顶层设计、坚持立德树人目标、完善职教师资培养体系、打造高水平实训基地等校企双元育人的实施路径。     

应力预养护对硫铝酸盐注浆材料强度与微结构的影响

在煤矿千米深井巷道注浆加固示范工程中,注浆结石体抗压强度常高于常压下的抗压强度,针对此问题,采用自制加压装置模拟应力作用对注浆材料浆液进行加压预养护,通过测试试样强度、表观密度、孔隙率、水化产物种类和微观结构,分析应力对材料强度增强的作用机理.结果表明:10 MPa的应力可以显著提高注浆材料结石体的抗折、抗压强度,抗折强度最大增加24.3％,抗压强度最大提高21.6％;应力可促进早期钙矾石的生成且不改变水化产物种类,提高结石体密度.分析认为,应力通过促进钙矾石的生成速率,降低结石体孔隙率和最可几孔径的方式提高结石体的强度,即提高结石体的密度,增加钙矾石相互搭接的紧密程度,进而提高注浆材料结石体的抗折、抗压强度.检测结石体密度在某种意义上可以评估注浆加固的加固效果.     

基于ArcGIS和GD的河南省旅游景区 空间分异探究

基于地理探测器和ArcGIS空间分析法,根据文化和旅游政务网、河南省统计年鉴和地理空间数据云等给出的数据,对影响河南省旅游景区空间分异的因素进行了分析。研究结果表明：河南省旅游景区空间分布态势上由西南偏东北走向逐渐演化为西北偏东南走向,旅游景区空间分布的重心也由北部逐渐向南偏移;社会因素对旅游空间分布的影响力呈现波动变化;经济因素对旅游空间分布的影响力呈现持续增强的变化趋势;而自然因素影响力波动起伏相对较小。     

Bioleaching of refractory gold ore （ Ⅱ ）——Mechanism on bioleaching of arsenopyrite by Thiobacillus ferrooxidans

1　ＩＮＴＲＯＤＵＣＴＩＯＮＢｉｏｌｅａｃｈｉｎｇｐｒｏｃｅｓｓｅｓｈａｖｅｂｅｅｎｕｓｅｄｅｘｔｅｎｓｉｖｅｌｙｔｏｒｅｃｏｖｅｒｂａｓｅｍｅｔａｌｓ (ｍａｉｎｌｙｃｏｐｐｅｒ)ａｎｄｕｒａｎｉｕｍｆｒｏｍｌｏｗ ｇｒａｄｅｏｒｅｓａｎｄｍｏｒｅｒｅｃｅｎ