基于分区缓存区重放与多线程交互的多智能体深度强化学习算法

近些年,深度强化学习(Deep Reinforcement Learning,DRL)已成为人工智能领域一个新的机器学习范式与方法论,它在许多高维度大状态的复杂空间任务中能够取得显著的成功.然而,传统的深度强化学习仍然存在着学习效率低、训练时间长的问题,在多智能体的行为决策研究中难以达到理想的效果.针对这些问题,本文提出了一种基于分区缓存区重放与多线程交互的多智能体深度强化学习算法(Partitioned Buffer Replay and Multiple Process Interaction,PBR-MPI).首先,该算法使用分区缓存区的经验重放形式,通过划分奖励空间来区分正面经验、负面经验与中性经验,并在训练时使用分层随机的采样方式抽取这些经验数据.其次,算法运用多线程的交互方式促进了智能体与环境的试错过程,通过智能体的多个克隆体并行的学习并整合它们的学习经验来训练网络模型的参数.然后,为了构建PBR-MPI算法的适用场景,本文根据目前多智能体系统(Multi-Agent System,MAS)的最新研究进展,将多智能体的信息交互方式归纳总结为集中式信息交互、全信息交互和欠信息交互三大类.最后,将新算法与其它的多智能体DRL算法分别在三种不同的信息交互场景中进行对比实验,用于验证和评价PBR-MPI的有效性及整体性能.实验结果表明,在智能体个数为5的多智能体目标追踪任务中,缓存区数为3、线程数为5的PBR-MPI算法的学习收敛速度平均提高了21％,训练效率平均提升了34％,并且在综合性能的评估中新算法的整体性能改善了50％.     

脱粘裂纹扩展诱发热障涂层陶瓷层温度场演变与烧结行为研究

目的 研究等离子喷涂热障涂层(APS-TBCs)内部脱粘裂纹尺寸对陶瓷层温度场与烧结行为的影响.方法 采用有限元模型研究不同尺寸脱粘裂纹对其上方陶瓷层温度场变化规律的影响,并通过梯度热循环试验对裂纹上方陶瓷层烧结行为进行研究,采用扫描电子显微镜(SEM)分析陶瓷层表面和断面的组织形貌,并使用图片法对裂纹上方陶瓷层不同区域的孔隙率进行分析.结果 裂纹上方陶瓷层温度变化区域的面积取决于裂纹尺寸,且最高温度始终位于裂纹中心的上方陶瓷层表面,随着裂纹宽度向两端依次递减,其对应的上方温度依次递减.在本试验条件下,随着脱粘裂纹尺寸的增加,涂层厚度方向的最高温度以线性形式增加,裂纹尺寸每增加0.5 mm,其上方陶瓷层同一位置处的温度增加约30℃,且最高温度区域随之增大.裂纹长度超过3 mm时,在脱粘裂纹热阻效应下,裂纹上方陶瓷层区域的温度升高.裂纹越长,上方陶瓷层整体温度提升越高,不仅导致陶瓷层发生相变和烧结的区域增大,还使得相变和烧结速率升高.不同梯度热循环次数下,陶瓷层表面和内部均出现了数量和长度不等的脱粘、垂直裂纹,烧结面积逐渐增大.脱粘裂纹长度为4 mm时,其最大宽度约40μm.结论 脱粘裂纹上方陶瓷层温度变化以表面最高温度处为中心向四周呈放射性递减.越靠近陶瓷层表面,层状组织信息越少,相应区域的孔隙率越小,烧结和相变程度逐渐增加,使涂层发生脱落失效的可能性进一步增加.     

激光功率对高速激光熔覆Ni/316L层组织与力学性能的影响

为研究高速激光熔覆Ni/316L层组织与力学性能随激光功率的演变规律,分别采用1.1、1.3 和1.5 kW激光功率在Q235钢表面熔覆Ni/316L层。采用扫描电镜(SEM)、能谱仪(EDS)、显微硬度计、冲击试验机及Knoop压痕法研究了熔覆层的显微组织、显微硬度、冲击性能与弹性模量。结果表明,激光功率为1.1 kW时熔覆层内部晶粒生长取向存在垂直于界面生长和与界面成一定角度交叉生长两种模式,并含有少量孔隙等缺陷,熔覆层/基体界面元素成断崖式分布,二者互扩散程度较低。随着激光功率升高,熔覆层晶粒转变为以垂直于界面生长为主,且涂层内部致密性高,缺陷较少,熔覆层/基体界面元素互扩散程度提升。激光功率对熔覆层硬度、冲击性能都存在显著影响,但是对弹性模量的影响较低。不同激光功率下,熔覆层最大硬度均出现在距界面100 μm左右的区域;功率从1.1 kW提升至1.5 kW时熔覆层熔合区最大硬度提高约50%;功率为1.5 kW时,试样的冲击性能较基体提高约20%。     

瓜类枯萎病菌粗毒素的致萎作用及其钝化研究

通过试验对瓜类枯萎病菌进行了产毒培养基的筛选,测定不同枯萎病菌菌株产毒能力,以及12种化合物对甜瓜枯萎病菌毒素的钝化作用。研究结果表明:改良的理查培养液最适于枯萎病菌的生长,其粗毒素对幼苗的致萎作用最强,并随着处理浓度的增加呈规律性变化;不同枯萎病菌菌株粗毒素对甜瓜幼苗的致萎作用差异显著;KMnO4、ZnSO4、VB6、VB1、CuSO4、CaSO4和MnSO4等均可不同程度地钝化甜瓜枯萎病菌毒素使其毒性降低。     

线弹性平板问题的两步最小二乘法有限元

用标准有限元求解椭圆边值问题,特别是含有多个变量的偏微分方程组时,由标准方法推导出的变分问题经常会出现鞍点问题,这将使得对应的离散化的代数问题是无限维的,给数值求解带来巨大困难;最小二乘有限元方法不会出现鞍点问题,但是在求解时,其产生大的半带宽会带来更大的运算量及求解结果的不精确;为解决上述问题,并取得最佳逼近解,给出了线弹性平板问题的两步最小二乘有限元方法,并对该方法进行了数值分析,并通过算例,验证了该方法的正确性。     

某气田污水储罐穿孔失效机理研究

某气田污水储罐在服役过程中发生穿孔泄漏。为分析穿孔原因,明确污水储罐常见穿孔部位的临界壁厚,利用显微硬度计、万能试验机、金相显微镜、扫描电子电镜（SEM）、能谱仪（EDS）和X射线衍射仪（XRD）对储罐理化性能、穿孔特征、腐蚀产物形貌及成分进行分析。结果表明：材质的理化性能符合要求;腐蚀产物疏松,以Fe₂O₃为主,夹杂少量FeS;腐蚀坑由储罐内壁向外壁发展,穿孔时腐蚀坑深度约为2.6 mm。因此,储罐穿孔机理与过程为水与腐蚀性介质渗入到膜层与储罐内壁之间发生氧腐蚀为主,SRB腐蚀为辅的腐蚀,在储罐内壁形成局部腐蚀坑。腐蚀坑深度达到储罐初始壁厚的65%时,坑底应力水平超过储罐抗内压强度,形成穿孔,造成储罐泄漏。     

壳聚糖与葡甘聚糖共混材料的制备及其性能表征

以葡甘聚糖和壳聚糖为主要原料,采用36％的乙酸溶解壳聚糖,通过共混的方法制备壳聚糖与葡甘聚糖共混膜液,经静置减压脱泡、倒膜、干燥制膜,并用与乙酸等物质量的氢氧化钠对膜进行处理。通过IR、XRD和生物学显微镜对共混膜进行性能表征,同时测定了共混膜的透光率、力学性能、吸水率及水蒸气透过系数。结果表明：共混膜的力学性能和水蒸气透过系数得到改善,葡甘聚糖和壳聚糖之间有强烈的相互作用和良好的相容性,作为一种潜在的皮肤组织工程支架将具有良好的应用前景。     

壳聚糖/魔芋葡甘聚糖共混膜的制备及性能研究

以魔芋葡甘聚糖和壳聚糖为主要原料,采用36%的乙酸溶解壳聚糖通过共混的方法制备壳聚糖/魔芋葡甘聚糖共混膜液,经静置减压脱泡、倒膜、干燥制膜,并采取与乙酸等量的氢氧化钠对膜进行处理。通过红外光谱、X-射线衍射和生物学显微镜对共混膜进行性能表征,同时测定了共混膜的透光率、力学性能、吸水率及水蒸气透过系数。结果表明:魔芋葡甘聚糖1.0 g、壳聚糖0.6 g、36%的乙酸0.6 mL、蒸馏水100 mL为制膜最佳配方,共混膜的力学性能和水蒸气透过系数得到改善,魔芋葡甘聚糖和壳聚糖之间有强烈的相互作用和良好的相容性,作为一种潜在的皮肤组织工程支架将具有良好的应用前景。     

利用数字散斑照相术测量面内位移

采用数字图像处理技术直接对双曝光散斑图进行全场分析,获取了杨氏条纹图．通过对条纹图的滤波增强、二值化、细化等操作,提取了条纹周期,实现了物体面内微小位移的测量．实验结果表明,该方法可获得高对比度的散斑干涉条纹,经过数字图像处理,条纹细化无断点和毛刺,有利于条纹判读,提高测量精度,其微位移测量误差小于4％．由于散斑图及条纹图像均是在计算机内存储、处理,实现了散斑照相术的数字化,具有一定的应用价值．     

含氧化石墨烯的表面有机钝化技术的应用及研究进展

近年来,氧化石墨烯逐渐被广泛应用在金属表面防腐领域.本文着重介绍了氧化石墨烯在有机钝化技术中的应用,综述了氧化石墨烯与有机物复合钝化在金属表面防腐领域的研究进展,展望了氧化石墨烯与有机物复合钝化的发展方向.