基于分区缓存区重放与多线程交互的多智能体深度强化学习算法

近些年,深度强化学习(Deep Reinforcement Learning,DRL)已成为人工智能领域一个新的机器学习范式与方法论,它在许多高维度大状态的复杂空间任务中能够取得显著的成功.然而,传统的深度强化学习仍然存在着学习效率低、训练时间长的问题,在多智能体的行为决策研究中难以达到理想的效果.针对这些问题,本文提出了一种基于分区缓存区重放与多线程交互的多智能体深度强化学习算法(Partitioned Buffer Replay and Multiple Process Interaction,PBR-MPI).首先,该算法使用分区缓存区的经验重放形式,通过划分奖励空间来区分正面经验、负面经验与中性经验,并在训练时使用分层随机的采样方式抽取这些经验数据.其次,算法运用多线程的交互方式促进了智能体与环境的试错过程,通过智能体的多个克隆体并行的学习并整合它们的学习经验来训练网络模型的参数.然后,为了构建PBR-MPI算法的适用场景,本文根据目前多智能体系统(Multi-Agent System,MAS)的最新研究进展,将多智能体的信息交互方式归纳总结为集中式信息交互、全信息交互和欠信息交互三大类.最后,将新算法与其它的多智能体DRL算法分别在三种不同的信息交互场景中进行对比实验,用于验证和评价PBR-MPI的有效性及整体性能.实验结果表明,在智能体个数为5的多智能体目标追踪任务中,缓存区数为3、线程数为5的PBR-MPI算法的学习收敛速度平均提高了21％,训练效率平均提升了34％,并且在综合性能的评估中新算法的整体性能改善了50％.     

基于语义的网售护肤品消费者调查算法

本文针对电子商务网售护肤品消费者调查困难的问题,结合语义路由的思想,在物联网环境下提出基于语义的网售护肤品消费者调查算法,可统计消费者对商品的喜爱程度和使用习惯。仿真结果表明,算法具有冗余数据少、能耗小、响应快速、实现简单等特点。     

含脂环和酰胺结构透明聚酰亚胺的制备和性能研究

通过合成一种含有脂环及酰胺结构的二酐单体(TCDA),将其与多种不同的二胺聚合,制备了一系列透明聚酰亚胺薄膜,并对薄膜进行了性能测试与表征.结果表明:在二酐结构中同时引入反式环己烷及酰胺结构,使得合成的聚酰亚胺薄膜具有较优异的光学性能(T550>89％)、较低的热膨胀系数(CTE<17×10-6 K-1)以及较高的玻璃化转变温度(Tg>320℃),表明脂环结构的引入降低了电荷转移络合物的形成,提高了聚酰亚胺薄膜的透明性,而酰胺结构的引入降低了热膨胀系数.     

非语言符号在MOOC教学视频中的应用

为充分发挥非语言符号在MOOC教学视频中的媒体特性,提高学习者学习效果,阐述MOOC教学视频中非语言符号的主要特点与呈现形式,分析非语言符号在MOOC教学视频应用中存在的教师表现力不足、场景背景设计水平不高、多媒体课件设计轻内容重形式、教学视频拍摄制作水平不高等问题,从提升教师授课水平、加强课程场景背景设计、合理运用多媒体规律、提高拍摄制作水平等方面提出应用对策.     

基于表面等离子体共振传感器的尿微量白蛋白检测

检测尿微量白蛋白(MAU)可对轻微肾脏损害进行早期诊断,也可对高血压患者可能发生的心脑血管事件进行预测。实验将抗体通过巯基自组装固定于Au膜表面,研制了一种快速检测MAU的表面等离子体共振(SPR)生物传感器。结果表明:直接检测法可以检测到0.3μg/L的MAU,而纳米Au放大法检测限可以低至0.03μg/L。     

计算机安全弱点及解决技术研究

随着计算机网络技术的快速发展,网络安全日益成为人们关注的焦点。本文分析了影响网络安全的主要因素及攻击的主要方式,从管理和技术两方面就加强计算机网络安全提出了针对性的建议,本文就计算机网络安全问题进行探讨并提出解决策略。     

超分子络合物β-环糊精-苯甲醚/苯甲酸乙酯/间甲酚的核磁共振氢谱分析

以β-环糊精与苯甲酸乙酯、苯甲醚和间甲酚在水相中通过范德华力发生包合反应形成了主客体超分子络合物,并用核磁共振氢谱对络合物进行了表征.同时通过分子模拟计算,证实了发生包合反应的可行性.通过核磁共振分析,给出了客体分子在β-环糊精空腔的可能构象.     

基于深度残差网络的自动调制识别方法研究

自动调制识别是电磁环境特性分析的关键问题,而传统方法多基于人工设计特征进行识别,数据特征表示和判别分析能力有限。为此提出一种新颖的深度神经网络特征表示方法进行调制识别任务。首先,利用递归神经网络结构对电磁信号序列进行表示,建立了基于多层双向GRU网络结构的识别方法。其次,从一维空间卷积表示序列的角度思考,建立了基于深度残差卷积网络的调制识别方法。最后,针对加性高斯白噪声信道的调制方式仿真数据集,将提出的方法与典型神经网络模型如多层感知器、卷积神经网络进行了对比实验。实验结果表明,提出的方法在自动调制识别方面具备更强的特征表示能力和竞争力,有利于推动深度学习在自动调制识别领域的应用。     

月面探测器实时能量平衡分析及自动测试系统

近年来,世界各国将目光聚焦于月球探测上,然而目前探测器缺乏一套统一的自动测试系统.针对月面探测器工作模式多、环境因素复杂等特点,提出月面探测器实时能量平衡分析及自动测试系统.根据大光照角试验、宽温度蓄电池组容量测试及全任务周期负载需求评估等数据,实现月面探测器能量平衡分析.通过控制计算机及GPIB接口输入测试仪器,实现具有自动数据采集、数据记录、图表显示和故障预警功能的自动测试系统.该系统填补了探测器模拟测试相应领域的空白,可以为后续月面探测器的地面模拟测试提供一定的建议与参考.