Integration of imitation learning using GAIL and reinforcement learning using task-achievement rewards via probabilistic graphical model

The integration of reinforcement learning (RL) and imitation learning (IL) is an important problem that has long been studied in the field of intelligent robotics. RL optimizes policies to maximize the cumulative reward, whereas IL attempts to extract general knowledge about the trajectories demonstrated by experts, i.e, demonstrators. Because each has its own drawbacks, many methods combining them and compensating for each set of drawbacks have been explored thus far. However, many of these methods are heuristic and do not have a solid theoretical basis. This paper presents a new theory for integrating RL and IL by extending the probabilistic graphical model (PGM) framework for RL, control as inference. We develop a new PGM for RL with multiple types of rewards, called probabilistic graphical model for Markov decision processes with multiple optimality emissions (pMDP-MO). Furthermore, we demonstrate that the integrated learning method of RL and IL can be formulated as a probabilistic inference of policies on pMDP-MO by considering the discriminator in generative adversarial imitation learning (GAIL) as an additional optimality emission. We adapt the GAIL and task-achievement reward to our proposed framework, achieving significantly better performance than policies trained with baseline methods.     

基于网格模型的混凝土细观结构数值模拟

基于改进的网格模型,模拟了全级配数值试件在轴向受压下的力学行为。讨论了W e ibu ll分布中的均质度、同一级配不同骨料分布对数值结果的影响。     

不分散混凝土在水池底板加固工程中的应用

通过在水下制作仿真试块,对掺抗分散剂的水下不分散混凝土的各项力学性能和不分散混凝土与原混凝土底板结合性能以及制作标准养护试件对不分散混凝土进行全面试验的基础上,采用制作安装水下顶模和水下作业的方法,成功地将不分散混凝土用于水池底板的加固,为水下或其他不便直接施工混凝土的结构加固提供了一条新途径。     

仿古建筑形式面面观

将传统形式、仿古建筑、民族形式与传统样式等语言概念进行归纳概括，在对比分析中赋予仿古建筑形式科学的语言概念；通过仿古建筑形式兴盛发展成因的分析，揭示了弘扬民族文化的现实意义和仿古建筑形式发展的必然趋势，同时明确了仿古建筑在人文环境与自然环境的社会定位；通过研究探讨以期产生对仿古建筑创作的指导意义。     

仿石灰石效果涂料的制备

利用中涂层、效果涂层和罩面层的复合方式,采用特殊的施工工具,制备了仿石灰石效果复合涂层。介绍了中涂漆、效果涂料和罩面清漆的配方及制备工艺,以及仿石灰石效果涂料的施工工艺。讨论了乳液用量,填料的种类及用量对中涂层初期抗裂性的影响,以及罩面清漆中丙烯酸树脂用量对涂层外观及耐水性的影响。     

论清康熙官窑瓷“仿明风”形成的条件与原因

清康熙中期时,御窑厂得到正式复兴。仿明是康熙官窑最鲜明的特色之一,从颜色釉至各类彩绘瓷均有显著的"仿明风"。康熙官窑"仿明风"是在各方面有利条件下形成的,其形成与当时政治与文化风气密切关联。     

基于摄像头和触摸屏的网络版考勤系统的实现

针对市面上出现的指纹套,开发出基于摄像头和触摸屏的考勤系统以替代指纹考勤系统。该系统使用触摸屏模拟键盘输入,将摄像头拍摄的照片和其它信息保存到数据表文件中,可以防止考勤过程中的作弊行为。     

从两座机场工程对清水混凝土发展的认识

北京首都机场航站楼和昆明新机场航站楼都在天花、柱、墙等部位大面积应用清水混凝土,来做建筑装饰效果。随着清水混凝土技术的日臻完善和规范,清水混凝土的耐久性和清水艺术的表现力是待研究的课题,此外,研发现浇混凝土的替代产品和发展预制、仿清水混凝土以及工厂化专业化生产,也是未来清水混凝土的发展趋势。     

基于VB6.0的盘形凸轮机构CAD系统设计

利用面向用户的可视化软件Visual Basic 6.0进行盘形凸轮机构CAD系统设计。输入原始参数得到该参数下的凸轮廓线及有关数据,缩短了解析法设计凸轮廓线时数据处理时间,提高设计工作效率,使凸轮机构的设计直观化、实时化。通过实例验证,该软件界面友好,方便直观,既可用于工程实际,又可满足教学需要。