一种新的基于值函数迁移的快速Sarsa算法

知识迁移是当前机器学习领域的一个新的研究热点.其基本思想是通过将经验知识从历史任务到目标任务的迁移,达到提高算法收敛速度和收敛精度的目的.针对当前强化学习领域中经典算法收敛速度慢的问题,提出在学习过程中通过迁移值函数信息,减少算法收敛所需要的样本数量,加快算法的收敛速度.基于强化学习中经典的在策略Sarsa算法的学习框架,结合值函数迁移方法,优化算法初始值函数的设置,提出一种新的基于值函数迁移的快速Sarsa算法--VFT-Sarsa.该算法在执行前期,通过引入自模拟度量方法,在状态空间以及动作空间一致的情况下,对目标任务中的状态与历史任务中的状态之间的距离进行度量,对其中相似并满足一定条件的状态进行值函数迁移,而后再通过学习算法进行学习.将VTF-Sarsa算法用于Random Walk问题,并与经典的Sarsa算法、Q学习算法以及具有较好收敛速度的QV算法进行比较,实验结果表明,该算法在保证收敛精度的基础上,具有更快的收敛速度.     

办好《铝加工》更上一层楼

1 1992年编辑工作的进展自1991年镇江会议以来,我们共组稿119篇,其中著作稿86篇,翻译稿33篇,著作稿和翻译稿分别占总稿量的72.3％和27.7％,著作稿是翻译稿的2.6倍。采用稿89篇,其中著作稿72篇,翻译稿17篇,分别占总录用稿的80.8％和19.2％,著作稿是翻译稿的4.2倍,与去年同期相比略有提高。投稿和用稿的情况表明,来自生产实践和科研攻关、技术改造前沿阵地的技术文章、经验总结占绝大多数,充分体现了“以我为主,洋为中用”、“拿来借鉴、加快发展”的原则,也体现了《铝加工》为企业科技进步服务的宗     

总结经验 继续前进——在《铝加工》第三次年会上的工作报告

这次会议是继1988年以来的第三次年会。本次年会的目的是:第一总结工作;第二征求意见,改进工作;第三学术交流。一、一年来《铝加工》编辑工作的进展自1989年10月长沙会议以来,我们收到的总稿件138篇,其中著作稿85篇,翻译稿53     

日本高新技术产品占领国际市场的措施

日本企业界在研究全球发达国家企业的成功经验后,把不断创新生产高新技术产品来抢占国际市场作为战略来实施.战后一大批企业在短时间内就跨入世界领先行列,其工业科技水平、产品技术含量、产品国际市场占有率、先进性、均处于世界突出位次.实践证明,开发和生产高新技术产品,是企业竞争和成长为国际市场强者的法宝之一.为此,作者以《信息世界》编辑部的一些资料为依据,对日本企业高新技术产品创新做法进行分析,以典型经验启迪我们的企业家,推动企业尽快步入世界“霸主”之林.     

提高文献利用率的措施

本文介绍了提高文献利用率的措施,并用模糊数学对西南铝加工厂文献利用率进行评价,结果表明:诸因素中有3项较好,有2项是薄弱环节,这就为发扬长处、克服短处指明了努力方向。     

基于多线程并行强化学习的建筑节能方法

提出一种基于并行强化学习的建筑节能方法，该方法结合多线程技术和经验回放方法提出一个多线程并行强化学习算法框架，其新颖点在于：在经验回放过程中引入自模拟度量方法，通过计算样本之间的距离，选取低相似度的样本构造多样样本池，Agent的学习过程从多样样本池中选取样本学习，可有效避免浪费学习资源。实验包括在仿真房间模型上与Q-Learning算法的对比实验和与经典PID控制方法的对比实验。实验结果表明，所提出的并行算法有更快的学习速率和收敛速度，能更快地求解出最优策略，并拥有更高的运行效率。     

一种面向建筑节能的强化学习自适应控制方法

针对建筑节能领域中传统控制方法对于建筑物相关设备控制存在收敛速度慢、不稳定等问题,结合强化学习中经典的Q学习方法,提出一种强化学习自适应控制方法--RLAC。该方法通过对建筑物内能耗交换机制进行建模,结合Q学习方法,求解最优值函数,进一步得出最优控制策略,确保在不降低建筑物人体舒适度的情况下,达到建筑节能的目的。将所提出的RLAC与On/Off以及Fuzzy-PD方法用于模拟建筑物能耗问题进行对比实验,实验结果表明,RLAC具有较快的收敛速度以及较好的收敛精度。     

基于Transformer-BiLSTM特征融合的DNA结合蛋白预测方法

蛋白质与生命活动密切相关,脱氧核糖核酸（DNA）结合蛋白作为一种特殊的蛋白质,在生命活动中有着不可替代的作用.因此,研究DNA结合蛋白有很重要的现实意义,这个课题的研究前景十分广阔.传统生物技术虽然精度较高,但其成本十分的昂贵,效率比较低,设备要求极高,并不适合现代社会大量研究蛋白质的需求.机器学习的方法在一定程度上弥补了生物实验技术的不足,但是在数据处理方面远不如深度学习技术来的高效与便捷.在本研究中提出了一种基于双向平行长短期记忆神经网络(BiLSTM)和Transformer的深度学习框架来预测DNA结合蛋白.该模型不仅可以进一步提取蛋白质序列的信息和特征,还可以进一步提取进化信息的特征,最后,将这两个特征融合起来进行训练和测试.该模型拓展了研究人员在蛋白质特征提取方面的研究思路,为使用Transformer编码器块提取蛋白质全局特征提供参考.在PDB2272数据集上,与PDBP＿Fusion模型相比,精度(ACC)和Matthew相关系数(MCC)分别提高了2.64%和5.51%.该模型的实验结果具有一定的优势.     

强化学习与生成式对抗网络结合方法研究进展

强化学习和生成式对抗网络是近年来人工智能领域的两个热门主题，在众多领域表现非常出色。近期出现较多关于两者结合的工作与报道，将强化学习交互式学习的优点与生成式对抗网络的启发自博弈思想相互融合。对两者结合的最新进展进行了梳理、比较与实验分析。对强化学习与生成式对抗网络的理论进行了概述；从强化学习改进生成式对抗网络、生成式对抗网络改进强化学习两个研究方向进行了阐述与比较，通过实验方式分析了这些方法在自然语言、机器控制领域的应用情况；展望了可能的发展趋势。     

基于多示例遗传神经网络的室内PM2.5预测

在医疗环境中病员在室内停留的时间占全天的80%以上,因此开展室内空气质量的研究对病员康复具有重要意义。现有的PM_(2.5)预测方法主要存在两个问题:样本采集粒度与预测粒度不一致;对室内PM_(2.5)预测的相关特征研究不足。对此提出一种基于多示例遗传神经网络的PM_(2.5)预测方法。利用多示例机制有效解决采样间隔与预测时间的平衡问题,并引入与室内环境质量密切相关的通风率特征。以空气质量敏感的医疗单位中采集的实际数据进行验证。实验结果表明,该方法的相对误差为5.60%,比传统遗传神经网络降低7.55%,比支持向量回归方法降低5.98%,比随机森林方法低8.36%,比线性回归低7.66%,比决策树低14.69%,比LASSO回归低8.21%。