基于深度强化学习的自由电子激光优化研究

束流轨道优化是短波长自由电子激光调试放大过程的关键环节。在实际实验中,需要花费大量的时间来调整参数,以校正轨道。为简化该多参数调优过程,研究了基于深度强化学习的自动优化技术,在仿真环境中使用SAC、TD3和DDPG算法调整多个校正磁铁,以优化自由电子激光的输出功率。为模拟实际实验中非理想的轨道状态,在第一节波荡器入口处设置一磁铁以偏转束流轨道。随后利用深度强化学习算法自动调节后续7个磁铁以校正轨道。结果表明,通过引入偏差将输出功率降低一个数量级后,基于最大熵原理的SAC算法将功率恢复到初始值的98.7%,优于TD3与DDPG算法。此外,SAC算法表现出更强的鲁棒性,有望后续应用在我国X射线自由电子激光装置中实现自动调束。