结合优势结构和最小目标Q值的深度强化学习导航算法

针对现有基于策略梯度的深度强化学习方法应用于办公室、走廊等室内复杂场景下的机器人导航时,存在训练时间长、学习效率低的问题,本文提出了一种结合优势结构和最小化目标Q值的深度强化学习导航算法.该算法将优势结构引入到基于策略梯度的深度强化学习算法中,以区分同一状态价值下的动作差异,提升学习效率,并且在多目标导航场景中,对状态价值进行单独估计,利用地图信息提供更准确的价值判断.同时,针对离散控制中缓解目标Q值过估计方法在强化学习主流的Actor-Critic框架下难以奏效,设计了基于高斯平滑的最小目标Q值方法,以减小过估计对训练的影响.实验结果表明本文算法能够有效加快学习速率,在单目标、多目标连续导航训练过程中,收敛速度上都优于柔性演员评论家算法(SAC),双延迟深度策略性梯度算法(TD3),深度确定性策略梯度算法(DDPG),并使移动机器人有效远离障碍物,训练得到的导航模型具备较好的泛化能力.     

基于图像序列的车道线并行检测网络

现有车道线检测神经网络主要采用相互独立的单帧图像进行检测,无法较好地处理包含车道线短时遮挡、地面明暗变化等复杂因素的实际应用场景.针对上述问题,文中根据车辆在正常行驶过程中可获得连续图像的场景特点,提出基于图像序列的车道线并行检测网络.首先设计并行的特征提取结构,一方面使用精度较高的单帧网络提取当前帧图像的特征,另一方...     

120和125钢级钻杆在NACE溶液中腐蚀行为研究

将改进型27CrMo材料热处理成120和125钢级钻杆，采用电化学技术测试、浸泡试验和硫化物应力腐蚀试验，对比分析了两种钢级材料的腐蚀性能。结果表明：120钢级钻杆出现椭圆状腐蚀坑，而125钢级钻杆出现细长的腐蚀坑，腐蚀坑深度约为120钢级钻杆的两倍，且坑底出现腐蚀裂纹。120钢级钻杆通过了NACE TM 0177 A法D溶液抗硫化物应力腐蚀试验，而125钢级钻杆发生断裂，断裂方式为沿晶断裂，故125钢级钻杆抗硫应力腐蚀性能不佳。     

紧耦合异构线程处理器

异构计算为系统达到更高的性能功耗比提供了新的思路和方向,但异构系统中中央处理器(CPU)和加速器协同执行任务的过程中大量的控制信号传输和数据搬运始终是系统性能的一个重要瓶颈。对此,本文提出了一种紧耦合异构线程处理器结构,包括一个硬件CPU线程和一个硬件加速器线程,二者采用流水线紧耦合的硬件线程间通信接口和共享存储的方式降低了通信代价,大幅提高了系统性能。为验证该结构的优势,本文在开源BOOM核的基础上设计了硬件线程间通信接口,实现了一个具有高级加密标淮(AES)加速器的紧耦合异构线程处理器,并在现场可编程门阵列(FPGA)上进行了评估。结果显示,在加密任务中,该处理器吞吐量约是Intel Comet Lake使用AES指令集(AES-NI)的5.7倍,是BOOM平台上仅使用通用指令的4000倍。实验进一步验证了通过CPU和加速器快速通信实现的细粒度并行可以取得更多的性能收益。由此得出结论:该结构能敏捷地将加速器整合到CPU周围,有效降低了通信时间,实现CPU线程和加速器线程的细粒度并行,有效地发挥出异构计算的优势,取得可观的性能收益。     

基于数据建模和参数压缩的连续干燥过程温湿度预测控制

为精确控制干燥物料的含水率和干燥温度,提出基于数据建模和参数压缩的连续干燥过程温湿度预测控制算法。首先通过子空间辨识法建立连续干燥过程的子空间模型组,然后采用控制增量状态空间预测模型和阶梯式策略,描述具有约束的模型预测控制(MPC)的优化控制问题。在此基础上,将原二次规划问题的优化变量进行合理排序,再采用原始障碍内点法在线优化计算控制增量值,提高预测控制器的在线计算效率。最后通过对比仿真实验验证本文算法的有效性和优越性。