基于Q-learning模型的智能化放顶煤控制策略

传统的综放工作面放顶煤控制存在顶煤采出率低、出煤含矸率高等问题,而现有智能决策方法又存在建模困难、学习样本难以获取等障碍。针对上述问题,在液压支架放煤口动作决策过程中引入强化学习思想,提出一种基于Q-learning模型的智能化放顶煤控制策略。以最大化放煤效益为主要目标,结合顶煤放出体实时状态特征及顶煤动态赋存状态,采用基于Q-learning的放顶煤动态决策算法,在线生成多放煤口实时动作策略,优化多放煤口群组协同放煤过程,合理平衡顶煤采出率、出煤含矸率的关系。仿真和对比分析结果表明,该控制策略的顶煤平均采出率为91.24%,比传统"见矸关窗"的放煤方法提高约15.8%;平均全局奖赏值为685,比传统放煤方法提高约11.2%。该控制策略可显著减少混矸、夹矸等现象对放煤过程的影响,提高顶煤放出效益,减少煤炭资源浪费。     

综放工作面智能放煤工艺研究及应用

传统的放顶煤控制主要依靠人工放煤控制,采用单轮顺序放煤。配有电液控制系统的工作面主要采用程序控制与人工补放结合的双轮顺序放煤方式,如果放煤控制实施不充分,会大幅降低煤炭采出率,如果放煤过程中掺有大量矸石,会降低煤炭的开采质量。针对上述问题,研究了综放工作面智能放煤工艺。分析了综放工作面自动化放煤工艺流程,指出要实现智能放煤工艺,需要在自动化放煤工艺的基础上,对综放工作面采煤机、液压支架、刮板输送机等设备进行智能升级,即在综放支架上安装音视频监视系统,监测是否有大块煤堵住放煤口、影响顶煤放出等异常情况;在后部刮板输送机安装电动机电流监测系统,实现放落煤流的自动控制,同时具备人工干预功能,即补放和停放功能;在带式输送机机尾处安装灰分检测系统对灰分是否增多进行在线分析;在综放支架上安装基于振动传感器的煤矸识别装置,根据振动传感器数据分辨矸石下落量,辨识是否有严重混矸情况。结合智能放煤工艺流程,为王家岭煤矿12309综放工作面定制了智能放煤方案:基于自动化顺序放煤与间隔放煤工艺、振动信号的煤矸识别控制和人工放落煤流控制技术实现该工作面智能化放煤,实际应用结果验证了智能放煤工艺的有效性。     

自动化放煤控制系统研究

针对综采放顶煤工作面后端的综放工作面采用人工放煤控制方式,与综采放顶煤工作面前端的综采工作面自动化水平差距较大的问题,研究了一种自动化放煤控制系统。根据放顶煤液压支架上安装的倾角传感器和前后部刮板输送机千斤顶中的行程传感器,控制液压支架放煤机构位姿,实现放煤量精准控制;通过在液压支架尾梁上安装云台摄像仪和红外发射器,对放煤全过程进行实时视频监视,实现后部刮板输送机运煤量和直线度的检测与控制;利用图像灰度识别技术进行煤矸识别,检测采出顶煤的含矸率。该系统提高了放煤效率和质量,为实现综采放顶煤工作面无人化提供了思路。     

基于改进的DQN机器人路径规划

针对深度Q学习算法在机器人路径规划中的过估计问题,提出一种动态融合深度双Q算法(dynamic target doub-le deep Q network,DTDDQN).通过动态融合DDQN和平均DQN的先验知识进行网络参数训练,前期以较大权重的DDQN优化目标对估计网络进行网络训练和先验知识的积累,随着学习的深入,增大平均DQN的优化目标对网络训练的权重,使网络输出的Q值更加接近真实Q值,减少过估计对机器人在选择动作时的影响,达到所选策略最优.仿真对比结果表明,DTDDQN算法在路径规划中能更好解决过估计问题,在动作选择方面以及规划路径长度方面都有一定提升.     

基于平均神经网络参数的DQN算法

在深度强化学习领域,如何有效地探索环境是一个难题。深度Q网络(Deep Q-Network,DQN)使用ε-贪婪策略来探索环境,ε的大小和衰减需要人工进行调节,而调节不当会导致性能变差。这种探索策略不够高效,不能有效解决深度探索问题。针对DQN的ε-贪婪策略探索效率不够高的问题,提出一种基于平均神经网络参数的DQN算法(Averaged Parameters DQN,AP-DQN)。该算法在回合开始时,将智能体之前学习到的多个在线值网络参数进行平均,得到一个扰动神经网络参数,然后通过扰动神经网络进行动作选择,从而提高智能体的探索效率。实验结果表明,AP-DQN算法在面对深度探索问题时的探索效率优于DQN,在5个Atari游戏环境中相比DQN获得了更高的平均每回合奖励,归一化后的得分相比DQN最多提升了112.50%,最少提升了19.07%。     

路天煤矿1604综放工作面顶煤冒放性评价

放顶煤开采是利用采动支承压力的作用使煤体自然压裂破碎和跨落并从支架放煤口放出,因此,顶煤冒放性的好坏就成为该采煤法的关键所在。文章根据路天煤矿的煤层赋存条件,运用模糊数学分类方法,采用Matlab编程计算,并结合煤层强度、赋存深度、节理裂隙发育程度、夹矸厚度、煤层厚度和直接顶的充满系数6个因素,对该煤矿1604综放工作面顶煤冒放性进行了分析评价。评价结果表明,1604综放工作面顶煤冒放性好,对路天煤矿的生产实践具有一定的指导意义。     

综放工作面煤矸自动识别系统设计及应用

提出了一种基于振动信号的综放工作面煤矸自动识别系统,介绍了系统结构及工作原理,重点阐述了煤矸识别设备的软、硬件设计方案及煤矸识别算法。该系统由煤矸识别设备依据煤与矸石跌落到液压支架上时的振动信号不同来辨识煤矸,液压支架电液控制器根据辨识结果控制液压支架动作。该系统在某煤矿进行了煤矸的可辨识性和自动放煤过程的可控性测试,并已应用于部分煤矿,效果较好。     

基于随机森林的综放工作面煤矸图像识别

针对目前综放工作面煤矸图像识别方法存在的参数调节难度高、预测准确率低、易过拟合等问题,提出了一种基于随机森林(RF)算法的综放工作面煤矸图像识别方法。以担水沟煤矿6203综放工作面为工程背景,采集放煤口的煤矸图像并对其进行裁剪、灰度转化、对比度增强、图像滤波预处理;采用灰度-梯度共生矩阵提取出15个煤矸图像纹理特征;采用RF算法对15个煤矸纹理特征的重要性进行排序,并选取前5个实现降维处理,分析降维前后RF算法对煤矸图像的识别效果。结果表明,在决策树个数为150、采用log2^M+1方法计算每次分裂时的特征数情况下,降维后RF模型的煤矸分类准确率为97%,比降维前提高4%,煤矸分类查准率为0.98,查全率为0.96,且袋外错误经50次迭代达到9%,泛化能力更强。     

基于深度强化学习的节能工艺路线发现方法

由于传统基于固定加工环境的工艺路线制定规则,无法快速响应加工环境的动态变化制定节能工艺路线。因此提出了基于深度Q网络(deep Q network,DQN)的节能工艺路线发现方法。基于马尔可夫决策过程,定义状态向量、动作空间、奖励函数,建立节能工艺路线模型,并将加工环境动态变化的节能工艺路线规划问题,转化为DQN智能体决策问题,利用决策经验的可复用性和可扩展性,进行求解,同时为了提高DQN的收敛速度和解的质量,提出了基于S函数探索机制和加权经验池,并使用了双Q网络。仿真结果表明,相比较改进前,改进后的算法在动态加工环境中能够更快更好地发现节能工艺路线;与遗传算法、模拟退火算法以及粒子群算法相比,改进后的算法不仅能够以最快地速度发现节能工艺路线,而且能得到相同甚至更高精度的解。     

综采放顶煤工作面自动放煤控制系统研究

针对综采放顶煤工作面人工放煤方式生产效率低的问题,研究了一种自动放煤控制系统。在液压支架上安装声波传感器、振动传感器和灰分传感器,通过人工示范操作和机器学习记忆传感器信号,确定放煤过程结束时传感器信号特征波形,比对采集的振动感知信号、声音感知信号与特征信号的相似度;通过灰分传感器有效辨识采出顶煤的含矸率;根据相似度和含矸率作出预警或直接控制。该系统实现了以传感器感知控制为主、时间控制为保护值、地面调度室远程干预控制为辅的自动化放煤控制,提高了综采放顶煤工作面的自动化水平和生产效率。     

“三软”不稳定煤层综放工作面智能化应用与实践

本文针对“三软”不稳定煤层地质特点,在综放工作面智能化建设实践中,通过一系列装备技术和管理、控制程序优化,较好地解决了综放智能化工作面常态化运行中支架钻底、超高、倒架、邻架错差等支架姿态控制技术难题;在目前煤矸智能识别技术条件下,通过优化放煤程序,较好地实现了自动+人工辅助放煤功能;通过支架采高动态管理和护帮板位置控制,有效避免了煤机运行中干涉支架风险;通过视频联动技术和分布式通讯控制装置,初步实现了工作面沿线设备协同控制问题。     

基于双深度Q网络的智能决策系统研究

目前智能决策系统中的经典算法智能化程度较低,而更为先进的强化学习算法应用于复杂决策任务又会导致存储上的维度灾难问题。针对该问题,提出了一种基于双深度Q网络的智能决策算法,改进了目标Q值计算方法,并将动作选择和策略评估分开进行,从而获得更加稳定有效的策略。智能体对输入状态进行训练,输出一个较优的动作来驱动智能体行为,包括环境感知、动作感知及任务协同等,继而在复杂度较高的决策环境中顺利完成给定任务。基于Unity3D游戏引擎开发了虚拟智能对抗演练的验证系统,对演练实时状态和智能体训练结果进行可视化,验证了双深度Q网络模型的正确性和稳定性,有效解决了强化学习算法存在的灾难问题。该智能决策算法有望在策略游戏、对抗演练、任务方案评估等领域发挥作用。     

一种新的基于隐喻地图的RPA路径规划算法

智能化地制定机器人流程自动化(robotic process automation, RPA)执行路径有利于企业节约相关人力成本以及提高RPA的推广,提出基于改进深度双Q网络(double deep Q-learning algorithms, DDQN)算法进行RPA路径规划。首先针对存在RPA的作业环境即Web页面,不满足深度增强算法的探索条件的问题,借助隐喻地图的思想,通过构建虚拟环境来满足路径规划实验要求。同时为了提高DDQN算法探索效率,提出利用样本之间的位置信息的杰卡德系数,将其作为样本优先度结合基于排名的优先级(rank-based prioritization)构建新的采样方式。通过随机采用任务样本在虚拟环境上进行验证,证明其符合实验要求。进一步比较改进DDQN、深度Q网络(deep Q network, DQN)、DDQN、PPO以及SAC-Discrete算法的实验结果,结果显示改进算法的迭代次数更少、收敛速度更快以及回报值更高,验证了改进DDQN的有效性和可行性。     

基于深度强化学习的雷达智能抗干扰决策FPGA加速器设计

针对高动态环境下的雷达连续智能抗干扰决策和高实时性需求问题,本文构建了一种适用于雷达智能抗干扰决策的深度Q网络（Deep Q network,DQN）模型,并在此基础上提出了一种基于现场可编程门阵列（Field programmable gate array,FPGA）的硬件决策加速架构。在该架构中,本文设计了一种雷达智能决策环境交互片上访问方式,通过片上环境量化存储和状态迭代计算简化了DQN智能体连续决策时的迭代过程,在实现智能体深度神经网络的并行计算与流水控制加速的同时,进一步提升了决策实时性。仿真和实验结果表明,在保证决策正确率的前提下,所设计的智能抗干扰决策加速器相比已有的基于CPU平台的决策系统,在单次决策中实现了约46倍的速度提升,在连续决策中实现了约84倍的速度提升。     

基于一维卷积循环神经网络的深度强化学习算法

针对现有深度强化学习算法在状态空间维度大的环境中难以收敛的问题,提出了在时间维度上提取特征的基于一维卷积循环网络的强化学习算法;首先在深度Q网络(DQN,deep Q network)的基础上构建一个深度强化学习系统;然后在深度循环Q网络(DRQN,deep recurrent Q network)的神经网络结构基础上加入了一层一维卷积层,用于在长短时记忆(LSTM,long short-term memory)层之前提取时间维度上的特征;最后在与时序相关的环境下对该新型强化学习算法进行训练和测试;实验结果表明这一改动可以提高智能体的决策水平,并使得深度强化学习算法在非图像输入的时序相关环境中有更好的表现。     

基于深度双Q网络的多用户蜂窝网络功率分配算法研究

针对现有蜂窝网络功率分配算法存在泛化能力弱、效率低等问题进行了研究,提出基于深度双Q网络(deep double Q network,DDQN)的功率分配算法。采用双神经网络结构,解决强化学习过程中易出现的维度灾难及值函数过估计问题;对状态信息进行设计并输入神经网络,输出智能体的动作行为,并设计奖赏函数反馈给神经网络,使智能体可以有效地自主学习,多次迭代得到最优的功率分配策略。仿真结果表明,所提的模型可获得的平均速率为1.89,平均运行时间为0.0013 s,在不同用户密度及小区数量下均可达到最高的平均速率,验证了算法的有效性,为蜂窝网络资源分配问题提供了新的思路。     

自动化大采高综放工作面关键技术探讨

介绍了液压支架自动控制、跟机自动化、放煤自动化、远程控制、照明及低照度摄像等自动化大采高综放工作面关键技术;分析了特定煤层条件下自动化大采高综放开采的适应性,认为自动化大采高综放工作面不仅可以实现采放平行作业,而且可实现年产1 500万t;介绍了自动化大采高综放开采技术存在的问题,指出未来的自动化大采高综放工作面将朝着高可靠性、智能型、减少人工干预的方向发展。     

综采工作面放顶煤自动控制系统

针对现有放顶煤工作面采用人工操作方式放煤存在随机性强、放煤效率低等问题,设计了综采工作面放顶煤自动控制系统。该系统采用煤矸识别传感器采集、分析、处理煤块和矸石撞击支架尾梁产生的振动信号,以判断煤块和矸石的下落状态,并将处理结果通过ZigBee无线收发装置发送给支架控制器,支架控制器依据检测结果自动控制放煤支架动作,从而实现放煤过程的自动控制。     

基于DQN的多类型拦截装备复合式反无人机任务分配方法

针对当前反无人系统无法有效压制无人机的问题,使用多种拦截装备构建一种新的反无人机方法.传统多目标优化算法无法解决动态的任务分配问题,对此,提出一种基于深度Q网络(DQN)的多类型拦截装备复合式反无人机任务分配模型. DQN模块对任务分配问题进行初期决策.为了提高算法收敛速度和学习效率,该方法未采用下一时刻的状态来预测Q值,而是采用当前时刻的状态来预测Q值,消除训练过程中Q值过估计的影响.之后采用进化算法对决策结果进行优化,输出多个拦截方案.以国内某机场跑道周围区域开阔地为防护对象,构建反无人机系统的任务分配仿真环境,仿真结果验证了所提出方法的有效性.同时,将DQN与Double DQN方法相比,所提出改进DQN算法训练的智能体表现更为精确,并且算法的收敛性和所求解的表现更为优异.所提出方法为反无人机问题提供了新的思路.     

面向无人艇的T-DQN智能避障算法研究

无人艇(Unmanned surface vehicle, USV)作为一种具有广泛应用前景的无人系统,其自主决策能力尤为关键.由于水面运动环境较为开阔,传统避障决策算法难以在量化规则下自主规划最优路线,而一般强化学习方法在大范围复杂环境下难以快速收敛.针对这些问题,提出一种基于阈值的深度Q网络避障算法(Threshold deep Q network, T-DQN),在深度Q网络(Deep Q network, DQN)基础上增加长短期记忆网络(Long short-term memory, LSTM)来保存训练信息,并设定经验回放池阈值加速算法的收敛.通过在不同尺度的栅格环境中进行实验仿真,实验结果表明, T-DQN算法能快速地收敛到最优路径,其整体收敛步数相比Q-learning算法和DQN算法,分别减少69.1%和24.8%,引入的阈值筛选机制使整体收敛步数降低41.1%.在Unity 3D强化学习仿真平台,验证了复杂地图场景下的避障任务完成情况,实验结果表明,该算法能实现无人艇的精细化避障和智能安全行驶.