煤矿井下移动机器人深度视觉自主导航研究

煤矿井下移动机器人是煤矿机器人的主力军,煤矿井下移动机器人的自主导航是其研究的难点和热点。目前,煤矿井下移动机器人自主导航所必须的三维环境数据库尚未形成,尤其是制作高分辨率、多信息融合的煤矿井下高精度地图还处于研究阶段。为了有效解决煤矿井下移动机器人自主导航问题,构建了基于深度相机的机器视觉系统,提出了一种基于深度视觉的导航方法,自主导航过程分为地图创建与自主运行两个阶段。在地图创建中:①对深度视觉数据进行特征提取与匹配,利用10组煤矿井下真实视频截图,对比测试5种特征提取与匹配组合算法,结果表明SURF+SURF+FLANN与GFTT+BRIEF+BF算法能够在煤矿井下获得良好匹配结果;②建立煤矿井下移动机器人深度视觉定位与建图问题的捆集调整迭代最近点图模型(Iterative Closest Points Bundle Adjustment,ICP BA);③通过图优化方式估计当前观测下的最优位姿与环境路标点坐标。在实验室场景中利用提出的ICP-BA图优化算法,建立了包含关键位姿与三维环境点的原始点云地图。在自主运行阶段:①通过八叉树数据结构,将点云地图转化为移动机器人运动规划可使用的Octomap导航地图,实验结果表明,Octomap导航地图分辨率可调、系统资源占用低、索引效率高;②使用三维到二维映射的视觉图匹配PNP(Perspective N Points)方法进行实时在线重定位;③基于图搜索的A*(A Star)路径规划作为轨迹规划初值,自定义最小化能量损失泛函为最小化加加速度的变化率(Minimum-Snap)求解2次规划问题,生成用于煤矿井下移动机器人运动执行的轨迹。在Matlab开发环境中设计随机导航地图,生成时间分配、位置、速度、加速度、加加速度的最优轨迹规划结果,验证了运动规划算法的正确性。通过理论分析和实验验证,表明笔者提出的煤矿井下移动机器人深度视觉自主导航方法的有效性。     

煤矿地下毫米波雷达点云成像与环境地图导航研究进展

环境感知与地下空间导航是煤矿智能化信息领域的重要研究方向,对实现无人化、全自动化、智能化的煤矿生产作业至关重要。随着第五代移动通信技术(5th generation mobile networks,5G)和毫米波成像雷达软硬件日益紧密结合与成熟,毫米波探测与通讯应用到更多领域。5G通讯技术依托高速率、低延时、高带宽的特点给现有的无线电通讯技术带来巨大的变革;同时,毫米波雷达相比激光雷达,低成本、抗干扰、三维点云(3 dimension point cloud,3D)数量相对激光点云数量少1～2个数量级的特点,使得其在地下环境3D成像及同步定位与地图构建(Simultaneous Localization and Mapping,SLAM)领域得到越来越多的关注。基于5G通讯的V2X(Vehicle to Everything)技术结合毫米波SLAM导航,为煤矿机器人的自主导航提供新的解决方案。系统综述了当下煤矿机器人自主导航以及实现煤矿智能化所面临的问题;近期国内外毫米波成像最新进展;地下环境毫米波雷达模块组通讯与信号获取方法;高分辨率成像遇到的稀疏特征提取问题;稀疏点云的处理策略与算法评估;深度学习在毫米波稀疏点云处理中的研究现状与发展方向;SLAM算法应用于不同环境的研究现状及SLAM导航算法。归纳了煤矿地下环境中应用SLAM地图构建、路径规划及避障的困难和挑战,并对未来煤矿复杂环境下毫米波通讯与导航兼容并蓄的新应用提出了展望。     

煤矿水泵房巡检机器人路径规划与跟踪算法的研究

目前煤矿水泵房排水设备的巡检工作仍需要人工完成,存在工人巡检懈怠,巡检不及时,巡检不到位,巡检结果数字化不便等问题。结合里程计定位技术、轮式移动机器人导航和避障技术,以ROS机器人开发平台为基础,研究了一种适用于井下水泵房环境的巡检机器人全局路径规划与跟踪算法,可实现巡检机器人在无人为干预,无磁轨、线缆或GPS辅助的情况下按照设定的路径自主移动完成水泵房设备的巡检工作。首先根据水泵房的平面图建立二维栅格地图,通过PRM路径规划算法在建好的二维栅格地图中规划一条经过所有检测点和行进点的无障碍路径,接着通过Pure Pursuit路径跟踪算法计算巡检机器人沿该路径行走需要的实时线速度和角速度,将其发送给巡检机器人运动控制器,然后控制器根据雷达数据实时监测机器人10 cm范围内障碍物情况,决定巡检机器人是否采用当前的线速度和角速度沿规划路径行走,最后在机器人到达检测点后对排水设备进行拍照和运行数据的采集。通过对巡检机器人的模拟实验结果分析得出：巡检机器人能够避开路径上的障碍物,准确到达巡检点,机器人实际位置平均误差为4 cm,姿态角度平均误差为0.095 rad,满足机器人巡检工作的要求。     

基于多传感器融合的煤矿危险气体巡检系统

设计了基于多传感器融合技术的煤矿危险气体巡检系统,将系统整体架构分为执行层、网络层和决策层,决策层中的监控平台和服务器与执行层中的可移动巡检机器人通过网络层实现数据传输;介绍了危险气体巡检作业流程及巡检机器人的模块组成和功能分类,机器人中的智能感知模块对应环境参数监测功能,通过搭载多种传感器实现机器人的自主导航避障和危险气体体积分数数据采集,采用BP神经网络算法实现多传感器融合,完成煤矿井下环境的多种危险气体体积分数实时监测。     

煤矿水泵房巡检机器人开发与试验研究

煤矿水泵房作为保障井下安全生产的重要组成,其巡检效率和效果直接决定着煤矿开采活动能否安全、有序推进。为此,基于栅格建图方法,结合传感器预处理数据,介绍粒子滤波器全局定位算法和覆盖栅格建图算法,并根据已确定煤矿水泵房巡检机器人巡检点位置和机器人位姿,通过巡检路径算法和巡检路径及障碍规避算法,规划水泵房巡检机器人全局路径,控制机器人实施路径跟踪及障碍规避。为检验相关算法可行性,构建煤矿水泵房巡检机器人样机硬件平台与监控软件,从基本功能测试、巡检误差分析等角度实施煤矿水泵房巡检机器人测试,进而确认煤矿水泵房巡检机器人运行轨迹与规划路径基本一致,实际位置误差和姿态误差分别控制在10 cm和0.1 rad以内,可满足设计预期。     

煤矿四旋翼巡检机器人系统设计

基于煤矿环境参数、设备状态及人员情况的巡检需求,针对井下低照度、巷道结构复杂且尚无精确的四旋翼导航定位系统(如北斗、GPS等)等特点,设计了一种煤矿四旋翼巡检机器人。该机器人以机载计算机为控制核心,结合光流、超声波等传感器构建自主飞行控制系统|通过MAVROS向飞控发送控制指令及获取飞行数据|依靠携带的温湿度传感器、气体传感器和摄像头实时获取井下环境信息并通过无线网络将采集到的数据和视频信息实时回传云平台。实验结果表明,该机器人运行稳定,自主性能良好,数据传输可靠。     

煤矿巡检机器人自主导航轨迹纠偏控制研究

针对煤矿巡检机器人在井下运行中位置不准、导航轨迹偏差大和易受外部干扰等问题,通过分析煤矿巡检机器人的运动情况,结合巡检机器人的运动学和动力学模型,提出一种基于RBF神经网络的煤矿巡检机器人自主导航轨迹纠偏控制器,提高煤矿巡检机器人轨迹纠偏精度和自调节能力,提升自主导航运行控制的实时快速响应性。实验仿真表明,与传统PID控制器进行对比,所提出的控制系统具有实时性和有效性,有益于提高煤矿井下巡检机器人的工作效率,提升智能化程度。     

煤矿带式输送机巡检机器人关键技术研究

针对带式输送机巡检机器人在煤矿井下的环境适应性、自主快速安全充电、基于音视频分析的带式输送机异常工况智能识别等关键技术问题,阐述了煤矿带式输送机巡检机器人系统总体设计;设计了一种模块化、两节车厢挂载式巡检机器人本体及吊挂单轨式、滚轮与链轮链条混合驱动的巡检机器人行走机构,可适应煤矿井下输送带运输复杂环境;提出了煤矿井下电—机—电能量转换充电方法,设计了基于鼓形齿的充电自动对接机构,可实现巡检机器人在煤矿井下自主快速安全充电,满足井下远距离巡检需求;提出了基于托辊运转的声压1/3倍频程谱及声品质尖锐度特征指标的托辊故障识别方法,针对井下多粉尘、浓雾气、低照度场景下视频质量差导致视频识别难的问题,提出了自适应图像增强算法框架,增强图像质量,在此基础上,基于目标轮廓先验知识,构建深度神经网络模型,实现煤矿井下人员、煤流、带面异物、带面损伤等特征不显著目标的视频智能识别,提高带式输送机巡检机器人智能化水平。对带式输送机巡检机器人样机及带式输送机异常工况音视频样本进行了验证测试,结果表明：巡检机器人最小转弯半径1 m,在负重220 kg、巡检速度0.4 m/s的情况下,可在角度为20°的坡道上平...     

基于深度强化学习和大邻域搜索的矿山巡检机器人路径规划算法

当前大多数矿山巡检机器人采用激光雷达作为矿山环境探测方法,该方法对于一些小目标物体和反照率小的物体检测不明显,容易造成误检或漏检,从而引发矿山安全事故。为了提高矿山巡检机器人的识别精度,将基于强化学习结合大邻域搜索的路径规划方法引入矿山巡检机器人路径规划工作中,提高矿山巡检机器人对场景的感知能力。首先,提出了基于LSTM的时序性路径规划模型,能够从机器人的RGB相机中提取图像特征,通过深度学习方式进行场景感知。其次,将激光雷达设备采集的信息进行处理,使用大邻域搜索算法找到空间中的多个最优路径,用于后续场景导航。最终通过深度强化学习和大邻域搜索方法实现矿山巡检机器人精准导航,选择最佳的机器人巡检路径。为了验证所提算法性能,在二维和三维空间中进行了场景搭建、导航模拟、模型训练和测试。结果表明:该方法在仿真环境和真实场景中具有较好的路径规划能力。     

基于捷联惯性导航的煤矿监察执法系统设计与应用#br# #br#

针对目前煤矿安全监察部门的执法水平落后,执法监察行为不规范等行业问题,通过研究微机电技术、惯性导航技术、蓝牙定位技术与实时分布式数据库技术,设计了包括执法终端、安全生产执法平台与执法监管云平台三部分的基于捷联惯性导航的煤矿执法系统,经测试在井下执法导航误差不超过3‰。实现了规范执法人员执法、井下执法数据同步、执法过程精准自主导航、执法轨迹可追踪,为煤矿执法监管云平台提供了可信的执法信息。     

基于捷联惯性导航的煤矿监察执法系统设计与应用

针对目前煤矿安全监察部门的执法水平落后,执法监察行为不规范等行业问题,通过研究微机电技术、惯性导航技术、蓝牙定位技术与实时分布式数据库技术,设计了包括执法终端、安全生产执法平台与执法监管云平台三部分的基于捷联惯性导航的煤矿执法系统,经测试在井下执法导航误差不超过3‰。实现了规范执法人员执法、井下执法数据同步、执法过程精准自主导航、执法轨迹可追踪,为煤矿执法监管云平台提供了可信的执法信息。     

基于优化Fast-SLAM的煤矿水泵房巡检机器人研究

针对目前煤矿水泵房无GPS环境下巡检机器人的自主定位、抗干扰能力弱、不能很好的帮机器人完成日常巡检任务等问题,研究基于Fast-SLAM的同步定位与建图方法。首先建立SLAM的概率模型,采用最小线性二乘对里程计进行标定和融合轮式里程计、IMU的方式对传感器数据进行预处理,获得比单一轮式里程计更为精确的位姿信息,减小相对定位中的非系统误差。然后再利用机器人的坐标变换关系将外部传感器获得的环境信息和机器人的运动信息转换为世界坐标系下,基于粒子滤波算法对proposal分布进行优化以获得机器人的精确位姿估计。最后通过覆盖栅格建图建立全局环境地图。经MATLAB仿真和实验结果分析表明,在经过传感器预处理和算法优化后的Gmapping算法满足机器人实时定位的需要,且具有较高的建图精度,可以有效应用于煤矿水泵房机器人自动巡检中。     

煤矿巷道机器人管线视觉辅助定位与导航方法研究

在煤矿巷道安全巡检以及灾变环境应急救援等工作中通常需要使用到智能机器人。目前智能机器人的自主导航与避障技术已经比较成熟,但是主要应用场景都是有卫星定位(GPS、北斗导航系统等)的室外环境或者特定室内环境。由于煤矿巷道存在环境复杂,光照不均匀,空间狭窄等难点,智能机器人在煤矿巷道的自主导航方法还需要进一步研究。常用的传统惯性导航是使用惯性测量单元(Inertial Measurement Unit,IMU)的加速度与角速度来推算物体在三维空间的位置信息,但是误差累积问题比较严重。煤矿巷道存在大量管线,结构化特征显著,通过机载摄像头获取井下巷道图像,使用机器视觉算法来定位巷道图像中的管线,并且通过解算机器人与管线之间的偏航角来辅助机器人的视觉导航。针对巷道中管线的颜色鲜明、几何形状特征明显的特点,结合颜色与几何特征,采用将原始图像纵向分割成多个独立子图像的方法,减小环境噪声对图像中管线分割带来的影响,然后从每个子图像中获取候选管线轮廓,并判断是否属于同一根管线进行轮廓分组,从每组候选轮廓中根据管线轮廓所拟合直线的平行程度进一步筛选出较为鲁棒和稳定的管线轮廓。结合相机针孔模型和偏航角解算模型,进而获得机器人当前的偏航角度。试验表明:上述方法不仅快速,而且计算的偏航角准确可靠,能够满足煤矿巷道机器人视觉辅助定位与导航需求。     

煤矿机器人视觉系统除尘方法研究

为提高煤矿机器人视觉系统在井下高粉尘、高湿度等恶劣工况下的图像采集质量,提出了一种视觉镜头自揭膜和自动清洗综合除尘方法,为视觉系统的视窗自动清洁提供了新思路。采用在视窗表面覆盖透光隔膜的防尘原理,通过巧妙的机械结构设计实现覆膜的自动揭除和镜头视窗的除尘自清洁,充分考虑揭膜装置的防爆设计要求,开展了揭膜除尘系统的虚拟样机设计,系统可根据相机曝光量和图像采集质量自动计算当前镜头的清洁度,判断是否执行揭膜除尘动作。同时考虑在揭膜除尘失效的情况下,辅以煤矿机器人镜头喷淋除尘方法,设计了自动清洗除尘系统的总体架构,机器人通过镜头污染度自动判别算法,确定镜头喷淋清洗策略,通过自主循迹、自动定位等技术,实现喷淋清洗系统与机器人镜头的对接和清洗动作。初步试验研究表明:通过对机器人视觉系统获取的图像进行在线灰度直方图分析,可实时自动判断图像劣化程度,启动视觉系统除尘清洁装置,能够有效提高机器人视觉系统图像拍摄质量,为煤矿机器人井下导航、定位、巡检作业等提供技术保障。     

矿用智能巡检机器人设计

为保证生产顺利进行和保障工作人员的安全,需对矿井设备以及矿井的工作环境进行实时巡检。而传统的人工巡检劳动强度大、危险系数较高、巡检过程困难、不适用于现在煤矿的巡检要求,因此研发了一种矿用智能巡检机器人。针对矿井特殊的工作环境,从机器人的移动性能、视觉定位与导航技术、图像识别技术、井下通信等方面详细地阐述了矿用智能巡检机器人所要解决的关键技术,为机器人的研发提供参考。     

基于虚拟现实的煤矿救援机器人远程控制技术

针对当前煤矿井下救援机器人自主导航效率低下,难以满足矿难时效性的救援要求,提出了一种基于虚拟现实(VR)的煤矿救援机器人远程控制方案,以虚拟仿真技术、智能检测与控制、远程通信、环境动态建模等技术为基础,以煤矿救援机器人的远程控制为目标,建立了煤矿救援机器人虚拟仿真模型以及井下工作环境场景,对传感器数据进行解析动态建模,完成机器人井下的以巷道为基础的局部定位,并实时更新煤矿救援机器人井下作业场景,为机器人自主控制增加了判据。此方案定位于复杂工况下有效的人工远程干预,借助VR技术充分融合人、机和环境信息,可有效提升井下矿难救援效率。     

基于5G+WiFi双通信矿用激光扫描巡检机器人设计

设计了一款应用于煤矿综采工作面上的巡检机器人,该机器人搭载激光雷达、惯导、车载电脑设备,以ROS为操作系统,搭建一套集控制、激光点云三维建图和视频巡检的机器人平台,可实现对综采工作面的三维建图和视频巡检。为实现点云海量数据和视频图像数据的稳定传输,采用5G+WiFi的双通信模式,充分利用各通信方式的优点,使用5G传输点云数据进行三维实时建图,使用WiFi来传输图像数据,提升综采工作面三维点云模型的生成效率。采用该设计方案不仅可以进行实时三维建图,还可以快速处理所生成的数据用于对井下工作设备的智能控制。     

矿用巡检机器人关键技术分析

依据井下的特殊环境和巡检机器人的研究及应用现状,探讨了矿用巡检机器人移动平台、自主导航与定位、智能控制、自主充电、后台管理及在线故障诊断等关键技术,讨论了矿用巡检机器人未来的发展趋势,指明智能化、小型化及模块化的发展方向,为矿用巡检机器人的进一步发展提供有力参考依据。     

基于双目视觉技术的煤矿救援机器人研究进展

针对发生煤矿事故后的环境探测和紧急救援任务,研发和使用煤矿救援机器人是提高救援效率和降低救援危险系数的关键途径,而双目视觉技术是煤矿救援机器人获取事故现场信息和实现自主避障及路径规划的前提。首先,基于双目视觉技术的实现流程,介绍了视觉测距的数学原理,归纳了目前摄像机标定领域的代表性方法,包括传统标定方法、主动视觉标定方法和自标定方法。阐述了立体视觉匹配中全局匹配算法、局部匹配算法和亚全局匹配算法的最新研究成果,并比较了3类匹配算法的优缺点。然后,在对近年来煤矿救援机器人研究文献进行分析的基础上,研究了双目视觉技术在煤矿救援机器人中的应用和发展情况。指出双目视觉技术在煤矿救援机器人领域的研究范围主要涵盖立体视觉匹配算法、模式分类与识别、视觉测量与3维重建、组合测量与定位、视觉伺服控制和基于虚拟现实技术的视觉算法仿真等方面。最后,根据煤矿非结构化环境的高动态和强干扰特点,指出煤矿救援机器人现场应用的关键是解决运动模糊和镜头污染、超广角镜头的非线性大幅畸变、弱/零照度条件等技术难题;根据煤矿救援机器人双目视觉的大视场、高精度、自适应感知等要求,提出了包括多自由度测量、多传感器信息融合、基于主动视觉的自适应感知等未来发展建议。     

煤矿救灾机器人超声波和惯性导航技术

针对煤矿救灾机器人导航系统的导航精度低的问题,结合煤矿井下非结构化环境的特点,提出一种适于煤矿井下灾后环境的超声波导航和惯性传感器的导航方法,并利用粒子滤波技术进行算法设计。结果表明,基于超声波和惯性传感器融合的导航性能满足煤矿救灾机器人的导航需求,算法的收敛速度很快,提高了煤矿救灾机器人的导航性能和应急抢险能力。