基于Transformer和自适应特征融合的矿井低照度图像亮度提升和细节增强方法

高质量矿井影像为矿山安全生产提供保障,也有利于提高后续图像分析技术的性能。矿井影像受低照度环境的影响,易出现亮度低,照度不均,颜色失真,细节信息丢失严重等问题。针对上述问题,提出一种基于Transformer和自适应特征融合的矿井低照度图像亮度提升和细节增强方法。基于生成对抗思想搭建生成对抗式主体模型框架,使用目标图像域而非单一参考图像驱动判别器监督生成器的训练,实现对低照度图像的充分增强;基于特征表示学习理论搭建特征编码器,将图像解耦为亮度分量和反射分量,避免图像增强过程中亮度与颜色特征相互影响从而导致颜色失真问题;设计CEM-Transformer Encoder通过捕获全局上下文关系和提取局部区域特征,能够充分提升整体图像亮度并消除局部区域照度不均;在反射分量增强过程中,使用结合CEM-Cross-Transformer Encoder的跳跃连接将低级特征与深层网络处特征进行自适应融合,能够有效避免细节特征丢失,并在编码网络中添加ECA-Net,提高浅层网络的特征提取效率。制作矿井低照度图像数据集为矿井低照度图像增强任务提供数据资源。试验显示,在矿井低照度图像数据集和公共数据集中...     

基于深度神经网络的煤矿井下低光照图像增强算法

由于煤矿井下空间环境的复杂性与恶劣的光照条件，视觉设备获取的图像容易存在对比度不足、纹理细节差等问题，严重影响了视觉设备的工作可靠性，限制了进一步的基于图像的智能视觉应用。为提高矿井下低照度图像的对比度，同时强化其纹理细节，提出一种基于深度神经网络的矿井下低光照图像增强模型，该模型包含有3个子网络，分别为分解网络、光照调整网络和反射重构网络。分解网络将煤矿井下图像分解为光照分量和反射分量；光照调整网络利用深度可分离卷积结构有效减少了模型的参数，强化了网络特征提取能力，此外，引入了MobileNet网络结构，进一步使光照调整网络轻量化，同时保持其特征提取精度，有效实现光照分量对比度调整；反射重构网络引入了残差网络结构，提升了网络特征学习性能与反射分量纹理细节恢复能力;最后，将处理过后的光照分量和反射分量基于Retinex理论融合，获得增强图像，实现矿井下图像的对比度提高与细节的增强，克服了现有增强算法中所存在的增强图像细节丢失、边缘模糊、对比度和清晰度不足等问题。数值试验表明，提出的模型能够在提高矿井下图像对比度的同时有效强化图像的纹理细节，并且具有良好的稳定性和鲁棒性，能够很好地满足煤...     

基于照度调整的矿井非均匀照度视频图像增强算法

由于煤矿井下空间环境受粉尘等因素的影响,视频监控系统获取的作业环境图像存在照度低、照度不均匀等问题,而且现有的算法在处理煤矿非均匀照度图像时会出现颜色失真或者过增强现象,这不利于对图像的判读和应用。结合煤矿的实际数据,提出了一种新的图像增强算法,克服了现有算法存在的问题:分析井下视频图像特点,采用具有边缘保持特性的多尺度引导滤波获取照度分量;基于Retinex理论,将图像分解为照度分量与反射分量;针对照度不均匀的特性,提出一种新的"S型"曲线函数对其进行调整;分析图像的特性,引入受限对比度自适应直方图对其对比度进行增强;提出新的图像增强模型,利用细节增强系数和照度增强系数实现对图像的综合增强。与其他4种算法的对比试验表明,本文算法在主观评价和客观评价方面都优于上述算法。实验证明,本算法具有有效提升图像整体亮度和对比度,同时避免光源附近亮区域的过增强现象的特点,能够满足矿山实际应用需求。     

基于多小波变换的遥感图像模糊融合算法研究

基于多小波变换方法,提出了一种针对多光谱图像和全色图像的像素级遥感图像模糊推理融合算法.该算法首先利用IHS变换对多光谱图像进行颜色空间转换,然后对1分量和灰度拉伸后的全色图像进行多小波分解分别得到高频部分和低频部分图像.针对高频图像抗噪能力差的问题,提出了一种基于模糊推理的加权融合规则.对融合后的图像进行多小波重构和...     

改进YOLOv5s和DeepSORT的井下人员检测及跟踪算法

矿井移动目标的实时监测及跟踪系统是建设智慧矿山必不可少的内容，井下巡检机器人的出现可以实现对作业人员的实时监测，但是井下光照不均、煤尘干扰等因素的存在导致传统图像检测算法无法准确检测出作业人员。基于此提出一种可部署于井下巡检机器人的改进YOLOv5s和DeepSORT的井下人员检测及跟踪算法。首先利用监控摄像头与巡检机器人所录视频制作数据集，然后使用改进YOLOv5s网络对井下人员进行识别：考虑到井下人员检测及跟踪算法包含复杂的网络结构和庞大的参数体量，限制了检测模型的响应速度，使用改进轻量化网络ShuffleNetV2替代原YOLOv5s主干网络CSP-Darknet53。同时，为减少图像中复杂背景的干扰，提升作业人员的关注度，将Transformer自注意力模块融入改进ShuffleNetV2。其次，为了使多尺度特征能够有效融合且使得推理信息能够有效传输，将Neck中FPN+PAN结构替换为BiFPN结构。接着利用改进DeepSORT对人员进行编码追踪：考虑到井下环境黑暗，照度低，无纹理性，DeepSORT难以有效提取到人员的外观信息，于是采用更深层卷积替换DeepSORT中小型残...     

基于SSD-LeNet的矿井移动目标检测与识别方法

针对井下雾尘、低照度环境中矿井移动目标检测与识别存在检测精度低、实时性差等问题，提出了一种基于SSD-LeNet的矿井移动目标检测与识别方法。利用视觉传感器捕获矿井移动目标原始图像的一帧来构建模型输入，据此制作含有数字序列位置信息的数据集；离线训练的单镜头多盒检测器(Single Shot multibox Detector，SSD)模型可以输出与自身位置对应的目标特征类别，并利用该训练好的SSD学习模型对测试集中移动目标图片上的数字序列位置进行检测；根据数字序列位置对应的矩形区域进行字符分割操作，将分割后的单个字符依次放入LeNet网络中进行特征识别；识别出的单个字符按顺序合成数字序列快速检索出移动目标的身份信息。研究表明，本文方法与其他深度学习目标检测与识别方法相比，对矿井低照度及噪声环境下的目标检测与识别具有较高的准确率和较强鲁棒性，能够满足实时性要求。     

矿井图像监视系统与关键技术

针对矿井图像监视存在的照度低、矿尘大、喷雾影响大、电磁干扰严重等问题,提出了矿井图像监视系统关键技术要求,如煤矿井下摄像机需辅助照明;彩色摄像机应具有彩色/黑白信号自动转换功能,当环境照度较低时,自动转为黑白信号;摄像机宜具有防护玻璃除尘功能;摄像机水平分辨率不小于400线(照度50~300 lx条件下),灰度等级不小于7级(照度50~300 lx条件下),最低照度不大于0.005 lx等。提出应在采掘工作面、井下变电所、带式输送机机头和机尾、井下水泵房等关键场所设置摄像机。同时,指出矿井图像监视技术将在下井人员唯一性识别、煤炭产量监测、防作弊、煤仓煤位监测、水仓水位监测、煤岩识别、带式输送机监测等方面获得广泛应用。     

基于同态滤波方法的煤矿井下图像增强技术研究

视觉同位定位与地图构建技术在井下搜救工作中运用广泛，而机器人采集图像质量的好坏直接决定构图的质量，目前受煤矿井下粉尘和光源的条件影响，收到的图像信息存在的灰度偏暗和对比度低的问题，所以井下图像的增强效果有待提高。针对这一问题，提出一种在HSV空间下结合加权分布自适应伽马校正(Adaptive Gamma Correction with Weighting Distribution, AGCWD)的同态滤波方法。首先对经典同态滤波算法中存在高亮区和阴影区的过增强问题，用AGCWD算法对HSV空间下V分量的像素概率密度进行自适应的伽马校正，非线性地映射出新的概率分布，提高同态滤波对高光区和阴影区的适用性；再使用单参数同态滤波进行处理，以缓解多参数导致的参数过难选择问题；为了保留图像的细节，对单参数同态滤波后的结果进行对比度受限的自适应直方图均衡化(Contrast Limited Histogram Equalization, CLAHE)处理；最后进行HSV逆变换得到RGB空间下的图像，完成图像的增强。结果表明，改进的同态滤波算法相较于CLAHE算法，均值、标准差、峰值信噪比(PSNR)...     

一种矿井监控视频图像增强处理方法研究

由于井下粉尘多,照度低,且光照不均匀,矿井监控图像往往噪点多,对比度低,容易产生雾化现象。针对上述问题,提出一种基于偏微分方程和引导滤波算法的图像增强方法。该方法通过构造偏微分方程对监控图像进行去噪;然后,利用引导滤波算法对去噪图像进行明暗增强处理。以山西省同煤集团马脊梁矿井监控图像为研究对象进行实验,结果表明,该方法能有效地去除监控图像的噪声和雾化现象,提升图像的整体质量,利于后期的安全监测。     

基于YOLOv5s改进的井下人员和安全帽检测算法研究

针对目前煤矿井下综采工作面煤尘干扰导致的人员和安全帽检测算法精确度低、漏检率高等问题，文章提出一种基于YOLOv5s改进的矿井人员和安全帽检测算法。首先引入CBAM注意力机制，更准确的提取图像关键特征；然后采用αCIOU损失函数替换原始的CIOU损失函数，二者结合提升整体目标检测的准确率。实验结果表明：改进后的检测算法精度优于YOLOv5s原始算法，检测准确率高达97.6%,在井下综采工作面复杂环境下可以实现高效准确的井下人员和安全帽检测。     

基于超像素粒化与同质图像粒聚类的矿井人员图像分割方法

矿井人员图像分割是实现煤矿井下人员检测、行为识别、视频定位跟踪等技术的基础任务之一。然而,由于矿井下环境特殊,常规图像分割方法均难以满足对井下人员的精准分割要求。为解决矿井人员图像的分割问题,提出一种基于超像素粒化及同质图像粒聚类的分割方法,能够适用于煤矿井下多种场景的人员图像。首先,使用简单线性迭代聚类(Simple Linear Iterative Clustering, SLIC)模型将井下人员图像初始粒化为超像素单元,并通过测量离线样本图像中所标记人员像素点与超像素之间的RGB相似度值判定人员超像素。其次,由邻居超像素辅助检测欠分割人员超像素并将其彻底分割为2个子超像素单元,选择其中之一的精英人员超像素并提取其纹理和灰度特征。接着,将具有最相似图像特征的邻接精英人员超像素定义为同质图像粒,同质图像粒相互融合并聚类形成具有特定语义信息的同质人员区域。最后,由所有同质人员区域共同构成完整的人员区域,并实现人员区域与图像背景的分离。通过对煤矿井下4种场景下的人员图像进行算法性能验证,实验结果表明:超像素粒化算法的F-Measure值分别较对比算法平均值高出2.11%,3.36%,13.16%,6.82%,同质人员图像粒聚类算法精度值分别达到99.0%,100%,94.4%和93.75%,并且所提分割方法对井下4种不同场景中的人员图像均具有较强的鲁棒性和较好的分割效果。     

基于HSV空间融合Retinex算法的全天候运动目标检测

提出了一种在矿山复杂情况下基于HSV色彩空间融合Retinex算法的全天候运动目标检测方法。该方法将运动目标检测转换为运动目标上特定标志物的检测,通过颜色空间转换提取目标原始灰度图像,由灰度分布直方图判断是否进行低照度图像恢复,并在场景中选取特定的标志物,将原图像进行HSV颜色空间变换,选择对应ROI区域,通过阈值获取二值化图像,进行平滑处理后使用Canny算子提取轮廓信息,从而提取标志物的特征参数。应用实例证实,通过该方法能精准获得标志物特征参数,进而解决复杂环境下机械设备间连接件脱落问题,具有一定的实际工程应用价值。     

煤矿井巷环境下机器人视觉图像增强及障碍识别研究

为解决煤矿救援机器人在发生灾害后光线不足、煤尘粉尘严重等造成视觉系统中图像不清晰、画面模糊以致障碍物形状无法识别问题,通过实验模拟煤矿井下光照条件,在光照充足、低照度以及零照度3种不同光照条件下采集机器人视觉图像。采用直方图均衡化方法对图像进行增强处理,使机器人显示的图像更加清晰,通过边缘检测算法以及基于风水岭分割改进的算法对障碍物信息进行提取,最终可以得到机器人前方主障碍物的形状特征信息。     

改进单尺度Retinex算法在矿井图像中的运用

煤矿井下视频监控图像具有整体偏暗、对比度低且带有很强的背景噪声等不足,将其清晰化对于矿井安全生产意义重大。基于改进的单尺度Retinex算法,利用双边滤波代替高斯滤波对光照进行估计,用于矿井彩色图像的增强。实验结果表明,所用算法适用于井下彩色视频图像,具有计算效率高、增强图像无光晕等优点。     

基于HSV色彩空间及改进二维伽马函数的井下图像增强算法

为解决井下光照条件不足、光照不均引起的视频图像质量低下的问题，构造了一种改进二维伽马函数并以此提出了一种基于HSV色彩空间，作用于图像明度和饱和度分量的井下图像质量增强算法。以综采工作面以及井下泵房处图像为增强对象，将算法与目前主流的图像增强算法进行对比验证。结果表明，在井下环境下该算法对井下低亮度区域有着较好的增强效果，一定程度上满足了井下视频图像质量增强需求。     

基于频率域的遥感图像融合算法

为了能够更好地把多源数据进行融合，来提高对图像信息的分析和提取能力，需要使用有效的融合算法，其中基于频率域的融合方法因其可以将图像分解为不同频带的子图像，由其子图像进行融合得到的效果非常理想，得到了人们的重视，而金字塔和小波分解算法是最热门的，本文总结了金字塔和小波方法，并且以全色图像和多光谱图像融合为例作了分析。     

改进Retinex-Net的露天矿低质图像增强算法

露天矿低质图像增强是无人驾驶宽体车感知系统的重要环节,单目相机获取的图像易受到矿区粉尘、雨雪雾、剧烈震动等多种因素影响。针对传统图像增强算法在处理露天矿图像时存在噪声大、图像颜色失真等问题,提出了改进Retinex-Net算法对露天煤矿图像进行增强。使用循环对抗生成网络和双通道残差网络来改进增强和去噪部分。循环对抗生成网络通过学习低光照图像和正常光照图像之间的映射关系,生成更自然和真实的增强结果。双通道残差网络通过同时处理亮度和色度信息,有效去除低光照图像中的噪声和伪影。试验结果表明:该方法在客观和主观评价指标上均优于现有方法。所提改进Retinex-Net算法为解决露天矿图像质量问题提供了一种有效方案。     

智能图像识别煤泥水分试验及数学模型探究

针对选煤厂在实际生产中缺乏高效的煤泥水分在线检测问题，通过智能图像识别技术进行了基于浮选精煤图像的水分检测试验，对图像特征与水分的关系进行了研究，并根据多元多项式回归分析法建立浮选精煤水分与特征值的数学模型，根据逐步回归算法得到最终的最优水分预测数学模型。结果表明：煤泥水分含量与煤泥表面的亮度呈正相关关系；水分与特征值之间在特定区间内存在较为明显的单调递增关系；以图像灰度特征值作为模型的输入变量，在绿色光源下煤泥图像的水分预测效果最好，模型均方根误差为0.12,决定系数为0.9998。这为浮选精煤水分在线检测提供了新思路，对实现浮选过程智能化具有重要意义。     

基于改进加权引导滤波的煤矿井下图像除雾算法研究

针对暗通道先验理论在煤矿井下尘雾图像处理中出现的图像失真、颜色偏暗、细节丢失等问题，提出了一种基于亮暗通道先验理论的煤矿井下图像除雾算法。首先，融合暗、亮双通道先验知识，重构局部大气光；其次，分析双边滤波的滤波特性，建立基于局部像素差值的改进加权引导滤波算法；最后，利用暗通道大气光和原始图像的像素差值自适应调节图像的整体亮度。试验结果表明，改进加权引导滤波算法能够有效除去煤矿井下图像中的尘雾影响，与基于引导滤波的He算法和Retinex-MSR算法相比，本算法拥有较高的平均梯度和标准方差，复原后的图像清晰度更高，单张图像处理时间均低于1 s,比Retinex-MSR算法运行时间缩短了近1/2。     

基于ORB特征的矿井移动目标双目视觉跟踪与定位

针对井下NLOS环境信号接收强度(RSSI)和飞行时间(ToF)定位方法存在多径干扰和定位时延,导致定位误差较大问题,提出了基于ORB特征的矿井移动目标双目视觉跟踪与定位方法。首先根据矿井移动目标双目视觉跟踪与定位原理,利用RSSI阈值监测井下移动目标的位置范围,据此触发双目视觉传感器对移动目标图像信息采样和特征提取;然后对采集的目标图像与训练图像进行ORB算法特征匹配;最后根据双目视觉传感器的视差均值和图像像素坐标公式,求解相机内外参矩阵和标定移动目标的世界坐标,从而获取井下移动目标的准确位置信息,实现实时跟踪与精确定位。结果表明,与其他算法相比,本文方法能够有效提高定位精度和实时性,对井下目标遮挡、低照度和噪声环境具有较强的鲁棒性。