基于SHAP值机器学习的江西暖季暴雨预报因子重要性分析

机器学习模型（Machine Learning,ML）的不可解释性给其在气象业务中的应用带来了挑战。模型解释和可视化是解决这一问题的有效途径。文中将SHAP值应用于天气预报ML模型解释,研究了江西省暖季暴雨模型的预报因子对预报结果的影响。分别选取2016—2020年、2021—2022年4—9月ECWMF（European Centre for Medium-Range Weather Forecasts）高分辨率数值模式物理量及国家站降水观测数据进行XGBoost 建模与模型解释。结果表明,全局重要性排名前4位依次是总降水（重要性42.70%）、850 hPa比湿（重要性11.17%）、925 hPa相对湿度（重要性10.44%）、500 hPa相对湿度（重要性 9.16%）。个例分析表明,命中个例中高重要性物理因子在暴雨区的 SHAP 值较大,漏报（空报）个例在漏报（空报）区域高重要性物理因子的SHAP值偏小（偏大）。SHAP值从全局和局部可定量给出ML模型有物理意义的解释,解释结果与天气学原理和业务经验较一致,有利于ML在气象业务中的深入应用。     

融合Markov与多类机器学习模型的个体出行位置预测模型

随着城市化的发展,人们出行的方式逐渐多样化,对人类行为的深入理解以及对个体出行行为的建模预测有助于解释若干复杂的社会经济现象,且在基于位置的服务、交通规划、公共安全等方面具有重要价值.个体出行行为预测建立在深入理解人类活动特性的基础上,而在移动互联网时代,网络空间的上网行为与现实空间的出行行为密不可分.首先基于上网行为...     

一种基于核学习的储集层渗透率预测新方法

基于核学习的支持向量机,是一种采用结构风险最小化原则代替传统经验风险最小化原则的新型统计学习方法,具有完备的理论基础。这里提出了核学习技术在储集层非均质特性描述中渗透率参数预测的新用途。在复杂地层中,基于支持向量机的智能和自适应模式识别能力而建立了常规测井多参数信息输入的渗透率预测模型,然后对实际油田储集层渗透率进行了预测。与常规线性回归模型预测结果相对比,所提出的方法更易于使用,很少受不确定因素的影响,并具有较强的信息整合能力以及更高的预测准确性和可信度。     

基于迁移学习的地球物理测井储层参数预测方法研究

随着大数据和机器学习的成熟和推广应用,人工神经网络在地球物理测井预测储层参数中得到重视.本文引入迁移学习进行测井储层参数预测,以孔隙度预测神经网络模型和孔隙度含水饱和度联合预测神经网络模型为基础模型,分别以渗透率及含水饱和度预测作为目标任务进行迁移学习,以提升储层参数预测效果和效率.文中详细阐述了基于迁移学习的测井储层参数预测方法,并使用64口井的测井数据进行储层参数预测效果分析.结果表明,使用迁移学习后,渗透率模型预测效果最高可以提升58.3%;含水饱和度模型预测效果最高可以提升近40%,且最大可以节省60%的计算资源;以孔隙度预测模型为基础模型时更适合使用参数冻结的训练方式,以孔隙度含水饱和度联合预测模型为基础模型时更适合使用参数微调的训练方式.

     

基于地理信息识别的生态环境保护指标规划方法研究

该生态环境保护指标为基于机器学习基础指标,融合地理信息大数据的多层次加权配合线性模糊和模糊矩阵的综合非线性指标体系。其中,机器学习部分引入了复杂多列深度卷积算法,节点类型包括对数迭代回归节点、超限学习机节点、二值化节点等。仿真测试中,该算法针对环保隐患发生状态的数据特异性为99.26%,针对环保问题发生状态的数据特异性为99.79%,且该系统在仿真环境中使得隐患排查效率提升6.26倍,问题排查效率提升4.97倍。     

软件模块故障倾向预测方法研究

研究了在区分故障严重程度下的软件模块故障倾向预测方法,将故障分为高严重程度和低严重程度两种类型,用统计分析和机器学习方法分析静态代码度量与故障倾向之间的关系。以公开和私有两种类型的失效数据集作为实验数据,分析发现,故障的严重程度影响预测性能,预测不同严重程度的故障需要选择不同的度量和分类模型,预测低严重程度故障的性能好于预测高严重程度故障的性能。     

基于机器学习中分辨率遥感影像分类应用研究

地表信息提取是地理国情监测和环境保护的重要环节,本文选用Landsat-8 OLI遥感影像为主要数据源,针对分类样本数据少这一问题,在对2015年和2017年全球地表覆盖数据优化处理的基础上,将其作为分类的先验知识,以最大似然法、支持向量机(Support Vector Machine,SVM)和随机森林(Random Forest,RF)机器学习方法,以及基于VggNet-16和ResNet-18模型的深度学习方法,对黄河三角洲区域进行地表信息提取方法的应用研究.结果表明,在利用粒子群优化遗传算法进行特征优化的基础上,RF和SVM模型分类总体精度较高,其中RF和SVM模型分类总体精度最高可达87.3％、86％;VggNet-16和ResNet-18两种模型的分类精度较机器学习方法有较大提升,其中以ResNet-18分类精度最佳,最高总体精度可达94.1％,Kappa系数为0.91.本文的研究方法在中分辨率遥感地物分类时具有较好的适用性和推广价值.     

基于随机森林的光子计数激光雷达点云滤波

新一代星载激光雷达卫星ICESat-2首次采用了微脉冲光子计数激光雷达技术,由于单光子探测的灵敏性导致数据在大气和地表下层产生了大量噪声,因此对光子计数激光雷达点云数据实现信号和噪声的分离是开展进一步应用研究的前提和基础。本文选择美国俄勒冈州和弗吉尼亚州2个研究区,采用MATLAS数据,根据光子点云数据的特点构造了12个光子点云特征,对所构造的特征利用随机森林进行变量筛选,用机器学习方法对光子点云进行分类,并将建立好的模型推广到整个研究区。研究结果表明,本文构建的分类器分类总精度达到了96.79%,Kappa系数为0.94,平均生产者精度和用户精度分别为97.1%和96.8%。在相对弱噪声、平坦地形区域和强噪声、复杂地形区域都取得较好的分类结果。本文结果显示了基于少量样本通过机器学习的方法构建模型,可以推广到较大范围区域的光子点云分类应用中。     

粤港澳闪电定位系统对高建筑物雷电的探测

为了评估不同聚类算法对雷暴系统的识别效果,进一步提高雷电临近预报能力,本文采用地闪定位数据和雷达反射率数据,利用基于密度的空间聚类(Density-Based Spatial Clustering of Application with Noise,DBSCAN)、快速搜索和查找密度峰聚类(Clustering by Fast Search and Find of Density Peaks,CFSFDP)以及改进的快速搜索和查找密度峰聚类(Extended Clustering by Fast Search and Find of Density Peaks,E_CFSFDP)三种聚类算法,对2018年9月21日19∶15—20∶57(北京时)发生在(114°—117°E、27°—30°N)区域的一次雷暴过程进行了聚类识别计算,探讨了三类聚类算法在雷暴系统识别中的差异。结果表明：(1) DBSCAN算法在地闪数据分布清晰且不同数据簇之间有显著距离间隔时,分类识别的准确率较高;当各个闪电数据簇的簇间距离或密度相差很大时,分类识别的准确率较低;(2) 地闪数据“无密度峰值”分布时CFSFDP算法会分裂出错误类,每个闪电数据簇仅具备唯一的密度峰值点是CFSFDP算法识别准确的前提条件;(3) E_CFSFDP算法解决了CFSFDP算法的“无密度峰值”问题,受地闪数据分布影响较小,因此基于E_CFSFDP算法的雷暴系统识别准确率明显高于DBSCAN和CFSFDP算法。

     

2022年1月8日青海门源6.9级地震机器学习地震预警震级估计与现地阈值报警的回溯验证

2022年1月8日1时45分青海省海北州门源县发生6.9级地震, 周边地区普遍有感, 并导致多条高铁线路临时停运. 本文利用这次地震获取的大量烈度计加速度记录, 基于正在进行系统研发的机器学习地震预警方法模块, 对地震预警震级估计与现地阈值报警进行了回溯验证. 结果表明: 在地震发生后3.1 s, 震级估计为6.5级, 且震级估计误差不受信噪比和震中距变化的影响, 随着首台触发后时间的增加, 震级估计逐渐接近实际震级. 对于现地地震动速度峰值PGV(Peak Ground Velocity)预测, 各个台站在P波到达后3 s时, 预测PGV与观测PGV呈现1:1线性关系, 随着P波到达后时间窗的增加, 预测PGV逐步接近观测PGV, 且PGV预测误差不受信噪比和震中距变化的影响. 现地台站仪器烈度阈值设置为Ⅵ度时, 报警成功、误报、漏报的百分比分别为99.53%、0%、0.47%, 平均预警时间为19.62 s, 且地震烈度Ⅵ度区内没有发生误报和漏报; 现地台站仪器烈度阈值设置为Ⅶ度时, 报警成功、误报、漏报的百分比分别为99.77%、0%、0.23%, 平均预警时间为9.69 s, 且地震烈度Ⅶ度区内没有发生误报和漏报. 此次回溯验证结果表明: 机器学习方法在这次地震中可以得到鲁棒的震级估计和现地阈值报警结果, 并为该方法的在线测试以及中国地震预警系统升级提供可行性依据; 其次, 在这次地震事件中, 烈度计可为预警提供额外的作用, 这也为烈度计在未来地震预警的研究和应用中提供了更多的可能性.