基于聚类与机器学习的零售商品销量预测

本文提出一种基于K-means聚类与机器学习回归算法的预测模型以解决零售行业多个商品的销售预测问题,首先通过聚类分析识别出具有相似销售模式的商品从而实现数据集的划分,然后分别在每个子数据集上训练了支持向量回归、随机森林以及XGBoost模型,通过构建数据池的方式增加了用于训练模型的数据量以及预测变量的选择范围.在一家零售企业的真实销售数据集上对提出的模型进行了验证,实验结果表明基于K-means和支持向量回归的预测模型表现最优,且所提出的模型预测效果明显优于基准模型以及不使用聚类的机器学习模型.     

基于CNN-XGBoost混合模型的短时交通流预测

准确、高效的交通流预测是实现交通诱导和交通控制的前提和关键。针对传统机器学习方法需要人工构造特征、无法充分提取交通流的时空特征等问题,提出一种混合预测模型,该模型结合卷积神经网络（Convolutional Neural Network,CNN）和XGBoost（Extreme Gradient Boosting）各自的优势,在网络底层使用CNN对交通流数据进行特征的自动提取和选择,并将得到的高维特征向量输入到XGBoost模型中进行预测。为验证模型有效性,取高速路段的交通流数据对CNN模型、XGBoost模型和CNN-XGBoost模型进行实验对比,结果表明,在预测精度上,CNN-XGBoost模型比CNN模型和XGBoost模型分别提高了约6%和7%,是一种有效的短时交通流预测模型。     

一种复合故障预测动态建模方法

本文提出一种复合故障预测动态建模方法,将原有故障数据样本经过参数相关性分析,按特征输入支持向量回归机建立相应的故障预测模型,可以很有效预测未来较长时间的数据变化.对航空发动机的飞行参数进行预测的结果表明,该方法的预测精度优于现有的支持向量回归方法.     

基于GM（1，1）和线性回归模型在印刷包衬压缩变形中的数据预测研究

运用线性回归对预测数据进行分析,剔除异常数据,用GM（1,1）模型进行预测,有效降低了数据相对误差,提高了预测数据的精度。选用印刷包衬压缩变形的压缩变形量值,用线性回归进行数据分析并剔除异常数据后用GM（1,1）进行预测,使得预测数据具有更高的准确性和适应性。实验及仿真结果表明,经过前期数据分析整理后的灰色预测模型,其预测期望值远优于单纯的回归模型和GM（1,1）模型。     

基于经验模态分解的混合软件可靠性预测模型

基于经验模态分解结合支持向量回归算法与灰色系统理论提出一种混合软件可靠性预测模型,通过对原始软件失效数据使用经验模态分解方法进行预处理,将失效数据分解得到不同频段的本征模态分量和剩余分量,用支持向量回归算法对本征模态分量进行预测,用灰色系统模型GM（1,1）对剩余分量进行预测,然后将预测结果进行重构,得到最终软件可靠性预测值。为了验证所提混合预测模型的有效性,利用两组真实软件失效数据,与SVR可靠性预测模型和GM（1,1）可靠性预测模型进行实验对比分析,实验结果表明,所提混合预测模型较这两种可靠性预测模型具有更精确的预测精度。     

基于改进XGBoost超参数优化的地下工程空调系统负荷预测

针对地下工程空调负荷难以精确预测的问题，提出一种基于天牛须搜索算法（Beetle Antennae Search， BAS）优化极限梯度提升算法（eXtreme Gradient Boosting， XGBoost）的负荷预测模型。该算法通过引入典型最优解引导机制优化常规BAS算法中的位置更新策略，同时采用线性递减策略对天牛的搜索步长进行修正，以实现更快达到全局最优点，提高收敛速度；并利用改进的BAS算法对XGBoost中的决策树个数、树的最大深度2个对模型预测精度有较大影响的超参数进行寻优，以获得XGBoost的最优参数组合，提高模型预测精度。最后，以某地下保障工程空调系统为研究对象，验证所提出的预测模型的有效性。     

基于MIC-XGBoost算法的居民用水量数据预测

为了进一步提升水务企业工作效率,解决抄表数据审核工作量大、保证数据准确性等问题,在传统的XGBoost预测算法基础上提出一种基于MIC-XGBoost的混合预测模型.以某水务企业近两年的用户历史用水数据为基础,利用最大信息系数(MIC)得出不同影响因素与用户用水量之间变量的关联程度,构建不同单一影响因素下的用水量数据预测模型,采用实际用水数据调整算法参数,得到最终预测模型.实验结果表明,在预测精度上该模型比单一的XGBoost模型提高了约21％,能有效提升数据审核效率.     

基于灰色Elman神经网络软件可靠性预测模型

针对当前软件可靠性预测模型在随机性和动态性较强的可靠性现场数据中存在预测精度波动比较大、适应性比较差的问题,提出一种基于灰色Elman神经网络的软件可靠性预测模型。首先使用灰色GM（1,1）模型对失效数据进行预测,弱化其随机性;然后采用Elman神经网络对GM（1,1）的预测残差进行建模预测,捕捉其动态性变化规律;最后将GM（1,1）预测值和Elman神经网络残差预测值相结合得到最终的预测结果。使用航班查询系统的现场失效数据集进行了模型仿真实验,并将灰色Elman神经网络预测模型与反向传播（BP）神经网络、Elman神经网络预测模型进行比较,其对应的均方误差（MSE）和平均相对误差（MRE）分别为105.1、270.9、207.5和0.0011、0.0021、0.0016,并且灰色Elman神经网络预测模型的误差均为最小值。实验结果表明该模型具有较好的预测精度。     

基于数据过采样和集成学习的软件缺陷数目预测方法

预测软件缺陷的数目有助于软件测试人员更多地关注缺陷数量多的模块,从而合理地分配有限的测试资源。针对软件缺陷数据集不平衡的问题,提出了一种基于数据过采样和集成学习的软件缺陷数目预测方法——SMOTENDEL。首先,对原始软件缺陷数据集进行n次过采样,得到n个平衡的数据集;然后基于这n个平衡的数据集利用回归算法训练出n个个体软件缺陷数目预测模型;最后对这n个个体模型进行结合得到一个组合软件缺陷数目预测模型,利用该组合预测模型对新的软件模块的缺陷数目进行预测。实验结果表明SMOTENDEL相比原始的预测方法在性能上有较大提升,当分别利用决策树回归（DTR）、贝叶斯岭回归（BRR）和线性回归（LR）作为个体预测模型时,提升率分别为7.68%、3.31%和3.38%。     

不平衡油耗数据的区间预测方法

对油耗数据进行区间预测时,数据的不平衡性会导致一般的区间预测方法得到的预测区间质量较低.针对上述问题,提出了基于SMOTE-XGBoost算法的区间预测模型.采用SMOTE算法增加训练集中少数类样本的数量,消除了训练集数据的不平衡性;对XGBoost算法的分位数损失函数进行改进,平滑其一阶导数原点周围的小区域,解决了分位数损失函数对树分裂的影响;通过训练区间预测模型,得到预测区间的上下界.最后基于QAR数据集进行对比实验,结果表明,该方法使预测区间具有较高的区间覆盖率和较窄的区间宽度,提高了预测区间的质量.     

非线性支持向量回归在航空发动机性能参数预测中的应用

基于飞参数据的航空发动机的状态监控,是当前航空领域应用研究的热点之一。介绍了支持向量机回归理论,并用支持向量回归机和飞参数据对航空发动机特征参数（转差率S）进行了预测。计算结果表明,支持向量机回归方法具有很好的学习能力和预测能力。     

基于飞参数据和支持向量机的航空发动机建模

为了利用飞参数据进行航空发动机的状态监控,提出采用支持向量回归方法,建立空中飞行阶段发动机的工作模型,通过监控模型输出误差判断发动机工作是否正常。仿真结果表明,建立的模型能正确反映发动机各参数间的关系,适用性强,为发动机的状态监控奠定了基础。     

Kernel based nonlinear fuzzy regression model

Recent years have seen a surge of interest in extending statistical regression to fuzzy data. Most of the recent fuzzy regression models have undesirable performance when functional relationships are nonlinear. In this study, we propose a novel version of fuzzy regression model, called kernel based nonlinear fuzzy regression model, which deals with crisp inputs and fuzzy output, by introducing the strategy of kernel into fuzzy regression. The kernel based nonlinear fuzzy regression model is identified using fuzzy Expectation Maximization (EM) algorithm based maximum likelihood estimation strategy. Some experiments are designed to show its performance. The experimental results suggest that the proposed model is capable of dealing with the nonlinearity and has high prediction accuracy. Finally, the proposed model is used to monitor unmeasured parameter level of coal powder filling in ball mill in power plant. Driven by running data and expertise, a strategy is first proposed to construct fuzzy outputs, reflecting the possible values taken by the unmeasured parameter. With the engineering application, we then demonstrate the powerful performance of our model.     

多种算法融合的产品销售预测模型应用

销量预测一直是一个热点研究的课题,对于各个企业有着重要的意义.近年来,随着深度学习的崛起,用于销量预测的模型越来越多,而单一模型的预测性能往往不够理想,所以出现了越来越多的组合模型.本文利用Stacking策略将XGBoost、支持向量回归（Support Vector Regression,SVR）、GRU神经网络作为基础模型,然后将LightGBM作为最终的预测模型,并且融合了新的特征.集中了几种模型的优势,大大提高了模型的预测性能,更加接近真实的销量数据,为回归预测提供一种新的预测方法.     

An algorithm for trajectory prediction of flight plan based on relative motion between positions

Traditional methods for plan path prediction have low accuracy and stability. In this paper, we propose a novel approach for plan path prediction based on relative motion between positions (RMBP) by mining historical flight trajectories. A probability statistical model is introduced to model the stochastic factors during the whole flight process. The model object is the sequence of velocity vectors in the three-dimensional Earth space. First, we model the moving trend of aircraft including the speed (constant, acceleration, or deceleration), yaw (left, right, or straight), and pitch (climb, descent, or cruise) using a hidden Markov model (HMM) under the restrictions of aircraft performance parameters. Then, several Gaussian mixture models (GMMs) are used to describe the conditional distribution of each moving trend. Once the models are built, machine learning algorithms are applied to obtain the optimal parameters of the model from the historical training data. After completing the learning process, the velocity vector sequence of the flight is predicted by the proposed model under the Bayesian framework, so that we can use kinematic equations, depending on the moving patterns, to calculate the flight position at every radar acquisition cycle. To obtain higher prediction accuracy, a uniform interpolation method is used to correct the predicted position each second. Finally, a plan trajectory is concatenated by the predicted discrete points. Results of simulations with collected data demonstrate that this approach not only fulfils the goals of traditional methods, such as the prediction of fly-over time and altitude of waypoints along the planned route, but also can be used to plan a complete path for an aircraft with high accuracy. Experiments are conducted to demonstrate the superiority of this approach to some existing methods.     

Fuzzy Regression Analysis by Support Vector Learning Approach

Support vector machines (SVMs) have been very successful in pattern classification and function approximation problems for crisp data. In this paper, we incorporate the concept of fuzzy set theory into the support vector regression machine. The parameters to be estimated in the SVM regression, such as the components within the weight vector and the bias term, are set to be the fuzzy numbers. This integration preserves the benefits of SVM regression model and fuzzy regression model and has been attempted to treat fuzzy nonlinear regression analysis. In contrast to previous fuzzy nonlinear regression models, the proposed algorithm is a model-free method in the sense that we do not have to assume the underlying model function. By using different kernel functions, we can construct different learning machines with arbitrary types of nonlinear regression functions. Moreover, the proposed method can achieve automatic accuracy control in the fuzzy regression analysis task. The upper bound on number of errors is controlled by the user-predefined parameters. Experimental results are then presented that indicate the performance of the proposed approach.     

融合XGBoost与SHAP的冠心病预测及其特征分析模型

为了解决冠心病诊断模型中性能无法满足临床应用要求、缺乏可解释性的问题,提出一种融合XGBoost与SHAP的冠心病预测及其特征分析模型。在对数据集进行特征工程的基础上,将处理好的数据集输入XGBoost模型进行训练,并且对模型进行优化,进一步提高了模型的性能表现;其次,与基于SVM、朴素贝叶斯等六种机器学习模型以及八种主流机器学习模型进行实验对比,参数优化后的XGBoost模型在准确率、特异度、F1值和AUC值四个指标上分别达到0.9942、0.9970、0.9941和0.9998,均优于已有模型;最后引入SHAP框架增强模型可解释性,综合四种模型特征重要性排序结果,识别出影响冠心病的重要因素,为医生作出正确的诊断提供决策参考。     

基于HMIGW特征选择和XGBoost的毕业生就业预测方法

为了使高校的就业指导工作更具针对性,可以有针对性地培养学生,本文收集了毕业生的相关信息及其各自的就业情况,构建了基于HMIGW特征选择和XGBoost的分类预测建模算法,并将其应用于毕业生就业预测.本文首先考虑到学生信息数据具有离散型和连续型混合的特点,提出一种适应于就业预测的基于互信息和权重的混合（Hybrid feature selection based on Mutual Information and Gain Weight,以下简称HMIGW）特征选择算法,该方法先对学生数据的特征做相关性估值,然后采用前向特征添加后向递归删除策略进行特征选择,最后基于选择后的最优特征子集数据用XGBoost预测模型进行训练与结果预测.通过对比不同算法的结果,本文采用的预测方法在准确率和时间等评价指标上有较好的表现,对于毕业生培养就业指导具有积极作用.     

模糊神经网络在纳税信用评估中的应用研究

由于纳税评估过程中存在不精确、模糊以及冗余信息,传统评估模型多数采用经验法和比较法,缺乏科学性和公正性,评估结果正确率低。为了提高纳税信用等级评估的正确率,提出了一种采用模糊神经网络的纳税信用等级评估模型。首先利用模糊逻辑推理对纳税评估过程中的不精确、模糊的信息进行有效的处理,然后利用训练数据对神经网络模型进行训练学习,获得纳税评估指标和信用等级间的评估模型,最后通过利用测试集对模型进行验证,结果表明,模糊神经网络方法提高了纳税信用等级评估的正确率,为税收信用评估提供有效的依据。     

基于IGWO-XGBoost融合模型的沥青路面抗滑性能评估

为研究沥青路面抗滑性能影响因素,精确预测路面抗滑性能,本文使用Gocator 3110三维智能传感器采集沥青混合料试件表面纹理并使用摆式摩擦仪测试试件表面摩擦系数.针对三维纹理点云数据中的异常数据,提出基于径向基函数(RBF)的邻域插值算法进行数据质量提升.根据修复后的三维纹理点云数据计算出具有代表性的10类宏观纹理特征参数,并采用Pearson系数相关性分析法去除冗余因子,改进模型的输入特征,并构建基于改进灰狼优化算法(IGWO)与XGBoost融合的沥青路面抗滑性能预测模型,预测沥青路面的摩擦系数.结果表明,提出模型的预测精度优于多元线性回归模型、支持向量机回归模型以及基于网格化搜索的XGBoost模型.