基于集成LightGBM和贝叶斯优化策略的房价智能评估模型

针对传统房价评估方法中存在的数据源单一、过分依赖主观经验、考虑因素理想化等问题，提出一种基于多源数据和集成学习的智能评估方法。首先，从多源数据中构造特征集，并利用Pearson相关系数与序列前向选择法提取最优特征子集；然后，基于构造的特征，以Bagging集成策略作为结合方法集成多个轻量级梯度提升机（LightGBM），并利用贝叶斯优化算法对模型进行优化；最后，将该方法应用于房价评估问题，实现房价的智能评估。在真实的房价数据集上进行的实验表明，相较于支持向量机（SVM）、随机森林等传统模型，引入集成学习和贝叶斯优化的新模型的评估精度提升了3.15%，并且百分误差在10%以内的评估结果占比84.09%。说明所提模型能够很好地应用于房价评估领域，得到的评估结果更准确。     

集成的深度强化学习投资组合模型

投资组合问题是量化交易领域中的热点问题。针对现有基于深度强化学习的投资组合模型无法实现自适应的交易策略和有效利用有监督信息的缺陷,提出一种集成的深度强化学习投资组合模型（IDRLPM）。首先,采用多智能体方法构造多个基智能体并设计不同交易风格的奖励函数,以表示不同的交易策略;其次,利用集成学习方法对基智能体的策略网络进行特征融合,得到自适应市场环境的集成智能体;然后,在集成智能体中嵌入基于卷积块注意力模块（CBAM）的趋势预测网络,趋势预测网络输出引导集成策略网络自适应选择交易比重;最后,在有监督深度学习和强化学习交替迭代训练下,IDRLPM有效利用训练数据中的监督信息以增强模型盈利能力。在上证50的成分股和中证500的成分股数据集中,IDRLPM的夏普比率（SR）达到了1.87和1.88,累计收益（CR）达到了2.02和1.34;相较于集合式的深度强化学习（EDRL）交易模型,SR提高了105%和55%,CR提高了124%和79%。实验结果表明,IDRLPM能够有效解决投资组合问题。     

基于邻域一致性的异常检测序列集成方法

异常检测已广泛应用于多个应用领域,如网络入侵检测、信用卡欺诈检测等。数据维度的增加导致出现许多不相关和冗余的特征,这些特征会掩盖相关特征,出现假阳性结果。由于高维数据具有稀疏性和距离聚集效应,传统的基于密度、距离等的异常检测算法不再适用。大部分基于机器学习的异常检测研究都关注单一模型,而单一模型在抗过拟合能力上存在一定的不足。集成学习模型有着良好的泛化能力,而且在实际应用中展现出比单一模型更好的预测准确性。文中提出了基于邻域一致性的异常检测序列集成方法（Locality and Consistency Based Sequential Ensemble Method for Outlier Detection, LCSE）。首先基于多样性构造异常检测基本模型,其次根据全局集成一致性筛选出异常候选点,最后考虑数据局部邻域相关性选择并组合基本模型结果。通过实验验证,LCSE相比传统方法异常检测的准确率平均提升了20.7%,与集成算法LSCP_AOM和iForest相比,性能（AUC）平均提升了3.6%,因此其性能优于其他集成方法和神经网络方法。     

脑卒中多分类预后预测的深度集成优化方法

诊疗前预测急性缺血性脑卒中（AIS）的预后分级,有利于揭示预后转归水平并指导治疗策略,提升方法的预测性能是实现精准医疗的重要指导。利用临床和影像组学的融合特征实施脑卒中的多分类预测,并提出了一种基于融合特征的深度集成优化方法（IABC-DEL）模型,其特征选择方法为Embedded嵌入法和卡方检验,数据不平衡处理方式为Borderline-SMOTE算法,利用Stacking构建深度集成优化模型,基学习器包括深度神经网络（DNN）、长短期记忆网络（LSTM）和门控循环单元（GRU）,优化方法为改良人工蜂群算法（IABC）。研究结果表明,深度集成优化方法的预后预测性能优于经典方法和既往研究,Macro-F1 score为87.88%,Macro-AUC为96.27%,ACC为88.02%。因此,基于深度集成优化学习的急性缺血性脑卒中预后模型可对临床诊治和预后康复提供指导意义,并为研究预测提供新的建模思路。     

LSTM模型集成方法在客户流失预测中的应用

目前客户流失预测任务中常用的模型集成方法采用传统机器学习模型作为基学习器。而传统机器学习模型相比于深度学习模型,存在无法对时序数据进行有效建模、特征工程对模型效果影响较大等缺点。针对这些问题,提出基于LSTM的模型集成方法。采用LSTM作为基学习器进行时序数据建模;改进snapshot模型集成方法,增加样本权重调整方法,在训练单个LSTM模型的过程中得到多个具有不同权值的模型;利用得到的多个模型构造新数据集,在新数据集上训练逻辑回归模型。实验结果表明,该方法相比于单模型LSTM,可以在仅花费其1.8倍训练时间的前提下,将查准率和PR-AUC分别提升4.67%和3.74%,显著提高了客户流失预测效果。     

基于选择迁移的baggi ng文本分类算法

针对目标域训练样本数量较少无法建立优质分类模型的问题,提出一种在迁移框架下基于集成bagging算法的跨领域分类方法。引入源域的数据并对其进行筛选,对混合数据集进行学习,建立基于集成bagging算法的分类模型,投票得出预测结果。仿真对比结果表明,采用基于贝叶斯个体分类器的集成bagging算法能够优化源域的迁移,提升目标域的分类准确率及泛化性能。分析源域的噪音数据数量,其结果表明,该算法可以部分规避负迁移。     

基于GAN-AdaBoost-DT不平衡分类算法的信用卡欺诈分类

针对传统单个分类器在不平衡数据上分类效果有限的问题，基于对抗生成网络（GAN）和集成学习方法，提出一种新的针对二类不平衡数据集的分类方法——对抗生成网络-自适应增强-决策树（GAN-AdaBoost-DT）算法。首先，利用GAN训练得到生成模型，生成模型生成少数类样本，降低数据的不平衡性；其次，将生成的少数类样本代入自适应增强（AdaBoost）模型框架，更改权重，改进AdaBoost模型，提升以决策树（DT）为基分类器的AdaBoost模型的分类性能。使用受测者工作特征曲线下面积（AUC）作为分类评价指标，在信用卡诈骗数据集上的实验分析表明，该算法与合成少数类样本集成学习相比，准确率提高了4.5%，受测者工作特征曲线下面积提高了6.5%；对比改进的合成少数类样本集成学习，准确率提高了4.9%，AUC值提高了5.9%；对比随机欠采样集成学习，准确率提高了4.5%，受测者工作特征曲线下面积提高了5.4%。在UCI和KEEL的其他数据集上的实验结果表明，该算法在不平衡二分类问题上能提高总体的准确率，优化分类器性能。     

基于贝叶斯网络模型构造的汽车故障诊断研究

为了解决汽车故障诊断中的不确定性和建模问题,提出了一种基于贝叶斯网络模型构造的故障诊断融合系统架构,设计了基于贝叶斯网络构造的故障诊断算法.这种故障诊断方法利用贝叶斯网络的学习能力和概率推理来应对故障诊断中的不确定性问题的表示和推理,它能够有效地融合领域先验知识和实时传感数据的分布特征,实现故障诊断系统的自适应,并被成功地应用于汽车故障诊断.实验结果表明,新算法为故障诊断提供了准确和可靠的决策依据.     

异构集成代理辅助多目标粒子群优化算法

针对代理辅助进化算法在减少昂贵适应度评估时难以通过少量样本点构造高质量代理模型的问题,提出异构集成代理辅助多目标粒子群优化算法。该方法通过使用加权平均法将Kriging模型和径向基函数网络模型组合成高精度的异构集成模型,达到增强算法处理不确定性信息能力的目的。基于集成学习的两种代理模型分别应用于全局搜索和局部搜索,在多目标粒子群优化算法框架基础上,新提出的方法为每个目标函数自适应地构造了异构集成模型,利用其模型的非支配解来指导粒子群的更新,得出目标函数的最优解集。实验结果表明,所提方法提高了代理模型的搜索能力,减少了评估次数,并且随着搜索维度的增加,其计算复杂性也具有更好的可扩展性。     

基于深度卷积神经网络的脑电信号情感识别

为了点对点自动学习脑电信号（Electroencephalogram,EEG）空间与时间维度上的情感相关特征,提高脑电信号情感识别的准确率,基于DEAP数据集中EEG信号的时域、频域特征及其组合特征,提出一种基于卷积神经网络（Convolution Neural Network,CNN）模型的EEG情感特征学习与分类算法。采用包括集成决策树、支持向量机、线性判别分析和贝叶斯线性判别分析算法在内的浅层机器学习模型与CNN深度学习模型对DEAP数据集进行效价和唤醒度两个维度上的情感分类实验。实验结果表明,在效价和唤醒度两个维度上,深度CNN模型在时域和频域组合特征上均取得了目前最好的两类识别性能,在效价维度上比最佳的传统分类器集成决策树模型提高了3.58%,在唤醒度上比集成决策树模型的最好性能提高了3.29%。     

基于改进遗传算法和图神经网络的股市波动预测方法

针对支持向量机（SVM）、长短期记忆（LSTM）网络等智能算法在股市波动预测过程中股票评价特征选择困难及时序关系维度特征缺失的问题,为能够准确预测股票波动、有效防范金融市场风险,提出了一种基于改进遗传算法（IGA）和图神经网络（GNN）的股市波动预测方法——IGA-GNN。首先,利用相邻交易日间的时序关系构建股市交易指标图数据;其次,通过评价指标特性优化交叉、变异概率来改进遗传算法（GA）,从而实现节点特征选择;然后,建立图数据的边与节点特征的权重矩阵;最后,运用GNN进行图数据节点的聚合与分类,实现了股市波动预测。在实验阶段,所研究的股票总评价指标数为130个,其中IGA在GNN方法下提取的有效评价指标87个,使指标数量降低了33.08%。应用所提IGA在智能算法中进行特征提取,得到的算法与未进行特征提取的智能算法相比,预测准确率整体提升了7.38个百分点;而与应用传统GA进行智能算法的特征提取相比,应用所提IGA进行智能算法的特征提取的总训练时间缩短了17.97%。其中,IGA-GNN方法的预测准确率最高,相较未进行特征提取的GNN方法的预测准确率整体提高了19.62个百分点;而该方法与用传统GA进行特征提取的GNN方法相比,训练时间平均缩短了15.97%。实验结果表明,所提方法可对股票特征进行有效提取,预测效果较好。     

基于多智能集成学习的中短期电煤价格预测

为扩大电力市场交易量与下调市场电价,需要提升电煤价格预测的可靠性与准确性.为此本文提出了多智能集成学习的中短期电煤价格预测方法.首先,阐述了Stacking集成学习的结构和原理;然后,介绍了数种智能电煤价格的预测模型,并通过算例证明了不同单智能模型对数据的感知能力存在差异性;进而,通过比较单智能模型预测结果的差异值均差,筛选出预测性能优异并且数据感知角度差异性明显的智能模型组.为了充分发挥个模型感知能力差异性的优势,利用Stacking融合各模型,得到一种适用于电煤价格滚动预测的集成模型.最后,通过滚动预测2019至2020年的电煤价格,对集成模型的有效性进行验证.     

面向区块链的在线联邦增量学习算法

针对传统数据处理技术存在模型过时、泛化能力减弱以及并未考虑多源数据安全性的问题,提出一种面向区块链的在线联邦增量学习算法。该算法将集成学习与增量学习应用到联邦学习的框架下,使用stacking集成算法来整合多方本地模型,且将模型训练阶段的模型参数上传至区块链并快速同步,使得在建立的全局模型准确率仅下降1%的情况下,模型在训练阶段与存储阶段的安全性均得到了提升,降低了数据存储与模型参数传输的成本,同时也降低了因模型梯度更新造成数据泄漏的风险。实验结果表明,在公开的数据集上进行训练,各时间段内模型的准确度均在91.5%以上,且方差均低于10^-5;与传统整合数据训练模型相比,该模型在准确率上略有下降,但能够在保证模型准确率的同时提高数据与模型的安全性。     

A boosted decision tree approach using Bayesian hyper-parameter optimization for credit scoring

Credit scoring is an effective tool for banks to properly guide decision profitably on granting loans. Ensemble methods, which according to their structures can be divided into parallel and sequential ensembles, have been recently developed in the credit scoring domain. These methods have proven their superiority in discriminating borrowers accurately. However, among the ensemble models, little consideration has been provided to the following: (1) highlighting the hyper-parameter tuning of base learner despite being critical to well-performed ensemble models; (2) building sequential models (i.e., boosting, as most have focused on developing the same or different algorithms in parallel); and (3) focusing on the comprehensibility of models. This paper aims to propose a sequential ensemble credit scoring model based on a variant of gradient boosting machine (i.e., extreme gradient boosting (XGBoost)). The model mainly comprises three steps. First, data pre-processing is employed to scale the data and handle missing values. Second, a model-based feature selection system based on the relative feature importance scores is utilized to remove redundant variables. Third, the hyper-parameters of XGBoost are adaptively tuned with Bayesian hyper-parameter optimization and used to train the model with selected feature subset. Several hyper-parameter optimization methods and baseline classifiers are considered as reference points in the experiment. Results demonstrate that Bayesian hyper-parameter optimization performs better than random search, grid search, and manual search. Moreover, the proposed model outperforms baseline models on average over four evaluation measures: accuracy, error rate, the area under the curve (AUC) H measure (AUC-H measure), and Brier score. The proposed model also provides feature importance scores and decision chart, which enhance the interpretability of credit scoring model.     

Intelligent facial emotion recognition using a layered encoding cascade optimization model

In this research, we propose a facial expression recognition system with a layered encoding cascade optimization model. Since generating an effective facial representation is a vital step to the success of facial emotion recognition, a modified Local Gabor Binary Pattern operator is first employed to derive a refined initial face representation and we then propose two evolutionary algorithms for feature optimization including (i) direct similarity and (ii) Pareto-based feature selection, under the layered cascade model. The direct similarity feature selection considers characteristics within the same emotion category that give the minimum within-class variation while the Pareto-based feature optimization focuses on features that best represent each expression category and at the same time provide the most distinctions to other expressions. Both a neural network and an ensemble classifier with weighted majority vote are implemented for the recognition of seven expressions based on the selected optimized features. The ensemble model also automatically updates itself with the most recent concepts in the data. Evaluated with the Cohn–Kanade database, our system achieves the best accuracies when the ensemble classifier is applied, and outperforms other research reported in the literature with 96.8% for direct similarity based optimization and 97.4% for the Pareto-based feature selection. Cross-database evaluation with frontal images from the MMI database has also been conducted to further prove system efficiency where it achieves 97.5% for Pareto-based approach and 90.7% for direct similarity-based feature selection and outperforms related research for MMI. When evaluated with 90° side-view images extracted from the videos of the MMI database, the system achieves superior performances with >80% accuracies for both optimization algorithms. Experiments with other weighting and meta-learning combination methods for the construction of ensembles are also explored with our proposed ensemble showing great adpativity to new test data stream for cross-database evaluation. In future work, we aim to incorporate other filtering techniques and evolutionary algorithms into the optimization models to further enhance the recognition performance.     

一种改进的基于遗传禁忌优化的NB算法*

针对传统朴素贝叶斯分类模型应用过程中存在的特征项冗余问题,使用遗传禁忌算法对特征项集进行优化,并在此优化结果的基础上,提出了一种改进的朴素贝叶斯分类方法来解决用户模板中存在的单类别词汇问题。经实验证明,该方法比传统的朴素贝叶斯分类模型具有更好的鲁棒性和分类性能。     

基于多目标数学规划的网络多源数据调度仿真

传统的目标网络多源数据调度方法通常以时间或费用为单一调度优化目标,无法实现任务完成时间以及任务执行成本之间的均衡,造成系统资源利用率较低。针对上述问题,提出一种基于多目标数学规划的网络多源数据调度方法。使用DAG构建网络多源数据流,确定多源数据调度任务模型的信任关系,以任务完成时间、任务完成成本、资源利用率为优化目标,建立多目标调度任务模型。对模型进行求解,在遗传算法变异操作中加入粒子群算法,对数据变异的方向与幅度进行调整,完成网络多源数据调度。仿真证明,所提方法相较于传统方法,在多源数据的调度上成本更低、资源利用率更高,并且调度任务目标完成时间更短。     

基于粗糙集的多源数据库缓存冲突自动处理方法

In order to improve the ability of multi-source database cache conflict adjustment, a multi-source database cache conflict automatic processing method based on rough set is proposed. The multi-source database cache data channeling model is constructed, the load balance scheduling method is used to balance the multi-source database cache, the multi-source database cache data feature mining is carried out with the fuzzy rough set feature extraction method, and the rough set features of multi-source database cache data are extracted. The multi-source database cache conflict is adjusted adaptively by multiple information reorganization and big data information fusion method. Through the distributed attributes of rough set, the cache conflict of multi-source database can be handled automatically. The simulation results show that the multi-source database cache has better equalization configuration ability, reduces the risk of data congestion, the number of rounds of conflict and the number of dead nodes, and improves the balance and security of multi-source database cache.     

Financial time series forecasting using LPP and SVM optimized by PSO

In this paper, a predicting model is constructed to forecast stock market behavior with the aid of locality preserving projection, particle swarm optimization, and a support vector machine. First, four stock market technique variables are selected as the input feature, and a slide window is used to obtain the input raw data of the model. Second, the locality preserving projection method is utilized to reduce the dimension of the raw data and to extract the intrinsic feature to improve the performance of the predicting model. Finally, a support vector machine optimized using particle swarm optimization is applied to forecast the next day’s price movement. The proposed model is used with the Shanghai stock market index and the Dow Jones index, and experimental results show that the proposed model performs better than other models in the areas of prediction accuracy rate and profit.