基于双层树状支持向量机的观点挖掘与倾向分析

本文通过进行大量预处理工作,将经过词袋模型和Word2Vec两种不同向量化方法处理后的文本数据分别输入到SVM和LSTM模型中,训练出可以识别文本情感倾向的模型.进而对新产生的评论进行分类.根据实际数据量的倾斜状况,基于传统机器学习算法支持向量机(SVM),本文提出双层支持向量机,采用2种不同的方法分别训练模型并预测.最后再使用深度学习算法长短时记忆模型(LSTM)再次训练并预测,并对这3种方法做出比较和总结.结果显示,双层SVM比单层SVM的准确度提高了8个百分点;而LSTM比单层SVM低了2个百分点,比双层SVM低了接近10个百分点.     

基于增量学习的时变信道预测方法

基于自回归模型(Autoregressive Model, AR)的传统信道预测方法在高速移动中，信道具有较大的时变性，导致信道发生了非线性的改变。基于反向传播(Back Propagation, BP)网络的信道预测方法通过适当地调整权重可使模型更加稳健，但是算法效率较低。提出一种新的模型，设计长短期记忆(Long Short-Term Memory, LSTM)网络和增量学习相结合的在线信道预测模型，实现时变信道的在线预测。模型应用LSTM神经网络学习长时间序列的特性来处理时间相关通信系统中的信道状态信息，增量学习(Incremental Learning, IL)在运行期间不断预测系统状态，同时更新LSTM神经网络的现有权重，交替执行训练和预测过程，模型可以很好地适应无线信道的动态变化。实验结果表明，提出的模型能有效地改善时变信道的预测准确率。     

基于多模型融合的航空电子产品故障预测方法

针对复杂机载环境应力条件下航空电子产品故障预测所面临的退化趋势差异大、训练数据样本量小等问题,提出了一种改进长短期记忆(Long Short-Term Memory, LSTM)神经网络模型与集成学习框架相结合的故障预测方法,以满足现代综合航空电子系统智能调度管理与自主维护保障的需求。该方法在LSTM模型中引入Dropout机制,构建基于不同历史数据集的差异性LSTM模型组,以解决故障预测时序信息记忆问题与小样本条件下数据驱动模型训练过拟合问题;采用Adaboosting算法计算模型权重,并基于实时数据动态调整,以滤除复杂机载环境应力引入的预测误差,解决多模型融合的性能差异问题。最后,采用NASA公开的锂电池退化数据集进行仿真验证,实验结果表明,相较于传统BP神经网络、经典LSTM和LSTM基模型,该方法具有更高的趋势拟合度和预测精度。     

基于LSTM的智能车变道预测研究

文章基于循环神经网络RNN(Recurrent Neural Network)和长短时记忆网络LSTM(Long-Short Term Memory)的理论研究,提出了一种基于LSTM的智能车变道行为预测模型。首先,搭建LSTM网络模型框架;然后根据人类驾驶场景对真实数据集NGSIM(Next Generation Simulation)进行特征选择与数据提取。最后使用长短时记忆网络(LSTM)模型进行训练,测试车辆变道预测结果,并将结果与利用RNN模型预测的结果进行比较,验证了本文方法的有效性。     

基于深度LSTM与遗传算法融合的短期交通流预测模型

短期交通流预测是交通优化控制和智能服务的基础。由于交通流日内波动性明显,使用单层长短期记忆网络(LSTM)存在泛化能力不足的问题,堆叠多层LSTM易导致模型难以快速收敛。通过对LSTM神经网络架构的优化设计,提出一种深度LSTM与遗传算法融合的交通流预测模型GA-mLSTM。首先,采用遗传算法(Genetic Algorithm,GA)对LSTM层数、Dense层数、隐藏层神经元个数和Dense层神经元个数进行优化,确定GA-mLSTM模型的网络结构设计和最优参数;然后,基于GA-mLSTM模型的预测结果,使用差分运算对预测误差进行修正;最后,利用公开数据集对交通流预测性能进行评估并验证,实验结果表明:GA-mLSTM模型采用3层LSTM神经网络结构,融入遗传算法和差分计算后,能有效捕获路网交通流的波动特性,可以实现更准确的交通流预测。     

基于Adam 注意力机制的PM2:5浓度预测方法

大气 PM2:5 浓度是一种具有较强时序特征的数据, 故目前关于 PM2:5 浓度的预测多选择 RNN、 LSTM 等 序列模型进行。但由于 RNN、 LSTM 等模型对不同时刻输入的数据都采用相同的权重进行计算, 不符合类脑设 计, 造成 PM2:5 浓度预报准确率较低。针对以上问题, 提出一种基于 Adam 注意力机制的 PM2:5 预测方法 (AT-RNN 和AT-LSTM), 该方法首先通过 Adam 算法寻找 RNN 或 LSTM 的最优参数并在 Encoder 阶段引入注意力机制, 将 注意力权重分配给具有时间序列特征的输入, 再进行 Decoder 解析和预测。通过实验, 对比了 BP、 RNN、 LSTM 和AT-RNN、 AT-LSTM 预测合肥市 PM2:5 浓度的效果。结果表明, 基于 Adam 注意力模型的预测方法准确率优于其它 方法, 证明该方法在污染物预测中的有效性。     

基于深度门限堆叠长短期记忆神经网络的交通流量预测

<正>深度学习和大数据技术在交通流量预测中越来越流行，深度神经网络也已应用于交通流预测。此外，由于模型结构不良，参数优化技术不合适，交通流预测缺乏确定性而不准确。本文所提方法通过将多个简单的递归长短期记忆（LSTM）神经网络与时间特征相结合来克服这些问题，以使用深度门控堆叠神经网络来预测交通流。为了加深模型，已使用无监督的逐层方法来训练隐藏层。隐藏层表示通过捕获多个级别的信息来提高时间序列预测的准确性。此外，论述模型结构、随机权重初始化和堆叠LSTM中使用的超参数对增强预测性能的重要性。     

基于GRA-LSTM与SARIMA组合模型的季节性时间序列预测

针对LSTM模型对季节性时间序列中的周期、趋势性变化不敏感的特点,提出将SARIMA模型与LSTM模型进行组合,以提高模型预测精度.该方法首先构建了以关键影响因素为非线性输入层和历史数据为线性输入层的多对一 LSTM模型,将经过GRA法筛选的关键影响因素及历史数据输入到该模型中得到初步预测结果,使用SARIMA模型依据历史数据对季节性时间序列进行预测,提取预测结果中单位节点的比例序列,以实现对时间序列中周期、趋势信息的抽取,最后根据SA-RIMA模型中提取的单位节点比例,对LSTM得到的初步预测结果进行修正,得到最终预测结果.实验选取某市民航春运客流量数据对组合模型精度进行验证,通过与支持向量机、GRA法、GRA-LSTM模型、SARIMA模型4种单模型进行比较,验证了组合模型对于季节性时间序列预测的优越性.     

基于时空信息和社交注意力的行人轨迹预测研究

行人轨迹预测在各种应用中具有关键性作用,为提高互中轨迹预测精度与模型可解释性,提出了一种基于时空信息和社交注意力的模型(SAGAT),模型整体采用编码-码的框架。首先,针对行人之间时间交互的连续性,构建额外的LSTM网络来捕获时间的相关性信息。然后,提出社交注意力机制,设置3种社交特征丰富行人交互信息,对同一场景中的不同行人进行权重分配。最后,在UCY和ETH公开数据集进行训练。多个实验结果表明,模型的预测精度优于现有方法,且平均精度提高13.7%。首先,针对行人之间时间交互的连续性,构建额外的LSTM网络来捕获时间的相关性信息。然后,提出社交注意力机制,设置3种社交特征丰富行人交互信息,对同一场景中的不同行人进行权重分配。     

混合LSTM与卷积神经网络的氧气提取率预测方法

针对空分装置系统的运行参数量大、氧气提取率预测研究欠缺的问题,提出一种基于卷积神经网络（CNN）、长短期记忆网络（LSTM）以及混合LSTM和CNN的氧气提取率预测方法。将氧气提取率作为预测目标,基于卷积神经网络、LSTM、混合LSTM与卷积神经网络模型对其进行建模,并应用于空分装置系统运行采集的数据中。使用平均绝对百分比误差、均方根误差和平均绝对误差等指标来评价预测模型的精度,并使用模型训练时间以及模型收敛速度评估模型性能。实验结果表明,采用混合LSTM和卷积神经网络的氧气提取率预测方法的效果明显优于其他两种模型。     

一种基于LSTM模型的水库水位预测方法

受降水量、径流等因素的影响,水库的长期水位预测面临巨大挑战。提出了一种新的基于长短期记忆(Long Short Term Memory, LSTM)网络的时间序列模型,对沂沭泗流域中的石梁河水库水位进行了预测和性能评价。该模型整合了降雨、水流和土壤含水量等历史信息,并通过实验获取最优预测步长,从而提高了模型的预测准确度,并且稳定性更好,避免出现较大的误差。实验使用Nash-Sutcliffe效率(NSE)、Pearson相关系数平方(R;)和绝对均方根误差(Root Mean Square Errors, RMSE)等评价指标,与基本的多层感知机模型和卷积神经网络(Convolutional Neural Networks, CNN)比较,得出如下结论:① LSTM模型的预测值不存在明显较小的波峰或波谷;②模型的预测精度不会随着预测时间步长的增加而急剧下降;③在真实的洪水事件预测中,雨量较小时不会引起预报线的波动,且预测洪峰时偏离度较小。当然,如何在大规模流域中应用该模型,以及对流域中的多个水库水位同时预测等问题,将在未来的工作中进行进一步的研究和分析。     

一种基于LSTM与IRI模型的电离层层析TEC组合预测方法

电离层总电子含量（total electron content, TEC）作为评估无线电波穿过电离层时产生误差的主要物理量,对其准确的估算以及预测具有重要的研究意义. 本文结合电离层层析算法反演重构的TEC数据,提出一种基于长短期记忆（long short-term memory, LSTM）与国际参考电离层（international reference ionosphere, IRI）模型的组合预测模型,实现了对欧洲上空平静态电离层的TEC预测,并与IRI梯度法、LSTM网络预测结果进行对比. 实验结果表明:IRI梯度法提前1 h能够产生理想的预测结果,提前2 h与3 h的预测精度明显下降;LSTM模型在提前2 d的预测结果表现良好,但随着迭代预测时长的增加预测结果中出现较多异常值. 统计误差显示,本文所提出的组合预测模型相比于IRI梯度法预测性能更为稳定,对单一LSTM模型修正效果明显,消除了预测结果中大部分异常值,有效提高了单一模型的预测精度. 组合预测模型与实际层析TEC之间的预测均方根误差 (root mean squared error, RMSE)为1.1 TECU,与欧洲定轨中心提供的TEC预测RMSE为1.7 TECU.     

基于LSTM混合模型的时间序列预测

网络流量分析和预测已经成为监控网络的关键。网络预测是捕捉网络流量并对其进行深入研究以决定网络中发生的情况的过程。网络流量的分析和估计的准确性在实现网络服务质量(QoS)的保证方面越来越重要。研究通过将LSTM和ANFIS相结合的形式构建LSTM-ANFI模型,提高网络流量预测性能。实验结果表明,LSTM-ANFI模型在网络流量的预测方面具有一定优势,通过模型对比不难发现该模型优于单一的LSTM和单一的ANFIS模型。就相关指标而言,提出的增强型LSTM R297.95%和增强型ANFIS模型的经验结果是R2=96.78%,适用于蜂窝网络流量数据。     

基于长短期记忆生成对抗网络的小麦品质多指标预测模型

小麦多生理生化指标变化趋势反映了储藏品质的劣变状态,预测多指标时序数据会因关联性及相互作用而产生较大误差,为此该文基于长短期记忆网络(LSTM)和生成式对抗网络(GAN)提出一种改进拓扑结构的长短期记忆生成对抗网络(LSTM-GAN)模型。首先,由LSTM预测多指标不同时序数据的劣变趋势;其次,根据多指标的关联性并结合GAN的对抗学习方法来降低综合预测误差;最后通过优化目标函数及训练模型得出多指标预测结果。经实验分析发现:小麦多指标的长短期时序数据的变化趋势不同,进一步优化模型结构及训练时序长度可有效降低预测结果的误差;特定条件下小麦品质过快劣变会使多指标预测误差增大,因此应充分考虑储藏期环境变化对多指标数据的影响;LSTM-GAN模型的综合误差相对于仅使用LSTM预测降低了9.745%,并低于多种对比模型,这有助于提高小麦品质多指标预测及分析的准确性。     

基于支持向量机的电力短期负荷预测研究

以城市电力负荷预测为应用背景,根据电力负荷的特点和支持向量机(SVM)方法在解决小样本学习问题中的优势,提出基于SVM的电力短期负荷预测模型,并使用粒子群优化算法优化其参数.基于SVM的电力短期负荷预测模型的运行结果与BP神经网络模型对比表明,前者稳定性好,运行速度快,准确率高.     

基于CNN与LSTM相结合的恶意域名检测模型

为提高恶意域名检测准确率,该文提出一种基于卷积神经网络(CNN)与长短期记忆网络(LSTM)相结合的域名检测模型.该模型通过提取域名字符串中不同长度字符组合的序列特征进行恶意域名检测:首先,为避免N-Gram特征稀疏分布的问题,采用CNN提取域名字符串中字符组合特征并转化为维度固定的稠密向量;其次,为充分挖掘域名字符串上下文信息,采用LSTM提取字符组合前后关联的深层次序列特征,同时引入注意力机制为填充字符所处位置的输出特征分配较小权重,降低填充字符对特征提取的干扰,增强对长距离序列特征的提取能力;最后,将CNN提取局部特征与LSTM提取序列特征的优势相结合,获得不同长度字符组合的序列特征进行域名检测.实验表明:该模型较单一采用CNN或LSTM的模型具有更高的召回率和F1分数,尤其对matsnu和suppobox两类恶意域名的检测准确率较单一采用LSTM的模型提高了24.8％和3.77％.     

基于扩大周期的电力负荷预测模型

针对现有电力负荷预测模型依赖近期数据导致预测结果偏离时间序列真实情况的问题,文中提出了基于扩大周期信息的电力负荷预测模型。将预处理完的电力负荷时间序列按照同一时刻不同天进行处理,在此基础上分别利用ARIMA(Autoregressive Integrated Moving Average Model)模型和LSTM(Long Short-Term Memory Network)模型进行建模分析,并采用3种评价指标评估模型的预测表现。预测结果表明,扩大周期信息构建的ARIMA模型的3种评价指标都比传统ARIMA模型低,对应的RMSE(Root Mean Square Error)、MAE(Mean Absolute Error)和MAPE(Mean Absolute Percentage Error)分别为32 434.114 8、5 828.390 9和0.025 2;扩大周期信息的LSTM模型也比原始LSTM模型低,对应的RMSE、MAE和MAPE分别为13 520.497 4、9 298.352 6和0.091 4。     

基于SVM与NIR的花椒挥发油快速检测方法

应用近红外光谱分析(NIR)技术结合支持向量机(SVM)测定花椒挥发油的含量.以105份样品作为校正集,分别选取epsilon-SVR、nu-SVR两种SVM类型,并采用Linear、Poly、RBF与Sigmoid四种不同核函数进行SVM 回归建模,以所建立的校正模型对36份样品的挥发油含量进行预测.结果表明:当SVM类型为epsilon-SVR,核函数为Sigmoid,惩罚参数取109,γ取1×10-6时,所建立的花椒挥发油SVM-NIR模型预测效果最好:R236=0.931 7,RMSEP36=0.426 8.同时对基于SVM-NIR、PLS-NIR、PCA-BP-NIR和PCA-RBF-NIR的花椒挥发油模型的预测性能进行比较分析,表明SVM-NIR模型具有较强的预测能力(或泛化能力),优于其余3种模型.     

基于超参数优化的电力负荷预测模型研究

电力负荷数据的多样性与复杂性,会导致负荷预测过程中出现超参数难以确定、拟合效果较差和预测精度不高等问题。针对以上问题,提出一种基于樽海鞘群算法的融入注意力机制的双向长短期记忆神经网络模型——SSA-AM-BiLSTM模型。该模型使用BiLSTM学习特征的内部变化规律,引入注意力机制为特征进行权重分配,并且利用樽海鞘群算法优化网络超参数。基于具体数据集进行的负荷预测仿真实验表明,相较于GRU、LSTM、AM-BiLSTM和PSO-AM-BiLSTM模型,所提出的SSA-AM-BiLSTM模型的MAPE分别减少了2.15%、1.93%、1.42%和0.45%,并且优化了拟合效果,显著提高了预测精度。     

基于改进LSTM神经网络的电动汽车充电负荷预测

当前对电动汽车（EV）充电负荷预测的研究缺少真实的数据支撑,并且模型考虑场景过于简单,影响因素考虑不到位,预测结果缺乏说服力。基于此,提出一种考虑多种电动汽车充电负荷影响因素的电动汽车充电负荷预测方法。首先,考虑天气、季节、温度、工作日、节假日等因素对电动汽车充电负荷的影响,采用三标度层次分析法分析各影响因素权重;其次,建立LSTM神经网络预测模型,通过真实数据训练得到用于预测的LSTM神经网络模型,结合影响因素权重分析结果对预测模型进行修正,得到最终的改进LSTM神经网络负荷预测模型;最后,采用常州某小区的真实数据对所提预测方法进行试验验证。结果表明,所提方法可以实现电动汽车充电负荷的精确预测,且负荷预测结果可为有序充电策略研究提供参考。