基于双向LSTM的Seq2Seq模型在加油站时序数据异常检测中的应用

加油时序数据包含加油行为的多维信息,但是指定加油站点数据较为稀疏,现有成熟的数据异常检测算法存在挖掘较多假性异常点以及遗漏较多真实异常点的缺陷,并不适用于挖掘加油站时序数据。提出一种基于深度学习的异常检测方法识别加油异常车辆,首先通过自动编码器对加油站点采集到的相关数据进行特征提取,然后采用嵌入双向长短期记忆（Bi-LSTM）的Seq2Seq模型对加油行为进行预测,最后通过比较预测值和原始值来定义异常点的阈值。通过在加油数据集以及信用卡欺诈数据集上的实验验证了该方法的有效性,并且相对于现有方法在加油数据集上均方根误差（RMSE）降低了21.1%,在信用卡欺诈数据集上检测异常的准确率提高了1.4%。因此,提出的模型可以有效应用于加油行为异常的车辆检测,从而提高加油站的管理和运营效率。     

加油站中基于自适应阈值分割的车辆停车检测方法

针对加油站复杂环境下难以获取停车数据的问题,提出一种基于自适应阈值分割的车辆停车实时检测方法。以加油位为检测对象,使用改进的均值背景法更新加油位的背景;将背景差分法与Otsu算法相结合,提出一种改进的自适应阈值分割算法;设计停车检测算法,检测出加油车辆的停车时间点、车牌号以及停车持续时间。实验结果表明,该算法能有效检测出车辆的停车数据,并能过滤掉过往车辆和行人等噪声干扰。     

基于互信息属性排序的不完整数据聚类算法

数据缺失对聚类算法提出了挑战,传统方法往往采用均值或回归方法将不完整数据进行填充,再对填充后的数据进行聚类.为解决均值填充和回归填充等方法在数据缺失比率增大时填充精度以及聚类效果变差的问题,提出一种新的不完整数据相似度计算方法.以期望互信息为依据对数据集中的属性排序,充分考虑了数据集中与位置相关的属性值特征,以数据集本身元素作为缺失值填充的来源,对排序后的不完整数据集进行相似度填充计算,最后采用基于局部密度的聚类算法进行聚类.利用UCI机器学习库中的数据集验证本文填充聚类算法,实验结果表明,当数据集中缺失值增多时,算法对缺失值的容忍性较好,对缺失元素的恢复能力较强,填充精度以及最终聚类结果方面均表现良好.本文填充计算相似度的方法考虑数据集的每个属性值来对缺失值逐个填充,因而耗时较多.     

基于共享知识的不完整大数据填充方法

针对传统大数据填充方法相似度度量方法单一,且通常只考虑原数据集内部联系,使得填充数据容易被原数据集限制、失去自身原有特点、填充结果不客观等问题.提出一种新的概念——共享知识,该方法首先基于共享知识构建不完整数据集与异源相似完整数据集的共享关系,并建立共享信息系统;其次通过新的相似度度量方法建立它们对象间的相似关系,从而用异源相似完整数据集对象对不完整的数据集对象进行相似填充.实验结果表明,新的相似度度量方法比单一的数值型相似度度量方法填充精度更高.与其他填补算法相比,该方法对缺失值的填充精度值能够稳定地保持在0.85以上,均方根误差稳定在0.15之下,充分保留了填充值的客观性,填充效果更好.     

基于slope one算法改进评分矩阵填充的协同过滤算法研究

为解决协同过滤算法中的数据稀疏性问题,提出了一种改进的协同过滤算法。该算法使用slope one算法计算出来的评分预测值来填充评分矩阵中的未评分项目,然后在填充后的用户-项目评分矩阵上通过基于用户的协同过滤方法给出推荐。利用slope one算法计算出来的评分预测值作为回填值,既能降低评分矩阵的稀疏性,也保证了回填值的多样性,从而减少均值、中值等单一填充值造成的推荐误差。在MovieLens-1M数据集上对本文改进算法和协同过滤算法及均值中心化处理的算法作五折交叉实验,结果表明,基于评分预测值填充数据后的协同过滤算法有效的缓解了数据稀疏性问题,并且有更好的推荐效果。     

结合用户聚类和项目类型的协同过滤算法

为了解决协同过滤算法中数据稀疏性问题,提高推荐效果,提出一种改进的协同过滤算法.该算法首先通过一种新的相似度计算方法来计算项目类型相似度,将相似度大于某阈值的项目作为目标项目的邻居;然后根据目标用户对邻居项目的评分信息来预测该用户对目标项目的评分值,并将预测值填入稀疏的用户项目评分矩阵;最后对填充后的评分矩阵采用基于用户聚类（K-means聚类）的协同过滤算法做出最终的预测评分进行推荐.在Movielens数据集上进行实验验证,结果表明该算法能够很好地缓解数据稀疏性、降低计算复杂度,提高推荐精度.     

基于用户多属性与兴趣的协同过滤算法*

传统的协同过滤算法广泛应用于推荐系统领域,但该算法仍存在用户冷启动和数据稀疏性问题,造成算法的推荐质量较差。对此,提出一种基于用户多属性与兴趣的协同过滤算法AICF(Attributes and Interests Collaborative Filtering)。首先通过对多种用户属性分配权重计算出用户多属性相似度。其次利用改进的Slope One算法填充用户-项目评分矩阵,然后计算基于隐性标签的用户兴趣相似度。最后基于两种相似度的组合进行推荐。实验结果表明,AICF算法不仅明显提高了推荐结果的准确性,同时也解决了用户冷启动和数据稀疏性问题。     

稀疏编码的最近邻填充算法

针对K最近邻填充算法(K-nearest neighbor imputation,KNNI)的参数K值固定问题进行了研究,发现对缺失值填充时,参数K值固定很大程度上影响了填充效果.为此,提出了基于稀疏编码的最近邻填充算法来解决这一问题.该算法是用训练样本重构每一缺失样本,在重构过程中充分考虑了样本之间的相关性;并用e1范数来学习确保每个缺失样本用不同数目的训练样本填充,以此解决KNNI算法参数K值选取问题.基于数据性能分析指标RMSE和相关系数的实验比较结果表明,该算法比KNNI算法的效果要好.该算法能很好地避免了KNNI算法存在的缺陷,适用于数据预处理环节需要对缺失值进行填充的应用领域.     

基于融合时空数据的车辆加油行为多视图深度异常检测框架

车辆加油时空数据多源异构、关系复杂,现有成熟的异常检测方法难以对时空离散的加油活动数据进行分析,因此提出基于融合时空数据的车辆加油行为多视图深度异常检测框架。首先基于统一概念模型（UCM）对静态信息和动态活动数据进行关联融合管理,然后从空间视图、时间视图和语义视图角度对时空数据进行编码和转换,最后基于三种视图构建深度时空异常分析检测框架。车辆加油时空数据集上的实验结果表明,多种异常检测方法在融合时空数据上均可取得更低均方根误差（RMSE）,平均降低10.73%,所提方法比现有主流方法中结果最好的长短时记忆网络（LSTM）的RMSE降低19.36%。在信用卡欺诈公开数据集上的实验结果表明,所提方法较之逻辑回归模型,马修斯系数（MCC）提高了32.78%。以上实验验证了所提方法的有效性。     

改进Mini Batch K-Means时间权重推荐算法

传统的协同过滤算法存在数据稀疏、可扩展性弱和用户兴趣度偏移等问题,算法运行效率和预测精度偏低。针对上述问题,提出一种改进的Mini Batch K-Means时间权重推荐算法。采用Pearson相关系数改进Mini Batch K-Means聚类,利用改进的聚类算法对稀疏评分矩阵进行聚类,计算用户兴趣评分并完成对稀疏矩阵的填充。考虑用户兴趣随时间变化的影响,引入牛顿冷却时间权重计算相似度,并基于已填充评分矩阵进行相似度加权计算,得到项目最终评分。实验结果表明,与传统协同过滤算法相比,该算法的平均绝对误差下降了31.08%,准确率、召回率、F1值均有较大提升,具有较高的评分预测精确度和准确度。