基于改进随机森林的城市污水处理过程运行数据清洗方法

针对城市污水处理运行过程中出现混合异常数据的问题,提出了一种基于改进型随机森林的数据清洗方法.首先,设计了一个孤立森林的异常数据识别模型,识别数据中的离群值.其次,建立了一种改进型随机森林回归模型,提高随机森林对混合类型异常数据的适应能力,并对数据趋势进行拟合预测.最后,用改进的随机森林数据清洗方法对剔除混合异常数据后的缺失数据进行补偿,实现对污水数据的清洗.实际数据测试结果表明,该方法提高了混合类型缺失数据补偿的准确性.     

基于多源数据融合的高速公路路网短时交通流参数实时预测

针对高速公路路网交通数据中存在大量噪声数据与缺失数据,数据完整度较低,导致预测精度下降的问题,提出一种基于多源数据融合的高速公路路网短时交通流参数实时预测方法。采用小波分析阈值法对高速公路路网交通数据进行去噪处理,在最小二乘支持向量机基础上采用组合阈值填补方法填补交通数据序列中存在的缺失数据,提高交通数据的完整度。结合小波神经网络和遗传算法建立短时交通流参数预测模型,采用遗传-小波神经网络处理多源检测器采集到的交通流参数,通过最小二乘动态加权融合算法融合多个检测器的交通流参数,将交通流参数输入预测模型中,得到高速公路路网短时交通流参数实时预测结果。实验结果表明,采用本文方法处理后的交通数据序列中不存在缺失数据,数据完整度较高,且所得预测结果与实际车流量变化曲线较为贴近,预测精度高,可以广泛应用在交通流预测领域。     

基于神经网络及时间序列混合模型的桥梁健康监测系统缺失数据填补

列举了实际桥梁健康监测系统中数据缺失的几种形式,根据桥梁健康监测系统中监测数据是时间序列集的特点,以及神经网络强大的映射能力,利用神经网络及时间序列混合模型的方法来填补缺失数据,并将该方法与时间序列法的填补结果进行对比,结果表明该方法处理缺失数据的误差较低。     

基于时空融合图卷积的交通流数据修复方法

为了解决现有时空相关修复法挖掘交通流特性不充分的问题,提出基于时空融合图卷积网络的缺失数据修复方法. 该方法在分析交通流时空特性的基础上,采用2类函数分别计算交通流数据的时间自相关系数和空间关联度系数. 将交通检测器的部署位置作为节点构成几何拓扑图,通过线性融合规则构建时空融合矩阵,替代图卷积输入层的邻接矩阵,捕获交通流细粒化的时空关系. 利用轻量级一维卷积层学习多通道时序向量的时间特征,加快模型的收敛速度. 利用图卷积层学习交通流数据的空间特征,构建时空融合图卷积网络修复模型. 实验结果表明,与其他修复方法相比,该方法在多检测器场景中的修复精度和模型收敛速度均有所提升,可以有效地修复交通流缺失数据.     

动态交通数据质量评价方法研究

为了保证交通管理系统所获得数据的准确性,在分析缺失数据、异常交通状态数据和错误数据3种非正常交通数据分类及特点的基础上,针对缺失数据设计了存在性评价方法,运用增益放大原理建立了异常性评价法,首次将异常性评价引入交通数据质量评价过程,基于正态分布的68-95-99.7法则,利用纵向时间序列建立了评价数据真实性的动态阈值评价法,并给出这3种数据质量评价方法组合使用的流程.实测数据验证表明,真实性评价法的评价效果明显优于固定阈值法和交通流理论法,异常性评价法优于经典的加州算法.     

基于改进型SVM的城市污水处理过程异常数据清洗方法

针对城市污水处理过程数据存在噪声和缺失的问题,提出一种基于改进型支持向量机(improved support vector machine,ISVM)的异常数据清洗方法.首先,设计一种基于密度估计的噪声数据检测方法,实现对污水噪声数据甄别与剔除.其次,建立一种基于ISVM的缺失数据补偿模型,对缺失数据进行非线性拟合,获得数据缺失时刻的补偿值.最后,运用粒子群优化(particle swarm optimization,PSO)算法更新ISVM参数,提高缺失数据的补偿精度.将该清洗方法应用于城市污水处理过程中,实验结果表明,基于ISVM的异常数据清洗方法能够实现对异常数据的剔除以及缺失数据的补偿,提高了数据质量.     

基于模式划分的空调能耗混合填补方法

针对公共建筑能耗监测平台采集的空调能耗数据存在缺失、异常等问题,提出一种将无监督学习与监督学习结合的基于模式划分的空调能耗混合填补方法.利用k-means聚类算法将空调能耗数据划分至制冷、制热和独立新风3种运行模式中.在制冷及制热模式下,提出了一种BP神经网络(back propagation neural netwo...     

基于属性相关性的K N N近邻填补算法改进

为了进一步提高缺失数据的填补效果和降低数据缺失比例带来的影响,提出了基于属性相关的KNN近邻填补算法.将主成份分析算法应用到KNN填补算法中,先用KNN算法计算得到的数值作为主体填补值,然后使用主成分分析过程中产生的协方差矩阵作为整体属性的相关性.由缺失项和K个近邻的离差和相应相关性算出属性影响量,最后并入到KNN计算值之中,得到的数值就是算法改进后的最终估算数值.经数据集仿真实验,算法改进后填补效果更好准确度更高.     

对模拟纵向数据集缺失值处理的几种方法比较

运用SAS9．0、数据模拟技术,分别模拟纵向完整数据集和具有各种缺失率的随机缺失数据集,采用多重填补法（MI）、期望值最大化法（EM）和回归插补法（Regression）对各缺失数据集进行处理,对结果进行比较和分析。结果表明,对不同缺失率的数据集,MI、EM和Regression法对缺失值的处理各有优劣。     

基于路口相关性的交通流量修复研究

为实现对交通流异常数据的有效修复,根据流量-占有率函数模型,利用主成分分析法对绿波协调控制交叉口群中各路口的占有率参数进行相关性分析,间接得到各路口流量相关性的大小,构建相关路口集;根据相关路口集的历史数据,分别利用流量-占有率模型、径向基函数神经网络模型以及基于两种方法的组合模型,对目标路口的缺失交通流数据进行修复;通过实例分析验证模型性能.结果表明,与单独流量-占有率模型或径向基函数神经网络模型相比,组合模型可更精确地修复交通数据,在实际数据验证中表现出更好的适应性.     

结合特征选择和优化随机森林的无线网络数据丢失重建

基于K邻近(KNN)算法和随机森林算法,提出了一种无线网络中丢失数据的重建方法。首先将多维原始数据通过不稳定无线信道进行发送,接收端将接收到的完整原始数据集中,利用KNN算法筛选出部分和重建特征相关性较高的特征,用于构造随机森林模型。然后输入缺失的数据样本,随机森林模型自适应地对数据样本进行分类,并利用完整样本对缺失特征值进行预测,从而完成丢失数据的重建。最后通过仿真实验表明,该方案可以有效地提升数据重建的精确度,在数据丢失率达到80%的情况下,重建数据的准确率仍然优于现有的解决方案。     

4G时代基于网络流量大数据分析的安全预警研究

文章介绍了一种基于流量数据分析检测安全攻击并形成预警的方案。通过建立一整套标准化的大数据采集、收集、存储、分析方法,实现流量数据采集、收集、存储自动化,实现对网站业务的攻击、未知威胁构建基于分类的异常检测;通过对内部支撑网进行资产识别、基于策略配置的违规访问发现、基于大数据分析统计发现异常流量,形成对安全事件监测和预警方案。     

驾驶模拟器与微观交通仿真VISSIM的数据接口研究

在自主研发的面向道路交通的高级驾驶模拟器(KMRTS)的应用研究中,动态交通流仿真是影响交通评价实验结果的一个重要因素.本文探讨了如何从成熟的商业化应用软件VISSIM中获取交通流仿真数据,并将其应用到KMTRS中,编程实现了VISSIM与KMRTS的动态交通流和道路数据接口的设计.最后,将接口数据转入KMRTS中成功运行,实践表明,该数据接口的设计与实施可成功地解决模拟器交通环境中的交通流仿真问题.     

决策树学习算法在交通方式选择模型中的应用

主要阐述了决策树学习算法在交通方式选择模型中的应用.在基本决策树的基础上,使用随机森林组合学习算法来建立交通方式选择模型,以Bagging预测方法和CART算法为主,以随机特征选择和"投票"方法为辅,并相互融合,结合具体实例详细介绍该模型的建立,从数据的选择到整个森林中树的数目和每个结点处抽取的候选属性的个数调整,并对模型进行了相应的评估.实验结果表明,随机森林预测精度高,且对噪声数据具有较强的稳健性,采用决策树学习算法得出的规则在交通方式选择的分析中具有较好的实用价值.     

短时车流量组合预测模型

随着道路车量不断增多,由交通异常事件造成的非正常拥堵情况严重影响了出行者的出行效率和路网的整体运行水平.因此,需要准确及时地检测出非正常拥堵情况,通过诱导、疏通等方式改善拥堵状况.对车流量的准确预测是检测非正常拥堵的有效方法.根据交通流量的不确定性和非线性的特点,将改进的BP神经网络模型和ARIMA模型进行组合,建立组合预测模型.实验结果表明,组合模型的预测结果比单个模型的预测结果理想,且达到较高的预测精度.     

更新步长和元胞尺寸对元胞自动机模型的影响

改进了NaSch模型的更新规则,将更新步长和元胞尺寸作为模型的输入值,建立了细化NS模型。通过计算机模拟研究了更新步长和元胞尺寸对路段交通流状态演变的影响及其作用机理。研究结果表明:较小的更新步长可以真实地体现车辆的相对运动,减少确定性减速;较小的元胞尺寸能够精确描述车辆的速度和位置变化,减少位移累加更新导致的"迟滞"效应。细化模型模拟的交通流具有较小的局部阻塞宽度和速度离散度,因而具有更好的系统稳定性,其模拟结果与实测数据符合很好,解决了经典NS模型仿真流量偏小的问题。     

基于一卡通数据的公交站点识别方法分析与研究

针对大众公共交通高峰期部分站点上车难等问题,通过分析一卡通大数据来推断上车站点客流,提前预知客流分布状况,以缓解城市公共交通出行压力.本文采取了一种基于IC卡数据的聚类分析方法,建立了数据模型来推算上下班高峰期公交线路站点的客流,并对测算结果进行对比分析.最后提出包括开行区间车、大站快车等改善交通运营的相关措施,为城市交通部门的公交线路设计和综合交通规划提供一定的指引,确保城市居民日常乘车的便捷性和舒适性.     

基于信息融合的网络流量监控研究

鉴于现有的网络流量监控系统向用户展现过多的网络信息往往无助于安全事件和网络故障的发现和解决,提出一种基于信息融合的网络流量监控框架。基于该框架可有效评估由网络负载状态、安全状态和故障状况构成的网络综合态势,给出了一种信息融合的网络流量监控系统设计,重点讨论了该系统中的数据预处理、关联分析和态势评估三个关键问题。该系统把海量数据融合成信息和知识,直观反映了网络的宏观态势、威胁,能精确定位网络故障。