基于Spark框架的电网运行异常数据辨识与修正方法

由于电网运行数据具有多源、异构、高维等典型大数据特征,使得传统检测方法已无法实现异常数据高效辨识;因此提出一种基于Spark框架的电网运行异常数据辨识与修正新方法。首先,提出了并行化最小生成树方法对待检测数据进行初始聚类;在此基础上结合并行K-means算法对数据进行二次聚类实现异常数据辨识;然后,在Spark框架下设计了基于径向基函数(RBF)神经网络的异常数据修正模型,实现对异常数据修正。最后,利用某省调度中心SCADA数据对方法的有效性进行了验证,结果表明所提方法能够有效处理电网运行异常数据,具有实际应用价值。     

引起中低压电网电压异常的故障分析与辨识讨论

本文将结合电网运行中导致中低压电网电压异常发生的常见故障问题,对其故障特征以及辨识方法进行分析研究,以提高中低压电网运行中电压异常故障问题的辨识能力,实现电网安全稳定工作运行的提升与保障.     

计及检修计划的智能配电网运行风险等级划分定量分析方法

为解决计划检修导致配电网发生潮流越限和负荷损失等问题,提出了一种考虑检修计划的智能配电网运行风险等级划分定量分析方法. 首先,分析了检修计划对配电网安全运行的影响,从运维因素、外部因素、设备因素等三个方面建立智能配电网风险评估指标体系;其次,引入区间算法,采用了主客观混合评估方法进行指标赋权,并结合权重因子得到组合权重;再次,基于风险评估指标及其所占权重,获得了智能配电网运行风险值,并划分了运行风险等级,实现了对故障发生概率和影响后果的综合风险量化评估;最后,结合天津电网的年度运行数据,采用Ada-DT算法对其运行风险等级进行了相关分析,验证了本文所提配电网运行风险评估指标体系及等级划分方法的有效性. 结果表明,所提方法可有效划分智能配电网运行风险等级,辨识配电网薄弱环节并给出针对性防控措施,为计划检修人员提供参考.     

基于LightGBM和DNN的智能配电网在线拓扑辨识

为提高电网的安全运行水平和经济性,灵活的可重构的网络拓扑结构是未来智能配电网的基本特征.而配电管理系统(DMS)中的大部分功能,如状态估计,潮流计算和电压控制等,都基于网络当前的拓扑结构.因此,拓扑辨识是DMS的基础功能之一,研究更为高效和准确的智能配电网拓扑辨识方法具有重要意义.结合配电网的结构和运行特点,建立了基于机器学习的智能配电网拓扑辨识框架,并提出了基于LightGBM和深度神经网络(DNN)的配电网在线拓扑辨识方法.该方法借助LightGBM实现特征选择,筛选出对配电网拓扑辨识最有效的少量量测,以深度神经网络实现配电网运行断面量测数据与其拓扑结构间的映射.考虑实际应用中可能存在量测数据丢失的情况,提出了基于最小方差的缺失值填补方法.同样利用样本间的最小方差进行未知拓扑的甄别,并借助增量学习机制,通过增量训练DNN模型实现拓扑知识库的更新.与现有方法相比,本文提出的拓扑辨识方法仅需要配电网中少量节点的运行断面量测数据,同时适用于辐射状和弱环网结构,计算效率可支持在线拓扑辨识.通过IEEE33节点配电网和PGE69节点配电网验证了所提方法的有效性与优越性,并分析了对于不同噪声水平情况、量测特征值缺失和存在未知拓扑的适应性.     

多跳D2D组网下基于数据驱动的配电网在线异常检测

随着配电网数据信息的急剧增长,为了保证配电网供电可靠性,在配电网和基站间建立多跳D2D网络进行数据传输,提出多跳D2D组网下基于数据驱动的配电网在线异常检测方法。因配电网中每个时刻都会产生新的测量数据,提出一种基于一类支持向量机的配电网运行状态在线检测算法,该算法可根据每个时间周期智能电表上报的用电数据更新模型参数,实时推测配电网当前的运行状态。为了保证用电数据的正常传输,提出基于双边主成分分析的在线流量监测方法监督多跳D2D组网的流量状态。通过仿真实例验证,证明了提出的基于数据驱动的配电网在线异常检测算法可在提高检测速率和精确度的同时节约大量的计算时间和存储空间。     

基于数据融合的高效可靠智能电网通信技术

随着智能电网的大规模部署,传感器等终端设备将会大量增加。面对随之产生的海量数据,高效可靠的通信方式成为新时代智能电网研究的热点。针对智能配电网中通信网络复杂、工作环比较混乱、通信点多的问题,本文提出了基于数据融合的新型融合组网方案。首先,采用边缘计算和有线无线相结合的新型融合组网方式,提高了组网融合的性能;然后结合了基于最佳权重分配的数据融合算法解决了数据冗余的问题,降低了能耗。最后通过理论分析和实验仿真验证了本文基于数据融合的新型融合组网方案的有效性,在性能上与传统加权算法对比更加优越。     

电网调度自动化系统中网络流量的小波分析应用研究

为了保障电网调度自动化系统中的业务正常运行,电网调度自动化系统中网络流量的异常检测至关重要。本文提出了一种基于滑动时窗的小波变换网络流量异常检测算法。该算法通过对网络流量数据进行Haar小波变换,获得细节信号,利用正态分布的法则判断是否存在异常。通过将算法实际应用于贵州电网调度自动化运行管控系统,针对系统中所监控的正向隔离装置网络流量数据进行实时分析,证实了算法的正确性和可行性。     

探析配电网运行方式优化方法

通过运行方式的最优化分析技术为配电网的优化运行提供良好的方式基础,为电网管理、运行和建设部门提供详实、有力的决策支持手段。本文提出了基于配电网络拓扑的改进方法,提高了算法的收敛速度和收敛性。通过拓扑收缩等遗传算法的改进,优化算法的收敛性和收敛速度也有所提高。     

基于孤立森林和标准差检测法的风电功率异常数据清洗

在风电功率预测中，风速到风电功率的转换是关键步骤，风功率曲线建模和机器学习等技术都需要高质量的风电功率数据，而风电机组实际运行过程中由于多种因素会导致风功率曲线中出现大量的异常数据.首先分析了河南省洛阳市虎头山风电场风电机组历史运行异常数据分布特征，提出了结合孤立森林（iForest）算法与标准差（σ）检测法的技术对异常数据进行识别，并对比了iForest-σ和σ-iForest两种次序组合方式在异常数据识别过程中的异常数据清洗时间、删除率、准确率.结果表明，iForest-σ和σ-iForest方法都能够有效识别异常数据，iForest-σ方法相对数据删除率低且精度高.上述方法清洗效果好，效率高且不依赖于正常数据进行非监督训练，同时适用于其他研究场景的异常数据清洗工作，具有较强的通用性.     

线性模型系数的有界影响辨识

基于采样数据的新息增量过程,创造性地提出了回归系数的有界影响辨识算法．该算法具有简洁的递推关系和良好的容错能力．理论分析和仿真计算证实,该算法能有效地克服异常数据的不利影响,提高统计推断的可靠性．     

网络入侵异常检测中数据预处理的研究

在网络入侵异常检测中,数据预处理是一个非常重要的步骤,数据预处理的好坏直接影响后续检测的准确性．本文针对基于层次聚类的网络入侵异常检测中两个问题,在数据预处理阶段做出改进,一是属性冗余和属性权重问题,运用粗集理论对各个属性赋予权重并进行属性约减,二是粗集理论中连续数据离散化问题,提出了针对数据特点的自适应离散化算法,该算法是根据样本属性值分布来决定离散间隔,最后针对两个改进方法进行了实验,并与采用现有离散化方法进行了对比,实验结果证明了该算法的有效性和准确性．     

基于数据挖掘的网络状态异常检测

针对目前网络状态异常行为检测正确率低的问题,提出一种基于数据挖掘的网络状态异常检测模型.首先提取网络状态信号,通过小波变换对信号进行预处理,并提取网络状态异常检测的特征;然后通过回声状态网络对网络状态异常检测进行建模,并通过遗传算法对回声状态网络的参数进行优化;最后采用网络状态异常数据集对模型的有效性进行测试.测试结果表明,数据挖掘技术可以准确检测各种网络状态异常行为.     

基于HTM网络的多源海洋实时观测数据异常检测

在时下海洋观测系统中,往往通过分布于不同地理位置的智能传感器来获取实时观测数据。然而由于通信环境不稳定、观测仪器故障、数据采集或传输软件运行异常等原因,观测数据的完整性、可靠性和时效性往往得不到保障。本文基于层级实时记忆(Hierarchical Temporal Memory,HTM)网络设计多源数据异常检测算法,对不同测点海洋实时观测数据流进行质量监控。首先考虑海洋观测系统中存在的数据缺测、网络丢包现象,对观测数据进行预处理;接着基于HTM网络,生成观测数据的稀疏离散表征,动态更新神经元活跃和预测状态,并根据赫布法则奖励或惩罚突触连通值,模拟时序数据的空间和时间关系,从而学习和识别数据内部特征,实现单源海洋实时数据流的异常检测;最后在此基础上,利用不同测点间观测数据的距离相关性,对多源海洋实时数据流进行质量监控,降低异常数据漏报率。实验结果表明,本文提出的算法能有效检测出海洋实时观测数据异常点,且识别速度快于数据采集速度,能保证异常检测过程的准确性和实时性,符合实际应用需求。     

网络切片中物理节点的分布式在线异常检测方法

网络切片中的异常检测问题是实现网络切片自动化管理的重要研究内容,针对网络切片中物理节点的异常检测问题,提出了基于支持向量数据描述的分布式在线物理节点异常检测方法.基于支持向量数据描述建立了一种分布式的物理节点异常检测模型;通过引入随机近似函数,解决了数据分布式存储场景下的核函数计算问题,从而实现观测数据的切片内处理;基于随机梯度下降法,提出了一种在线的物理节点异常检测算法,保证了模型动态更新并减轻了异常数据导致的模型性能下降.在不同条件下进行了仿真分析,仿真结果表明,该方法可在避免切片间观测数据传输的同时,有效利用网络切片中虚拟网络功能的无标签观测信息检测物理节点异常.     

基于模糊数据挖掘技术的入侵检测算法与应用

基于数据挖掘技术的入侵检测技术是近年来研究的热点,目前有不少入侵检测系统中都采用了关联分析的数据挖掘方法,现有的关联分析算法只能够解决数据中分类属性的挖掘,对于数值属性则不能直接使用,然而网络流量数据中包含了许多反映入侵状况的数值属性,已有学者提出了将数值属性先进行分类而后再进行关联分析的挖掘方法,然而这种方法带来的问题是在进行异常和正常划分时存在明确的界限,即“尖锐边界问题”,由于网络安全概念自身具有一定的模糊性,因此明确的界限可能会导致误报和漏报的情况产生,从而影响检测效果,文中提出了一种基于模糊关联挖掘技术的入侵检测算法,并采用遗传算法确定划分模糊集合的隶属度函数参数,最后的实验结果说明了该算法的有效性。     

一种基于数据挖掘的Snort系统的设计与应用

为了提高入侵的检测效率,提出了一种基于数据挖掘的改进的Snort系统.该系统充分利用数据挖掘的入侵检测优点,采用改进的Apriori算法,在Snort原系统基础上增加一个数据异常检测模块,改进了Snort存在的缺点,提高了检测率.通过模拟实验验证和实际网络环境应用分析,得出该系统比原Snort系统具有更高的检测性能,能...     

基于自适应免疫分类器的入侵检测

由于采用传统的分类器进行检测时,存在检测率低而误报率高的问题.提出了一种基于免疫聚类的自适应分类器方法,采用多信息粒度的思想有效地克服了聚类算法与分类算法间的不一致性.通过在真实网络数据集上对多种入侵行为的检测结果表明:该分类器的检测率高、漏报率和误报率低,较RBF分类器和BP分类器具有更好的分类性能和推广性能.     

基于神经网络的程序异常监测

针对传统入侵检测系统的不足,研究了基于反向传播神经网络的程序异常检测方法,提出了一个改进的利用多层前馈网络的预测功能和异常区域判定方法检测系统异常的算法.详细讨论了算法的基本原理、数学基础、设计和实现方法.通过实验,分析算法的优缺点,验证了算法的可行性和有效性.     

基于数据增强的DBN-ELM入侵检测方法

随着工业4.0时代的到来,工控安全事件频发,工控信息安全问题已经备受关注。由于工控环境较为复杂,导致传统机器学习方法在分类大量工控数据时存在收敛速度慢、泛化性较差以及数据分布不均衡等问题。为了解决此类问题,本研究采用一种基于WGAN-GP数据增强并运用深度信念网络和极限学习机相结合的深度学习入侵检测方法,本方法基于一种梯度惩罚的生成对抗网络数据增强并将深度信念网络（deep belief network,DBN）自动提取特征的能力与极限学习机（extreme learning machine, ELM）快速学习的能力相结合。采用加拿大网络安全研究所公布的 CICIDS2017 数据集对所提出的算法进行测试,经过对比实验证明了该方法精度更高,收敛速度更快。为了验证所提出算法在工控环境中的适用性,本研究同时采用密西西比州立大学天然气管道数据集进行验证,证明了该算法在工业环境中具有高精度、误报率低等优点,为工业入侵检测的研究提供了一种新的研究思路。