一种基于Spark和聚类分析的辨识电力系统不良数据新方法

随着电力系统智能化建设的不断深入和推进,电力系统数据呈现海量化、高维化的趋势。针对电力系统中的不良数据将导致电力系统状态估计结果的准确性降低,而传统聚类算法处理海量高维数据时单机计算资源不足,近年来较流行的MapReduce框架不能有效处理频繁迭代计算等问题,提出一种基于Spark的并行K-means算法辨识不良数据的新方法。以某一节点电力负荷数据为研究对象,运用基于Spark的并行K-means聚类算法提取出日负荷特征曲线,分别对输电网状态估计中的不良数据进行检测和辨识。选用EUNITE提供的真实电力负荷数据进行实验,结果表明此方法能有效提高状态估计结果的准确性,与基于MapReduce框架的方法相比,具有更好的加速比、扩展性,能更好地处理电力系统的海量数据。     

奇异值分解方法在日负荷曲线降维聚类分析中的应用

负荷曲线聚类对负荷预测、电网规划和需求侧响应等应用有重要意义,但是海量的历史负荷曲线为数据存储和计算效率带来了挑战。为此,提出一种基于奇异值分解的日负荷曲线降维聚类方法。首先利用奇异值分解将日负荷曲线数据旋转变换至新的坐标系中,求解出的奇异值反映了相应坐标轴的重要程度。然后,将负荷曲线在各坐标轴上的坐标作为降维指标,用以反映负荷曲线的主要特征,再依据奇异值下降趋势确定指标的数目。最后,以各坐标轴对应的奇异值作为指标权重,采用基于加权欧式距离的K-means算法对日负荷曲线进行聚类。算例结果表明所提方法运行时间短、鲁棒性好,可以提高负荷曲线聚类的准确性。     

基于非参数核密度估计和改进谱多流形聚类的负荷曲线分类研究

针对高维负荷曲线的聚类问题,提出一种基于改进谱多流形聚类的负荷曲线聚类方法,该方法包括典型日负荷曲线提取、负荷曲线聚类和聚类效果评价3个步骤。首先提取用户负荷特性指标,结合非参数核密度估计方法计算提取用户典型日负荷曲线。在改进谱多流形聚类算法中,引入时间翘曲距离度量曲线相似性,并用高斯核函数计算局部相似性,基于此构建相似性矩阵并聚类。聚类后采用多种聚类有效性指标,从聚类效果、算法稳定性和运算时间3个角度对聚类结果和算法性能进行评价。采用某地区若干用户的负荷数据作为算例样本进行聚类分析,验证了所提出的典型日负荷曲线提取方法和改进谱多流形聚类算法的合理性和优越性。     

基于用电信息采集系统用户负荷特性聚类分析

基于用电信息采集系统的用户负荷数据聚类分析,是获得典型负荷曲线和按负荷特性完成用户分类的重要手段。K均值聚类算法(K-means)是目前应用较多的电力负荷分类算法,但K-means算法最大问题在于无法自动获取最优聚类数目。对此,文章提出了一种基于聚类结果评价指标及分类复杂程度确定聚类数目的方法,得到的聚类数目可作为K-means的初始输入。该方法可以有效降低K-means分类算法中人工参与程度,并能获得较优的聚类结果。文章末尾通过实际算例分析验证了所提分类方法的正确性。     

基于云计算和量子粒子群算法的电力负荷曲线聚类算法研究

针对电力数据海量化、多维化的趋势,为了提高聚类算法的聚类质量,并解决传统聚类算法聚类海量高维数据时单机计算资源不足的瓶颈,提出了一种基于云计算的电力负荷曲线聚类的并行量子粒子群优化模糊C均值聚类算法。将量子粒子群群体智能算法引入到传统模糊C均值聚类算法中,利用QPSO较强的全局搜索能力,克服FCM算法易陷入局部最优以及其对初始聚类中心过于敏感的缺陷。最后,采用云计算的MapReduce编程框架以及HBase分布式数据库对算法进行并行化改进。经实验验证与FCM算法和AFCM算法相比聚类正确率提高了10%左右,且并行性能较好。     

基于DBSCAN和改进K-means聚类算法的电力负荷聚类研究

对于当前大规模和高维度的用户数据,原始聚类算法有其局限性。提出一种改进的K-means算法与数据降噪处理相结合的方法。首先,DBSCAN(基于密度的空间聚类算法)用于数据去噪,克服了原始K-means聚类算法聚类结果容易受到数据集中噪声点的影响。然后利用轮廓系数和误差平方和确定最优的聚类数。最后,将K-means++聚类算法和确定的最优聚类数用于聚类处理用户负荷曲线。这使得聚类算法避免陷入局部最优,通过数据集测试,表明该方法获得的聚类效果优于原始的K-means算法。     

基于多维缩放的日负荷曲线聚类分析

负荷曲线聚类在负荷预测,需求侧响应等方面有重要应用。目前负荷数据日趋海量化和多维化,需要对其进行降维处理,但现有的降维会对曲线信息造成一定程度的损失,为此提出了一种基于多维缩放(Multi-Dimensional Scaling,MDS)降维的日负荷曲线聚类方法。首先使用MDS算法对采集到的负荷数据进行降维处理,然后采用CRITIC—熵权法作为降维指标的权重配置方法,最后通过计及权重的修正轮廓系数选择最优类簇数,以加权欧式距离的K-means算法进行聚类。通过算例表明该方法能最大程度保留原始曲线信息,在聚类准确度和运行时间两方面均有优势。     

基于卷积变分自编码器的日负荷曲线聚类研究

用户日用电数据可以反映用户的用电行为特征，聚类任务能够从大量运行数据中提取典型用户日负荷曲线为电力系统的规划与调度等任务提供依据。针对传统聚类方法在数据量庞大、数据维度较高的日负荷数据场景中具有效率低下、提取潜在表征困难等问题，提出基于卷积变分自编码器(variational autoencoders,VAE)的聚类方法对负荷曲线进行聚类。该方法首先通过卷积变分自编码器降维提取日负荷数据的潜在特征，并配合K-means进行负荷聚类任务，最后基于各负荷曲线与聚类中心的距离通过加权修正每一类聚类中心以得到更具代表性的典型日负荷曲线。利用UCI数据集中的葡萄牙用户实际采集数据进行算例验证，结果显示该方法的戴维森堡丁指数(Davies-Bouldin Index, DBI)相较于传统聚类方法 K-means、PCA+K-means等下降明显，说明类内更加紧密，类间更加远离，提高了聚类质量。然后利用高斯距离加权改进了聚类中心，提取到更加典型日负荷曲线，使得分析用户用电行为特征更为精确。验证了卷积变分自编码器聚类方法在日负荷曲线中的有效性。     

采用自适应分段聚合近似的典型负荷曲线形态聚类算法

对海量负荷数据进行降维聚类处理是提取负荷关键信息,深度挖掘其内在规律的前提。根据负荷曲线的形态特征,文中提出了一种基于可变时间分辨率自适应分段聚合近似方法的曲线形态聚类算法。首先,根据负荷爬坡事件及基于斜率提取的边缘点来衡量负荷曲线的形态特征及其变化趋势,采用自适应分段聚合近似算法对用户日负荷数据集进行可变时间分辨率重构,进一步采用一种基于负荷曲线形态聚类的k-shape算法进行聚类处理,该聚类算法以一种基于曲线形态相似性的距离量度方式作为相似性判据,并依据斯坦纳树优化方法进行聚类中心计算。利用模拟数据、实测数据算例分析验证了所提算法在数据降维、负荷聚类中的实用性和有效性。     

基于日负荷指标及改进分布式K-means聚类的用户用电规律研究

负荷聚类不仅能为精细化负荷预测提供高质量数据,还能结合用电规律进行用户行为分析;为应对海量负荷数据挑战,提出一种基于日负荷指标的降维及分布式K-means聚类算法。通过建立日负荷指标,将原始高维负荷数据转化为低维负荷指标;基于负荷指标,利用熵权法改进的分布式K-means算法进行聚类,挖掘出隐藏的典型负荷类型;结合算例,根据得到的典型负荷类型进行用电规律分析,与实际用户类型匹配,实现四类典型用电规律的归纳。     

Spark-based Parallel OS-ELM Algorithm Application for Short-term Load Forecasting for Massive User Data

Abstract

The data type and quantity of user load data show an exponential growth, so that the traditional load forecasting methods can hardly meet the load forecasting requirements of massive users. Aiming at this problem, a parallel OS-ELM short-term load forecasting model based on Spark is proposed in this article. By analyzing the characteristics of the Spark framework and the MapReduce framework, the Spark big data processing framework is determined as the basic framework for processing massive user load data, and a parallel K-means load clustering model based on Spark is designed. The on-line sequential learning machine OS-ELM makes the hidden layer data of computing each incremental training dataset mutually independent, therefore, a Spark-based parallel OS-ELM (SBPOS-ELM) algorithm is put forward. The proposed model is applied under the smart electricity big data environment and the training samples are selected using the incremental training dataset to make a short-term prediction of the millions of users’ smart meter electricity load, which verifies the feasibility and effectiveness of the proposed model. At last, comparing with other commonly used short-term load forecasting algorithms, the experimental results show that SBPOS-ELM algorithm has higher accuracy and operation efficiency.     

基于粒计算和双尺度相似性的负荷曲线集成聚类算法

电力负荷曲线聚类通常依靠负荷形态差异和负荷数值差异对负荷曲线进行分类.提出了一种基于粒计算和双尺度相似性的集成聚类算法,采用以欧氏距离和皮尔森相关系数作为相似性度量的K-means算法生成基聚类,再通过粒度距离度量基聚类间的相似性,从而选择部分基聚类参与集成,最后生成相似度矩阵并采用层次聚类获得最终聚类结果.算例结果表...     

基于均衡KNN算法的电力负荷短期并行预测

为提高电力负荷预测精度,应对海量、高维数据带来的单机计算资源不足的问题,提出一种基于均衡KNN算法的短期电力负荷并行预测方法。针对电力负荷数据特征,采用K均值聚类算法进行电力负荷场景划分;为提高场景划分精度,采用反熵权法量化负荷特征的权重系数;针对不均衡的负荷场景,提出均衡KNN算法对待预测负荷进行精确的场景归类;采用BP神经网络算法对海量历史数据进行负荷预测模型的分场景训练与预测;采用ApacheSpark架构对提出的模型进行并行化编程,提高其处理海量、高维数据的能力。选取某小区居民用电数据进行算例分析,在30节点云计算集群上进行测试验证,结果表明基于该模型的负荷预测精度与执行时间均优于传统预测算法,且提出的算法具有优异的并行性能。     

基于剪枝策略和密度峰值聚类的行业典型负荷曲线辨识

辨识不同行业的典型负荷曲线对于配售电公司的运行调度、售电决策和风险管理均有重要意义。鉴于此,提出了一种基于剪枝策略和密度峰值聚类的行业典型负荷曲线辨识方法。首先,提出了衡量负荷曲线位移变化后相似性程度的快速动态时间扭曲(FDTW)距离指标,进而提出了一种搜索FDTW距离的剪枝策略,以实现对负荷曲线间形态差异的精准高效量度。接着,提出了基于加权密度峰值快速搜索聚类算法的行业负荷用电类型划分方法以及用户行业信息错误识别方法。然后,以最小化负荷曲线簇内FDTW距离为目标,提出了基于重心平均算法的行业典型负荷曲线辨识方法。最后,以浙江省某市工商业用户为例进行验证分析,算例结果表明所提方法可以准确量度负荷曲线形态相似性,快速划分行业用电类型并有效辨识具有共同形态特征的典型负荷曲线。     

基于欧氏动态时间弯曲距离与熵权法的负荷曲线聚类方法

为了改善目前负荷建模中聚类方法相似度衡量不准确及聚类结果质量较差的问题,综合运用k-means及熵权法原理,提出一种基于欧氏距离与动态时间弯曲距离的日负荷曲线聚类方法。首先,采用欧氏距离与动态时间弯曲距离分别衡量日负荷曲线的整体分布特性、局部动态特性与整体动态特性。然后,引入熵权法自适应配置3种特性的权重系数。最后,采用k-means聚类算法,以所提相似度衡量方法为依据,对用电日负荷曲线进行聚类。算例对某省区电网典型用户的日负荷曲线展开聚类分析,结果表明所提方法相似度衡量指标合理,且在聚类质量、鲁棒性等方面具有一定的优越性,可以真实反映该地区的用户用电特性,满足在线负荷建模的应用需求。     

跨平台的海量波形数据并行绘制算法

针对当前第三方电力暂态数据分析软件在绘制海量波形数据时出现的效率低下、反应缓慢情况,结合多核并行计算技术,提出了一种可跨平台的海量COMTRADE波形数据并行绘制算法及其技术。该算法在分析传统串行绘制系统内部关系的基础上,提出了基于并行绘制的新型关系:将原有单一图层分为波形图层和用户控制图层,其中以并行方式绘制波形图层,而后通过融合图层方式完成最终绘制。通过试验分析Windows和UNIX下的各种图形绘制技术,找到了最适合海量波形数据并行绘制的跨平台技术组合:“QImage+QPainter”技术模式。结合跨平台的线程库Pthreads,详细论述了并行绘制算法的每个步骤,给出了让通道绘制线程能负载平衡运行的绘制工作量均分公式,同时给出了通道绘制线程和图层融合详细算法的伪码。试验证明所提出的并行绘制算法可获得较大加速比,并可随着绘制工作量的加大和CPU核的增多,获得线性加速比。     

大规模复杂配电网三相不平衡潮流并行计算方法

以牛顿拉夫逊法为基础,建立了复杂配电网中的三相配电线路、负荷、变压器和调压器等的数学模型,提出了复杂配电网三相不平衡潮流的并行计算方法,以提高大规模复杂配电网潮流计算的性能。考虑配电网的馈线数和节点数,设计了同构模式下多核(2、4)处理器的任务分配,对比负载均衡、并行加速比。通过IEEE 123节点标准馈线、某电网1000节点馈线及IEEE 123、37、34和13标准馈线拆装重组而成的数十条馈线等的仿真,对所提并行潮流计算方法的计算速度、收敛性和加速比进行测试和比较分析。仿真结果表明,所提并行计算算法能充分利用计算机的多核资源、显著提高了计算效率。