(鄂尔多斯电业局杭锦供电分局内蒙古鄂尔多斯017400)
摘要:电力系统的安全稳定运行和高效集约经营需要海量数据支撑。随着智能电网信息化和数字化的推进,发电、输电、变电、配电、用电、调电和经营管理过程中产生并积累体量巨大、类型丰富、结构复杂、来源多样的数据。数据的采集、传输、存储和分析处理耗费巨大。如何有效组织利用智能电网大数据,最大化提取数据价值,变数据负担为数据财富,对建设坚强智能电网具有重要意义。
关键词:大数据;处理技术;现状;挑战
一、智能电网的大数据问题概述
在电网系统运行的过程中,主要会产生三种数据,即设备监测数据、电网运营数据和电网管理数据。随着电网的智能化发展,目前的电网数据类型繁多,可以分成是实时数据、文本数据和时间序列数据。从数据结构上,也可以划分成结构化数据、半结构化数据和非结构化数据。而每一种数据的结构不同,所以查询与处理的频度和性能要求也不相同。在进行电网数据的处理时,则要从大量数据中获取少量有用数据,继而需要采用相应的大数据处理技术。
二、智能电网大数据特征
2.1规模性
智能电表按分钟频率采集用户用电数据,如以1分钟采集一次计算,每月每户仅用电数据一项就生成超过43,000条数据记录。美国巴特尔西北太平洋智能电网示范工程为跨越五个州,拥有60,000用户的小型智能电网工程,运行两年后仅智能电表数据量就预计达到数TB。假设区域布置了10,000台PMU装置,一秒进行三十次测量,一条记录数据为256Bytes,则该区域PMU数据流量己达77MB/s。随着监测设备的广泛布局与监测系统的扩大,数据规模将飞速增长。智能电网大数据之“大”首先体现为数据体数据量大,规模性是大数据价值的一大立足点。
2.2多样性
智能电网大数据涵盖不同时期、不同系统、不同区域、不同设备、不同格式、不同类型的异构数据,包括了结构化、半结构化和非结构化等不同内部结构的数据,数据种类繁杂、差别巨大,比如监控视频、故障录波、电话录音等就为类型迥异的数据。又以电力系统仿真软件格式为例,目前业界使用较广的有BPA,EMTP,PSCAD,PSS/E和PSASP等,但不同软件在数据类型上差别较大,表现为异构性。智能电网数据的多样性还表现为数据断面不同,处理时间要求差异也很大。结构、格式和速率等方面的巨大差异,导致智能电网大数据多样性特征十分明显。大数据的大价值更在乎“全”,多源数据提供了交叉验证,数据价值蕴于混杂性之中。智能电网大数据的多样性是其价值的主要依据。
2.3高速性
数据处理遵循“1秒定律”,体现为要在秒级时间内得出数据分析结果,超出时间限制,数据就失去价值。对高速性的要求己经扩展到数据从产生、传输、存储、处理到应用的每一个环节。由于电力供需平衡是一个实时响应的过程,暂态时间内可能发生系统失稳,如继保、控制指令、PMU等部分智能电网数据从生成、采集、传输到处理,需要在毫秒级时间内实时在线完成,为电网运行提供决策支持,这对采集速率、传输通道和处理速度等均提出极高要求。
三、智能电网大数据处理技术现状
3.1并行数据库
智能电网系统的并行数据库的存在,主要是用来存储系统的结构化数据,并且可以帮助系统迅速完成对数据查询和分析。相较于关系型数据库,并行数据库可以严格按照规则进行系统事务的处理,并为多用户访问下的数据安全提供保障。因此,在智能电网建设不断加快的情况下,由于系统数据已经超出了关系型数据库的管理范畴,所以具有强大数据分析能力和数据独立性优点的并行数据库得到了广泛的应用。
3.2云计算技术
大数据技术的出现,与云计算平台的出现有着直接的联系。从本质上来讲,云计算技术是进行海量数据存储和并行处理的技术。在智能电网系统中,由于含有大量的电力设备状态监测数据,所以需要利用云计算技术进行这些数据的存储与处理。在进行该技术的利用时,不仅可以进行系统大量数据处理的可靠性和安全性的确保,还能够完成数据的实时处理,继而满足电力企业的管理需求。就目前来看,由于云计算技术可以满足智能电网系统的可靠性和可扩展性的需求,所以有着较好的应用前景。
四、智能电网大数据处理技术面临的挑战
4.1数据传输与存储问题
智能电网的建设,使得电力系统中的各类数据得以记录下来。而系统数据量的逐渐增多,则给电网系统存储系统造成了一定的负担,继而将对电网的正常运行造成一定的影响。在智能电网的大数据存储方面,如果采用分布式文件保存方式,则可以进行大量数据的处理。但是,由于电力系统在数据处理方面尚且具有一定的局限性,所以需要对系统大数据进行分类存储。而为了达成这一目的,则不得不将系统的非结构化数据转变成结构化数据,继而使大数据处理技术面临着一定的挑战。
4.2数据处理的时效性问题
在进行电力系统的大数据处理时,需要保证系统具有一定的数据处理速度。正常的情况下,系统在进行较大规模的数据处理时,往往需要花费较长的时间。而这是因为,传统的系统数据存储方案是按照一定大小的数据量而设计的。所以,在一定的数据范围内,系统的数据处理速度相对较快。但是,一旦进行大数据的处理,系统的数据处理速度则无法满足系统运行要求。但是,在智能电网系统中,需要进行大量实时数据的处理,所以数据处理的时效性问题十分值得关注。
4.3异构多数据源的处理问题
随着智能电网系统的发展,发电、输电、变电和配电等多个环节需要得到贯通,以便使电力系统全面采集数据和高效处理数据的发展目标得以实现。而想要达成这一目的,首先需要进行大规模多源异构信息的整合,并进行资源集约化配置数据中心的提供,以便实现电力系统信息流的高度一体化。而在海量异构数据的整合方面,怎样进行数据融合模型的构建,则成为了大数据处理技术需要面临的挑战。
4.4数据可视化分析问题
将海量的电网运行数据分析处理,并在屏幕中展示出来,成为了大数据处理技术需要面对的挑战。就目前来看,可视化分析技术可以应用在大数据的分析上,也可以实现对数据的可视化处理。因为,该技术进行了高分辨率图像处理技术和高度集成技术等多种技术的运用,可以为用户提供明朗的数据处理结果。但是,可视化分析技术目前在扩展性、数据提取和图像合成方面尚且存在着一定的问题。所以,数据可视化分析的问题,目前仍然是大数据处理技术急需解决的问题。
结语
总而言之,在智能电网系统得到广泛应用的情况下,大数据处理技术已然成为了确保电网安全运行的重要手段。在大数据存储、处理方面,云计算平台能够保证智能电网数据得到及时的处理,继而确保系统的稳定运行。但是,随着系统智能化程度的逐渐加深,大数据处理技术的实时性、隐私性和一致性等内容受到了考量。因此,相关人员应该对大数据处理技术进行更加深入的研究,以便为智能电网系统的运行提供更多的保障。
参考文献
[1]宋亚奇,周国亮,朱永利.智能电网大数据处理技术现状与挑战[J].电网技术,2013.
[2]李杨.智能电网大数据处理技术应用现状及困境探讨[J].硅谷,2014.
作者简介:
王伟(1967.7—),男,内蒙古鄂尔多斯人,同济大学研究生,单位:鄂尔多斯电业局杭锦供电分局。