(国网四川省电力公司电力科学研究院四川成都610000）
摘要：大数据在很多领域得到应用，而智能电网是其最重要的应用领域之一。本文在阐述了数据处理向大数据处理的过度、大数据技术的判断标准、只能电网大数据的价值和智能电网大数据的特点与面临的发展挑战等智能电网大数据内容基础上，介绍了智能电网大数据关键技术。文章最后通过实例对大数据在智能电网中的应用进行了论述。
关键词：大数据；智能电网；技术；应用
0引言
作为将原有输配电基础设施与信息、通信、计算机技术高度集成而形成的新型电网，智能电网具有提高供电可靠性、提高供电安全性、减少环境影响、提高能源效率和减少输电网电能损耗等优点[1]。智能电网通过获取更多的用户如何用电来优化电的从生产、分配到消耗的整个过程，并利用通信和信息技术以及现代网络来进行海量信息的交互，来完成各种电网设备之间信息的相互交换。同时自动完成信息从采集初始，经测量、控制、保护，最后到计量和监测等基本功能的整个过程。智能电网还具有的对电网智能调节、实时自动化控制、协同互动、在线分析决策等高级功能，所以有研究指出，智能电网就是大数据这个概念在电力行业中的应用[2]。
就电力大数据的集成管理技术而言[3]，主要由数据融合和集成技术、非关系型及关系型数据库技术、过滤技术、数据抽取和清洗技术等组成。多样性是电力大数据的一个重要特点，多样性意味着数据类型极为繁杂，同时数据的来源极其广泛。电力大数据复杂的数据环境给电力大数据的处理带来极大的挑战。因此，要想处理电力大数据，首先必须对电力大数据数据源的数据进行抽取和集成，从中提取出数据实体和数据关系，并将它们关联和聚合之后采用统一的储存结构来对这些数据进行存储。另外，为了保证电力大数据的质量和可靠性，需要在数据集成和提取过程中对数据进行清洗。
鉴于大数据在电网中出现的场合不断增多，数据环境越来越复杂，有必要对智能电网大数据处理技术进行简单总结，为大数据技术在智能电网建设中的应用提供有益的参考。
1智能电网大数据
1.1数据处理向大数据处理的过度
从发展趋势和支撑的数据扩展规模上看，传统数据处理不能有效的支持应用灵活性及随需变化的要求。大数据解决方案提供了释放应用灵活性所需要的底层平台和数据加工能力：
大数据技术十分诱人，与传统数据技术一样，大数据技术在进入企业的过程仍然需要适合企业的生长环境，需要与企业已有的生态系统的方方面面共同生存。因此，大数据之于企业而言，在考虑业务需求的同时，对于数据安全、系统高可用性和容灾能力的要求也非常重要。
1.2大数据技术的判断标准
（1）多样性：大数据不局限于结构性数据，也包括非结构性数据，比如：文字、录音、录像、视频、记录等。
（2）高速性：大数据是时间敏感的，必须快速识别和快速响应才能适应业务需求。
（3）大容量：大数据的特点就是巨大。
1.3智能电网大数据的价值
大数据技术能够为中国智能电网带来显著的财务价值，在企业内部的应用也将极大的提高电力企业的运营效率和营收能力。除此之外，由于电力能源基础设施的泛在性，其“天然联系千家万户”的能源特质，将使智能电网大数据的理念得到了全社会的广泛认可。由此带来的规模化效应，电力工业的发展，加速传统能源设施行业的快速转型之外，整个国家经济中国社会的可持续发展都将起到积极而特殊的作用、绿色发展的方法、路线和政策。
1.4智能电网大数据的特点和面临的发展挑战
智能电网大数据的数据特征可归结为如下几点:
（1）智能电网大数据来白分散放置分布管理的数据源;
（2）智能电网大数据量大、维度多、数据种类多;
（3）智能电网大数据对公司、用户和社会经济均有巨大的价值;
（4）智能电网数据之问存在着复杂关系需要挖掘，且大多数情况下有实时性要求。
智能电网大数据发展面临的挑战：
数据质量较低，数据管控能力不强。
数据共享不畅，数据集成程度不够。
防御能力不足，信息安全面临挑战。
承载能力不足，基础设施亟待完善。
相关人才短缺，专业人员供应不足。
2智能电网大数据的关键技术
电力大数据的发展需要一些关键技术的支撑：（1）大数据传输及存储技术：电力系统各个环节的运行数据及设备状态在线监测数据将会带来海量数据传输和存储问题；（2）实时数据分析及处理技术：在未来的电力系统环境中，从发电、输变电环节，到用电环节，都需要实时数据处理，借助电力大数据的分析技术可以从电力系统的海量数据中找出潜在的模态与规律，为决策人员提供决策支持；（3）大数据展现技术：包括可视化技术、空间信息流展示技术、历史流展示技术等。
作为大数据处理的核心技术，开源Hadoop平台无法直接应用于智能电网的复杂业务需求，需要结合业务实际，进行大量实用化研发和优化完善工作，实现核心技术的创新。具体的，可以从以下几个方面进行创新：
通过将SQL映射到Hadoop形成新的技术，从而提高原有存储过程型应用向云平台的迁移效率，降低实现成本。
通过输入/输出敏感代价模型进行驱动实现并行优选形成新技术，从而实现动态选择SQL在Hadoop环境下的最优并行方案。
集群资源感知的自适应分区技术：通过以集群、自适应分区的形式对资源进行感知形成的新技术，实现根据集群资源状态，自适应调配存储粒度，进一步提升应用的并发水平。
以混合多维索引为基础搭建的大数据查询新技术，来突破Hadoop只支持K-V查询的技术局限，大幅提升了大数据查询效率。
以组合储存的形式来实现读写的并行与优化的新技术，从而达到大文件读取与随机改写效率的综合调优、有效提高了存储过程复杂分析语句的运行性能的目的。
以改进的多版本机制为基础搭建的DML增强新技术，提供Hadoop环境中的DML语言支持能力，提高存储过程中Update、Insert、Delete等语句的运行效率。
以装箱模式为基础、以并行方式来完成并发计算任务的规划智能新技术，优化多任务并发状态下的计算和输入输出资源利用率，有效提升分析计算任务的综合执行效率。
以交叉Hash校验为基础搭建的对数据一致性进行保障的新技术，为准实时的多数据源之间的数据一致性保障提供技术支撑。
以并发的形式对对那些负载敏感的大数据进行按需调节的新技术，根据数据更新规模，动态调整ETL任务并发度，实现资源的集约化利用。
3大数据技术在智能电网中的应用实例----电力大数据可视化的应用
美国Space-Time是一家提供新一代地理空间和可视化解决方案的创业公司，2011年，Space-Time为美国加州独立系统运营商设计了一套可以实时监控电力传输系统能源基础设施的可视化软件Space-TimeInsight，该可视化系统通过控制室中的一个80英寸的显示屏，在地图上实时展示长达25000km的输电线路状况，工作人员一旦发现一个地区出现了问题，就可以根据该地区问题的严重性和临近地区的反应来做出决策。不仅简化了日常运营复杂度，还在尽可能降低影响的情况卜解决问题。这种大数据可视化实践对中国的电力大数据分析展示乃至整个能源相关行业都具有巨大的参考价值。
4结论
未来的智能电网将是依托大数据分析技术的全景实时电网。各种大数据技术为这种异构且多样化的电网提供了处理和分析的工具，智能电网大数据技术将会为电力设备的状态检修、电网自愈、孤立信息系统的互通提供支持，具有低成本、好的系统扩展性（存储容量无限）、高可靠性、并行分析等优势，在国际上已有几例系统投入实际运行，但在实时性、数据一致性、隐私性和安全性方面仍有不少的挑战，需要找出相应的解决方法。智能电网大数据技术还很欠缺，有待人们去探索。
参考文献
[1]张文亮，汤广福，查鲲鹏，等.先进电力电子技术在智能电网中的应用[J]．中国电机工程学报，2010，30(4)：1-7．
[2]张东霞,苗新,刘丽平,张焰,刘科研.智能电网大数据技术发展研究[J].中国电机工程学报，2015,35(1):2-12.
[3]余水清,潘黎萍(译).大数据管理：数据集成的技术、方法与最佳实践[B].北京：机械工业出版社，2014.