（杭州凯达电力建设有限公司浙江省杭州市311100）
摘要：大数据技术应用于电力行业中，既带来技术的革新，又面临新的挑战。大数据是互联网时代的新词汇，与互联网技术密切相关。具体是指数据规模特别巨大的信息资料。大数据技术的诸多特点能够为电力行业提供海量的信息；实时更新的数据库；以及向不同专业方向延伸的信息。这些数据对电力行业的发展有巨大价值，有助于全面而且更有深度地反映和分析对象。该技术正在深刻地变革着电力企业的生产和营销模式，能够提高我国电力企业的竞争力，促进电力企业稳步发展。
关键词：大数据；电力大数据；Hadoop数据挖掘；分布式机器学习
大数据的以上优势决定了大数据应用于其他行业中能够发挥巨大作用，甚至能够变革该行业的生产模式。在国务院印发的《指导意见》中已经明确说明了大数据技术的巨大作用和变革性力量，并且声明应该在产业结构升级的过程中使用大数据技术作为基础性技术。电力产业作为我国最主要的二次能源，对于国家整体经济发展以及产业结构的升级都具有重要作用。为了实现整体的资源优化配置，实现可持续发展，实现节能减排目标，需要对当前的能源产业进行一定的变革。
一、电力大数据的概念
随着经济的发展，全球各行各业的能耗也在逐渐提升，能源问题已变得越来越重要。世界各国为了解决这一问题，相继开展了智能电网的研究工作[1]。该工作的进行是为了实现对电力系统整个生产过程的智能调配，包括其中发电、输电等具体环节，通过智能电网的建立，对这些环节实行全景实时监控，并在监控的基础上具体调节其能耗和工作流程，达到节能减排的目标。该技术的核心环节是对整体运作数据的采集、传输和存储。要落实这些步骤，需要借助计算机技术，还需要对日益累积的海量多源数据进行快速分析。这些工作要求电网具备强大的存储和运算功能。而且在具体的使用过程中，随着电网建设和广泛使用，其监测和储存的数据信息量成指数级增长，已经拥有了庞大的、及时更新的这些数据库。也就是目前学界所关注的大数据。
图一“大数据”技术整体结构
二、电力大数据的关键技术
（一）数据挖掘
根据大数据的以上特征，电力大数据能够针对结构复杂的数据做出有效的处理。也能够在处理海量数据的过程中显示出其优越性。也就是说电力大数据的突出能力体现在对数据的分析和挖掘方面。包括对结构化数据以及另外一种非结构化数据的处理。但由于目前技术能力不足以及业内的相互合作还不够充分，使得电力大数据的整体框架仍未搭建好，因此，该技术目前主要基于小数据集进行计算，不能充分发挥该技术的优越性[2]。即使这样，小数据集仍然能够在很大程度上弥补传统数据处理方式的缺陷。应用于具体实践中，在对海量数据做挖掘计算的过程中，其整体计算时间已经能够由以前的数天甚至几个月变为更短的时间，这样能够大大节约用于数据处理的时间能够提高整体工作效率。
（二）实时计算
在电力行业中往往需要随时更新设备运行参数以及客户的实时需求等信息。同时，这类信息只有在其刚刚产生的时候才具有最大价值。因此，也就需要进行大量的实时计算。电力大数据能够有效满足这一需求，最大限度发挥这些数据的价值。
目前在电力企业中已经建立起较为成熟的实时计算框架，该框架基于传统的数据量能够进行大量运算。并且能够实现对实时数据的运算。能够在刚刚采集到电力设备各项参数指标数据之后就立刻对这些数据进行快速运算。这些模板由相关电力专家根据日常经验以及长年累积的相关规则来制定的，能够有效简化计算流程、提升计算速度。最终的计算结果将被保存至数据库，这些计算后得出的新的规则和数据模型，能够再次纳入这一计算流程本身。即改系统能够在实践中不断进行自我完善，能够始终保持各方面处于最佳性能。但是该计算模式受到单节点计算这一特点的限制，使其计算能力无法得到进一步提升，缺乏分布式计算的概念。因此，在目前电力企业迅速发展以及数据数量迅速增多的情况下，无法适应当前的市场情况。电力行业在应对这一情况时急需更新营销方式，采用分布式计算的方式来提升整体计算能力和存储能力。
三、主流的大数据技术
（一）apachehadoop
hadoop是一个基本的软件框架，能够方便用户对大量数据进行分布式处理。该软件框架具有伸缩性强、可靠性高、容错性高、可扩展性高等一系列优势。这些特点使该软件框架具有良好的适应性。在具体应用中，用户可以根据企业需求以将该软件框架应用于企业内部的计算流程中。用户可以该软件框架为基础来进行其他应用程序的开发和使用。
该图体现了大数据应用于电力体系的营销系统。能够完成全程式数据跟进，能够利用分布式数据框架有效处理数据，提高工作效率。
（二）apachekafka
kafka是一款消息订阅发布系统，其基本技术以及软件结构能够实现对于队列的分布式消息传播。这一特点使该系统对于流式数据的处理有很大优势，应用于电力行业中通常是用该系统作为日志处理系统。在具体应用中可以作为小型的缓冲区插入近实时数据处理框架和实时计算框架之间。更好地发挥它速度快、可靠性高的优点。
（三）apacheMahout（机器学习）
Mahout是一个辅助性项目，能够帮助开发人员通过该项目创造出一些经典算法。这些算法能够应用于机器学习，并具有可扩展的特点。目前已经包含了多种挖掘方法，能够为开发人员提供更多帮助，其中还包括了数据输入、输出的工具。在具体应用中能够与数据库等存储系统有效连接起来，有助于最大限度利用和开发现有数据库。
电力大数据的时效性强、准确度高，这些特点使该技术已经广泛应用于其他行业。包括分析经济发展水平行业走势以及产业分布情况，并在这些方面已经取得了显著的成效。该技术目前正在变革电力行业，可见，不久的将来该技术能够改变电力产业传统的生产和营销模式，由此可见，电力大数据有很好的应用前景。
四、结束语
在电力行业中，电力大数据虽然还未开始投入广泛使用，但已经显示出强大的数据存储和计算能力。能够有效应对当前日益增长的数据信息处理量，更能够适应目前的市场。而且该技术还能够通过对海量数据的分析和计算得到各方面的关联性，这些关联性对于这一行业而言有着巨大的价值。虽然目前受技术水平限制还不能最大程度发挥该技术的优越性。但该技术已经对电力的生产、营销模式起到了变革作用。为电力行业的发展提供了新的契机，有利于电力行业顺应时代潮流利用好新的技术有更大发展，促进国民经济加速发展。
参考文献：
[1]邓传华.电力大数据的应用前景与面临的挑战研究[J].河北省科学院学报,2015(3):66-69.
[2]赵云山,刘焕焕.大数据技术在电力行业的应用研究[J].电信科学,2014(01):57-62.