基于Spark Streaming的电力流式大数据分析架构及应用

论文摘要

近年来,为了应对许多业务需求的实时性要求,大数据流计算得到了研究。文章通过使用Apache Hadoop、Spark Streaming、Kafka和NoSQL Cassandra等开源资源,提出了一种用于电力流式大数据分析的通用架构。通过高吞吐量发布-订阅消息传递、实时计算和分布式存储系统的结合有效地解决并发访问数据流的收集、存储、实时分析等问题,从而实现电力行业流数据的实时分析。最后构建用电数据实时异常检测系统验证了其性能。

论文目录

• 0 引言
• 1 电力流式大数据分析
•   1.1 流数据分析应用
•   1.2 流数据处理系统
•   1.3 电力流式大数据分析的重要性
• 2 电力行业中的流计算
•   2.1 流计算的关键技术
•     2.1.1 基于Kafka数据流传输
•     2.1.2 基于Spark Streaming的数据流传输
•   2.2 电力流式大数据分析通用架构
• 3 流式大数据架构在电力系统中的应用
•   3.1 构建用电数据实时异常检测系统
•   3.2 实验结果
•   3.3 实验总结
• 4 结语

文章来源

类型: 期刊论文

作者: 田璐,齐林海,李青,王红,田世明,卜凡鹏

关键词: 电力流式大数据,电力数据分析,异常检测

来源: 电力信息与通信技术 2019年02期

年度: 2019

分类: 工程科技Ⅱ辑,信息科技

专业: 电力工业,计算机软件及计算机应用

单位: 华北电力大学控制与计算机工程学院,中国电力科学研究院有限公司

分类号: TM73;TP311.13

DOI: 10.16543/j.2095-641x.electric.power.ict.2019.02.004

页码: 23-29

总页数: 7

文件大小: 2060K

下载量: 261