基于Hadoop的电力数据接入方案设计

论文摘要

Hadoop是一个由Apache基金会所开发的分布式系统基础架构,可以进行分布式程序的开发。HDFS具有高容错性,常部署在低廉的硬件上,而且它拥有高吞吐量,可以更好地访问应用程序中的数据,适合有着大数据集的应用程序。基于Hadoop电力数据接入方案,文章采用开源的工具包进行二次封装,较好地实现了电力数据的接入,在很大程度上提升了用户的使用体验,具有较高的稳定性和可靠性。

论文目录

• 0 引言
• 1 Hadoop核心架构
•   1.1 HDFS
•   1.2 MapReduce
• 2 电力数据接入方案设计
•   2.1 电力数据的产生方式
•     2.1.1 日志数据
•     2.1.2 网络数据
•     2.1.3 数据库数据
•   2.2 数据接入方案设计
•     2.2.1 数据采集
•     2.2.2 数据加载
•     2.2.3 数据补传补录
• 3 结语

文章来源

类型: 期刊论文

作者: 李超

关键词: 分布式文件系统,高吞吐量,大数据集

来源: 江苏科技信息 2019年33期

年度: 2019

分类: 工程科技Ⅱ辑,信息科技

专业: 电力工业,计算机软件及计算机应用

单位: 南京华盾电力信息安全测评有限公司

分类号: TP311.13;TM73

页码: 38-41

总页数: 4

文件大小: 1468K

下载量: 84