基于大数据跨平台的分布式实时数据采集技术实现

论文摘要

大数据已经成为国家战略,在各行各业得到了愈发广泛的应用,电网企业也呈现出其独有的大数据场景特征。电网企业的数据具有业务域多、数据量巨大、实时性要求高等特点,建立统一有效的大数据采集中心有利于电网企业大数据的管理,符合电网企业新的发展战略。电网企业终端传感器采集的数据有用户行为的文本数据、终端图片等图片数据、其他平台的海量镜像数据。随着终端的用户量和数据量与日俱增,数据中心必须能通过添加更多服务节点来扩展性能和负载能力,以保证高可扩展性和高可用性,从而满足电网企业业务发展的需要。

论文目录

• 0 引言
• 1 电网业务的数据采集需求
• 2 大数据分布式数据采集核心技术
•   2.1 数据采集技术
•   2.2 数据清理技术
•   2.3 数据溯源技术
•   2.4 数据同步技术
• 3 电网业务大数据平台分布式数据采集实施策略
•   3.1 数据采集
•   3.2 数据清理
•   3.3 数据溯源
•   3.4 数据同步
•     3.4.1 通信程序同步
•     3.4.2 数据库复制技术
•     3.4.3 ETL技术
•     3.4.4 事务处理
•     3.4.5 XML技术
• 4 结语

文章来源

类型: 期刊论文

作者: 池燕清,徐炫东,廖嘉炜

关键词: 大数据,云平台,数据采集,非结构数据

来源: 信息与电脑(理论版) 2019年24期

年度: 2019

分类: 信息科技

专业: 计算机软件及计算机应用,自动化技术

单位: 广州供电局有限公司

分类号: TP311.13;TP274.2

页码: 119-120+124

总页数: 3

文件大小: 1731K

下载量: 273