大数据3.0——后Hadoop时代大数据的核心技术

论文摘要

【目的】以Hadoop为代表的第一代大数据技术架构存在过于复杂、性能不足,以及与云计算不能很好结合等问题,因此星环科技重新设计了大数据技术栈。【方法】设计了资源调度层来管理各种生命周期的服务和任务;抽象出了统一存储管理层,通过插拔不同的存储引擎来实现对不同类型数据的需求;通过统一的基于DAG的计算引擎来支持多种计算负载;在开发层提供标准的SQL和Python接口。【结果】使用Kubernetes技术统一管理数据服务和容器技术实现更好的多租户能力,打通大数据和业务之间的衔接,从而更好的实现数据业务化和业务数据化,也在大规模商用中得到了验证。【结论】通过对大数据架构的重新设计,不仅有效的解决了第一代大数据实现的技术问题,而且更好的与云计算和新型硬件技术结合,可以代表新一代大数据基础技术栈的发展方向。

论文目录

• 引言
• 1 大数据技术发展回顾与技术挑战
•   1.1 历史回顾
•   1.2 新的技术挑战
• 2 新一代大数据技术的设计与实现
•   2.1 设计目标
•   2.2 总体架构
•   2.3 开发接口层
•   2.4 计算引擎层
•     2.4.1 计算框架
•     2.4.2 实时计算
•     2.4.3 流批统一的架构设计
•   2.5 分布式块存储管理层
•   2.6 资源调度层
•   2.7 大数据开发与业务层
• 3 结论与展望
• 利益冲突声明

文章来源

类型: 期刊论文

作者: 刘汪根,孙元浩

关键词: 大数据,云计算,实时计算,多租户,统一存储管理

来源: 数据与计算发展前沿 2019年05期

年度: 2019

分类: 信息科技

专业: 计算机软件及计算机应用

单位: 星环信息科技(上海)有限公司

分类号: TP311.13

页码: 94-104

总页数: 11

文件大小: 1314K

下载量: 37