Spark大数据处理平台的构建及应用

Spark大数据处理平台的构建及应用

论文摘要

在大数据时代,Spark的应用能够为大规模数据分析处理提供可靠性保障。基于此,本文对Spark展开了分析,从平台架构、功能模块组成等方面提出了Spark大数据处理平台的构建方案,并从数据采集和资源调度两方面探讨了平台的应用方法,为关注这一话题的人们提供参考。

论文目录

  • 1 Spark概述
  • 2 Spark大数据处理平台的构建
  •   2.1 平台架构分析
  •   2.2 平台功能模块
  •   2.3 平台数据库分析
  • 3 Spark大数据处理平台的应用
  •   3.1 数据采集管理
  •   3.2 资源调度管理
  • 4 结论
  • 文章来源

    类型: 期刊论文

    作者: 王玉

    关键词: 大数据处理平台,资源调度

    来源: 大众标准化 2019年18期

    年度: 2019

    分类: 工程科技Ⅱ辑,信息科技

    专业: 计算机软件及计算机应用

    单位: 河源职业技术学院

    分类号: TP311.13

    页码: 28-29

    总页数: 2

    文件大小: 1584K

    下载量: 56

    相关论文文献

    • [1].动态数据处理平台分布式缓存替换算法仿真[J]. 计算机仿真 2020(02)
    • [2].云计算的智能电网大数据处理平台[J]. 粘接 2019(11)
    • [3].基于大数据的综合数据处理平台方案设计研究[J]. 数字技术与应用 2017(01)
    • [4].基于分布式的多活数据处理平台探索[J]. 金融电子化 2016(12)
    • [5].基于R语言的大数据处理平台的设计与实现[J]. 现代电子技术 2017(02)
    • [6].数据处理平台高可靠性的设计与实现[J]. 中国金融电脑 2010(11)
    • [7].面向煤炭开采的大数据处理平台构建关键技术[J]. 煤炭学报 2019(S1)
    • [8].大数据处理平台比较研究[J]. 软件导刊 2017(04)
    • [9].基于陆态网络数据处理平台的精密单点定位分析[J]. 煤炭技术 2016(03)
    • [10].民航空管大数据处理平台架构研究[J]. 计算机应用与软件 2020(06)
    • [11].新一代直升机综合数据处理平台设计及应用[J]. 电讯技术 2019(10)
    • [12].基于云计算实验数据处理平台的研究[J]. 网络安全技术与应用 2014(12)
    • [13].公安大数据处理平台的探索[J]. 广东公安科技 2014(03)
    • [14].多任务高并发数据处理平台的技术研究[J]. 网络安全技术与应用 2010(03)
    • [15].机务大数据处理平台的设计与研究[J]. 航空计算技术 2020(04)
    • [16].探究智能交通大数据处理平台之构建[J]. 黑龙江交通科技 2018(10)
    • [17].基于云计算的后勤保障资源数据处理平台研究与设计[J]. 电子世界 2016(20)
    • [18].分布式海量数据处理平台设计与实现[J]. 中小企业管理与科技(中旬刊) 2016(12)
    • [19].智能交通大数据处理平台的构建[J]. 四川水泥 2017(06)
    • [20].无人机巡检图像数据处理平台的设计与开发[J]. 中国管理信息化 2017(12)
    • [21].高校档案物联网大数据处理平台的构建方案研究[J]. 档案与建设 2016(02)
    • [22].便携式重金属分析仪数据处理平台的设计[J]. 计算机与应用化学 2016(03)
    • [23].电力大数据处理平台及应用[J]. 电子技术与软件工程 2016(15)
    • [24].MODIS数据处理平台在旱情监测中的应用研究[J]. 水利信息化 2010(02)
    • [25].大数据处理平台性能优化研究[J]. 信息与电脑(理论版) 2019(15)
    • [26].一种弹体惯性姿态测量数据处理平台[J]. 兵工自动化 2015(05)
    • [27].基于交通行业的大数据处理平台应用[J]. 铁路通信信号工程技术 2016(02)
    • [28].省级防雷业务数据处理平台的开发[J]. 科技信息 2009(30)
    • [29].虚拟数据及虚拟数据的集成解决方案[J]. 软件导刊 2008(08)
    • [30].海量网络数据处理平台安全问题研究[J]. 电脑知识与技术 2017(05)

    标签:;  ;  

    Spark大数据处理平台的构建及应用
    下载Doc文档

    猜你喜欢