基于Hadoop的煤矿数据中心架构设计

基于Hadoop的煤矿数据中心架构设计

论文摘要

根据煤矿安全生产业务需求及智慧矿山发展要求,新型的煤矿数据中心需满足对同一时空坐标体系下煤矿海量、多元数据的高效处理、缓存、计算、存储与发布。针对传统煤矿数据中心各类数据离散存储,数据集成、业务应用及数据分析难度大等问题,设计了一种基于Hadoop的煤矿数据中心架构。采用Storm实时数据流引擎进行数据实时计算,并应用MapReduce,Spark实现批处理计算和内存计算,解决高频时序数据存储与海量数据计算问题;采用Hadoop分布式文件系统(HDFS)实现文件的可靠存储,并采用HBase分布式存储数据库实现历史数据的持久化存储,利用其无模式稀疏设计满足同一时空坐标体系下的数据分析需求;采用Redis作为实时数据库存储数据快照进行最新数据检索。基于Hadoop的煤矿数据中心充分利用大数据技术的高速数据存取和压缩性能,通过统一的云计算数据中心,有效降低了煤炭企业数据应用的复杂度及数据中心日常运维难度,可为智慧矿山建设奠定数据基础。

论文目录

  • 0 引言
  • 1 煤矿数据中心需求
  • 2 传统煤矿数据中心
  • 3 基于Hadoop的煤矿数据中心架构设计
  • 4 数据流程设计
  •   4.1 数据存储
  •   4.2 数据查询
  • 5 特性分析
  • 6 结语
  • 文章来源

    类型: 期刊论文

    作者: 韩安

    关键词: 智慧矿山,煤矿数据中心,大数据,云计算

    来源: 工矿自动化 2019年08期

    年度: 2019

    分类: 工程科技Ⅰ辑,信息科技

    专业: 矿业工程,计算机软件及计算机应用,自动化技术

    单位: 中煤科工集团常州研究院有限公司,天地(常州)自动化股份有限公司

    基金: 天地科技股份有限公司科技创新创业资金专项项目(2018-TD-QN019),天地(常州)自动化股份有限公司科研项目(2018GY117)

    分类号: TD67;TP311.13

    DOI: 10.13272/j.issn.1671-251x.17436

    页码: 60-64

    总页数: 5

    文件大小: 136K

    下载量: 312

    相关论文文献

    • [1].浪潮推出云海集装箱数据中心[J]. 科技浪潮 2011(02)
    • [2].浪潮“行业云”和云数据中心演示引人注目[J]. 科技浪潮 2011(02)
    • [3].云操作系统 云数据中心神经系统[J]. 科技浪潮 2011(03)
    • [4].浪潮发布云海集装箱数据中心[J]. 科技浪潮 2011(03)
    • [5].浪潮存储获“用户满意数据中心解决方案”大奖[J]. 科技浪潮 2009(05)
    • [6].浅谈数据中心绿色分级评估方法[J]. 科技浪潮 2012(05)
    • [7].云操作系统 云数据中心神经系统[J]. 科技浪潮 2011(S1)
    • [8].数据中心效能评估指标简介[J]. 科技浪潮 2013(02)
    • [9].5G时代 数据中心网络演进正当时[J]. 通信世界 2019(33)
    • [10].“灰盒”模式构建数据中心光层互联[J]. 通信世界 2019(33)
    • [11].服务器虚拟化在高校数据中心建设中的应用[J]. 微型电脑应用 2019(11)
    • [12].云数据中心安全防护解决方案分析[J]. 中国新通信 2019(22)
    • [13].浅谈数据中心空调机房群控及节能[J]. 建材发展导向 2019(24)
    • [14].高校数据中心灭火系统选择浅析[J]. 中国教育技术装备 2019(16)
    • [15].智慧校园数据中心建设研究[J]. 电子世界 2020(02)
    • [16].大二层网络在双活数据中心建设中的应用思考[J]. 电脑与电信 2019(10)
    • [17].基于5G网络的边缘数据中心与大数据中心的选址[J]. 电子技术与软件工程 2020(01)
    • [18].5G时代甘肃联通分布式云数据中心布局探讨[J]. 发展 2020(01)
    • [19].“国家材料腐蚀与防护科学数据中心”正式成为20个国家科学数据中心之一[J]. 石油化工腐蚀与防护 2020(01)
    • [20].建设大庆油田绿色高性能云数据中心[J]. 石油石化节能 2020(01)
    • [21].以重庆某数据中心为例探讨数据中心电气系统风险[J]. 电气时代 2020(02)
    • [22].2020未来依旧可期:数据中心行业六大发展趋势[J]. 电气技术 2020(03)
    • [23].基于云计算的智慧校园双活数据中心架构设计[J]. 通讯世界 2020(02)
    • [24].数据中心网络传输协议综述[J]. 计算机研究与发展 2020(01)
    • [25].升级优化高效率的数据中心[J]. 电脑编程技巧与维护 2020(02)
    • [26].数据中心园区景观的设计要点分析[J]. 住宅与房地产 2020(06)
    • [27].康宁EDGE~?方案助力齐网松江数据中心实现高性能结构化布线[J]. 现代传输 2020(01)
    • [28].虚拟化技术在新一代云计算数据中心的应用研究[J]. 数字技术与应用 2020(01)
    • [29].“新基建”风起数据中心节能瓶颈亟待突破[J]. 通信世界 2020(09)
    • [30].“新基建”带来数据中心大发展的新契机[J]. 通信世界 2020(07)

    标签:;  ;  ;  ;  

    基于Hadoop的煤矿数据中心架构设计
    下载Doc文档

    猜你喜欢