Storm流式技术在地面气象数据处理中的应用

Storm流式技术在地面气象数据处理中的应用

论文摘要

地面自动站气象数据的量级、观测传输频次日益增长,传输方式从传统的文本方式发展到消息传输,对数据处理时效有了更高的要求。该文提出采用Storm流式技术进行地面自动站气象数据的解码和入库,使用Spout节点连接外部数据源,将数据转化为Tuple,传递给解码Bolt、入库Bolt和DI/EI消息Bolt,分别进行实时的入库和监控,且达到灵活调整系统资源的目的。该应用与传统的简约流程对比,稳定性、处理效率、拓展性都有了显著提高。

论文目录

  • 0 引言
  • 1 数据和方法
  • 2 性能分析
  •   2.1 省级入库时效对比
  •   2.2 大数据量下时效
  •   2.3 非功能性对比
  • 3 小结
  • 文章来源

    类型: 期刊论文

    作者: 廖婷婷,王彪,肖卫青,李从英,郭茜

    关键词: 地面气象数据,海量数据,流式技术,高效处理

    来源: 中低纬山地气象 2019年05期

    年度: 2019

    分类: 基础科学

    专业: 气象学

    单位: 贵州省气象信息中心,国家气象信息中心

    基金: 贵州省科技计划项目([2019]2386):基于大数据的气象防灾减灾服务平台研发

    分类号: P413

    页码: 78-81

    总页数: 4

    文件大小: 1010K

    下载量: 50

    相关论文文献

    • [1].地面气象业务调整改革后的问题及对策探索[J]. 产业与科技论坛 2018(06)
    • [2].浅析地面气象自动站数据共享及查询[J]. 农业与技术 2013(07)
    • [3].高空地面气象业务一体化运行模式探讨[J]. 河北农机 2020(10)
    • [4].地面气象信息化资料审核技巧探析[J]. 农业与技术 2018(08)
    • [5].地面气象月报表附加信息资料技术处理方法[J]. 气象研究与应用 2009(02)
    • [6].减轻地面气象测报工作压力的措施[J]. 江西农业 2017(17)
    • [7].浅谈地面气象数据A文件中错情分析[J]. 科技风 2010(20)
    • [8].地面气象考试练习系统[J]. 科技风 2019(05)
    • [9].浅析地面气象中的电线积冰观测[J]. 技术与市场 2012(09)
    • [10].地面气象综合观测业务软件的使用要点分析[J]. 科技风 2018(25)
    • [11].分析改革后地面气象测报工作的应急对策[J]. 农业与技术 2015(06)
    • [12].地面气象测报员心理素质的培养[J]. 现代农业科技 2011(08)
    • [13].强对流天气对地面气象测报工作的影响[J]. 江西农业 2017(13)
    • [14].浅析地面气象人工观测与自动观测数据差异[J]. 内蒙古气象 2011(06)
    • [15].新形势下地面气象综合观测业务工作重点探讨[J]. 农村科学实验 2018(13)
    • [16].用Visual Basic语言设计地面气象月报辅助审核软件[J]. 贵州气象 2014(02)
    • [17].浅析地面气象自动站数据共享及查询[J]. 农业与技术 2014(02)
    • [18].地面气象自动站建设的技术要求[J]. 北京农业 2013(24)
    • [19].江西省地面气象审核规则库本地化[J]. 江西科学 2016(03)
    • [20].试论地面气象综合观测业务软件使用要点[J]. 农业与技术 2018(18)
    • [21].浅析地面气象工作[J]. 黑龙江科技信息 2013(26)
    • [22].地面气象测报工作存在的问题及对策分析[J]. 科技风 2018(19)
    • [23].哈密市地面气象测报工作存在的问题及对策[J]. 现代农业科技 2016(04)
    • [24].影响地面气象测报工作的因素及对策[J]. 北京农业 2014(24)
    • [25].当前地面气象测报工作存在的问题及处理对策[J]. 北京农业 2015(20)
    • [26].强对流天气时地面气象测报工作要点浅析[J]. 河南科技 2013(01)
    • [27].地面气象测报工作要掌握的几个关键点[J]. 农业与技术 2012(09)
    • [28].地面气象综合观测业务软件应用要点分析[J]. 决策探索(中) 2018(08)
    • [29].地面气象自动观测系统的维护与故障处理[J]. 科技风 2013(06)
    • [30].值好测报班的小方法[J]. 贵州气象 2011(01)

    标签:;  ;  ;  ;  

    Storm流式技术在地面气象数据处理中的应用
    下载Doc文档

    猜你喜欢