基于MapReduce的CME参数识别模型的并行计算技术研究

论文摘要

随着科学技术的不断发展,科学计算、工业应用、全球气候预报、空间环境业务、人类基因工程等这些重要的研究课题向传统的串行计算提出了挑战,对计算效率提出了更高的需求。空间环境预报模型是空间环境业务的重要组成部分,日冕物质抛射(Coronal Mass Ejection,CME)是许多空间天气事件以及近地空间环境扰动的源头。一个CME到达地球时,可能会引起强烈的地磁暴,对航天器的安全运行、轨道维持、地面电力系统等造成不同程度的影响。太阳风的准确预报是地磁暴预报的重要因素,对CME参数的快速、精确识别是预报CME是否能够到达地球以及何时到达地球非常重要的影响因素、是有效预报太阳风的先提条件。目前,CME参数识别模型(CME parameters detection model,CPDM)在计算任务串行计算的情况下,模型运算效率低导致运算时间长、CME参数识别精度低,不能满足太阳风准确预报的需求。采用单节点多进程并发模式可以一定程度上提高计算任务的运行效率,但受单节点计算资源的限制,运算效率提高有限。传统的多节点数据并行的计算模式可以解决计算资源有限的问题,但由于缺少分布式文件系统,在共享数据源时会出现较大的IO问题,影响读写效率。MapReduce是一个适合分布式并行计算的编程模型,并且Hadoop分布式文件系统(HDFS)能够提供数据的分布式存储,可以很好地解决IO问题。因此本文提出了基于MapReduce的CPDM的并行计算方法,提升CPDM的运算效率。本文的主要工作如下:(1)调研了并行计算的基本概念与发展,对比分析了几种典型的并行计算方法,包括关键技术、运算流程、优劣势以及适用场景。结合空间环境数据和模型的特点,选择基于MapReduce来进行模型的并行化计算设计。(2)针对CME参数识别模型CPDM,由于模型的物理运算过程相互不独立,其在单节点上的运行方式不满足并行化要求,因此面向MapReduce技术的应用需求对CPDM的计算流程进行了并行化改造,提出了基于MapReduce的CPDM的并行化计算方法。该方法对模型计算效率有大幅度的提升。(3)将基于MapReduce的CPDM并行化计算方法在其他空间环境模型上进行推广,设计了基于MapReduce的多空间环境预报模型运算系统。系统可实现多个模型的并行运算和任务调度,提升模型的计算效率。

论文目录

• 摘要
• abstract
• 第1章 引言
•   1.1 研究背景和意义
•   1.2 国内外研究现状
•   1.3 主要研究内容
•   1.4 文章组织结构
• 第2章 并行计算在科学计算领域的应用分析
•   2.1 并行计算的概念与发展
•     2.1.1 并行计算的概念
•     2.1.2 并行计算技术的发展
•   2.2 并行计算方案的分析与比较
•     2.2.1 OpenMP
•     2.2.2 MPI
•     2.2.3 MapReduce
•     2.2.4 Spark
•     2.2.5 并行计算方案的对比分析
•   2.3 Hadoop平台
•     2.3.1 Hadoop概述
•     2.3.2 MapReduce的执行流程
•     2.3.3 MapReduce的作业调度
•     2.3.4 Hadoop的文件系统HDFS
•   2.4 小结
• 第3章 基于MapReduce的CME参数识别模型的并行计算方法
•   3.1 CME背景知识
•     3.1.1 CME及其影响
•     3.1.2 CME的观测
•   3.2 CME参数识别模型CPDM
•     3.2.1 CME参数识别
•     3.2.2 CME参数识别模型在太阳风预报中的应用
•     3.2.3 CME参数识别模型的计算流程
•   3.3 CPDM计算流程的并行化改造
•     3.3.1 CPDM并行化改造的必要性分析
•     3.3.2 CPDM计算流程的改造
•   3.4 基于MapReduce的CPDM的并行计算方法
•     3.4.1 并行计算方法的设计
•     3.4.2 基于MapReduce的CPDM并行化设计
•   3.5 实验及其结果分析
•     3.5.1 实验环境
•     3.5.2 搭建流程与评价指标
•     3.5.3 实验结果分析
•   3.6 小结
• 第4章 基于MapReduce的空间环境预报模型并行运算系统设计
•   4.1 系统整体设计
•   4.2 数据获取与传输
•   4.3 数据预处理与存储
•   4.4 模型并行计算
• 第5章 总结与展望
• 参考文献
• 致谢
• 作者简历及攻读学位期间发表的学术论文与研究成果

文章来源

类型: 硕士论文

作者: 杨世通

导师: 蔡燕霞

关键词: 日冕物质抛射,参数识别模型,计算效率,并行计算

来源: 中国科学院大学(中国科学院国家空间科学中心)

年度: 2019

分类: 基础科学,信息科技

专业: 地球物理学,计算机硬件技术

单位: 中国科学院大学(中国科学院国家空间科学中心)

分类号: TP338.6;P35

总页数: 68

文件大小: 2585K

下载量: 58