基于DOCKER的射电日像仪自动数据处理方法的研究

论文摘要

当今的天文软件,可满足天文数据处理中的各种需求,但是在实际应用中仍存在如操作复杂,部署困难等方面的问题。针对这些挑战,使用云和容器技术的结合可以提供一种平台化的解决方案。明安图射电频谱日像仪(MingantuU Spectral Radioheliograph,MUSER)每天都有大量的数据处理需求,虽然引入了分布式框架OpenCluster,但是在操作与部署上仍存在着诸多不便。本文主要针对MUSER数据处理中的实际问题,结合轻量级容器化引擎Docker,设计出了一种基于Docker的天文私有云软件服务模式。主要完成工作如下:1.针对MUSER数据处理应用在单机环境中的困难,如环境依赖较多、需要多种计算模式支持等。本文基于Docker容器对MUSER软件的封装方法进行研究,并进一步对所封装的MUSER容器实现了在不同计算模式下的部署。最后通过实验验证了MUSER容器在数据处理中相较于虚拟机的性能优势;2.针对MUSER数据处理应用在集群环境中的困难,如搭建复杂,扩展性不足等。基于天文分布式计算框架OpenCluster,进一步对Docker容器集群编排技术展开研究,并对关键技术进行了分析和解决。最后实现了一个可自动部署与扩展的天文数据自动处理平台,验证了其可用性及相较于物理集群的性能差异;3.针对天文数据处理中计算节点动态扩展需求,对前一工作中所实现的自动数据处理平台进行改进和完善,添加了一种基于指数平滑算法的预测型负载扩容策略。通过实验验证,相对于响应式扩容策略,这种预测型扩容策略相对一般负载具有更好的适应性。综合以上的研究,本文的工作将为未来基于Docker的天文私有云服务构建中提供一种参考。

论文目录

• 摘要
• Abstract
• 第一章 绪论
•   1.1 论文研究背景及意义
•   1.2 天文数据处理系统及相关框架介绍
•     1.2.1 MUSER项目简介
•     1.2.2 MUSER的数据处理流程
•     1.2.3 分布式天文数据处理框架
•   1.3 目前所存在的问题
•   1.4 Docker容器在科研领域的应用现状
•   1.5 论文主要完成工作
•   1.6 论文的结构安排
•   1.7 本章小结
• 第二章 相关技术的研究
•   2.1 容器技术的研究
•     2.1.1 容器技术的原理
•     2.1.2 Docker容器技术介绍
•   2.2 Docker容器与虚拟机对比
•   2.3 kubernetes容器自动编排技术
•     2.3.1 kubernetes简介
•     2.3.2 Kubernetes中的主要资源对象
•     2.3.3 Kubernetes系统架构
•   2.4 基于负载的自动伸缩技术
•     2.4.1 基于伸缩方向的负载伸缩
•     2.4.2 基于伸缩时机的负载伸缩
•   2.5 本章小结
• 第三章 基于Docker对 MUSER软件系统封装与部署方法的研究
•   3.1 MUSER软件系统的封装需求
•   3.2 基于Docker对 MUSER软件封装方法的实现
•   3.3 基于Docker对 MUSER软件部署方法的实现
•     3.3.1 CPU计算模式下部署
•     3.3.2 GPU计算模式下部署
•   3.4 MUSER容器的计算性能测试
•     3.4.1 实验目的
•     3.4.2 实验设计
•     3.4.3 实验方案
•     3.4.4 实验结果及分析
•   3.5 本章小结
• 第四章 基于kubernetes天文分布式数据自动处理方法的研究
•   4.1 研究目的
•   4.2 关键技术的分析与实现
•     4.2.1 应用部署
•     4.2.2 网络配置
•     4.2.3 服务发现
•     4.2.4 自动扩展
•   4.3 分布式数据处理的整体流程与测试
•     4.3.1 平台的主要流程
•     4.3.2 平台的可用性与性能测试
•   4.4 本章小结
• 第五章 天文数据自动处理方法中预测型负载扩容的研究
•   5.1 自动扩展中所存在的问题
•   5.2 负载预测扩容策略的算法选型
•     5.2.1 预测算法选择的考虑因素
•     5.2.2 指数平滑算法介绍以及建模
•   5.3 预测型负载扩容的研究
•     5.3.1 基于HPA伸缩机制的研究
•     5.3.2 对任务计算模块改进的设计
•     5.3.3 对任务计算模块改进的实现
•   5.4 实验设计与结果分析
•     5.4.1 实验目的
•     5.4.2 实验设计
•     5.4.3 实验方案
•     5.4.4 实验结果及分析
•   5.5 本章小结
• 第六章 总结与展望
•   6.1 全文总结
•   6.2 未来工作展望
• 致谢
• 参考文献
• 附录 A （攻读学位期间发表的论文和软著）
• 附录 B （攻读学位期间参与的研究工作）

文章来源

类型: 硕士论文

作者: 余程嵘

导师: 邓辉

关键词: 天文数据处理,分布式计算,负载扩容

来源: 昆明理工大学

年度: 2019

分类: 基础科学

专业: 天文学

单位: 昆明理工大学

分类号: P111.41

DOI: 10.27200/d.cnki.gkmlu.2019.001090

总页数: 77

文件大小: 3328K

下载量: 17