基于NGAS的多点观测数据存储与同步方法

论文摘要

平方千米阵列(Square Kilometre Array, SKA)望远镜建成后将具有超高的灵敏度、超快的巡天速度以及宽视场,进而产生超海量的观测数据。SKA天文台与各国区域数据中心间的海量数据同步传输是当前SKA建设中的一个难点。SKA先导项目使用的下一代归档存储系统(Next Generation Archive System, NGAS)在应用测试中存在效率低下,性能不足等问题。提出了一种基于ZeroMQ的数据存储与同步方法,通过采用更加高效的异步消息机制实现同步传输数据,回避了NGAS原有的采用HTTP协议的局限。实验结果表明,新方法在平均数据归档存储效率方面比原有方法快了近40倍,能够基本满足10 GB带宽的全速传输需要,取得了较好的使用效果。

论文目录

• 1 NGAS的底层实现分析
• 2 多点观测数据存储与同步方法的改进
•   2.1 数据发布端服务器与数据订阅端服务器设计与实现
•   2.2 订阅者服务器与订阅者客服端设计与实现
• 3 实 验
•   3.1 实验环境
•   3.2 实验结果
•   3.3 讨 论
• 4 结束语

文章来源

类型: 期刊论文

作者: 石聪明,邓辉,戴伟,卫守林,王锋

关键词: 下一代归档存储系统,平方千米阵列,存储与同步,海量数据

来源: 天文研究与技术 2019年02期

年度: 2019

分类: 基础科学

专业: 天文学

单位: 昆明理工大学管理与经济学院,昆明理工大学云南省计算机技术应用重点实验室,广州大学天体物理中心/物理与电子工程学院,中国科学院云南天文台

基金: 国家重点研发项目(2018YFA0404603,2016YFE0100300),国家自然科学基金(11403009,11463003,11773012),国家自然科学天文联合基金(U1531132,U1631129,U1831204),塞尔网络下一代互联网技术创新项目(NGII20170204)资助

分类号: P11

DOI: 10.14005/j.cnki.issn1672-7673.20180903.001

页码: 204-210

总页数: 7

文件大小: 213K

下载量: 80