一种中尺度数值预报模式数据并行传输应用研究

论文摘要

以重庆中尺度数值预报模式为例,设计开发一种针对中尺度数值预报模式海量数据的并行传输程序,提高数据传输的效率。重庆中尺度数值预报模式每天输出的大量数据需传输到数据管理服务器处理和备份。目前模式的数据传输任务是以scp单核串行程序为主,数据传输时间长,不能充分利用处理器核和网络带宽,未有效满足重庆天气预报业务对模式数据及时使用的需求;设计开发的并行传输程序以进程池为主要架构,采用Rsync代替scp提高模式数据传输速率;同时,基于输出的模式数据的特征实现多种数据分治策略,对比选择最佳的数据分治策略;结果表明基于最佳数据分治策略的并行传输程序能够极大减少数据传输时间,极大利用空闲的处理器核和网络带宽资源。

论文目录

• 0 引言
• 1 数据并行传输程序
•   1.1 并行传输网络架构
•   1.2 并行传输程序
• 2 数据划分与分析
•   2.1 划分分治
•   2.2 试验和对比分析
• 3 结论

文章来源

类型: 期刊论文

作者: 赵磊,高松,吴钲,杜钦

关键词: 数值预报模式,并行传输,数据分治策略

来源: 气象科技进展 2019年06期

年度: 2019

分类: 基础科学

专业: 气象学

单位: 重庆市气象科学研究所

基金: 重庆市气象局业务技术攻关重点,团队-数值预报应用技术团队项目（YWGGTD-201716）,高性能计算机系统与数值预报系统建设项目(2016-2019)

分类号: P456.7

页码: 20-25

总页数: 6

文件大小: 1664K

下载量: 25