基于Elasticsearch的气象数据检索技术研究

论文摘要

气象行业的数据量非常大,系统需要每天处理约有800 G的增量数据,总容量超过1 P的历史数据文件。为了能够及时、快速地存储这些数据,并且能解决气象数据服务的需求,构建一套科学、高效的数据服务系统迫在眉睫。基于Elasticsearch技术,采用元数据的管理方法,设计了一套数据管理系统。按照业务类型和数据名称特点,把所有数据分成了13个大类和260多个元数据类型,设计了相同的元数据模板,便于统一管理。同时对13个大类分别构建了索引,定义了气象行业专业的检索词条,实现了快速定位和访问数根据文件的需求。该设计方法实现了1～2秒钟内可以从5亿个文件库中搜索出某一大类的文件,在2～3秒钟可以更加精确地搜索出某一元数据类型的数据。基于以上设计方案,基本满足了当前的数据服务需要。

论文目录

• 0 引 言
• 1 海量数据搜索机制
•   1.1 集 群
•   1.2 节 点
•   1.3 分 片
•   1.4 数据查询
• 2 搜索技术的应用设计
•   2.1 元数据
•   2.2 气象分词库
•   2.3 数据扫描入ES库
• 3 应用效果分析
•   3.1 扫描入库分析
•   3.2 智能搜索设计与分析
• 4 结束语

文章来源

类型: 期刊论文

作者: 张恩红,尹海燕,李高洁

关键词: 海量数据,检索,元数据,数据服务

来源: 计算机技术与发展 2019年11期

年度: 2019

分类: 信息科技,基础科学

专业: 气象学,计算机软件及计算机应用

单位: 广东省气象探测数据中心

基金: 国家自然科学基金(41805096),江苏省自然科学基金(BK20180801)

分类号: P413;TP311.13

页码: 154-158

总页数: 5

文件大小: 2725K

下载量: 159