基于Hadoop的海量GNSS数据云存储构建及其应用

论文摘要

随着美国GPS系统的现代化,俄罗斯GLONASS系统的更新发展,欧盟Galileo系统的正式运行以及我国BDS系统的逐步全球化,GNSS系统在空间段有了巨大的发展;与此同时,在地面段上,北斗地基跟踪站网的布设和国际GNSS服务组织正在实施的多系统实验计划的开展——标志着GNSS进入了大数据时代。海量的GNSS数据不仅带来了机遇,提供丰富的计算资源,更意味着计算和管理上的巨大挑战。因此,如何高效的存储、管理海量GNSS数据,提高读取下载的效率,缓解海量GNSS数据与有限的计算、存储能力的矛盾,成为当下亟待解决的问题。鉴于此,本文针对以上问题进行了研究,主要内容与成果如下:1、阐述了利用Hadoop架构中的分布式文件系统进行GNSS数据存储与管理的技术路线。从空间段可用卫星和频率资源的增加、地面段基准站网的建设和升级,以及GNSS数据量的倍增3个方面分析了GNSS数据管理的发展现状;分析了现有的GNSS数据存储与管理方式以及面临的瓶颈,即集中式的存储方法已经不能满足GNSS数据存储的需求,确定了本文的技术路线。2、Hadoop小型服务器集群构建与测试。介绍了分布式计算平台Hadoop,以及它的两个重要组件:HDFS和MapReduce。基于HDFS分布式文件系统搭建了Hadoop小型服务器集群,针对集群的可靠性、容错性和拓展性能进行了实验测试。测试结果表明:本文搭建的Hadoop集群具备良好的安全可靠性、抗灾容错性和拓展性。3、提出了归类压缩索引存储算法。在GNSS小文件上传存储策略研究中,提出了基于GNSS文件类型、时间和位置信息进行小文件合并,通过构建小文件索引表加强索引的存储方案。通过实验,将本方案与原生态的HDFS存储、HAR归档方案、SequenceFile序列化方案进行对比分析。从文件上传,文件读取以及主节点内存损耗三大方面对四种方案进行实验测试与分析,结果表明:在处理GNSS小文件存储与管理上,本方案更优。4、GNSS云盘系统开发与测试。利用前述的理论与算法成果,在掌握系统需求分析的基础上,基于MapReduce编程模块开发了GNSS数据云盘系统,实现了对GNSS文件的云存储。系统的主要功能包括:功能主菜单、登录功能实现、文件互操作实现、文件实验室云共享实现、GNSS数据存储实现以及GNSS定位实现等。在GNSS云盘系统的Web端开发实现了位置共享云服务功能。

论文目录

• 摘要
• Abstract
• 第一章 绪论
•   1.1 研究背景及意义
•     1.1.1 GNSS发展历史
•     1.1.2 IGS产品及文件类型
•     1.1.3 GNSS数据存储
•   1.2 国内外研究现状
•     1.2.1 大数据与云计算
•     1.2.2 GNSS数据云存储
•   1.3 研究内容和论文结构
•     1.3.1 本文主要研究内容
•     1.3.2 全文组织结构图
•     1.3.3 论文章节安排
• 第二章 分布式计算平台Hadoop
•   2.1 Hadoop简介
•   2.2 HDFS分布式文件系统
•   2.3 MapReduce计算框架
•   2.4 基于Hadoop的 GNSS数据云存储框架
•   2.5 本章小结
• 第三章 分布式服务集群架构
•   3.1 Hadoop集群搭建
•   3.2 性能分析
•     3.2.1 集群安全可靠性测试
•     3.2.2 集群抗灾容错性测试
•     3.2.3 集群高度拓展性测试
•   3.3 本章小结
• 第四章 GNSS海量小文件优化存储
•   4.1 Hadoop自带的小文件存储解决方案
•     4.1.1 HAR文件归档技术
•     4.1.2 SequenceFile文件序列化技术
•   4.2 归类压缩索引存储方法
•     4.2.1 文件归并
•     4.2.2 小文件索引表
•     4.2.3 索引块切分
•   4.3 单天算例分析
•     4.3.1 写入性能测试
•     4.3.2 读取性能测试
•     4.3.3 内存占用情况
•     4.3.4 算例小结
•   4.4 七天算例分析
•     4.4.1 写入性能测试
•     4.4.2 读取性能测试
•     4.4.3 算例小结
•   4.5 本章小结
• 第五章 GNSS云盘系统开发
•   5.1 系统开发环境
•   5.2 系统开发目标和原则
•   5.3 系统主要功能实现
•     5.3.1 侧边菜单栏
•     5.3.2 登录页面
•     5.3.3 用户注册
•     5.3.4 文件操作
•     5.3.5 GNSS定位功能
•   5.4 位置共享服务
•   5.5 本章小结
• 第六章 总结与展望
•   6.1 主要工作及结论
•   6.2 主要创新点
•   6.3 研究展望
• 致谢
• 参考文献
• 攻读硕士学位期间发表的论文与取得的学术成果

文章来源

类型: 硕士论文

作者: 陆轶材

导师: 高成发

关键词: 海量小文件,文件合并算法,云盘系统

来源: 东南大学

年度: 2019

分类: 基础科学,信息科技

专业: 自然地理学和测绘学,计算机硬件技术

单位: 东南大学

分类号: TP333;P228.4

DOI: 10.27014/d.cnki.gdnau.2019.000063

总页数: 65

文件大小: 2812K

下载量: 47