一种分布式环境下的时空数据存储与多维混合索引方法

论文摘要

随着空间信息服务逐渐向时空大数据服务转变,时空数据质量及时效性得到保障,时空大数据的高效查询与挖掘分析为复杂场景提供决策响应支持。当前时空数据管理方法结合大数据框架初步解决了数据规模问题,但整体研究尚未充分考虑扩展数据库存储模式、索引方式单一且通用性不强。本研究结合分布式存储技术与多维时空混合索引方法,旨在建立高效可扩的时空数据高效存储与时空索引优化方法,在此基础上构建高效存取的综合方案,支撑时空数据相关应用。研究具体如下:（1）在分布式计算相关技术架构和数据存储特性基础上,分析时空数据特点及其在分布式环境下实现高效存储与并行处理技术的关键问题。构建基于HBase的分布式时空数据存储组织模型,降低时空数据结构与索引之间的耦合,结合数据分布特征与分层分块的逻辑组织,设计一种多表、多索引混合管理的数据存储模式,为时空数据的高效查询提供高可用的数据存储结构基础。（2）基于大数据技术架构特点,结合时空数据整体的时空聚集性、全时态等特点,分析了时空索引基于多维空间索引设计的可行性。本文基于S2-Geometry算法在地理空间的编码与运算能力,构建通用化层次格网管理时空对象,引入CompactHilbertIndex算法集成时间信息优化时空混合索引值生成方法。索引方法应用于数据表结构设计并通过分片序列解析优化时空范围查询方法,形成面向分布式环境下的时空索引整体设计方案。最后,通过时空大数据挖掘原型系统的构建以及时空索引构建效率与查询性能的对比实验,证明了本文关键技术研究的可行性和有效性。本文关键技术研究已应用于宁波市时空信息云平台中,实践表明,该方案能够满足大规模时空数据的高效管理、实时检索与并行计算等需求,进而在智慧城市挖掘场景中完成计算任务,并具有良好的扩展性,为其他海量数据管理模式提供了借鉴。

论文目录

• 致谢
• 摘要
• ABSTRACT
• 1 绪论
•   1.1 研究背景及意义
•   1.2 国内外研究现状
•     1.2.1 时空数据存储模式研究现状
•     1.2.2 时空数据管理方案研究现状
•     1.2.3 时空索引方法研究现状
•   1.3 当前研究的不足
•   1.4 主要研究内容
•   1.5 论文组织结构
• 2 基于HBase的时空数据存储模式设计
•   2.1 相关技术概述
•     2.1.1 Hadoop分布式计算框架
•     2.1.2 HBase分布式数据库
•     2.1.3 HBase协处理器概述
•   2.2 时空数据管理方案分析
•     2.2.1 复杂场景下高效组织关键问题
•     2.2.2 分表组织的存储模式设计
•   2.3 面向多索引组织的时空数据存储架构
•     2.3.1 多索引表方案设计及特点
•     2.3.2 基于协处理器的存储模式具体实现
•     2.3.3 查询流程切面开发设计
•   2.4 本章小结
• 3 多维混合时空索引方法研究
•   3.1 面向分布式环境的时空索引设计分析
•     3.1.1 时空索引方法设计原则
•     3.1.2 混合时空索引方法分析
•   3.2 时空信息编码处理
•     3.2.1 S2-Geometry算法应用
•     3.2.2 时空信息编码处理流程
•     3.2.3 通用的层级格网结构索引设计
•   3.3 基于S2-H3的时空索引方法与应用
•     3.3.1 基于CompactHilbertIndex算法的索引值生成方法
•     3.3.2 分布式环境下索引结构设计
•     3.3.3 分片序列优化时空查询方法
•   3.4 本章小结
• 4 时空大数据挖掘系统建设与性能测试
•   4.1 系统架构设计
•     4.1.1 总体架构设计
•     4.1.2 系统具体建设
•     4.1.3 时空数据库建设方案
•     4.1.4 时空数据接口设计
•   4.2 系统功能实现
•     4.2.1 时空数据挖掘分析模块
•     4.2.2 主题应用挖掘模块
•     4.2.3 定制化的通用数据挖掘工具
•   4.3 实验与分析
•     4.3.1 实验环境
•     4.3.2 实验设计与结果分析
•   4.4 本章小结
• 5 总结与展望
•   5.1 工作与成果总结
•   5.2 研究特色
•   5.3 展望
• 参考文献
• 作者简历及攻读硕士期间科研成果

文章来源

类型: 硕士论文

作者: 何枋键

导师: 刘仁义

关键词: 时空数据,多维混合索引

来源: 浙江大学

年度: 2019

分类: 基础科学,信息科技

专业: 自然地理学和测绘学,计算机软件及计算机应用

单位: 浙江大学

分类号: P208

DOI: 10.27461/d.cnki.gzjdx.2019.000621

总页数: 96

文件大小: 6058K

下载量: 291