基于可扩展非关系数据库的GIS时空数据管理技术研究

论文摘要

随着地理信息技术的发展,时空数据的产生速度得到了爆发式增长。时空数据背后的价值正在让人们的生活更加便捷高效,全球交通、民生、科研商业等众多领域均受益于对时空数据的合理应用。与此同时,对海量的时空数据的进行高效索引、存储与查询的管理技术正成为研究的热点。时空数据具有海量、结构复杂、语义丰富以及操作繁琐等特征,传统数据库管理系统并不能为时空数据提供原生支持,而且传统关系型数据库在处理海量的时空数据的时候往往有性能上的瓶颈,基于关系型数据库扩展的时空数据管理系统已经不能满足需求。NoSQL数据库本身对海量数据具有良好的支持,本文基于这类数据库非关系型、开源、水平可扩展的优势,设计并实现了基于可扩展非关系型数据库MapDB的GIS时空数据管理系统。该系统实现了对时空数据的索引、压缩、存储与查询功能,其中查询处理中将多维区域查询分解为多个线性查询范围并减少错误命中率的过程至关重要。本文的主要工作如下:首先,根据地理信息系统时空数据的结构特征与语义特征,设计并实现时空数据在NoSQL数据库中的表示模型。针对时空数据的管理问题,设计并实现时空数据管理系统框架,包括数据的索引、轨迹压缩、存储以及查询模块。其次,基于时空降维方法和UB树性质构建了将时间集成和将时间半集成的时空索引并实现之。对不同索引方式的插入性能、查询性能以及分解阶段的性能差异进行实验与对比分析。再次,研究轨迹压缩的方法,使用预先构建参考数据集表示其它数据的方式对数据进行压缩,通过实验分析研究影响压缩效果的因素,并对压缩效率进行对比,采用基于MessagePack的序列化方法降低数据的持久化占用的空间,优化存储效率。最后,研究了将空间和时空区域查询分解为线性范围扫描的各种现有方法,在研究的基础上,改进了一种成本驱动的方法,根据数据分布对查询区域分解,并平衡分解阶段和精过滤阶段的时间成本。所改进的方法在一个简单的数据库原型中实现,在真实世界的测试数据进行评估,并与一种流行的空间驱动的分解方法进行了比较。本文通过实验仿真对分解算法和轨迹压缩算法进行了性能评估,结果表明改进的分解算法在时空范围查询中的查询效率优于基线方法。该方法的主要优点之一是在分解过程中存在的短路机制能够在处理偏差的数据时使用相对较少的范围扫描来创建精确的分解,平衡了分解阶段与精过滤阶段的耗时,缺点是必须维护额外的数据结构,因此在处理大型数据集时,数据结构的维护成本可能较高,但是可以使用采样等措施显著降低这一成本,同时对性能的影响降到最低。

论文目录

• 摘要
• ABSTRACT
• 符号对照表
• 缩略语对照表
• 第一章 绪论
•   1.1 研究背景和意义
•   1.2 国内外研究现状
•     1.2.1 时空数据管理系统研究现状
•     1.2.2 时空数据模型研究现状
•     1.2.3 时空数据索引研究现状
•   1.3 论文的主要内容和工作
•   1.4 论文章节安排
• 第二章 时空数据与相关技术研究工作
•   2.1 现实时空观与时空表示
•     2.1.1 普遍的时空观
•     2.1.2 TGIS中的时空观
•     2.1.3 地理空间及其表示
•     2.1.4 时间及其表示
•   2.2 时空数据模型研究
•     2.2.1 时空数据模型的比较
•     2.2.2 时空数据模型面临的问题
•   2.3 空间填充曲线
•   2.4 可扩展非关系数据库MapDB
•   2.5 本章小结
• 第三章 时空数据模型与索引关键技术研究
•   3.1 架构设计
•   3.2 时空数据模型设计
•   3.3 基于非关系数据库的模型的建立
•     3.3.1 定义时空轨迹
•     3.3.2 基于非关系数据库的非分区数据模型的建立
•     3.3.3 基于非关系数据库的分区数据模型的建立
•   3.4 GIS时空数据的索引的设计
•     3.4.1 非分区数据模型的时空索引
•     3.4.2 分区数据模型的倒排索引
•     3.4.3 3D-UB树索引
•   3.5 本章小结
• 第四章 时空数据存储与查询关键技术研究
•   4.1 区域查询策略
•   4.2 最佳优先区域分解算法
•   4.3 时空索引层与访问数据结构实现
•     4.3.1 Z序地址的计算
•     4.3.2 对时间和空间编码
•     4.3.3 索引的构建
•     4.3.4 插入过程
•   4.4 时空存储层与轨迹压缩
•     4.4.1 基于参考轨迹的轨迹压缩
•     4.4.2 MessagePack序列化算法实现
•   4.5 时空查询层处理与优化
•     4.5.1 分解阶段
•     4.5.2 分解短路机制实现
•     4.5.3 过滤与精过滤阶段
•   4.6 本章小结
• 第五章 实验结果讨论
•   5.1 数据集与系统设置
•   5.2 GIS时空数据查询
•     5.2.1 空间数据查询
•     5.2.2 时空数据查询
•   5.3 实验结果量化
•     5.3.1 Z范围数量
•     5.3.2 系统响应时间
•     5.3.3 查询区域分解时间
•     5.3.4 错误发现率
•   5.4 插入性能分析
•   5.5 轨迹压缩实验
•     5.5.1 参考轨迹集构建
•     5.5.2 压缩性能
•   5.6 广度优先区域分解
•     5.6.1 最大区域查询数量
•   5.7 最佳优先区域分解
•     5.7.1 Histogram最长前缀长度
•     5.7.2 Histogram取样大小
•     5.7.3 详细性能对比
•     5.7.4 查询范围大小
•     5.7.5 检索多边形复杂度
•   5.8 并行化
•   5.9 检索损失
•   5.10 本章小结
• 第六章 总结与展望
•   6.1 工作总结
•   6.2 研究展望
• 参考文献
• 致谢
• 作者简介

文章来源

类型: 硕士论文

作者: 仲昭宇

导师: 李龙海

关键词: 时空数据,时空索引,轨迹压缩,时空查询

来源: 西安电子科技大学

年度: 2019

分类: 基础科学,信息科技

专业: 自然地理学和测绘学,计算机软件及计算机应用,计算机软件及计算机应用

单位: 西安电子科技大学

分类号: P208;TP311.13

DOI: 10.27389/d.cnki.gxadu.2019.000708

总页数: 116

文件大小: 4317K

下载量: 55