基于Spark/HBase的交通流数据存储及索引模型探讨

论文摘要

为了对海量增长的交通流数据进行处理和管理,需要基于大数据框架设计更加高效的数据存储及索引模型,以满足智能交通应用的需求。该文设计了基于Spark/HBase的系统架构以及基于混合时空编码行键和动态扩展属性列族的交通流数据存储及索引模型,并在此模型基础上,通过语义解析、时空行键索引查询、并行属性条件过滤实现交通流大数据高效语义查询。对比实验证明,该文设计的交通流大数据并行处理框架在清洗、索引和存储数据时运算高效,构建的混合时空编码行键索引时空权重均衡,能够实现更加高效的交通流大数据访存管理,可为智能交通应用提供技术基础。

论文目录

• 0 引言
• 1 系统架构
• 2 基于HBase的交通流数据模型及并行存储方法
•   2.1 交通流数据模型
•   2.2 混合时空编码行键
•   2.3 动态扩展属性列族
•   2.4 预分区并行数据入库
• 3 基于混合时空编码行键的交通流语义查询
•   3.1 语义查询框架
•   3.2 混合时空编码行键查询算法
•   3.3 并行属性条件过滤
• 4 实验与分析
•   4.1 实验数据与运行环境
•   4.2 并行计算框架对比实验
•   4.3 区域查询对比实验
•   4.4 时空索引对比实验
•     （1） 按照时间点查询不同范围的交通流数据。
•     （2） 按照固定范围查询时间区间内的交通流数据。
• 5 结语

文章来源

类型: 期刊论文

作者: 李欣

关键词: 交通流,时空编码行键,语义查询

来源: 地理与地理信息科学 2019年04期

年度: 2019

分类: 基础科学,工程科技Ⅱ辑,信息科技

专业: 公路与水路运输,计算机软件及计算机应用

单位: 河南财经政法大学中原经济区"三化"协调发展河南省协同创新中心,河南财经政法大学资源与环境学院

基金: 国家自然科学基金项目(41771445,41871159),河南财经政法大学博士科研基金项目(800257)

分类号: TP311.13;U491.112

页码: 1-8

总页数: 8

文件大小: 1354K

下载量: 286