水利工程灌浆大数据平台设计与实现

论文摘要

随着云计算、大数据、物联网的发展,水利工程各类采集数据与日俱增,面对如此大规模的数据集,传统存储、计算相关的理论和方法已不能满足海量、多源、异构数据的存取与处理。针对水利工程灌浆大数据,设计平台总体架构,搭建Hadoop分布式集群,设计并行化数据挖掘算法,实现水利工程灌浆大数据平台,并基于B/S服务模式进行平台展现、应用和管理。平台功能模块主要包括数据资源下载、数据集上传与运行、自定义算法、运行状态及结果和大数据可视化等,并结合白鹤滩水利工程建立基于随机森林的灌浆工程单位注入量预测模型和基于K-Means聚类的灌浆成果异常检测模型进行应用示范。平台的设计与实现融合水利工程结构化与非结构化数据,将大数据集群并行计算和数据挖掘技术应用到水利工程中,改变传统随机抽样和单一挖掘分析模型,采用多粒度、多层次、多渠道的分析模型对数据全量进行挖掘分析,从海量数据中挖掘分析出于管理、决策和生产有用的信息,实现了数据资源的集成共享、业务的高效处理、数据信息的知识发现,提高了数据存储和处理效率和精度,为当前水利工程大数据的存储与计算提供一种新的解决思路。

论文目录

• 1 研究背景
• 2 大数据平台相关技术
•   2.1 Hadoop分布式计算平台
•   2.2 并行计算框架
•   2.3 人工智能算法
• 3 平台总体架构设计
• 4 大数据平台设计与实现
•   4.1 平台开发环境
•   4.2 数据存储设计
•   4.3 数据清洗与转换
•   4.4 业务逻辑设计
•     4.4.1 特征选择与提取
•     4.4.2 系统算法设计
•   4.5 应用服务设计
•   4.6 分布式集群搭建
•   4.7 平台实现
•     4.7.1 平台登录
•     4.7.2 数据资源下载
•     4.7.3 算法提交运行
•     4.7.4 运行状态及结果
•     4.7.5 大数据可视化
•   4.8 平台应用案列
•     4.8.1 数据采集、收集
•     4.8.2 数据清洗
•     4.8.3 数据特征选择
•     4.8.4 单位注入量预测模型
•     4.8.5 灌浆成果异常检测模型
• 5 结 语

文章来源

类型: 期刊论文

作者: 饶小康

关键词: 大数据平台,水利工程,灌浆,随机森林

来源: 长江科学院院报 2019年06期

年度: 2019

分类: 工程科技Ⅱ辑,信息科技

专业: 水利水电工程,计算机软件及计算机应用

单位: 长江科学院水利部岩土力学与工程重点实验室

基金: 国家重点研发计划项目(2017YFC1502600)

分类号: TP311.13;TV543

页码: 139-145+170

总页数: 8

文件大小: 3166K

下载量: 242