数据挖掘技术研究及其在地灾系统中的应用

论文摘要

我国是一个地质灾害频繁发生的国家,常见的泥石流、滑坡、地面塌陷等灾害对社会的发展及人们的生命、财产安全造成了很大的威胁和隐患,因此推动了很多研究人员对地质灾害监测预警技术的研究。本文主要是对地质灾害监测系统中的历史数据进行分析、关联规则挖掘出有价值信息,以提高预测效果。在本文中,对传统的增量式关联规则挖掘FUP算法进行改进,使其满足地质灾害监测系统的历史数据挖掘。FUP算法存在一些不足:1)当统计项目集合频数时,需要频繁扫描数据库;2)当数据增新挖掘时,最小支持度阈值没有随着数据增新进行调整;3)对于挖掘出来的结果没有进行正相关性判断。在地质灾害监测系统中为了提高算法对历史数据关联规则挖掘的有效性,本文探讨了FUP算法在频繁项目集获取及挖掘过程中的优化问题,提出了一种基于倒排索引树的增量式FUP改进算法IIBTree-FUP（Improved FUP algorithm based on inverted index B-tree）,主要研究工作如下:（1）在原始数据集上统计频数时,用树形结构来存储信息。本文选择用基于B+树实现的倒排索引树形结构来存储已经得到的项目集和频数,当数据增新时也只需要将新增数据信息添加到已有的树形结构中。（2）当数据增新时,运用牛顿插值公式对最小支持度阈值进行预估及调整,在一定程度上降低算法的时间复杂度和空间复杂度,使得挖掘出来的关联规则更具科学性。（3）对挖掘出来的关联规则进行正相关性分析,筛选得到有价值的规则以提高在系统预警模块中的实用性。改进的算法既能自适应的调整最小支持度阈值,又能减少对数据库的频繁扫描,在很大程度上提高了关联规则挖掘的科学性。将改进后的IIBTree-FUP算法应用于地灾监测系统的已有数据集中进行关联规则的挖掘,实验结果表明,IIBTree-FUP算法在频繁1项集获取过程中,时间及空间复杂度都有了明显的降低,并且得到正相关性的潜在关联规则。

论文目录

• 摘要
• abstract
• 1 绪论
•   1.1 课题研究的背景
•   1.2 地质灾害监测系统数据挖掘的意义
•   1.3 数据挖掘
•     1.3.1 数据挖掘步骤
•     1.3.2 数据挖掘的发展历程
•     1.3.3 数据挖掘功能
•     1.3.4 数据挖掘的任务
•   1.4 关联规则
•     1.4.1 关联规则的相关概念
•     1.4.2 关联规则的挖掘步骤
•     1.4.3 关联规则挖掘分类
•     1.4.4 关联规则的一般性问题
•   1.5 关联规则的国内外研究现状
•   1.6 课题研究的主要内容
•   1.7 论文组织结构
•   1.8 本章小结
• 2 数据挖掘关联规则算法分析
•   2.1 Apriori算法
•     2.1.1 Apriori算法基本思想
•     2.1.2 Apriori算法的性质
•     2.1.3 Apriori算法基本流程
•     2.1.4 Apriori算法缺点分析
•   2.2 增量更新关联规则的挖掘过程
•   2.3 传统FUP关联规则挖掘算法
•     2.3.1 FUP算法概述
•     2.3.2 FUP算法基本思想
•     2.3.3 FUP算法详述
•     2.3.4 FUP算法缺点分析
•     2.3.5 FUP算法流程图
•   2.4 FP-Growth算法
•     2.4.1 FP-Growth算法的基本思想
•     2.4.2 FP-Growth算法的基本流程
•     2.4.3 FP-Growth算法的缺点分析
•   2.5 本章小结
• 3 一种改进的数据挖掘关联算法IIBTree-FUP
•   3.1 FP-Growth算法的改进
•     3.1.1 改进FP-Growth算法的基本思路
•     3.1.2 改进FP-Growth算法描述
•   3.2 阈值的设置
•     3.2.1 牛顿插值公式基本理论
•     3.2.2 阈值的牛顿插值公式推导
•     3.2.3 牛顿插值公式实现阈值的具体步骤
•   3.3 关联规则相关性分析
•   3.4 IIBTree-FUP算法
•     3.4.1 IIBTree-FUP算法实现步骤
•     3.4.2 IIBTree-FUP算法实现流程图
•   3.5 本章总结
• 4 实验与结果分析
•   4.1 实验数据
•   4.2 实验环境
•   4.3 初始参数设置
•   4.4 强关联规则的评判标准
•   4.5 实验内容和结果分析
•   4.6 本章小结
• 5 IIBTree-FUP算法在地质灾害监测系统中的应用
•   5.1 地质灾害监测系统中数据挖掘技术的意义
•   5.2 地质灾害监测系统中数据对象的选取与预处理
•     5.2.1 数据对象的选取
•     5.2.2 数据对象的预处理
•     5.2.3 地质灾害监测系统历史数据的预处理
•   5.3 IIBTree-FUP算法在地质灾害数据上的挖掘
•     5.3.1 规则的挖掘形式
•     5.3.2 候选项集维数的确定
•     5.3.3 频繁项集的获取
•     5.3.4 算法的最小支持度阈值设置
•     5.3.5 规则结果的分析及评价
•   5.4 传统FUP算法与IIBTree-FUP算法实验对比
•   5.5 本章小结
• 6 总结与展望
•   6.1 总结
•   6.2 以后要研究的方向
• 参考文献
• 攻读硕士学位期间发表的论文
• 致谢

文章来源

类型: 硕士论文

作者: 朱樱

导师: 王建国

关键词: 地质灾害,算法,增量式关联规则挖掘

来源: 西安工业大学

年度: 2019

分类: 基础科学,信息科技

专业: 地质学,计算机软件及计算机应用

单位: 西安工业大学

分类号: TP311.13;P694

DOI: 10.27391/d.cnki.gxagu.2019.000121

总页数: 83

文件大小: 1891K

下载量: 44