面向气象数据监控系统的优化设计与研究

论文摘要

气象数据是气象领域开展预报和研究的基础。气象数据的准确、可靠和安全与否直接影响数据的传输、加工和天气模式预测等工作,进而影响监控系统、数据加密解密等方面的设计。现阶段气象系统在资料传输、运行监控和数据安全等方面存在一些不足:第一,气象系统网络结构相对落后,然而传输时效、质量控制与处理等方面的现实需求却与日俱增,在此背景下,优化网络结构和加强气象数据传输的能力亟待提高。第二,气象数据多以明文存储。随着气象数据的战略价值不断提升,国内外以窃取敏感气象数据为目的的攻击渗透不断增加,明文存储面临信息泄露的风险不断增大。第三,多数气象信息监控系统相互独立,各系统重要性定位不清,同时缺乏必要的关联关系,导致各类告警需要人工进行分析和处理才能实现故障源定位,处理效率相对较低。本文以解决上述问题为出发点,首先通过设计MSTP和MPLS VPN混合组网的方案,对国家级和省级气象部门之间数据传输时效性、稳定性以及安全性等进行优化,解决了气象网络稳定性不足和资料到报时间无法满足考核节点要求的问题。然后利用机器学习的有关技术,通过Louvain算法确定各系统的重要性和系统之间的连接关系,使用逻辑回归和TF-IDF算法对原有告警日志进行分析,提取关键信息,完善新系统的告警内容,以此为基础设计一套全流程的数据监控系统,将原有多个系统的监控信息进行整合,实现从数据到报信息到设备运行情况的全面监控,最大限度地提高运维监控效率,解决原有监控运维的低效问题。最后,初探可搜索加密技术在气象数据存储方面的应用:首先利用时效性要求相对较低的监控数据进行加密存储和检索来验证其可用性;进而选取部分核心气象数据进行实验,进一步验证其在气象领域应用的可行性,为后续深入的研究打下基础。本研究方案创新性如下:（1）在气象领域应用混合组网方式,解决国省气象部门之间气象数据交互时效性问题。（2）实现国家级气象业务系统的全面监控,通过有关机器学习算法对监控过程进一步优化,提高整体运维效率。（3）设计和实现了一种简单的可搜索加密算法并在实际环境下进行了验证,为该技术在气象领域的应用打下一定的基础。本研究结果一定程度上解决国家级和省级气象数据传输和监控过程中存在的主要问题,也对全国各省级气象系统的建设和优化有一定的参考意义。

论文目录

• 致谢
• 摘要
• ABSTRACT
• 1 引言
•   1.1 组网技术
•     1.1.1 组网技术简介
•     1.1.2 组网技术研究进展
•   1.2 全流程监控系统
•     1.2.1 全流程监控简介
•     1.2.2 全流程监控研究进展
•   1.3 可搜索加密技术
•     1.3.1 可搜索加密技术简介
•     1.3.2 可搜索加密技术研究进展
•   1.4 本文研究内容
• 2 气象数据监控系统的结构分析与设计
•   2.1 混合组网结构分析与设计
•     2.1.1 原有网络结构和存在问题
•     2.1.2 混合组网结构设计
•   2.2 气象监控系统分析与设计
•     2.2.1 原有监控系统存在的问题
•     2.2.2 气象监控系统整体设计
•     2.2.3 监视库设计
•     2.2.4 监控系统优先级算法设计
•     2.2.5 监控系统告警信息算法设计
•   2.3 气象数据安全分析与设计
•     2.3.1 气象数据安全分析
•     2.3.2 可搜索加密技术结构设计
•   2.4 本章小结
• 3 混合组网结构的实现
•   3.1 网络结构实现
•     3.1.1 路由实现
•     3.1.2 冗余实现
•     3.1.3 调整实现
•     3.1.4 验证设计
•       3.1.4.1 中断MSTP路由器
•       3.1.4.2 中断运营商MSTP网络
•       3.1.4.3 中断MSTP路由器下联链路
•       3.1.4.4 中断MPLS VPN CE1路由器
•       3.1.4.5 中断MPLS VPN CE2路由器
•       3.1.4.6 中断CE1和PE1之间链路
•       3.1.4.7 中断CE2和PE2之间链路
•       3.1.4.8 中断MPLS VPN路由器CE1下联链路
•   3.2 研究对比与验证
•   3.3 本章小结
• 4 气象数据监控系统的实现
•   4.1 系统功能实现
•     4.1.1 采集配置实现
•     4.1.2 数据库采集实现
•     4.1.3 FTP采集实现
•     4.1.4 SNMP采集实现
•     4.1.5 脚本采集实现
•     4.1.6 阈值判断实现
•     4.1.7 告警处理实现
•     4.1.8 故障关联分析实现
•     4.1.9 业务监控实现
•     4.1.10 实时资料主流程运行状态监视实现
•   4.2 研究对比与验证
•   4.3 本章小结
• 5 机器学习和可搜索加密技术实现
•   5.1 告警信息分级实现和验证
•     5.1.1 Louvain算法原理
•     5.1.2 Louvain算法在系统级别确定方面的应用
•     5.1.3 Louvain算法结果与验证对比
•   5.2 告警日志分析处理与验证
•     5.2.1 逻辑回归算法原理
•     5.2.2 TF-IDF算法原理
•     5.2.3 TF-IDF算法在告警优化过程中的应用
•     5.2.4 TF-IDF算法应用结果和分析
•   5.3 可搜索加密算法实验结果与分析
•     5.3.1 可搜索加密算法简要实现
•     5.3.2 可搜索对称加密实验结果分析
•   5.4 本章小结
• 6 总结与展望
• 参考文献
• 作者简历及攻读硕士学位期间取得的研究成果
• 学位论文数据集

文章来源

类型: 硕士论文

作者: 钟磊

导师: 胡秉谊

关键词: 机器学习,监控系统

来源: 北京交通大学

年度: 2019

分类: 基础科学,信息科技

专业: 气象学,自动化技术

单位: 北京交通大学

基金: 国家公益性行业(气象)科研专项(GYHY201406016)子项目,国家气象信息中心青年基金(NMICQJ201701)项目

分类号: TP277;P413

DOI: 10.26944/d.cnki.gbfju.2019.001594

总页数: 108

文件大小: 11149K

下载量: 160