多源网络日志数据的可视分析研究与实现

论文摘要

越来越多的安全监控设备和技术的出现为复杂的网络系统提供安全保障,来自不同设备的网络日志数据采用相异的数据格式和属性记录网络行为的各个方面。通过对网络日志数据的分析能够发现网络中蕴含的数据模式,利用数据可视化技术对日志数据进行分析,将大规模的日志数据转换为更为简单直观的视觉图像,借助人的视觉认知能力来获取数据信息和结构,为认知分析和日志数据之间建立桥梁,解决了传统分析方法的弊端,是一个新兴的交叉研究领域。通过对网络日志数据的可视分析可以掌握网络状态,识别网络异常和威胁事件,并进一步的预测发展趋势。针对数据类型的不同,可分为单源数据和多源数据可视分析,本文以多源网络日志数据作为研究对象,结合数据可视化技术对其中存在的异常行为进行分析,研究成果主要包含以下几个方面:1.基于K-means聚类算法和力引导布局算法对网络结构进行社区发现。复杂网络关系中普遍存在社区结构,本文首先使用K-means聚类算法对网络拓扑结构进行社区发现和划分,然后对其结果用FDA算法做出验证,并且发现同一社区内个体的紧密关系以及不同社区间的联系。通过网络日志数据进行社区发现得到的个体关系网络,作为下一步威胁事件识别和判断的基础。2.设计了一种多源网络日志数据可视分析模型,针对日志数据的多层次性特征实现对多源日志数据从整体到个体的渐进式分析。本模型分为数据转换、可视分析、视图生成三个部分,其核心是可视分析模块。可视分析模块将分析流程分为宏观、中观、微观的三个层次,通过对同一单源数据进行整体时序的宏观层次分析和局部时序的中观层次分析,获得活跃个体,在微观层次对该个体进行多源日志数据的多视图协作分析。该模型可以对单源数据进行多角度分析,也可以对多源数据进行协同分析,从而保证检测出完整的异常行为。3.对模型的视图和视觉编码进行了设计和实现。针对不同层次的分析任务以及日志数据的多元性和时变性,采用基础和改进视图结合合理的视觉通道进行布局,同时设计视图缩放、导航平移、选择高亮等交互方式构建完整的分析流程,从而高效的完成数据可视表达。基于上述提出的模型,实现了多源网络日志数据可视分析系统,使用ChinaVis挑战赛数据集对系统进行案例评估,验证该模型的有效性。

论文目录

• 摘要
• ABSTRACT
• 符号对照表
• 缩略语对照表
• 第一章 绪论
•   1.1 研究背景和意义
•   1.2 国内外研究现状
•     1.2.1 社区发现
•     1.2.2 网络日志数据可视化
•   1.3 本文的主要研究内容
•   1.4 本文组织结构
• 第二章 相关技术研究
•   2.1 可视化理论
•   2.2 网络日志数据可视化
•     2.2.1 网络安全可视化简介
•     2.2.2 网络日志数据特征
•     2.2.3 网络日志可视化技术
•   2.3 社区发现算法
•   2.4 可视化开发工具
•     2.4.1 ECharts
•     2.4.2 D3.js
•   2.5 本章小结
• 第三章 基于网络日志数据的社区发现
•   3.1 网络的社区结构
•   3.2 邮件日志数据的社区发现
•     3.2.1 基于K-means进行社区发现
•     3.2.2 社区结构可视化
•   3.3 实现与评估
•   3.4 本章小结
• 第四章 多源网络日志数据可视分析
•   4.1 可视分析模型和分析任务
•     4.1.1 多源日志分析模型
•     4.1.2 多层次分析任务
•   4.2 宏观层次可视分析设计
•     4.2.1 宏观层次分析任务
•     4.2.2 整体时序分析设计
•   4.3 中观层次可视化设计
•     4.3.1 中观层次分析任务
•     4.3.2 局部时序可视化映射
•   4.4 微观层次可视化设计
•     4.4.1 微观层次分析任务
•     4.4.2 多视图协作分析
•   4.5 原型实现及案例评估
•     4.5.1 数据说明
•     4.5.2 原型系统架构
•     4.5.3 用户界面
•     4.5.4 案例研究
•   4.6 本章小结
• 第五章 总结与展望
•   5.1 工作总结
•   5.2 研究展望
• 参考文献
• 致谢
• 作者简介

文章来源

类型: 硕士论文

作者: 陆梦娟

导师: 苗启广,钟升

关键词: 多源网络日志数据,视觉编码,社区发现,可视分析

来源: 西安电子科技大学

年度: 2019

分类: 基础科学,信息科技

专业: 数学,计算机软件及计算机应用

单位: 西安电子科技大学

分类号: O157.5;TP311.13

DOI: 10.27389/d.cnki.gxadu.2019.002929

总页数: 74

文件大小: 4743K

下载量: 89