暗网域名收集与内容分析方法研究

论文摘要

暗网是互联网中难于通过公开渠道访问和检索的网络空间。暗网在保护用户隐私的同时,也成为枪支、毒品、信用卡交易等违法犯罪活动的温床。因此,研究如何全面收集暗网资源、分析其网络组织结构、对内容进行基于危害程度的分级,对保护网络空间安全具有现实的迫切性和重要的应用价值。暗网的域名并不公开发布,存在时间较短或经常被更改,具高度动态性,且暗网与明网之间几乎没有链接,导致暗网的域名地址发现困难;暗网不同于明网的多种特性限制了标准技术的适用性,加大了对暗网空间结构组织和内容分布的研究难度。本文基于以上问题,对Tor、I2P和ZeroNet三种匿名网络的域名采集、web结构与内容危害性进行了分析和研究。主要贡献包括:(1)针对暗网域名难于发现的问题,基于Tor匿名网络通过在明网中搜索关键词进行域名收集的方式,提出一种基于Tor2web软件项目发现更多搜索关键词的方法,在已有的基础上多发现了 16个新的搜索关键词;从已有的关于Tor和I2P两种匿名网络的域名收集方式入手,根据ZeroNet的工作原理和运行机制,提出了四种关于ZeroNet匿名网络的域名地址收集方式,共收集了 19651个唯一的ZeroNet域名。(2)针对如何有效分析暗网web结构的问题,提出一种基于网站间的超链接构造复杂网络图的方法,通过对暗网的复杂网络结构进行分析,发现暗网具有网络结构松散、孤立节点过多的特点以及其基于超链接构造的复杂网络具有无标度特性和小世界特性,但不具有层次模块特性;并根据其无标度特性利用网络攻击方式进行节点重要性评估,选取点度中心性指标作为依据进行网站重要性排序。(3)针对如何界定网站内容非法性的难题,提出了一种基于网站危害程度的网站分级方式,主要思想是根据刑法分论中的相关法律条文,对非法网站的危害程度进行标记,根据非法网站的危害程度、网站重要性、网站影响力和网页流行度的关联分析,将非法网站分为危害严重、有危害且影响力大和有危害三级,然后根据是否有链接指向非法网站,将其他网站分为有潜在危害和没有危害两级;在这一阶段,根据暗网域名发布和收集方式以及暗网用户的行为习惯,利用收集到的域名数量改进PageRank算法,提高了网站主页的链接流行度。

论文目录

• 致谢
• 摘要
• ABSTRACT
• 1 引言
•   1.1 研究背景与选题意义
•   1.2 国内外研究现状
•   1.3 本文工作重点和创新点
•   1.4 论文内容安排
• 2 暗网相关原理
•   2.1 暗网的开始和发展
•     2.1.1 暗网的开始
•     2.1.2 暗网的发展
•   2.2 三种常用暗网介绍
•     2.2.1 Tor
•     2.2.2 I2P
•     2.2.3 ZeroNet
•   2.3 暗网资源探测方法介绍
•     2.3.1 域名收集方式
•     2.3.3 空间结构探测方法
• 3 暗网域名收集
•   3.1 Tor域名收集方式的改进
•     3.1.1 Tor2web软件项目
•     3.1.2 发现特定搜索关键字的方法及实现
•   3.2 ZeroNet域名收集
•     3.2.1 生成方式及命名规则
•     3.2.2 发布方式
•     3.2.3 域名收集方式及实现
•   3.3 域名收集方法实现及结果分析
•     3.3.1 域名收集实验
•     3.3.2 结果分析
•   3.4 小结
• 4 基于复杂网络理论的暗网结构分析
•   4.1 暗网数据集
•   4.2 复杂网络图的构建
•   4.3 复杂网络的特征量及统计特性
•     4.3.1 复杂网络特征量
•     4.3.2 复杂网络的统计特性
•   4.4 暗网复杂网络统计特性实验验证
•     4.4.1 复杂网络特征量统计分析
•     4.4.2 无标度特性实验验证
•     4.4.3 层次模块特性实验验证
•     4.4.4 小世界特性实验验证
•   4.5 小结
• 5 基于网站危害程度的网站分级
•   5.1 数据来源
•     5.1.1 暗网非法网站数据集
•     5.1.2 链接数据集
•   5.2 暗网网站重要性排序
•     5.2.1 节点重要性评价指标
•     5.2.2 节点重要性评估
•     5.2.3 网站重要性排序
•   5.3 暗网网站影响力排序
•     5.3.1 采集和计算各项评价指标
•     5.3.2 网站影响力灰色关联度排序
•   5.4 暗网网页流行度排序
•     5.4.1 算法改进
•     5.4.2 算法评价及网页排序
•   5.5 暗网网站分级
•     5.5.1 非法网站危害程度排序
•     5.5.2 网站分级
•   5.6 小结
• 6 结论
•   6.1 总结
•   6.2 展望
• 参考文献
• 作者简历及攻读硕士学位期间取得的研究成果
• 学位论文数据集

文章来源

类型: 硕士论文

作者: 宋胜男

导师: 何永忠

关键词: 暗网,链接分析,复杂网络,关联分析,网站危害分级

来源: 北京交通大学

年度: 2019

分类: 基础科学,信息科技

专业: 数学,计算机软件及计算机应用

单位: 北京交通大学

分类号: O157.5;TP309

总页数: 72

文件大小: 5152K

下载量: 269