WebCollector和ElasticSearch在高校网站群敏感词检测中的应用研究

论文摘要

在高校信息化建设过程中,建设了大量的网站,这些网站发布的信息和展示的内容很可能含有国家法律禁止或者学校规定禁止的敏感词汇,针对从海量的网站信息中定位到敏感词汇的目的,本文采用了文献研究法、个案研究法及实证研究法,通过研究相关材料文献和技术文档,研究相关系统设计案例,结合实际情况设计和实现一个能运行的系统,得出基于Webcollector爬虫框架和ElasticSearch搜索引擎设计和实现网站群敏感词检测系统的可行性。

论文目录

• 1 研究背景
• 2 WebCollector研究
•   2.1 爬虫技术及现状
•   2.2 WebCollector框架介绍
• 3 ElasticSearch研究
•   3.1 ElasticSearch简介
•   3.2 ElasticSearch基本概念
•   3.3 ElasticSearch运行原理
•   3.4 ElasticSearch分词检索原理
• 4 校园网站群敏感词检测系统设计及实现
•   4.1 系统架构设计
•   4.2 WebCollector程序实现
•   4.3 Quartz定时调度程序实现
• 5 结论

文章来源

类型: 期刊论文

作者: 钱红兵,李艳丽,张蕊

关键词: 敏感词检测,爬虫,搜索引擎

来源: 电子设计工程 2019年24期

年度: 2019

分类: 信息科技

专业: 计算机软件及计算机应用,互联网技术

单位: 中国人民大学信息技术中心

分类号: TP391.3;TP393.092

DOI: 10.14022/j.issn1674-6236.2019.24.003

页码: 11-14+19

总页数: 5

文件大小: 1937K

下载量: 130