基于Web爬虫的学习资源采集系统设计与实现

论文摘要

为实现Web学习信息资源有效整合,提高查询效率,通过采用分布式Web爬虫技术实现后台自动采集任务,利用ECharts和JavaScript技术实现数据可视化展示,最终设计实现学习资源自动采集系统.经过功能测试和性能测试,系统能够满足实际工作需要,具有稳定性和适应性,能够有效提升学习水平,具有较高应用价值.

论文目录

• 1 学习资源采集系统需求分析
• 2 学习资源采集系统设计
•   2.1 学习资源采集系统架构
•   2.2 学习资源采集系统数据处理模型
•   2.3 学习资源采集系统模块设计
•     2.3.1 采集模板模块
•     2.3.2 信息采集模块
•     2.3.3 数据分析模块
•     2.3.4 数据展示模块
•     2.3.5 系统管理模块
• 3 学习资源采集系统实现关键技术
•   3.1 分布式爬虫设计
•     3.1.1 爬虫的搜索策略
•     3.1.2 爬虫流程算法
•     3.1.3 爬虫模拟用户使用浏览器
•     3.1.4 爬虫的对象选择方法
•     3.1.5 爬虫的数据交换格式
•   3.2 采集模板数据库设计
•   3.3 采用ECharts完成数据可视化展示
• 4 学习资源采集系统测试
•   4.1 功能测试
•   4.2 性能测试
• 5 结语

文章来源

类型: 期刊论文

作者: 刘长琦

关键词: 爬虫,学习资源采集系统

来源: 辽宁师专学报(自然科学版) 2019年04期

年度: 2019

分类: 基础科学,信息科技

专业: 互联网技术

单位: 朝阳师范高等专科学校信息技术中心

分类号: TP393.09

页码: 32-37

总页数: 6

文件大小: 1425K

下载量: 145