基于HDFS的大数据文件传输实验设计

论文摘要

随着云计算应用技术及相关研究的发展,云编程模式也有了新的技术革新。在高校校园网实验教学体系中,云平台的相关实验已经成为大数据分析等课程配套实验的主要内容。使用HDFS架构,搭建稳定、实用、符合实验课程体系的大数据实验平台,成为高校校园网实验研究的新课题。选用开源云计算平台Hadoop,作为基础平台进行大数据分析实验,搭建基本的实验平台,进行数据处理平台的优化处理。通过HDFS为分布式计算存储提供底层应用支持,实现NameNode和DataNode的通信,将用户通过数据块的方式将文件存储到节点中,及时处理客户端的读写请求,并在NameNode的统一调度下进行数据块的创建、删除、复制和映射。根据具体的实验方法,有针对性的制定实验流程。

论文目录

• 0 引 言
• 1 HDFS体系结构
• 2 HDFS文件传输分析实验设计
•   （1） HDFS文件读取分析。
•   （2） HDFS文件写入分析。
• 3 实验方法
•   3.1 基本配置方法
•   3.2 测试方法
•     （1） 测试Hadoop样例程序wordcount。
•       ①在本地磁盘建立两个测试文件 file01和file02
•       ②在hdfs中创建wcin目录用于保存测试文件
•       ③将两个测试文件放到wcin目录下
•       ④执行wordcount对测试文件进行统计,统计结果放入/wcout（目录必须不存在,自动生成）
•       ⑤查看wcout目录中生成的结果文件
•     （2） 测试hadoop样例程序pi。
• 4 结 语

文章来源

类型: 期刊论文

作者: 刘文杰

关键词: 云计算,大数据分析,网络通信,开源框架,实验平台

来源: 实验室研究与探索 2019年12期

年度: 2019

分类: 基础科学,信息科技

专业: 计算机软件及计算机应用

单位: 大连理工大学软件学院

基金: 国家自然科学基金项目(61175062)

分类号: TP311.13

页码: 132-134+215

总页数: 4

文件大小: 375K

下载量: 191