【大数据实验五】 MapReduce初级编程实践

大数据实验五 MapReduce初级编程实践

1实验目的
1.通过实验掌握基本的MapReduce编程方法;
2.掌握用MapReduce解决一些常见的数据处理问题,包括数据去重、数据排序和数据挖掘等。
2实验平台
已经配置完成的Hadoop伪分布式环境。
(1)操作系统:Linux(Ubuntu18.04)
(2)Hadoop版本:3.1.3
3实验内容和要求
1.编程实现文件合并和去重操作
【大数据实验五】 MapReduce初级编程实践_第1张图片
【大数据实验五】 MapReduce初级编程实践_第2张图片

  1. 编写程序实现对输入文件的排序

【大数据实验五】 MapReduce初级编程实践_第3张图片

【大数据实验五】 MapReduce初级编程实践_第4张图片

【大数据实验五】 MapReduce初级编程实践_第5张图片

  1. 对给定的表格进行信息挖掘

你可能感兴趣的:(软件工程本科实验,Linux操作系统,大数据,mapreduce,hadoop)