Eclipse Hadoop之WordCount运行

上一篇博客介绍了如何在eclipse中添加本地hadoop依赖

这一次是老师布置的作业,我也是在B战上看到了基础教学视频,视频2是接着视频1的。现在来做个总结

  • 视频1
  • 视频2

目录结构如下

代码下载
密码: 0uwj
在eclipse中打开是这样的:
Eclipse Hadoop之WordCount运行_第1张图片

准备工作

  1. hdfs开启
/hadoop安装目录/sbin/start-dfs.sh
  1. yarn开启
/hadoop安装目录/sbin/start-yarn.sh
  1. jps测试
    Eclipse Hadoop之WordCount运行_第2张图片
  2. 数据准备
  • 创建目录 /test3/input
hdfs dfs -mkdir /test3
hdfs dfs -mkdir /test3/input
  • 本地编辑一个文件 input.txt
    随便写点内容Eclipse Hadoop之WordCount运行_第3张图片
  • 将input.txt上传至/test3/input
hadoop fs -put input.txt /test3/input

运行

  • 在eclipse中,将项目导出jar包 wordcount.jar
  • 执行命令
hadoop jar wordcount.jar wordcount.WordCountRunner
  • 过程
    等待即可
    Eclipse Hadoop之WordCount运行_第4张图片
  • 结果
  1. success标志为0,代表map-reduce成功
    结果
  2. 查看文件内容
hadoop fs -cat /test3/output/part-r-00000

Eclipse Hadoop之WordCount运行_第5张图片

你可能感兴趣的:(没人看系列)