windows下运行hadoop的wordcount示例超详细过程

windows下运行hadoop的wordcount示例超详细过程

特别感谢参考博文中的两位博主的分享

一.下载2个文件

https://github.com/MuhammadBilalYar/HADOOP-INSTALLATION-ON-WINDOW-10/blob/master/MapReduceClient.jar

https://github.com/MuhammadBilalYar/HADOOP-INSTALLATION-ON-WINDOW-10/blob/master/input_file.txt

我把这两个文件放到了D:/software/hadooptestfile.

路径里还是不要带其他符号比较好，因为可能会报错如下：

首先应该启动集群,使用管理员身份打开cmd(由于集群format时是使用管理员format的，为保证id不出错，就自始至终使用一个角色。)

start-all

另外：关于hadoop的配置可以参照这篇文章,

传送门：windows10下配置hadoop2.8.5超详细过程

二. 运行案例

2.1创建文件夹

首先在hdfs中创建一个文件夹，这里我起名字为user，尽管有警告，但是不妨碍程序运行。

创建文件夹的命令：hadoop fs -mkdir /user

2.2放入文件

把文件放到刚刚建好的文件夹中

2.3 查看待输入的文件

查看文件夹状态：hadoop fs -ls /user/

把文件放入hadoop的文件夹中：hadoop fs -put C:/input_file.txt /user

可以用下面这个命令查看上传的文件

hadoop dfs -cat /user/input_file.txt

关于这个命令，hadoop fs -ls [hdfs上的路径]

2.4使用MapReduceClient计算

hadoop jar C:/MapReduceClient.jar wordcount /user /output_dir

2.5 查看运行结果

hadoop dfs -cat /output_dir/*

参考内容：

https://blog.csdn.net/sinat_40381653/article/details/89472525

https://muhammadbilalyar.github.io/blogs/How-to-Run-Hadoop-wordcount-MapReduce-Example-on-Windows-10/

特别感谢两位博主写的blog！！