HDFS文件上传,命令行模式执行WordCount自带实例

                以下命令均在/usr/local/hadoop下执行

     1. 新建文件夹input,新建文件input/file.txt
mkdir input
echo "hello world hello hadoop" >>input/file.txt
     2. 启动HDFS
./sbin/start-dfs.sh

以下所有的bin/都可以省略,因为环境变量里已经配置好了。
     3. 将input文件夹上传至hdfs
上传到hdfs文件系统的根目录:bin/hadoop fs -put ./input /

创建家目录:bin/hadoop fs -mkdir /user/hadoop
上传到hdfs文件系统的家目录:bin/hadoop fs -put ./input /user/hadoop

为了简化命令以及便于区分不同用户,最好上传到家目录!
     4. 执行(这个wordcount是HDFS自带的实例)
     如果上传在根目录:
bin/hadoop jar wordcount ./share/hadoop/mapreduce/ hadoop-mapreduce-example-2.7.1.jar /input /output
     如果上传在家目录:
bin/hadoop jar wordcount ./share/hadoop/mapreduce/ hadoop-mapreduce-example-2.7.1.jar input output
     5.  以递归的方式查看HDFS上所有文件(包括文件夹内的文件)
     如果上传在根目录:bin/hadoop fs -lsr /
     如果上传在家目录:bin/hadoop fs -lsr /user/hadoop
     6.  查看output文件夹内的输出结果(part-r-00000是output文件夹中的最后一个文件也就是最新创建的文件,即输出结果,文件名称因人而异)
     如果上传在根目录:bin/hadoop fs -tail /output/part-r-00000
     如果上传在家目录:bin/hadoop fs -tail output/part-r-00000  =  bin/hadoop fs -tail /user/hadoop/output/part-r-00000

你可能感兴趣的:(wordcount,hdfs,重要步骤)