Hadoop Streaming 实战： bash脚本

  streaming支持使用脚本作为map、reduce程序。以下介绍一个实现分布式的计算所有文件的总行数的程序

   1. 待检索的数据放入hdfs
       $ hadoop fs -put localfile /user/hadoop/hadoopfile

   2. 编写map、reduce脚本,记得给脚本加可执行权限。
       mapper.sh      

#!/bin/sh 
wc –l

 

       reducer.sh

#!/bin/sh 
sum=0 
while read i 
do 
        let sum+=$i 
done 
echo $sum

 

   3. 运行：
        $ hadoop streaming –input /user/hadoop/hadoopfile  -output /user/hadoop/result -mapper ./mapper.sh -reducer ./reducer.sh -file mapper.sh -file reducer.sh -jobconf mapred.reduce.tasks=1 -jobconf mapre.job.name="sum_test"
       
         说明：
           -input  /user/hadoop/hadoopfile ： 待处理文件目录
           -output /user/hadoop/result   ：处理结果存放目录
            -file  ：分发mapper.sh和reducer.sh到hdfs中
            -jobconf mapred.reduce.tasks=1 : reduce任务数 

   3.  查看结果：
        $ hadoop fs –cat /user/hadoop/result/part-00000