Hadoop streaming is a utility that comes with the Hadoop distribution. The utility allows you to create and run Map/Reduce jobs with any executable or script as the mapper and/or the reducer.
简而言之，Hadoop Streaming 是一个工具，允许使用任何能够操作标准输入输出的语言来编写MapReduce。
可以参见官方文档：http://hadoop.apache.org/docs/r2.6.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/HadoopStreaming.html
需要说明的几点：
1、hadoop-streaming是基于Unix Pipe的
2、mapper，reducer只需要 sys.stdin读取数据，并且将结果写到标准输出即可
3、map到reduce的期间，hadoop会自动给map出的key排序，所以到reduce中是一个已经排序的键值对
常用参数：
-input：必须的参数，文件名或者目录名，mapper需要操作的目录
-output：必须的参数，文件名或者目录名，reducer需要操作的目录
-mapper： 必须的参数，mapper名
-reducer：必须的参数，reducer名
-file：可选参数
-D stream.num.map.output.key.fields=1
num.key.fields.for.partition=N，这个参数是用来控制 shuffle 阶段将数据集的前N列作为Key；
所以对于 wordcount 程序，map输出为“word 1”，shuffle 是以word作为Key，因此这里N=1
有时候我们首先要找到 hadoop-streaming 这个jar包所在的位置：
find $HADOOP_HOME -name hadoop-streaming*
如果想查看hadoop-streaming帮助
$HADOOP_HOME/bin/hadoop jar /opt/modules/hadoop-2.6.0-cdh5.8.0/share/hadoop/tools/lib/hadoop-streaming-2.6.0-cdh5.8.0.jar -info
mapper
用Python 开发的mapper代码如下：
#! /usr/bin/env python
import sys
import time
import re
patterns = re.compile(r'\w+')
for line in sys.stdin:
ss = line.strip().split(' ')
for word in ss:
if len(patterns.findall(word)) < 1:
continue
w = patterns.findall(word)[0].lower()
print("%s\t%s" %(w, 1))
reducer
用Python 开发的 reducer 代码如下：
#! /usr/bin/env python
import sys
current_word = None
sum = 0
for line in sys.stdin:
word, value = line.strip().split('\t')
if current_word == None:
current_word = word
if current_word != word:
print("%s\t%s" %(current_word, sum))
current_word = word
sum = 0
sum += int(value)
print ("%s\t%s" %(current_word, str(sum)))
本地调试
# 本地调试流程 cat | mapper | sort | reducer
cat sample.csv | python mapper.py | sort -t '\t' -k 1 | python reducer.py
head -2 /opt/datas/The_man_of_property.txt | python map.py | sort -t $'\t' -k 1 | python reduce.py
1、在sort -t '\t'时，要使用 sort -t $'\t'，不然会报错【sort: 多字符标签"\\t"】，
2、如果是其他的分隔符"，"或者"："等就不会有这个问题，当然是这些分隔符加上$也是可以的
run 脚本
提交mapreduce的脚本，常见有如下四种写法
第一种，假设当前位于 map.py 与 red.py 所在的目录
#! /bin/bash
HADOOP_CMD="/opt/modules/hadoop-2.6.0-cdh5.8.0/bin/hadoop"
STREAM_JAR_PATH="/opt/modules/hadoop-2.6.0-cdh5.8.0/share/hadoop/tools/lib/hadoop-streaming-2.6.0-cdh5.8.0.jar"
INPUT_FILE_PATH="/datas/The_man_of_property.txt" # HDFS路径
OUTPUT_PATH="/output/wc" # HDFS路径
$HADOOP_CMD fs -rm -r -skipTrash $OUTPUT_PATH
$HADOOP_CMD jar $STREAM_JAR_PATH \
-input $INPUT_FILE_PATH \
-output $OUTPUT_PATH \
-mapper map.py \
-file map.py \
-reducer reduce.py \
-file reduce.py
第二种：
$HADOOP_CMD jar $STREAM_JAR_PATH \
-input $INPUT_FILE_PATH \
-output $OUTPUT_PATH \
-mapper ./map.py \
-file map.py \
-reducer ./reduce.py \
-file reduce.py
第三种，对所在目录就没有要求：
$HADOOP_CMD jar $STREAM_JAR_PATH \
-input $INPUT_FILE_PATH \
-output $OUTPUT_PATH \
-mapper src/map.py \
-file map.py \
-reducer src/reduce.py \
-file reduce.py
第四种：
$HADOOP_CMD jar $STREAM_JAR_PATH \
-input $INPUT_FILE_PATH \
-output $OUTPUT_PATH \
-mapper "python map.py" \
-file src/map.py \
-reducer "python red.py" \
-file src/red.py
值得注意的是：
1、准确来说，mapper，reducer 后面需要的其实应该是一个命令而不是文件名
2、对于第1,2,3种写法来说，py文件的首行是必须指定解释器位置的（#! /usr/bin/env python），不然系统咋知道用啥解释器去执行脚本呢
3、第四种写法 "python map.py" 是推荐的用法，因为在这里可以引入第三方package
4、当然还有第五种写法，通过 -archives 参数将压缩后的整个环境上传至HDFS，然后分发至各个节点执行