Hadoop学习笔记（四）：Hadoop中的streaming

　　Hadoop为MapReduce提供了一个允许你使用除了java以外的语言编写map，reduce函数的API：Hadoop Streaming使用标准流（standard streams)作为Hadoop和应用程序之间传输数据的接口。所以你可以使用任何语言编写map，reduce函数，只要它能够从标准输入流（stdin）中读入数据，以及向标准输出流（stdout）中写输出数据就行。

　　Streaming本质上就非常适合处理文本数据。Map输入数据通过stdin传输到map函数中，map函数再一行一行的处理这些输入数据，然后被处理过的以tab分割的键值对被写到stdout中去，reduce函数从stdin中接收到这些map输出（Hadoop框架保证这些map输出是经过关键字排序的），然后把处理后的reduce输出写到stdout中。

　以ruby为例

　　以学习笔记（一）中的计算MaxTemperature的程序为例，其Map函数的ruby代码表示如下（即使你像我一样没接触过ruby，你一样可以读懂下面这段代码）：

1 #!/usr/bin/env ruby
2 STDIN.each_line do |line|
3   val = line
4   year, temp, q = val[15,4], val[87,5], val[92,1]
5   puts "#{year}\t#{temp}" if (temp != "+9999" && q =~ /[01459]/)
6 end

　　这个程序为从stdin中读入的每行数据执行此代码块。这段代码块从每行中抽取出相关的字段（年份，温度和质量），如果温度值有效，就把年份和温度值写入到stdout中去（以tab键分隔开）。

　　因为该脚本只是在标准输入和输出上运行，所以最简单的方式就是在unix pipe上进行测试，而不是使用hadoop：

% cat input/ncdc/sample.txt | ch02/src/main/ruby/max_temperature_map.rb 1950 +0000 1950 +0022 1950 -0011 1949 +0111 1949 +0078

　　相应的，ruby形式的reduce函数如下所示：

 1 #!/usr/bin/env ruby
 2 last_key, max_val = nil, -1000000
 3 STDIN.each_line do |line|
 4   key, val = line.split("\t")
 5   if last_key && last_key != key
 6     puts "#{last_key}\t#{max_val}"
 7     last_key, max_val = key, val.to_i
 8   else
 9     last_key, max_val = key, [max_val, val.to_i].max
10   end
11 end
12 puts "#{last_key}\t#{max_val}" if last_key

　　同样的，这段代码迭代从stdin中读入的每一行，但是我们必须为当前正在处理的每一个key group保存一些数据。在这个例子中，key是年份值，我们把上一次处理过的年份值last_key和迄今为止对应的该key group中最大的温度值max_val存储下来。MapReduce框架会确保这些key值是经过排序的，所以当我们遇到一个不同的key值时，说明上一个key group已经处理完了，所保存的最大温度值max_val就是该key group最大的温度值。对比一下java实现，我们可以发现，java API会自动的为你分组，而在ruby中你不得不自己确定key group的界限。

　　对于每一行，我们抽取出年份和温度值，如果我们已经处理完了一组key-value pair（last_key && last_key != key），我们就把last_key和max_value（仍然以tab键分开）写入到stdout中去，然后重新设置last_key,max_value为对应的新值。如果还没有处理完某个key group，我们就只是更新下当前last_key所对应的max_value。现在我们仍然用unix pipe来模拟下整个mapreduce过程：

% cat input/ncdc/sample.txt | ch02/src/main/ruby/max_temperature_map.rb | \ sort | ch02/src/main/ruby/max_temperature_reduce.rb 1949 111 1950 22

　　可以看到，这次输出跟java对应的输出是一样的，现在我们使用Hadoop来运行一下。由于hadoop命令不支持streaming选项，所以你必须通过jar选项声明要处理streaming 的streaming jar文件。如下所示：

% hadoop jar $HADOOP_INSTALL/contrib/streaming/hadoop-*-streaming.jar \ -input input/ncdc/sample.txt \ -output output \ -mapper ch02/src/main/ruby/max_temperature_map.rb \ -reducer ch02/src/main/ruby/max_temperature_reduce.rb

　　如果是在一个较大的集群上运行改程序，我们可以使用-combiner选项来声明一个combiner（关于combiner的内容请参看学习笔记（三））。早前的版本combiner可能限定于java代码实现，但在1.x以后的版本中，combiner可以是任意的streaming命令。如下所示：

% hadoop jar $HADOOP_INSTALL/contrib/streaming/hadoop-*-streaming.jar \ -input input/ncdc/all \ -output output \ -mapper "ch02/src/main/ruby/max_temperature_map.rb | sort | ch02/src/main/ruby/max_temperature_reduce.rb" \ -reducer ch02/src/main/ruby/max_temperature_reduce.rb \ -file ch02/src/main/ruby/max_temperature_map.rb \ -file ch02/src/main/ruby/max_temperature_reduce.rb

　　在本例中，我们指定输入文件为一个目录（-input input/ncdc/all），这样就把该目录下的所有文件读入mapper中了（在本例中此目录下是两个.gz文件，也就是gzip的压缩文件：1901.gz,1902.gz）。其中-file选项用来说明要拷贝到集群上的文件（如果是在单例模式下运行就不需要这么做了）。值得注意的是，此例中的-mapper选项同时指明了mapper和combiner（也就是max_temperature_reduce.rb，还记得吗，在学习笔记（三）中我们知道java代码的combiner跟reducer是同一实现）

 　　以Python为例

　　熟悉python的同学可以参考一下python下map和reduce函数的代码：：

1 #!/usr/bin/env python
2 import re
3 import sys
4 for line in sys.stdin:
5   val = line.strip()
6   (year, temp, q) = (val[15:19], val[87:92], val[92:93])
7   if (temp != "+9999" and re.match("[01459]", q)):
8     print "%s\t%s" % (year, temp)

 1 #!/usr/bin/env python
 2 import sys
 3 (last_key, max_val) = (None, -sys.maxint)
 4 for line in sys.stdin:
 5   (key, val) = line.strip().split("\t")
 6   if last_key and last_key != key:
 7     print "%s\t%s" % (last_key, max_val)
 8     (last_key, max_val) = (key, int(val))
 9   else:
10     (last_key, max_val) = (key, max(max_val, int(val)))
11 if last_key:
12   print "%s\t%s" % (last_key, max_val)

　　执行测试脚本命令为：

% cat input/ncdc/sample.txt | ch02/src/main/python/max_temperature_map.py | \ sort | ch02/src/main/python/max_temperature_reduce.py 1949 111 1950 22

转载请注明出处：http://www.cnblogs.com/beanmoon/archive/2012/12/07/2807759.html