Hadoop Streaming 实战： c++编写map&reduce程序

1. 输入文件：
姓名 年龄（以'/t’分割）
eg：
张三  15
李四  15
张三  16
张三 15

输出：将姓名和年龄相同的归一，并输出其人数
eg：上述输入，输出为：

姓名  年龄 人数（以'/t’分割）
张三 15   2
李四 15   1
张三 16   1

2.  map程序：

 

#include 

#include 

using namespace std;

int main(int argc, char** argv)

{

    string name,age;

    //读入姓名、年龄

    while(cin >> name >> age)

    {

        //输出姓名、年龄、人数

        cout << name << "/t" << age  << "/t" << "1" << endl;

    }

    return 0;

}

 

编译生成可执行程序：
g++ -o mapper mapper.cpp

3. reducer程序：

#include 

#include 

#include 

using namespace std;

int main(int argc, char** argv)

{

    string key, value;

    int num;

    //个数统计

    mapint> count_stat;

    mapint>::iterator it_count_stat;

    //读入数据并插入map

    while(cin >> key >> value >> num)

    {

        string tmp_key = key + "/t" + value;

        //插入数据

        it_count_stat = count_stat.find(tmp_key);

        if(it_count_stat != count_stat.end())

        {

            (it_count_stat->second)++;

        }

        else

        {

            count_stat.insert(make_pair(tmp_key, 1));

        }

    }

    //输出统计结果

    for(it_count_stat = count_stat.begin(); it_count_stat != count_stat.end(); it_count_stat++)

    {

        cout<first<<"/t"<second<


      
    }
 
    return 0;
}

编译生成可执行程序：
g++ -o reducer reducer.cpp

 

4. 测试数据：

张三    15

李四    20

张三    15

张三    16

 

5. 单机测试运行：

$ cat test.txt | ./mapper  | ./reducer 

    李四    20    1

    张三    15    2

    张三    16    1

 

6. Hadoop集群运行：
   以'/t’作为分隔符，并以前两个字段作为key，reduce任务3个，输入命令：

$ hadoop fs -put test.txt /user/test.txt

$ hadoop streaming -D stream.map.output.field.separator='/t' /

    -D stream.num.map.output.key.fields=2 /

    -input /user/test.txt /

    -output /user/tmp_1324 /

    -mapper ./mapper -reducer ./reducer /

    -file mapper -file reducer /

    -jobconf mapred.reduce.tasks=3 /

    -jobconf mapre.job.name="c++_test" 

 

7.查看输出：

$ hadoop fs -cat /user/tmp_1324/part-00000

李四    20      1

张三    16      1

$ hadoop fs -cat /user/part-00001

$ hadoop fs -cat /user/part-00002

张三    15      2