学习笔记Hadoop（十三）—— MapReduce开发入门（1）—— MapReduce开发环境搭建、MapReduce单词计数源码分析

一、MapReduce

MapReduce是Google提出的一个软件架构，用于大规模数据集（大于1TB）的并行运算。概念“Map（映射）”和“Reduce（归纳）”，及他们的主要思想，都是从函数式编程语言借来的，还有从矢量编程语言借来的特性。

当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（归纳）函数，用来保证所有映射的键值对中的每一个共享相同的键组。

---

二、MapReduce开发环境搭建

环境准备： Java， Intellij IDEA， Maven
开发环境搭建方式

java安装链接及步骤：https://www.cnblogs.com/de-ming/p/13909440.html

2.1、Maven环境

添加依赖

https://search.maven.org/artifact/org.apache.hadoop/hadoop-client/3.1.4/jar

添加源码

2.2、手动导入Jar包

Hadoop安装包链接：https://pan.baidu.com/s/1teHwnBH2Qm6F7iWZ3q-hSQ
提取码：cgnb

新建一个java工程


然后，搜JobClient.class，点击’Choose Sources’

这样就OK了，可以看到JobClient.java

三、MapReduce单词计数源码分析

3.1、打开WordCount.java

打开：https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-mapreduce-examples/3.1.4，复制Maven里面的内容

粘贴到源码

搜索WordCount

3.2、源码分析

3.2.1、MapReduce单词计数源码 : Map任务

3.2.2、MapReduce单词计数源码 : Reduce任务

3.2.3、MapReduce单词计数源码 : main 函数

设置必要参数及组装MapReduce程序