使用python实现Hadoop中MapReduce

Hadoop包含HDFS(分布式文件系统)、YARN（资源管理器）、MapReduce（编程模型）。
一、三大组件的简介
（1）HDFS（Hadoop Distributed File System）：
HDFS是Hadoop的分布式文件系统，它是将大规模数据分散存储在多个节点上的基础。主要负责数据的存储和管理，可以将大数据集分成多个数据块，并将数据块分配到不同的计算节点上存储，提高数据的可靠性和处理效率。
旨在在廉价硬件上存储大型文件，它具有高度容错能力，并为应用程序提高吞吐量。
适合：拥有非常大数据集的应用程序
Hadoop HDFS文件系统提供Master 和Slave架构。主节点运行Namenode守护进程，从节点运行Datanode守护进程

（2）MapReduce的编程原理
MapReduce 是Hadoop的分布式计算框架，它提供了一种简单的编程模型，用于大规模的数据集的分布式运算。即通过将大规模数据分解成多个小任务并行处理，可以大大提高数据处理的效率。通俗的将就是会将任务分给不同的机器做完，然后再收集汇总。
map阶段（分解）：单独计算任务，每个机器尽量计算自己hdfs内部的保存信息（即复杂问题分解成多个简单任务，并数据分块存储）
reduce阶段（合并）：多个任务并行，将map的输出结果作为输入合并求解。
MapReduce所需的基本细节是键值对。所有的数据无论是否结构化，在通过MapReduce模型传递之前都需要转换为键值对，在MapReduce框架中，处理单元被移至数据，而不是数据移至处理单元。

（3）YARN（Yet Another Resource Negotiator）
YARN是Hadoop的资源管理器，用于实现Hadoop集群中的资源管理和作业调度，它负责为多个应用程序分配和管理计算资源，可以有效的提高计算资源的利用率。
YARN的主要思想是将作业调度和资源管理拆分到各个进程中进行操作。YARN可以将集群中的计算资源划分为多个容器，为不同的应用程序提供适当的资源，并监控和管理各个应用程序的运行状态。
YARN提供了两个守护进程：
资源管理器（Resource Manager）：运行在Hadoop集群的主节点上，并协商所有应用程序中的资源。
节点管理器（Node Manager）：托管在所有节点上，职责是监视容器、资源使用情况（CPU、内存、磁盘和网络）并向资源管理器提供详细信息。
这两个组件都用于处理YARN中的数据计算。
三、程序
使用python写MapReduce是利用HadoopStreaming的API，通过STDIN(标准输入)、STDOUT(标准输出)在Map函数和Reduce函数之间传递数据。
(1)map阶段

import sys
def map():
    #标准输入读取的数据每一行是字符串格式，可以使用split进行分割
    for line in sys.stdin:
        words = line.split(" ")
        for word in  words:
            #单词作为key，1作为value
            print("\t".join([word.strip(),"1"]))`

（2）reduce阶段

import sys
from operator import itemgetter
def reduce():
    word_count_dict = {}
    for line in sys.stdin:
        kv = line.split("\t")
        word = kv[0].strip()
        count = int(kv[1].strip())
        #使用字典类型数据get(key,default)方法，统计单词个数，如没有默认填写0，如果有在原有的基础上累加
        word_count_dict[word] = word_count_dict.get(word,0)+count
    #将统计的数据按照key值（即word）的首字母进行排序
    sorted_word_count = sorted(word_count_dict.items(),key = itemgetter(0))

    for word ,count in sorted_word_count:
        print("\t".join([word.str(count)]))

（3）运行（windows系统）
1）首先使用命令（type 文档名称）查看txt文档
打开cmd命令提示符，到文档存储路径下，输入type word.txt(word.txt是要查看的文档)，如图所示：

2）使用命令执行map程序
按照程序执行顺序展示结果：type word.txt | python map.py
按照程序执行，并将执行结果按照字母顺序进行排序：type word.txt | python map.py |sort

3）执行reduce程序
type word.txt | python map.py |sort |python reduce.py