Lucene-Hadoop, GFS中Map/Reduce的简单实现

作者： IT168.com  日期： 2009-06-12  

文本Tag： 云应用

　　 【IT168 资讯】Hadoop 是一个用于构建分布式应用程序的框架。Hadoop框架给应用程序透明的提供了一组稳定和可靠的接口。这项技术的实现得易于映射/ 归约编程范式。在这个范式里，一个应用程序被分割成为许多的小的任务块。每一个这样的任务块被集群中的任意一个节点的计算机执行或重新执行。此外，这种范 式还提供了一种分布式的文件系统，这种文件系统用来 存储数据于集群中相互间具有高带宽的计算机上。映射/归约和分布式文件系统都被设计成为容错的结构。也 就是说，当集群中某个节点发生了故障整个文件系统或者映射/归约操作仍然能够有效的运作。

　　Hadoop起初是作为Nutch项目的基础结构来开发的。有关Nutch得更具体的信息可以访问Apache关于Nutch开源项目的官方网站。Hadoop和Nutch都隶属于Lucene Apache项目。

Hadoop的映射/归约(Map/Reduce)

设计模型和执行框架：

　 　映射/归约是一种编程范式最早在Lisp编程语言中得已实现，这种范式将一个大型的分布式计算看作是一系列建立在 键/值映射数据集上的分布式操作。Hadoop的映射/规约框架利用一个集群中的计算机执行用户定义的映射/归约任务。一个映射/规约操作分为两个阶段： 映射阶段和规约阶段。用户通常是把一个键值对应的数据集作为计算的输入提供给系统。

　　在映射阶段，框架将用户输入的数据分割成很多片断 (fragments)并把每一个数据片断分配一个映射任务。系统常常将很多这样的映射任务分 配给一个集群中多个运行了该框架的计算机。每一个映射操作包括消耗掉数据片断中的键值对并且产生一个中间态的键值对应集合。例如对于每一个输入的键值对 (K,V)，映射操作调用用户定义的映射函数将(K,V)对转化成为一个不同的键值对(K’,V’)

　　接着，系统结构将这些中间态的数据集按照键的值进行排序并生成一个新的(K’,V’*)元组(tuples)。这样所有对应同一个键不同值的数据便会被放到一起。同时系统也将这些元组分隔成为很多片断，这些片段的数目等同于归约任务的数目。

　 　在归约的阶段，每一个归约操作消耗掉分配给它的(K’,V’*)片断。对于每一个这样的元组，归约操作会调用用户定义的归约函数用来将这些片断 转化成为用户需要的键值对(K,V)进行输出。和映射操作类似，系统将这许许多多的归约操作分配给集群计算机并且负责将映射操作中所产生的中间态数据集传 输给相应的归约操作。

　　在各个阶段时候的操作都是作为一种容错的风格来执行的。如果某个节点在执行操作中发生故障。其正在执行的任务将重新分配给其他的节点。多个映射归约任务的同时执行保证了良好的装载平衡，同时，也确保发生故障的机器在重新启动以后能够很快的被重新分配任务。

Hadoop映射/归约的架构：

　　Hadoop映射/归约框架是一个主/从(master/slave)架构.它由一个主 服务器(Jobtracker)和若干从 服务器(tasktracker)组成。主服务器是用户与系统打交道的关键。用户将自定义的

　　映射/归约操作提交给主服务器。主服务器将操作放入作业队列中并按照先到先服务的原则对队列中的任务进行处理。主服务器用来将映射或者归约操作分配给不同的从服务器。从服务器在主服务器的控制下执行操作，同时，不同的从服务器间在映射和归约阶段也进行着数据传输

Hadoop DFS

　 　Hadoop的分布式文件系统(HDFS)被设计用来在集群计算机间存储大型 数据文件。这个设计来源于Google文件系统(GFS)。Hadoop分布式文件系统将每一个文件作为一组数据块进行存储，一个文件中除了最后一个数据 块的所有数据块都具有相同的大小。作为容错处理，这些数据块被复制成为了很多份。每一个文件的数据块大小和复制的份数是可以被管理员配置的。另外，值得注 意的是，HDFS中的文件都是只写一次并且每一个时间点严格的只允许一个线程执行写操作。

HDFS构架：

　　 类似于Hadoop的映射规约(Map/Reduce), HDFS也遵循 master/Slave的架构。一个HDFS装置包括了一个控制服务器用来管理文件系统的命名空间和管理客户服务器对文件的访问，我们把这样的节点也叫 做命名节点(Namenode)。此外，在这样一个装置中还包括了一系列的数据节点(Datanode),每一个数据节点代表一个运行了HDFS文件系统 存储结构的机群计算机。命名节点通过一个RPC的结构对文件系统进行类似于文件或目录的打开，关闭，重命名之类的操作。同时，命名节点也负责决定将数据块 映射(Map)到相应的数据节点上。而数据节点则负责向文件系统的用户提供对文件的读写操作。数据节点也可以在命名节点的控制下对数据块进行创建，删除或 者复制的操作。