Hadoop学习第一章：Hadoop概述

一、Hadoop的产生背景

1. 关于Hadoop的产生背景来源于Nutch，Nutch
   的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，然而随着抓取网页数据的增加，数据的搜索和储存成为了设计人员所要思考的一个关键！

2. 2003年Google发布了三篇论文，GFS（Google File System），分布式计算框架（MapReduce）,分布式数据库（BigTable），系统的阐述了他们在网页产生的大量数据的存储和搜索以及计算的思路！

3. Nutch项目的开发人员根据这三篇论文提供的思路，利用java实现了这三篇论文的思想，并从Nutch中剥离开来，成立了一个新的项目Hadoop。

二、什么是Hadoop

关于hadoop的几个概念
1、Apache的开源项目
2、Hadoop的功能
3、Hadoop的功能实现

Hadoop的核心功能实现是通过四大核心组件来实现的
A、Common JNDI RPC 基础功能组件，工具包，底层通讯等
B、HDFS（Hadoop File System）谷歌文件系统在Hadoop上的实现
C、MapReduce 分布式计算框架
D、Hbase 分布式数据库

4、事实上广义的hadoop指的是Hadoop生态圈

三、Hadoop生态圈以及各组成部分

重点组件：

HDFS：Hadoop FIle System分布式文件系统
MAPREDUCE：Hadoop分布式计算框架
Hive：基于Hadoop的分布式类SQL数据仓库工具
HBase：分布式数据存储系统
Zookeeper：分布式协调管理工具
Maout：基于 MapReduce/Flink/Spark 等分布式运算框架的机器学习算法库
Oozie/Azkaban：工作流调度引擎
Sqoop：数据迁入迁出工具
Flume：日志采集工具