Hadoop教程第一章之Hadoop简介

1. Hadoop是什么

• Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
• 主要解决，海量数据的存储和海量数据的分析计算问题。
• 广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。
  

2. Hadoop的三大发行版本

• Apache版本最原始（最基础）的版本，对于入门学习最好。2006年
• Cloudera内部集成了很多大数据框架，对应产品CDH ,2008年
• Hortonworks 文档较好，对应产品 HDP, 2011年
• Hortonworks现在已经被Cloudera公司收购，推出新的品牌CDP。
  
  

3. Hadoop的优势

1）高可靠性:Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。
2）高扩展性:在集群间分配任务数据，可方便的扩展数以千计的节点。
3）高效性:在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。
4）高容错性:能够自动将失败的任务重新分配。

4. Hadoop的组成(面试重点)

Hadoop1.x组成: common(辅助工具),HDFS(数据存储),MapReduce(计算+资源调度)
Hadoop2.x组成: common(辅助工具),HDFS(数据存储),MapReduce(计算),Yarn(资源调度)
Hadoop3.x组成: 在组成上和2.x没有任何区别

6. HDFS的概述

• Hadoop Distributed File Sytem ,简称HDFS , 是一个分布式文件系统
• NameNode(nn): 存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间,副本数,文件权限),以及每个文件的块列表和块所在的DataNode等
• DataNode(du): 在本地文件系统存储文件块数据,以及块数据的校验和
• SeconDary Name(2nn): 每隔一段时间内对NameNode元数据进行备份
  

7. 推荐系统案例