Hadoop笔记（一）

Hadoop基本概念

Hadoop出现的前提环境

随着数据量的增大带来了以下问题：

1. 如何存储大量的数据？
2. 怎么处理这些数据？
3. 怎样高效地分析这些数据？
4. 在数据量增长的情况下如何构建一个解决方案？

在大数据领域提出了两个概念：

1. 分布式文件系统，用于存储大量的数据
2. 分布式计算框架MapReduce，高效地分析数据

以上两个概念组成了一个名词叫Hadoop

---

Hadoop的起源

谷歌发布了三篇论文：GFS分布式存储系统、MapReduce分布式计算框架、BigTable。

Hadoop	Google
HDFS	GFS
MapReduce	MapReduce
Hbase	BigTable

---

Hadoop与其他分布式系统比较

1. Hadoop集群的数据首先先金星分布式的存储
2. Hadoop集群上通过HDFS分布式文件系统，会把存储的数据复制多分，保证了数据的安全性
3. 提供了一个简单的医用的分布式计算框架
4. Hadoop扩展容易

---

Hadoop版本

Hadoop1x版本中核心是组建就是HDFS和MapReduce；

Hadoop2x版本中核心中增加了YARN；

---

YARN介绍

1. 云操作系统，理解为资源管理器，管理集群中的资源（在增加了YARN操作系统之后，MapReduce任务就是可以跑在YARN平台上，通过YARN平台进行MapReduce任务的管理，资源的分配）；
2. 也可以通过YARN平台运行Spark任务，包括Spark可以读取HDFS上的数据文件；

---

Hadoop生态圈介绍

数据的来源，在企业中一般数据的来源分为两种，第一种是企业内部的数据，

例如：业务数据（保存在关系型数据库中），应用的服务器日志（日志文件）。（机构化数据）

第二种外部渠道获得，例如：用户的行为记录（推荐系统实现），通过搜索的关键字、消费记录、爬虫技术等（非结构化数据）。

hive(数据要进行清洗获取需要的数据)

sqoop(数据导入导出到传统数据库中)

flume（日志收集工具）

hbase（数据库存储）

hdfs

MapReduce

zookeeper

---

HDFS架构

分布式存储系统，分布式的架构上存在主/从的架构关系，在HDFS文件系统存在主节点和从节点。

• 主节点：namenode负责管理HDFS集群文件中的元数据（文件名、文件位置、文件副本）

• 从节点：datanode负责存储真正的数据

  image

在HDFS中数据的存储是以块（block）的方式进行存储，默认块的大小为128MB。

---

YARN架构

分布式架构，分为主从架构；

• 主节点 ResourceManager，负责管理集群中的所有资源（cpu、内存、磁盘、网络IO）。
• 从节点 NodeManager，负责管理集群中每一台服务器的资源。

---

MapReduce架构

核心思想，分而治之

• Map端和Reduce端进行数据分析
• 数据在Map阶段进行分开处理，处理完成之后，再交给Reduce进行统计，在Map和Reduce中间的阶段通过shuffle来进行连接