Hadoop 大数据学习笔记

Hadoop 大数据学习笔记1

  • 大数据部门组织架构
  • Hadoop
    • Hadoop是什么
    • Hadoop的优势
    • Hadoop的组成
      • HDFS架构
      • YARN架构
      • MapReduce
    • 大数据技术生态体系![在这里插入图片描述](https://img-blog.csdnimg.cn/20191209135301229.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Z1eWlhcg==,size_16,color_FFFFFF,t_70)

大数据部门组织架构

Hadoop 大数据学习笔记_第1张图片

Hadoop

Hadoop是什么

Hadoop 是一个由Apache基金会所开发的分布式系统基础架构。
主要解决,海量数据的存储和海量数据的分析计算问题。
广义上来说,Hadoop通常是指一个广泛的概念———Hadoop生态圈。

Hadoop的优势

1)高可靠性。
2)高扩展性。
3)高效性。
4)高容错性。

Hadoop的组成

MapReduce(计算)
Yarn(资源调度)
HDFS(数据存储)

HDFS架构

1)NameNode(nn):存储文件的元数据,数据索引。
2)DataNode(dn):数据本身。
3)Secondary NameNode(2nn):用于监控HDFS状态的辅助后台程序,获取HDFS元数据的快照。

YARN架构

Hadoop 大数据学习笔记_第2张图片

MapReduce

1)Map阶段并行处理输入数据。
2)Reduce阶段对Map结果进行汇总。

大数据技术生态体系Hadoop 大数据学习笔记_第3张图片

你可能感兴趣的:(Hadoop 大数据学习笔记)