hadoop简介

hadoop简介

    • 概念
    • 优势
    • hadoop1.x、2.x、3.x区别
    • HDFS架构概述
    • MapReduce结构概述
    • HDFS,YARN,MapReduce三者关系

概念

大数据(big data):指无法在一定时间范围内用常规工具进行捕捉,管理和处理的数据集合,是需要新处理模式才能具有更强的决策力,洞察发现力和流程优化能力的海量、高增长和多样化的信息资产。

优势

  • 高可靠性:hadoop底层维护多个数据副本,所以即使hadoop某个计算元素或存储出现故障,也不会导致数据丢失
  • 高扩展性:在集群间分配任务数据,可方便的扩展数以千计的结点
  • 高效性:在MapReduce的思想下,hadoop是并行工作的,以加快任务的处理速度
  • 高容错性:能够自动将失败的任务重新分配

hadoop1.x、2.x、3.x区别

hadoop简介_第1张图片

HDFS架构概述

hadoop distributed file system,简称hdfs,是一个分布式文件系统

  • NameNode(nn):存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间,副本数,文件权限),以及每个文件的块列表和块所在的DataNode等
  • DataNode(dn):在本地文件系统存储块数据,以及块数据的校验和
  • Secondary NameNode(2nn):每隔一段时间对NameNode元数据备份

hadoop简介_第2张图片## YARN架构概述

Yet Another Resource Negotiator,简称YARN,另一种资源协调者,是hadoop的资源管理器

  • ResourceManager(RM):整个集群资源(内存,CPU等)的老大
  • NodeManager(NM):单个结点服务器资源老大
  • ApplicationMaster(AM):单个任务运行的老大
  • Container:容器,相当一台独立的服务器,里面封装了任务运行所需要的资源,如内存,CPU,磁盘,网络等

hadoop简介_第3张图片
hadoop简介_第4张图片

  • 说明1:客户端可以有多个
  • 说明2:集群上可以运行多个applicationmaster
  • 说明3:每个nodemanager上可以有多个container

MapReduce结构概述

MapReduce将计算过程分为两个阶段:Map和Reduce

  • Map阶段并行处理输入数据
  • Reduce阶段对Map结果进行汇总
    hadoop简介_第5张图片

HDFS,YARN,MapReduce三者关系

hadoop简介_第6张图片

你可能感兴趣的:(hadoop,hadoop,hdfs,mapreduce)