一、Hadoop
1.hadoop的初衷是采用大量的廉价机器，组成一个集群！完成大数据的存储和计算！
2.hadoop历史版本
hadoop 1.x
HDFS: 负责大数据的存储
Common: HDFS和MR共有的常用的工具包模块！
MapReduce: 负责计算，负责计算资源的申请的调度！
完成大数据的计算所需步骤：
①写程序，程序需要复合计算框架的要求！
java---->main----->运行
MapReduce(编程模型)----->Map--Reducer
②运行程序，申请计算资源(cpu+内存，磁盘IO，网络IO)
java----->JVM------>OS----->申请计算资源
1.0: MapReduce(编程模型)---->JobTracker----->JVM----->申请计算资源
2.0: MapReduce(编程模型)---->jar------>运行时，将jar包中的任务，提交给YARN，和YARN进行通信，由YARN中的组件-----JVM------>申请计算资源
1.x和2.x的区别是将资源调度和管理进行分离！由同一的资源调度平台YARN进行大数据计算资源的调度！
提升了Hadoop的通用性！Hadoop搭建的集群中的计算资源，不仅可以运行Hadoop中的MR程序！
也可以运行其他计算框架的程序！
在hadoop不久之后，由于MR的低效性，出现了许多更为高效的计算框架！
例如： Tez，Storm,Spark，Flink
hadoop 2.x
HDFS（框架）:负责大数据的存储
YARN（框架）： 负责大数据的资源调度
MR(编程模型)： 使用Hadoop制定的编程要求，编写程序，完成大数据的计算！
二、HDFS
负责大数据的存储
核心进程：
必须进程：
Namenode(1个)： 负责文件，名称等元数据(属性信息)的存储！
文件名，大小，文件切分了多少块(block)，创建和修改时间等！
职责： 接受客户端的请求！
接受DN的请求！
向DN分配任务！
Datanode(N个)： 负责文件中数据的存储！
职责： 负责接受NM分配的任务！
负责数据块(block)的管理(读，写)！
可选进程：
SecondaryNamenode(N个): 负责辅助NameNode工作！
三、MapReduce
MapReduce(编程规范)： 程序中有Mapper(简单处理)和Reducer(合并)
遵循MapReduce的编程规范，编写的程序，打包后，称为一个Job(任务)！
Job需要提交到YARN上，向YARN申请计算资源，运行Job中的Task(进程)！
Job会先创建一个进程MRAppMaster(mapreduce 应用管理者)，由MRAppMaster向YARN申请资源！
MRAppMaster负责监控Job中各个Task运行情况，进行容错管理！
四、YARN
YARN负责集群中所有计算资源的管理和调度！
常见进程：
ResourceManager(1个): 负责整个集群所有资源的管理！
职责： 负责接受客户端的提交Job的请求！
负责向NM分配任务！
负责接受NM上报的信息！
NodeManager(N个): 负责单台计算机所有资源的管理！
职责： 负责和RM进行通信，上报本机中的可用资源！
负责领取RM分配的任务！
负责为Job中的每个Task分配计算资源！
Container（容器）:
NodeManager为Job的某个Task分配了2个CPU和2G内存的计算资源！
为了防止当前Task在使用这些资源期间，被其他的task抢占资源！
将计算资源，封装到一个Container中，在Container中的资源，会被暂时隔离！
无法被其他进程所抢占！
当前Task运行结束后，当前Container中的资源会被释放！允许其他task来使用！