最全hadoop架构总结

一、什么是Hadoop？它包含哪些模块？
① Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构；
②主要解决，海量数据的存储和海量数据的分析计算问题。
③广义上来说，HADOOP 通常是指一个更广泛的概念——HADOOP 生态圈
hadoop包括四个模块：
Hadoop HDFS：一个高可靠、高吞吐量的分布式文件系统。
Hadoop MapReduce：一个分布式的离线并行计算框架。
Hadoop YARN：作业调度与集群资源管理的框架。（相当于集群操作系统）
Hadoop Common：支持其他模块的工具模块（Configuration、RPC、序列化机制、日志操作）
二、Hadoop本地模式和伪分布模式有何区别？
①hadoop本地模式中不会存在守护进程，所有东西都运行在一个JVM上。这里同样没有DFS，使用的是本地文件系统。单机模式适用于开发过程中运行MapReduce程序，这也是最少使用的一个模式。默认情况下，Hadoop被配置成以非分布式模式运行的一个独立Java进程。
②hadoop伪分布模式：伪分布式（Pseudo）适用于开发和测试环境，等同于完全分布式，只有一个节点。在这个模式中，所有守护进程都在同一台机器上运行。但用不同的Java进程模仿分布式运行中的各类结点(NameNode,DataNode,JobTracker,TaskTracker,SecondaryNameNode)。
三、什么是Linux的克隆？什么是快照？克隆一台Linux需要修改哪些内容？
克隆：重新建一个虚拟机与原虚拟机完全相同。
快照：保存当前虚拟机的当前状态，为以后的还原提供一个节点，可以将虚拟机还原到建立快照的时间点上。
克隆后需要修改：
1、修改主机名 vi /etc/sysconfig/network
2、修改网卡: vim /etc/udev/rules.d/70-persistent-net.rules //删0，改1为0
3、修改ip: vi /etc/sysconfig/network-scripts/ifcfg-eth0
HWADDR= 网卡中mac地址
IPADDR=实际ip
GATEWAY=192.168.x.2
ONBOOT=yes
BOOTPROTO=static //BOOTPROTO=none
DNS1=192.168.1.2//114.114.114.114//8.8.8.8
四、Hadoop全分布模式操作步骤