linux hadoop 关系,最全hadoop架构总结

最全hadoop架构总结一、什么是Hadoop？它包含哪些模块？

① Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构；

②主要解决，海量数据的存储和海量数据的分析计算问题。

③广义上来说，HADOOP 通常是指一个更广泛的概念——HADOOP 生态圈

hadoop包括四个模块：

Hadoop HDFS：一个高可靠、高吞吐量的分布式文件系统。

Hadoop MapReduce：一个分布式的离线并行计算框架。

Hadoop YARN：作业调度与集群资源管理的框架。(相当于集群操作系统)

Hadoop Common：支持其他模块的工具模块(Configuration、RPC、序列化机制、日志操作)

二、Hadoop本地模式和伪分布模式有何区别？

①hadoop本地模式中不会存在守护进程，所有东西都运行在一个JVM上。这里同样没有DFS，使用的是本地文件系统。单机模式适用于开发过程中运行MapReduce程序，这也是最少使用的一个模式。默认情况下，Hadoop被配置成以非分布式模式运行的一个独立Java进程。

②hadoop伪分布模式：伪分布式(Pseudo)适用于开发和测试环境，等同于完全分布式，只有一个节点。在这个模式中，所有守护进程都在同一台机器上运行。但用不同的Java进程模仿分布式运行中的各类结点(NameNode,DataNode,JobTracker,TaskTracker,SecondaryNameNode)。

三、什么是Linux的克隆？什么是快照？克隆一台Linux需要修改哪些内容？

克隆：重新建一个虚拟机与原虚拟机完全相同。

快照：保存当前虚拟机的当前状态，为以后的还原提供一个节点，可以将虚拟机还原到建立快照的时间点上。

克隆后需要修改：

1、修改主机名 vi /etc/sysconfig/network

2、修改网卡: vim /etc/udev/rules.d/70-persistent-net.rules //删0，改1为0

3、修改ip: vi /etc/sysconfig/network-scripts/ifcfg-eth0

HWADDR= 网卡中mac地址

IPADDR=实际ip

GATEWAY=192.168.x.2

ONBOOT=yes

BOOTPROTO=static //BOOTPROTO=none

DNS1=192.168.1.2//114.114.114.114//8.8.8.8

四、Hadoop全分布模式操作步骤

还有 91% 的精彩内容

支付 ¥1.01 继续阅读