HADOOP-集群搭建（1）

cd /kkb/install/hadoop-2.6.0-cdh5.14.2/

格式化

格式化操作只有在首次启动的时候需要，以后再也不需要了
node01执行一遍即可
bin/hdfs namenode -format或者bin/hadoop namenode –format

启动集群

node01节点(主节点)上执行以下命令
第一台机器执行以下命令
sbin/start-dfs.sh
sbin/start-yarn.sh
sbin/mr-jobhistory-daemon.sh start historyserver
停止集群：
sbin/stop-dfs.sh
sbin/stop-yarn.sh

浏览器查看启动页面

hdfs集群访问地址
http://192.168.52.100:50070/dfshealth.html#tab-overview
yarn集群访问地址
http://192.168.52.100:8088/cluster
jobhistory访问地址
http://192.168.52.100:19888/jobhistory

集群基本信息

HDFS模块：
namenode：主节点，主要负责集群的管理以及元数据信息管理
datanode：从节点，主要负责存储用户数据
secondaryNameNode：辅助namenode管理元数据信息，以及元数据信息的冷备份
Yarn模块：
ResourceManager：主节点，主要负责资源分配
NodeManager：从节点，主要负责执行任务

hadoop的运行模式

Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。
Hadoop官方网站：http://hadoop.apache.org/
1、 本地运行模式
无需任何守护进程，所有的程序都运行在同一个JVM上执行。在独立模式下调试MR程序非常高效方便。所以一般该模式主要是在学习或者开发阶段调试使用
2、 伪分布式运行模式
Hadoop守护进程运行在本地机器上，模拟一个小规模的集群，换句话说，可以配置一台机器的Hadoop集群,伪分布式是完全分布式的一个特例。
3、完全分布式运行模式(开发重点)
Hadoop守护进程运行在一个集群上，需要使用多台机器来实现完全分布式服务的安装