hadoop 集群搭建笔记

修改主机名字：

hostnamectl  set-hostname 主机名称

修改hosts文件进行解析：

xxxx.xxxx.xxxx.xxxx    主机名字

ssh免密登录：

ssh-keygen -t rsa  生成密钥

ssh-copy-id slave1

ssh-copy-id slave2        每个节点都拷贝公钥

ssh-copy-id master

集群部署

2、配置集群

1、核心配置文件

配置core-site.xml

fs.defaultFS

hdfs://master:9000

hadoopd.tmp.dir

/opt/module/hadoop-2.7.3/data/tmp

2、配置HDFS文件

配置hadoop-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_171

配置hdfs-site.xml

<--- 指定Hadoop辅助名称节点主机配置 ----->

dfs.namenode.secondary.http-address

slave2:50090

3、配置YARN文件

配置yarn-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_171

配置：yarn-site.xml

<-- Reducer 获取数据的方式 -->

yarn.nodemanager.aux-services

mapreduce_shuffle

<-- 指定YARN的ResourceManager的地址 -->

yarn.resourcemanager.hostname

slave1

4、配置MapReduce文件

配置mapreduce-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_171

配置：对mapred-site.xml.template重命名为:mapred-site.xml

<---- 指定MR运行在YARN上 ---->

MapReduce.framework.name

yarn

5、配置slaves文件

master

slave1

slave2

1）如果集群是第一次启动，需要格式化NameNode

bin/hdfs namenode -format

（2）启动HDFS

sbin/start-dfs.sh

结果：[atguigu@hadoop102 hadoop-2.7.2]$ jps

4166 NameNode

4482 Jps

4263 DataNode

[atguigu@hadoop103 hadoop-2.7.2]$ jps

3218 DataNode

3288 Jps

[atguigu@hadoop104 hadoop-2.7.2]$ jps

3221 DataNode

3283 SecondaryNameNode

3364 Jps

到这里hdfs算是启动成功

（3）启动YARN

[atguigu@hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh

注意：NameNode和ResourceManger如果不是同一台机器，不能在NameNode上启动 YARN，应该在ResouceManager所在的机器上启动YARN。

咱们在hadoop103机器上启动

然后在网页上测试：打开浏览器访问master:50070