hadoop搭建(五)——主从节点的集群搭建

hadoop搭建(五)

本文档说明在外网上的分布式集群搭建，使用的是两个云服务器（阿里云和腾讯云），阿里云需要在端口规则开放端口，使用的时候注意一下
关闭防火墙不必说了，前几篇搭建zookeeper的博客有过介绍

修改hosts

master中：在/etc/hosts文件增加两行

slave的ip slave
0.0.0.0 master

配置ssh

在master机器中生成密钥，配置本地免密登录

$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys

配置免密登录slave

传输密钥
sudo scp ~/.ssh/id_rsa.pub user@slave:~/
登陆到slave
把密钥添加到authorized_keys文件后面
cat ~/id_rsa.pub >> ~/.ssh/authorized_keys

hadoop的节点配置（master与slave相同）

1. core-site.xml

<configuration>
  <property>
    <name>fs.defaultFSname>
    <value>hdfs://master:9000value>
  property>
  <property>
    <name>hadoop.tmp.dirname>
    <value>/home/sirius/hadoop/tmpvalue>
  property>
configuration>

2. hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replicationname>
    <value>1value>
  property>
  <property>
    <name>dfs.namenode.name.dirname>
    <value>${hadoop.tmp.dir}/dfs/namevalue>
  property>
  <property>
    <name>dfs.namenode.data.dirname>
    <value>${hadoop.tmp.dir}/dfs/datavalue>
  property>
　　<property>
　　　　<name>dfs.namenode.secondary.http-addressname>
　　　　<value>master:9001value>
　　property>
configuration>

3. mapred-site.xml

<configuration>
　　<property>
　　　　<name>mapreduce.framework.namename>
　　　　<value>yarnvalue>
　　property>
configuration>

4. yarn-site.xml

<configuration>
　　<property>
　　　　<name>yarn.resourcemanager.hostnamename>
　　　　<value>mastervalue>
　　property>
　　<property>
　　　　<name>yarn.nodemanager.aux-servicesname>
　　　　<value>mapreduce_shufflevalue>
　　property>
　　<property>
　　　　<name>yarn.log-aggregation-enablename>
　　　　<value>truevalue>
　　property>
　　<property>
　　　　<name>yarn.log-aggregation.retain-secondsname>
　　　　<value>604800value>
　　property>
configuration>

节点环境变量

hadoop-env.sh

export JAVA_HOME=
export HADOOP_HOME=
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

slaves

slaves文件表示启动的可信slaves机器的host
该文件在hadoop 3.0后改为workers(好像是因为什么反歧视运动，也是搞得我吐血)
文件内容是slave是host就行了
slave

启动hadoop

sbin/start-all.sh启动完事。
可以在http://master的id:9870访问可视化网页

2019.09.06

第一次启动需要格式化namenode

./bin/hdfs namenode -format