hadoop 完全分布式集群搭建

使用的系统

ubuntu server 16.04 LST

采用的架构

ps:个人觉得 把 yarn 还有 secondarynameNode 和 namenode 放在一起 会很危险 试想一下如果master 挂了 那不是全挂

尚硅谷的是这个样子的

ps:有没有一种美国三权分立的感觉 靠不靠谱我就不知到了 但是大管家们都坐在一起 沟通可能方便些吧
还有就是上面的是 用了两个 worker 下面是三个都是 worker 有点既当老板又做员工的感觉饿

灰常重要但是相当easy 就是容易出不来的 免登陆

如果你在装机的时候 没有 选上openssh服务的话 你就得自己装
就提醒一下关键步骤吧 ！

1.如果明明弄好authorized_keys 和 known_hosts 了但还要输密码

ssh-add一下

2.如果上面的不起效果那重启一下 不要先去看看是不是哪里写错了

3.如果重启不起效果 那么就可以去删掉 .ssh文件夹里面的东西了 然后重新来一遍生成

4.三台机器的 .ssh 文件夹中的 authorized_keys 和 known_hosts 都有了 再去测试 只有一台有其他没有 也会出错 有时间最好是去看看ssh登陆的原理

ps:ssh-copy-id命令追加比较靠谱 然后再用 scp 文件名 用户@主机：路径

这个不成功 后面没法做 就是这么尬

后面的都是very easy了

来啦老弟 你要的 复制粘贴来了

core-site.xml

fs.default.name
hdfs://master:9000


hadoop.tmp.dir
/home/hadoop/data/hadooptemp

hdfs-site.xml

hdfs-site.xml

dfs.namenode.secondary.http-address
master:50090


dfs.replication
2


dfs.namenode.name.dir
/home/logincat/hadoop/data/hdfs/name


dfs.datanode.data.dir
/home/logincat/hadoop/data/hdfs/data

yarn-site.xml

yarn-site.xml

yarn.nodemanager.aux-services
mapreduce_shuffle


yarn.resourcemanager.address
master:8032


yarn.resourcemanager.scheduler.address
master:8030


yarn.resourcemanager.resource-tracker.address
master:8031


yarn.resourcemanager.admin.address
master:8033


yarn.resourcemanager.webapp.address
master:8088
    

mapred-site.xml

mapreduce.framework.name
yarn


mapreduce.jobhistory.address
master:10020


mapreduce.jobhistory.address
master:19888

还是这句话 有时间 apache的啥子权威指南 走一波 你就会 头发掉的更快

格式化namenode

hdfs namenode -format

启动

./start-all.sh

这个你启动报 warn 时用的 放环境变量里面 亲测还有有一条warn 不过是在centos

ps:export HADOOP_COMMON_LIBNATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS=-Djava.library.path=$HADOOP_HOME/lib