配置hadoop完全分布式
集群部署规划
首先配置第一台 然后配置好了分发给其他台 前提是配置好了jdk
解压
tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/
配置profile
配置两个 一个bin 一个sbin 生效文件 source /etc/profile 输入hadoop 查看
配置文件 需要配置八个
cd /opt/module/hadoop-2.7.2/etc/hadoop
配置core-site.xml
vim core-site.xml
•
•
•
•
配置hadoop-env.sh
vim hadoop-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144
配置hdfs-site.xml
vim hdfs-site.xml
配置yarn-env.sh
vim yarn-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144
配置yarn-site.xml
vim yarn-site.xml
配置mapred-env.sh
vim mapred-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144
配置mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
配置slaves 不能有空行 空格
vim slaves
hadoop102
hadoop103
hadoop104
在集群上分发配置好的Hadoop配置文件
xsync /opt/module/hadoop-2.7.2/
配置其他两台的/etc/profile 并且生效 source /etc/profile
配置免密ssh
[root@hadoop102 opt]# cd /root/.ssh/
[root@hadoop102 .ssh]# ssh-keygen -t rsa
回车三次
就生成了id_rsa 和 id_rsa.pub
第一台
[root@hadoop102 .ssh]# ll total 12 -rw-------. 1 root root 1675 Apr 17 15:51 id_rsa -rw-r--r--. 1 root root 396 Apr 17 15:51 id_rsa.pub -rw-r--r--. 1 root root 374 Apr 17 15:43 known_hosts
拷贝给其他集群
ssh-copy-id hadoop102
ssh-copy-id hadoop103
ssh-copy-id hadoop104
第二台
[root@hadoop103 .ssh]# ll total 12 -rw-------. 1 root root 1675 Apr 17 15:51 id_rsa -rw-r--r--. 1 root root 396 Apr 17 15:51 id_rsa.pub -rw-r--r--. 1 root root 374 Apr 17 15:43 known_hosts
拷贝给其他集群
ssh-copy-id hadoop102
ssh-copy-id hadoop103
ssh-copy-id hadoop104
现在格式化namenode
[root@hadoop102 hadoop-2.7.2]$ bin/hdfs namenode -format
启动集群
[root@hadoop102 hadoop-2.7.2]# start-dfs.sh
第二台启动yarn [root@hadoop103 hadoop-2.7.2]# start-yarn.sh
查看节点进程
[root@hadoop102 ~]# jps 7824 Jps 7124 NameNode 7611 NodeManager 7247 DataNode
[root@hadoop103 ~]# jps 7056 NodeManager 7512 Jps 6958 DataNode 7199 ResourceManager
[root@hadoop104 ~]# jps 7045 SecondaryNameNode 7302 Jps 6952 DataNode 7113 NodeManager 当启动发生错误的时候：
Ø 查看日志：/opt/module/hadoop-2.7.2/logs
Ø 如果进入安全模式，可以通过hdfs dfsadmin -safemode leave Ø 停止所有进程，删除data和log文件夹，然后hdfs namenode -format 来格式化