一:安装虚拟机(虚拟机需要3台),准备Hadoop与JDK
二:修改所有虚拟机IP地址以及子网掩码,修改完成之后,重启网卡service network restart ,主服务于子节点都需要修改
三:使用root登录修改主机名(master,slave1, slave2...)
四:打开/etc下的hosts文件 修改为各子节点的IP以及对应名称
hosts.png
五:配置ssh免秘钥
1. 进入根目录,输入:ssh-keygen -t rsa
2. 一路回车
3. 去ssh目录下检查秘钥文件id_rsa.pub是否生成
miyao.png
4. 同样的步骤,重复操作另外两台虚拟机
5. 三个节点秘钥都生成之后,使用命令将另外两台的秘钥拷贝到master节点的ssh目录下,输入命令
* scp /root/.ssh/id_rsa.pub master:/root/.ssh/id_rsa.pub1
* scp /root/.ssh/id_rsa.pub master:/root/.ssh/id_rsa.pub2
6. 执行完成之后,去master节点下查看/root/.ssh目录下一共有三个秘钥文件
秘钥11.png
7. 将三个秘钥文件合并成一个文件 authorized_keys 执行以下命令
* cat id_rsa.pub id_rsa.pub1 id_rsa.pub2>authorized_keys
8.执行完成之后,查看 authorized_keys 中的内容 vim authorized_keys
key.png
9. 将 authorized_keys 拷贝到另外两台子节点的/root/.ssh/目录下,执行命令
* scp /root/.ssh/authorized_keys slave1:/root/.ssh/authorized_keys
* scp /root/.ssh/authorized_keys slave2:/root/.ssh/authorized_keys
10.至此,ssh免秘钥配置完成,可以通过ssh+节点名进行测试,执行名ssh slave1
wancheng.png
11.将Hadoop与JDK的的压缩文件(我分别创建了jdk与hadoop的根目录)放入Linux系统后,在给目录执行解压缩命令 tar -zxvf 压缩文件名
12.配置Hadoop与jdk的环境变量
* 打开/etc下的profile文件,添加如下配置
peizhi.png
* 配置文件生成之后,立即生效
source profile
测试是否配置成功(会出现安装的版本号)，执行命令：
java –version
hadoop version
六:配置Hadoop的相关文件
进入Hadoop的根目录,进入etc/hadoop文件夹分别编辑
hadoop-env.sh、slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml
1> hadoop-env.sh
配置java环境变量
jdk.png
2>slaves
slaves.png
3> core-site.xml(注意：file:/后面的路径，是hadoop的根目录，下面的配置文件同理，不要照抄)
fs.defaultFS
hdfs://master:9000
hadoop.tmp.dir
file:/usr/hadoop/hadoop-2.6.0/tmp
Abase for other temporary directories.
4> hdfs-site.xml
dfs.namenode.secondary.http-address
master:50090
dfs.replication
2
主节点:master
dfs.namenode.name.dir
file:/usr/hadoop/hadoop-2.6.0/tmp/dfs/name
子节点:slave1;slave2
dfs.datanode.data.dir
file:/usr/hadoop/hadoop-2.6.0/tmp/dfs/data
5>mapred-site.xml
mapreduce.framework.name
yarn
mapreduce.jobhistory.address
master:10020
mapreduce.jobhistory.webapp.address
master:19888
6>yarn-site.xml
yarn.resourcemanager.hostname
master
yarn.nodemanager.aux-services
mapreduce_shuffle
7>关闭防火墙
8>格式化HDFS
(bin/hadoop namenode -format )
注意：该命令只能执行一次，切记不要多次执行
9>开启服务器,sbin/start-all.sh
10>测试各节点启动进程，执行命令：
/usr/java/jdk1.8.0_151/bin/jps
(主)
ceshi1.png
(子节点)
ceshi2.png