前言
本集群有两台机器
- master 172.16.15.18
- slave1 172.16.15.218
__ 默认已完成JDK的安装 __
准备工作
- 为两台电脑新建hadoop用户
#添加hadoop用户
useradd hadoop
passwd hadoop
(按照提示输入密码)
并将其加入sudoers，方便后续配置操作，可参考用户不在sudoers文件中的解决方法
- 下载Hadoop2.6.4
cd ~/
mkdir tools
cd tools
wget http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz
tar -xvzf hadoop-2.6.4.tar.gz.1
sudo mv hadoop-2.6.4 /opt
chown -R hadoop:hadoop hadoop-2.6.4
配置hosts
vim /etc/hosts
添加如下两行
172.16.15.18 master
172.16.15.218 slave1
修改hostname
vim /etc/sysconfig/network
对两台电脑分别添加
HOSTNAME=master
HOSTNAME=slave1
互相ping通即为成功
ping master
ping slave1
配置SSH免密码登陆
1. 以hadoop身份登陆电脑
查看/etc/ssh/sshd_config，确保公钥登陆模式被打开
RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile .ssh/authorized_keys
2. 建立公钥私钥对
#若没有先mkdir
cd ~/.ssh
ssh-kengen -t rsa
一路回车，最终生成id_rsa,id_rsa.pub两个文件
3. 两台主机交换公钥
[hadoop@slave1] scp id_rsa.pub hadoop@master:~/.ssh/id_rsa.pub_sl
[hadoop@master] cat id_rsa.pub_sl >> authorized_keys
[hadoop@master] cat id_rsa.pub >> authorized_keys
将合并后的authorized_keys拷回slave1
scp authorized_keys hadoop@slave1:~/.ssh/
现在将两台机器 .ssh/ 文件夹权限改为700，authorized_keys文件权限改为600（or 644）
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys
测试是否能互相ssh登陆
ssh master
ssh slave1
配置hadoop
1 配置hadoop环境变量
编辑/etc/profile
文件，在末尾添加如下两行：
export HADOOP_HOME=/opt/hadoop-2.6.4
export PATH=$PATH:$HADOOP_HOME/bin
重启/etc/profile
source /etc/profile
一共有7个文件要修改：
$HADOOP_HOME/etc/hadoop/core-site.xml
$HADOOP_HOME/etc/hadoop/hdfs-site.xml
$HADOOP_HOME/etc/hadoop/mapred-site.xml
$HADOOP_HOME/etc/hadoop/yarn-site.xml
$HADOOP_HOME/etc/hadoop/slaves
最后将配置好的hadoop拷贝到slave1上：
scp -r hadoop-2.6.4/ hadoop@slave1:~/opt/
配置后工作
格式化namenode
$SPARK_HOME/bin/hadoop namenode -format
启动hdfs
sbin/start-dfs.sh