docker安装分布式hadoop

工作环境都是在多台服务器上安装hadoop集群的，但是对于个人未必会购买多台服务器。在服务器上安装虚拟机是可以虚拟多台服务器的，但是虚拟机比较耗性能，其实可以使用docker去安装hadoop镜像，使用hadoop镜像也可以实现hadoop集群。

1、安装hadoop镜像

1）在docker中查找hadoop 镜像

docker search hadoop

2）拉取镜像

我们选择star数量最多的镜像拉取
docker pull docker.io/sequenceiq/hadoop-docker
或者也可以拉取阿里的hadoop镜像
docker pull registry.cn-hangzhou.aliyuncs.com/kaibb/hadoop

查看镜像
docker images

3)创建hadoop容器

（1）创建master节点
docker run --name hadoop1 -d -h master docker.io/sequenceiq/hadoop-docker
参数说明:
-h 为容器设置主机名
–name 设置容器的名称
-d 在后台运行

（2）以此方法创建slave1和slave2节点
docker run --name hadoop2 -d -h slave1 docker.io/sequenceiq/hadoop-docker
docker run --name hadoop3 -d -h slave2 docker.io/sequenceiq/hadoop-docker
（3）查看容器
docker ps -s

（4）进入容器查看jdk
docker exec -it hadoop1 bash
jdk都已经自带了

（5）配置ssh生成秘钥，所有的节点都要配置
进入容器后
启动ssh
/etc/init.d/sshd start
生成秘钥
·ssh-keygen -t rsa
（5）分别进入每个节点，将其他节点的公钥也都复制到authorized_keys，也就是说每个>authorized_keys 文件中存储的公钥都是3个而且是一样的
将容器中的文件复制到centos本地
·docker cp 容器id/容器名称:/root/.ssh/authorized_keys /home/hadoop/authorized_keys_master
将centos本地的文件复制到容器
·docker cp /home/hadoop/authorized_keys 容器id/容器名称:/root/.ssh/authorized_keys

（6）分别为每个节点配置ip地址
进入容器，在此容器中可以直接使用ifconfig命令 或者ip addr命令查看ip地址

为每个容器设置地址，vi /etc/hosts 配置

ssh master 测试一下，测试成功

2、配置hadoop(配置文件的目录一般都在/usr/local/hadoop-2.7.0/etc/hadoop下面)

1）配置hadoop-env.sh，配置jdk，在hadoop容器中已经帮我们配置好了

(1）进入容器查找 hadoop-env.sh存放位置

find / -name hadoop-env.sh
(2）查看 hadoop-env.sh文件

2）配置core-site.xml，配置hdfs的地址和端口号，在hadoop容器中已经帮我们配置好了

(1) 查找core-site.xml
find / -name core-site.xml
（2）加入配置，其实hadoop镜像已经帮我们配置好了

  
    fs.defaultFS
    hdfs://Master:9000
  
    
      hadoop.tmp.dir
      /hadoop/tmp
    

3）配置hdfs-site.xml ，配置hdfs备份数量，在hadoop容器中已经帮我们配置好了

 
    
        dfs.replication
        1
    

slave数量要大于等于备份的数量，否者会报错

4）配置 mapred-site.xml，指定MapReduce运行在yarn上，在hadoop容器中已经帮我们配置好了

find / -name mapred-site.xml


mapreduce.framework.name
yarn

5）配置yarn-site.xml，配置hdfs备份数量，在hadoop容器中已经帮我们配置好了

配置参数

6）将这些参数发送到其它节点

scp /usr/local/hadoop-2.7.0/etc/hadoop/yarn-site.xml slave1:/usr/local/hadoop-2.7.0/etc/hadoop/

3、运行hadoop

1）在master上格式化namenode

cd /usr/local/hadoop-2.7.0/bin/
./hadoop namenode -format

2）在master上启动集群

cd /usr/local/hadoop-2.7.0/sbin/
./start-all.sh
如果报错告诉端口被占用
那么就先停止,然后再启动
./stop-all.sh
./start-all.sh
##### 3）jps 查看进程，查看到说明已启动