【HADOOP】hadoop安装(windows10+docker+hadoop)

windows10+docker+hadoop

  • 零、为什么
  • 一、开始
  • 二、其他用法



环境:windows10
软件:Docker DesktopGit

零、为什么


  为什么我明明不久前才写过在虚拟机中安装hadoop的文章,现在又要写使用docker安装的呢。原因很简单…系统注册表弄崩溃了,只能重装系统,然后hadoop集群没了。(真是个悲伤的故事)
  想尝试一下新的安装方式拓宽眼界,然后因为百度到的教程多半都是linux或者不全,所以我干脆将自己安装的过程记录下来,当个备忘录,也可以给其他人参考。

一、开始


1、docker安装
菜鸟教程


2、打开命令提示符(管理员)


3、输入docker pull kiwenlau/hadoop:1.0拉取镜像等待结束(结果如下图)【HADOOP】hadoop安装(windows10+docker+hadoop)_第1张图片

4、【需要安装Git软件】输入git clone https://github.com/kiwenlau/hadoop-cluster-docker克隆项目(结果如下图)
【HADOOP】hadoop安装(windows10+docker+hadoop)_第2张图片

5、输入docker network create --driver=bridge hadoop创建网桥(集群间通信)(结果如下图)
图片来自网络


6、在C:\Users\用户名\hadoop-cluster-docker默认克隆目录下(没有这个目录可以搜索下载到哪了),右键选择Git Hash Here(需要安装Git)


7、输入./start-container.sh启动容器(如果出现下图则失败,跳到8)
作者本机结果


8、如果7失败,用记事本打开start-container.sh文件,把所有sudo命令都删除(记得备份),再次按照7的操作输入。(出现下图则成功)
作者本机结果

sudo是linux下使用管理员权限的前缀命令,windows下用管理员运行就行了



9、打开docker窗口,一般可以看到下图六个东西(如果不在运行则点击运行,不是6个就是sudo命令没删干净):
【HADOOP】hadoop安装(windows10+docker+hadoop)_第3张图片
点击第二个按钮进入命令行
作者本机结果


10、命令行下使用linux操作,输入ls可以看到当前目录下的文件:
作者本机结果


11、在hadoop-master的命令行中输入./start-hadoop.sh,等待启动完毕,没有error则成功


12、在hadoop-master的命令行中输入./run-wordcount.sh,运行wordcount测试一下效果(如下图则成功)
【HADOOP】hadoop安装(windows10+docker+hadoop)_第4张图片

二、其他用法


1、docker images查看映像


2、N节点Hadoop集群搭建,将一中第7步的
./start-container.sh
命令改为
./resize-cluster.sh n./start-container.sh n(n为集群数)


3、输入在浏览器输入http://localhost:50070/可以查看名称节点的情况,输入http://localhost:8088/可以查看资源管理器


4、最后感谢镜像作者寒雁的辛苦付出。

你可能感兴趣的:(hadoop)