DOCKER安装EasyML步骤

DOCKER安装中科院EasyML平台步骤

参考 :https://github.com/ICT-BDA/EasyML/blob/master/QuickStart.md
需要10GB或以上的存储空间和安装过程中不间断的网络服务(无需VPN)

1、安装DOCKER
Windows:下载三件套 DockerToolbox
Ubuntu:sudo apt-get install docker-ce

安装完成之后,可以(Windows)使用Quickstart Terminal或者(ubuntu)直接

sudo docker run hello-world

来确认成功安装。

2、拷贝docker hub上的镜像

docker pull nkxujun/mysql_eml

然后

  docker pull nkxujun/ubuntu_eml

完成后查阅是否成功下载:docker images

3、下载EasyML环境
Google Drive:
https://drive.google.com/open?id=0B5Lj6qkCMBbFWW5uYlJwb2drb1k
或者使用 无限垃圾 沿街乞讨 超级会员也限速的百度云:
https://pan.baidu.com/s/1bpMwYSJ

4、下载第三步的EasyML环境之后,安装EasyML环境
下载文件Environment.zip后,解压
进入解压文件夹,(使用ubuntu的Terminal或者Windows的QuickStart Terminal)执行:sh build.sh
如果安装成功,使用docker images查看docker镜像结果将会如下:
EML本地环境安装(导入)成功

运行虚拟环境:
1、进入EML文件夹(刚才解压后的文件夹)
建立镜像

sh build.sh

建立虚拟网络

sh build_network.sh

这一步是为了链接hadoop-master、hadoop-slave1、2、mysql等服务器的虚拟网络组shadownet。

2、运行EML所需docker镜像:

sh run_containers.sh
可以通过docker ps 查看开启状况。
如果没使用过docker,应该有四个container被启动。

3、确认containers之间的的连通性

docker exec -it hadoop-master /bin/bash

这样docker 就进入了hadoop-master这个容器(可以理解为虚拟机)
在hadoop-master下

ssh localhost

或者

ssh hadoop-slave1
ssh hadoop-slave2

确认容器间的连通性。
可以在任一个容器中输入exit返回docker。

4、初始化数据库(Initial database)
ubuntu比较简单,可以直接
sh init_mysql.sh
如果不是ubuntu是Windows,稍微复杂一些:
cat init_mysql.sh 复制一下mysql语句:“mysql -uroot -p111111 -e "source /root/mysql/main.sql
然后进入mysql容器 docker exec -it mysql /bin/bash
直接复制一下刚才要执行的mysql语句mysql -uroot -p111111 -e "source /root/mysql/main.sql
在mysql容器exit 返回docker

5、开启Hadoop相关服务
无论是哪个系统,都需要进入hadoop-master容器:docker exec -it hadoop-master /bin/bash

sh /root/start-hadoop.sh

然后

sh /root/run-wordcount.sh

上述这两个shell脚本是在/root下的。进入容器后一般默认是root用户。
如果找不到脚本路径,可以使用cd返回root文件夹ls查看。

6、开启 Oozie 服务
在hadoop-master容器下sh /root/start-oozie.sh

安装后效果:
访问EML工作室 http://hadoop-master:18080/EMLStudio
其中hadoop-master应为该容器对应的ip地址。

**测试使用
账户 [email protected]
密码 bdaict

EastML是中国科学院研发的开源可视化的机器学习平台。
https://github.com/ICT-BDA/EasyML/blob/master/QuickStart.md

Hadoop集群管理页面:http://hadoop-master:50070
其中hadoop-master应为该容器对应的ip地址。
我的地址是172.18.0.3 。可以进入hadoop-master容器查看ip地址。使用linux的命令即可。


修改记录

  • 2020年1月2日修改:
    修改文档内遗漏的步骤“sh build.sh”(参考https://github.com/ICT-BDA/EasyML/blob/master/QuickStart.md),感谢 Font Tian 指正!

你可能感兴趣的:(机器学习,EasyML,EML,机器学习)