参考 :https://github.com/ICT-BDA/EasyML/blob/master/QuickStart.md
需要10GB或以上的存储空间和安装过程中不间断的网络服务(无需VPN)
1、安装DOCKER
Windows:下载三件套 DockerToolbox
Ubuntu:sudo apt-get install docker-ce
安装完成之后,可以(Windows)使用Quickstart Terminal或者(ubuntu)直接
sudo docker run hello-world
来确认成功安装。
2、拷贝docker hub上的镜像
docker pull nkxujun/mysql_eml
然后
docker pull nkxujun/ubuntu_eml
完成后查阅是否成功下载:docker images
3、下载EasyML环境
Google Drive:
https://drive.google.com/open?id=0B5Lj6qkCMBbFWW5uYlJwb2drb1k
或者使用 无限垃圾
沿街乞讨
超级会员也限速
的百度云:
https://pan.baidu.com/s/1bpMwYSJ
4、下载第三步的EasyML环境之后,安装EasyML环境
下载文件Environment.zip
后,解压
进入解压文件夹,(使用ubuntu的Terminal或者Windows的QuickStart Terminal)执行:sh build.sh
如果安装成功,使用docker images
查看docker镜像结果将会如下:
运行虚拟环境:
1、进入EML文件夹(刚才解压后的文件夹)
建立镜像
sh build.sh
建立虚拟网络
sh build_network.sh
这一步是为了链接hadoop-master、hadoop-slave1、2、mysql等服务器的虚拟网络组shadownet。
2、运行EML所需docker镜像:
sh run_containers.sh
可以通过docker ps 查看开启状况。
如果没使用过docker,应该有四个container被启动。
3、确认containers之间的的连通性
docker exec -it hadoop-master /bin/bash
这样docker 就进入了hadoop-master这个容器(可以理解为虚拟机)
在hadoop-master下
ssh localhost
或者
ssh hadoop-slave1
ssh hadoop-slave2
确认容器间的连通性。
可以在任一个容器中输入exit
返回docker。
4、初始化数据库(Initial database)
ubuntu比较简单,可以直接
sh init_mysql.sh
如果不是ubuntu是Windows,稍微复杂一些:
cat init_mysql.sh
复制一下mysql语句:“mysql -uroot -p111111 -e "source /root/mysql/main.sql
”
然后进入mysql容器 docker exec -it mysql /bin/bash
直接复制一下刚才要执行的mysql语句mysql -uroot -p111111 -e "source /root/mysql/main.sql
在mysql容器exit
返回docker
5、开启Hadoop相关服务
无论是哪个系统,都需要进入hadoop-master容器:docker exec -it hadoop-master /bin/bash
sh /root/start-hadoop.sh
然后
sh /root/run-wordcount.sh
上述这两个shell脚本是在/root
下的。进入容器后一般默认是root用户。
如果找不到脚本路径,可以使用cd
返回root文件夹ls
查看。
6、开启 Oozie 服务
在hadoop-master容器下sh /root/start-oozie.sh
安装后效果:
访问EML工作室 http://hadoop-master:18080/EMLStudio
其中hadoop-master应为该容器对应的ip地址。
**测试使用:
账户 [email protected]
密码 bdaict
EastML是中国科学院研发的开源可视化的机器学习平台。
https://github.com/ICT-BDA/EasyML/blob/master/QuickStart.md
Hadoop集群管理页面:http://hadoop-master:50070
其中hadoop-master应为该容器对应的ip地址。
我的地址是172.18.0.3 。可以进入hadoop-master容器查看ip地址。使用linux的命令即可。
修改记录