基于DC/OS建立分布式机器学习系统

之前基于ps-lite实现了word2vec。下一步就是让这个算法能够分布式的跑起来。最简单的分布式方案大概是如下几步：把二进制文件copy到你要跑的机器上。
把每个进程需要读的数据文件copy到相应的地方。

启动scheduler。
启动server。
启动worker。

当然，这一切都可以用一个脚本基于SSH来实现。但是会遇到几个问题：

你要跑的机器上有没有足够的CPU和内存资源。
你和别人的程序共同依赖了同一个动态库的不同版本。
你跑的过程中，你的进程被别人不小心kill掉了。
原来启动scheduler的机器IP换了，woker和server都要修改他们依赖的scheduler的地址。
新增加了一批机器，可以跑更多的进程了。
每次都要copy数据文件，每个进程读不同的文件。
......

为了解决上面的问题，你需要3个东西：

分布式的操作系统，来管理每台机器的CPU和内存。
分布式文件系统解决文件的存储和读写。
虚拟机系统来解决不同项目的不同版本的依赖（当然你可以通过给每个程序都做一个单独的依赖库的目录，但如果依赖特别复杂，甚至是系统的某个底层依赖不同，就比较麻烦）。

而DCOS就是为了解决1，3而设计的。他是mesos+marathon+docker（其实DCOS是一个基于mesos的分布式操作系统，marathon，docker只是他的组件）。

mesos负责分布式的CPU和内存管理。
marathon是基于mesos的封装，提供rest API来使用mesos管理进程。
docker是一个虚拟机系统来保证不同人的程序所依赖的版本不会冲突。

下面详细介绍如何将ps-lite跑在DCOS上。ps-lite有3种类型的服务：

worker: 负责读取训练数据，更新参数。
server：负责存储参数，worker本地的参数会定时和server同步。
scheduler：负责服务发现，worker和server通过scheduler才知道各自在哪里。同时也负责worker和server的进程同步。比如要同时开始工作。只有一台。他的IP和端口事先需要知道，并通过环境变量在启动时告诉worker和server。

因为同一台宿主机上可能会启动多个worker和server。所以worker和server工作的端口不能事先指定，只能随机使用没有被占用的端口。
之前很多集成ps-lite的分布式系统时，都只解决了worker和server的分布式问题（比如用yarn来调度worker和server），而scheduler是找了一台机器单独部署的，这样scheduler的IP／端口事先就能知道并告诉worker和server。但是我希望把scheduler也启动在分布式系统中，方法如下：
将scheduler的任务命名为 sch，并在marathon中启动。同时指定一个端口（比如10000）。并且让docker使用HOST网络模式（用HOST模式是因为性能比较好，而ps-lite又是个网络性能要求很高的应用），且绑定到10000端口。这时，利用mesos-dns, scheduler会自动被赋予一个 sch.marathon.mesos 的域名，然后通过环境变量告诉worker和server。
worker和server原来会随机找端口。需要改成启动时docker被分配随机可用端口，并通过环境变量传给worker/server，然后worker/server绑定该端口。marathon提供了$PORT的环境变量来完成这个任务。

搞定服务发现，剩下就是分布式文件系统了。最简单可以用moosefs，然后mount到每台mesos-slave的机器。

{ "id": "/sw2vscheduler", "cmd": null, "cpus": 1, "mem": 128, "disk": 0, "instances": 1, "container": { "type": "DOCKER", "volumes": [], "docker": { "image": "registry.aliyuncs.com/xlvector/sw2v", "network": "HOST", "privileged": false, "parameters": [], "forcePullImage": true } }, "env": { "LD_LIBRARY_PATH": "/tmp/sw2v/ps-lite/deps/lib", "DMLC_PS_ROOT_URI": "sw2vscheduler.marathon.mesos", "DMLC_NUM_WORKER": "4", "DMLC_ROLE": "scheduler", "DMLC_NUM_SERVER": "1", "DMLC_PS_ROOT_PORT": "18001" }, "portDefinitions": [ { "port": 18001, "protocol": "tcp", "labels": {} } ] }


{
 "id": "/sw2vserver",
 "cmd": null,
 "cpus": 1,
 "mem": 1200,
 "disk": 0,
 "instances": 1,
 "container": {
 "type": "DOCKER",
 "volumes": [],
 "docker": {
 "image": "registry.aliyuncs.com/xlvector/sw2v",
 "network": "HOST",
 "privileged": false,
 "parameters": [],
 "forcePullImage": true
 }
 },
 "env": {
 "LD_LIBRARY_PATH": "/tmp/sw2v/ps-lite/deps/lib",
 "DMLC_PS_ROOT_URI": "sw2vscheduler.marathon.mesos",
 "DMLC_NUM_WORKER": "4",
 "DMLC_ROLE": "server",
 "DMLC_NUM_SERVER": "1",
 "SW2V_DATA": "/mnt/dcos/text8",
 "DMLC_PS_ROOT_PORT": "18001"
 },
 "portDefinitions": [
 {
 "port": 10004,
 "protocol": "tcp",
 "labels": {}
 }
 ]
 }

{ "id": "/sw2vworker", "cmd": null, "cpus": 1, "mem": 128, "disk": 0, "instances": 4, "container": { "type": "DOCKER", "volumes": [ { "containerPath": "/mnt/dcos", "hostPath": "/mnt/dcos", "mode": "RO" } ], "docker": { "image": "registry.aliyuncs.com/xlvector/sw2v", "network": "HOST", "privileged": false, "parameters": [], "forcePullImage": true } }, "env": { "LD_LIBRARY_PATH": "/tmp/sw2v/ps-lite/deps/lib", "DMLC_PS_ROOT_URI": "sw2vscheduler.marathon.mesos", "DMLC_NUM_WORKER": "4", "DMLC_ROLE": "worker", "DMLC_NUM_SERVER": "1", "SW2V_DATA": "/mnt/dcos/text8", "DMLC_PS_ROOT_PORT": "18001" }, "portDefinitions": [ { "port": 10003, "protocol": "tcp", "labels": {} } ] }

最后说一下，整个工作是在青云上搞定的。一共买了3台服务器，centos7操作系统，每台4核4G内存，1台做master，2台做slave。总共花了200多吧（实验期间因为要带孩子，大部分时间机器处于闲置状态）。另外，阿里云的docker加速服务和docker构建服务不错。Docker的镜像在 registry.aliyuncs.com/xlvector/sw2v。所有的代码在 https://github.com/xlvector/sw2v。
目前这只是一个验证性质的工作，还有如下问题：
moosefs做为文件系统并不能保证所有的worker都只从local读文件。这里读文件的性能可能有问题。
marathon是个长时服务的系统，而离线训练是定时任务。目前mesos有chronos的定时任务框架，但不幸的是chronos和mesos-dns集成的似乎有问题。如果有同学有这方面的经验，可以在评论中赐教！不过基于marathon的好处是可以做online learning的服务。

基于DC/OS建立分布式机器学习系统

你可能感兴趣的:(基于DC/OS建立分布式机器学习系统)