在集群上搭建speedy

前一段时间看了glusterfs分布式文件系统,从14年开始一直关注docker,现在导师让结合分布式文件系统和docker的镜像存储做些工作,并且推荐了京东的speedy,这两天一直在实验室集群上安装speedy,因为网上关于这方面的资料特别少,所以将安装过程记下来与大家分析。

首先,介绍一下环境,我用了三台服务器,分别为node01、node02、node03,并且是在root用户下操作的,在上篇文章搭建好的go语言开发环境的基础上,以下操作均是在此条件下进行的,即用户已经设定好了GOPATH和GOROOT变量,此文GOPATH为/home/go/goprojects,GOROOT为/usr/local/go,请参考者换成自己相对应的目录。

第一步,下载安装需要的包并且放入正确目录。

用的ubuntu14.04,首先安装docker_registry的依赖包python-pip,python-dev,liblzma-dev

从https://github.com/jcloudpub/speedy下载speedy解压到/home/go/goprojects/src/github.com/jcloudpub

https://github.com/gorilla/context下载context、从https://github.com/gorilla/mux下载mux解压到/home/go/goprojects/src/github.com/gorilla

从https://github.com/garyburd/redigo下载redigo解压到/home/go/goprojects/src/github.com/garyburd

从https://github.com/go-sql-driver/mysql下载mysql解压到/home/go/goprojects/src/github.com/go-sql-driver

第二步,进入speedy目录,执行make命令,编译程序

第三步,如果机器上没有安装mysql,安装上

第四步,假设mysql的用户名和密码都是root,建立speedy和metadb数据库,具体命令为 mysql -uroot -proot < docs/speedy.sql

第五步,我是用的node01当作chunkmaster宿主机,ip地址为10.107.18.31,node01、node02、node03上各安装一组chunkserver。在node01上启动chunkmaster,这一步要注意,因为speedy原程序假设mysql的root用户没有密码,所以我们要先改源代码将root用户的密码也改为root。具体方法如下所示:

打开cmd/chunkmaster/main.go,找到第23行,将flag.string()第二个参数的空字符串加上root,保存后退出。之后重新编译该文件,生成chunkmaster替换bin文件中原来的chunkmaster。到此,更改完毕,运行chunkmaster,命令为bin/chunkmaster

第六步,建立描述chunkserver信息的文件serverlist.json,文件的内容为

node01:

[
      {"GroupId":1,"Ip":"127.0.0.1","Port":7654},
      {"GroupId":1,"Ip":"127.0.0.1","Port":7655},
     {"GroupId":1,"Ip":"127.0.0.1","Port":7656}
]

node02:

[
      {"GroupId":
2,"Ip":"10.107.18.31","Port":7664},
      {"GroupId":
2,"Ip":"10.107.18.31","Port":7665},
     {"GroupId":
2,"Ip":"10.107.18.31","Port":7666}
]

node03:

[
      {"GroupId":
3,"Ip":"10.107.18.31","Port":7674},
      {"GroupId":
3,"Ip":"10.107.18.31","Port":7675},
     {"GroupId":
3,"Ip":"10.107.18.31","Port":7676}
]

文件建好后,在三台机器上分别运行命令curl -i -X POST --data @serverlist.json "http://10.107.18.31:8099/v1/chunkserver/batchinitserver",将chunkserver信息传送给chunkmaster

第七步,基于以上的设置运行chunkserver,在三台机器上分别运行

node01:

./bin/spy_server --ip=10.107.18.31 --port=7654 --data_dir=~/spy_data --error_log=./err.log --group_id=1 --master_port=8099 --master_ip=10.107.18.31     

./bin/spy_server --ip=10.107.18.31 --port=7655 --data_dir=~/spy_data --error_log=./err.log --group_id=1 --master_port=8099 --master_ip=10.107.18.31  

./bin/spy_server --ip=10.107.18.31 --port=7656 --data_dir=~/spy_data --error_log=./err.log --group_id=1 --master_port=8099 --master_ip=10.107.18.31     

node02:

./bin/spy_server --ip=10.107.18.32 --port=7664 --data_dir=~/spy_data --error_log=./err.log --group_id=2 --master_port=8099 --master_ip=10.107.18.31     

./bin/spy_server --ip=10.107.18.32 --port=7665 --data_dir=~/spy_data --error_log=./err.log --group_id=2 --master_port=8099 --master_ip=10.107.18.31  

./bin/spy_server --ip=10.107.18.32 --port=7666 --data_dir=~/spy_data --error_log=./err.log --group_id=2 --master_port=8099 --master_ip=10.107.18.31      

node03:

./bin/spy_server --ip=10.107.18.33 --port=7674 --data_dir=~/spy_data --error_log=./err.log --group_id=3 --master_port=8099 --master_ip=10.107.18.31     

./bin/spy_server --ip=10.107.18.33 --port=7675 --data_dir=~/spy_data --error_log=./err.log --group_id=3 --master_port=8099 --master_ip=10.107.18.31  

./bin/spy_server --ip=10.107.18.33 --port=7676 --data_dir=~/spy_data --error_log=./err.log --group_id=3 --master_port=8099 --master_ip=10.107.18.31

     第八步,同第五步原因,打开cmd/imageserver/main.go,找到第23行,将flag.string()第二个参数的空字符串加上root,保存后退出。之后重新编译该文件,生成 imageserver替换bin文件中原来的imageserver。运行imageserver,bin/imagerserver

至此,speedy已经搭建成功。

再向下就是在该speedy的基础上安装docker_registry

第一步,安装docker_registry相关包

首先,mkdir /home/docker/registry建立放文件的目录

然后,执行tar -xzvf ./docker_registry/docker-registry-core-2.0.3.tar.gz和tar -xzvf ./docker_registry/docker-registry-0.9.0.tar.gz分别解压docker-registry-core-2.0.3和docker-registry-0.9.0,将这两个解压好的包转移到/home/docker/registry,同时将docker_registry_speedy_driver转移到/home/docker/registry

第二步,安装docker-registry-core-2.0.3和docker-registry-0.9.0
cd /home/docker/registry/docker-registry-core-2.0.3

python setup.py install

cd /home/docker/registry/docker-registry-0.9.0

python setup.py install

第三步,安装speedy_docker_registry_driver

cd speedy_docker_registry_driver

python setup.py install

第四步,更改registry的设置文件
cd /home/docker/registry/docker_registry_speedy_driver/
cp config_sample.yml config.yml,将config.yml中的speedy选项中的storage_urls:改为_env:SPEEDY_STORAGE:http://127.0.0.1:6788
在该目录下建立dev.env文件,文件内容如下:
export GUNICORN_WORKERS=16                                                                                                                                                      
export SETTINGS_FLAVOR=speedy                                                                                                                                                    
export SPEEDY_TMPDIR=
/home/docker /registry/temp      
export DOCKER_REGISTRY_CONFIG=/home/docker/registry/docker_registry_speedy_driver/config
.yml
执行命令 .  ./dev.env设置环境变量
第五步,启动docker_registry
执行/usr/local/bin/docker-registry,启动完成后,上传镜像时,如果报Error: Invalid Registry endpoint: This does not look like a Registry server ("X-Docker-Registry-Version" header not found in the response)错误,证明docker版本太低,要用1.0以上的稳定版本;
换成新版本后错误就变成了Error response from daemon: v1 ping attempt failed with error: Get https://node01:5000/v1/_ping: EOF. If this private registry supports only HTTP or HTTPS with an unknown CA certificate, please add `--insecure-registry node01:5000` to the daemon's arguments. In the case of HTTPS, if you have access to the registry's CA certificate, no need for the flag; simply place the CA certificate at /etc/docker/certs.d/node01:5000/ca.crt 。简单的解决方法是
1. 在要上传镜像的机器上执行 service docker stop先关掉docker daemon
2.在要上传镜像的机器上 /usr/bin/docker -d --insecure-registry node01:5000,node01为该机器主机名
可以执行push操作了,比如docker push node01:5000/ubuntu:latest

你可能感兴趣的:(speedy,docker-regist)