巧用Docker镜像仓库Harbor部署私有Mirror服务
本文作者付广平，UnitedStack有云存储工程师，北京邮电大学硕士，从事大数据和云计算相关工作，2016年毕业后加入UnitedStack大数据&容器组，负责Docker、Magnum和Sahara相关工作，Openstack、Docker社区活跃者。
作者别出心裁地使用Harbor搭建了私有Mirror服务，加速外部Docker镜像的下载。编者对原文做了少量修改。
Harbor是VMware公司最近开源的企业级Docker Registry项目( https://github.com/vmware/harbo r) 。其目标是帮助用户迅速搭建一个企业级的Docker registry服务。它提供了管理UI, 基于角色的访问控制(Role Based Access Control)，AD/LDAP集成、以及审计日志(Audit logging) 等企业用户需求的功能，同时还原生支持中文。Harbor的每个组件都是以Docker容器的形式构建的，使用Docker Compose来对它进行部署。
$HARBOR_HOME/Deploy/
目录下完成，因此若无特别说明，工作目录都在该目录下。
首先需要进行简单的配置，配置文件为harbor.cfg，配置项如下：
hostname：hostname为外部可访问的地址，即bind addr，通常设置为本地公有IP，若内部使用DNS，可设置为主机名。
auth_mode：Harbor支持两种认证方式，默认为本地存储，即账号信息存储在mysql下，本文先使用本地存储方式，另外一种认证方式LDAP将在后续章节单独介绍。
设置完毕后，配置文件为：
运行./prepare脚本更新配置。完成配置后，就可以使用docker-compose快速部署Harbor：
docker-compose up -d
安装完成后，访问Web UI，地址： http://bind_addr ，即配置的hostname地址，端口为80。如图：
安装完成后，打开Web UI，点击登录，默认账户admin/Harbor12345,登录成功后进入项目管理界面：用户可以点击“我的项目”进行项目管理，比如新建项目、用户以及权限管理等。点击项目名称，进入该项目下的镜像管理界面，可以查看、检索镜像。
Docker client
以上是UI界面的使用，接下来介绍如何使用docker client进行镜像的管理，由于Harbor只支持Registry V2 API，因此Docker client版本必须>= 1.6.0。
由于我们配置认证服务使用的是http，Docker认为是不安全的，要使用我们部署的镜像仓库，需要配置本地docker，修改配置文件(/etc/default/docker)为：
DOCKER_OPTS="$DOCKER_OPTS --insecure-registry 42.62.x.x"
其中42.62.x.x是我们部署Harbor的地址，即hostname配置项值。配置完后需要重启docker服务。
验证能否登录：
docker login 42.62.x.x
登录成功后显示如下：
接下来我们上传一个镜像，以ubuntu镜像为例，首先从docker hub拉取ubuntu镜像：
docker pull ubuntu:14.04
然后为该镜像打上新的标签，标签格式为：Harbor地址/项目名/镜像名称:镜像标签，如：
docker tag ubuntu:14.04 \
42.62.x.x/library/ubuntu:14.04
push我们的镜像到Harbor仓库中：
docker push ubuntu:14.04 \
42.62.x.x/library/ubuntu:14.04
push成功后，我们就可以从Harbor仓库中使用docker pull拉取我们的镜像了，注意如果是私有项目，必须先使用docker login登录：
docker pull 42.62.x.x/library/ubuntu:14.04
其基本工作原理是，当用户pull一个镜像时，若镜像在mirror 服务器存在，则直接从mirror服务器拉取，否则若不存在该镜像，则由mirror server自动代理往dockerhub（可配置）中拉取镜像，并缓存到mirror服务器中，当客户再次拉取这个镜像时，直接从mirror server中拉取，不需要再次从docker hub中拉取。
Harbor目前不支持pull cache功能,已提交Github issue #120。不过我们只需要手动修改下配置即可完成，具体配置可参考官方Registry as a pull through cache.
我们在运行./prepare之前修改config/registry/config.yml文件，追加以下配置：
proxy:
remoteurl: https://registry-1.docker.io
如果需要访问私有仓库，需要填写Docker Hub的用户名和密码：
proxy:
remoteurl: https://registry-1.docker.io
username: [username]
password: [password]
然后重新启动Harbor服务：
docker-compose rm -f
docker-compose up -d
除了设置Harbor（或者registry），还需要配置本地docker服务，指定--registry-mirror参数，修改docker配置文件(/etc/default/docker)：
DOCKER_OPTS="$DOCKER_OPTS --registry-mirror= http://42.62.x.x --insecure-registry 42.62.x.x"
注意替换42.62.x.x为你的registry地址。
注意：修改了docker配置文件，必须重启docker服务才能生效。
Harbor由于引进了认证功能，因此push操作时，必须保证project存在，比如push krystism/ffmpeg，必须保证Harbor创建了krystism project，否则会失败。为了能够正常push/pull dockerhub的官方镜像，务必创建library project，如图：
假设本地不存在python镜像：
我们第一次pull python后，Harbor发现不存在该镜像，于是自己作为代理往Docker Hub里拉取，拉取后保存到本地,可以通过Web UI查看。客户端再次拉取python镜像时，由于Harbor已经存在该镜像，因此不需要再往Docker Hub拉取，速度大幅度提高！
快速部署LDAP服务
为了测试方便，我们使用Docker启动一个LDAP服务器，启动脚本如下：
docker rm -f $NAME 2>/dev/null
docker run --env LDAP_ORGANISATION="Unitedstack Inc." \
--env LDAP_DOMAIN="ustack.com" \
--env LDAP_ADMIN_PASSWORD="admin_password" \
-v
-v
--detach --name $NAME osixia/openldap:1.1.2
创建新用户，首先需要定义ldif文件，new_user.ldif：
dn: uid=test,dc=ustack,dc=com
uid: test
cn: test
sn: 3
objectClass: top
objectClass: posixAccount
objectClass: inetOrgPerson
loginShell: /bin/bash
homeDirectory: /home/test
uidNumber: 1001
gidNumber: 1001
userPassword: 1q2w3e4r
mail: [email protected]
gecos: test
通过以下脚本创建新用户，其中ldap_server为LDAP服务容器名称。
docker cp new_user.ldif ldap_server:/
docker exec ldap_server ldapadd -x \
-D "cn=admin,dc=ustack,dc=com" \
-w admin_password \
-f /new_user.ldif -ZZ
查看用户是否创建成功：
docker exec ldap_server ldapsearch -x -h localhost \
-b dc=ustack,dc=com -D "cn=admin,dc=ustack,dc=com" \
-w admin_password
检查test用户是否存在，若存在，则说明创建成功，否则需要使用docker logs查看日志。
配置Harbor使用LDAP认证
修改harbor.cfg文件关于LDAP配置项，如下：
auth_mode = ldap_auth
ldap_url = ldap://42.62.x.x
ldap_basedn = uid=%s,dc=ustack,dc=com
然后重新部署Harbor：
./prepare
docker-compose stop
docker-compose rm -f
docker-compose up -d
测试是否能够使用test用户登录：
docker login -u test -p 1q2w3e4r \
-e [email protected] 42.62.x.x
官方配置mirror registry文档： https://github.com/docker/dist ... or.md
Daocloud关于mirror的博客： http://blog.daocloud.io/daocloud-mirror-free/
openLDAP部署： https://github.com/osixia/docker-openldap
欢迎大家使用Harbor Registry和反馈意见，可到GitHub上的Issues区和我们互动。也可以关注公众号：“亨利笔记”，在后台发信息"入群"，加入Harbor开源项目用户群交流。
作者别出心裁地使用Harbor搭建了私有Mirror服务，加速外部Docker镜像的下载。编者对原文做了少量修改。
Harbor是VMware公司最近开源的企业级Docker Registry项目( https://github.com/vmware/harbo r) 。其目标是帮助用户迅速搭建一个企业级的Docker registry服务。它提供了管理UI, 基于角色的访问控制(Role Based Access Control)，AD/LDAP集成、以及审计日志(Audit logging) 等企业用户需求的功能，同时还原生支持中文。Harbor的每个组件都是以Docker容器的形式构建的，使用Docker Compose来对它进行部署。
快速部署方法
Harbor使用Docker-compose部署，后续所有的配置以及部署均在$HARBOR_HOME/Deploy/
目录下完成，因此若无特别说明，工作目录都在该目录下。
首先需要进行简单的配置，配置文件为harbor.cfg，配置项如下：
hostname：hostname为外部可访问的地址，即bind addr，通常设置为本地公有IP，若内部使用DNS，可设置为主机名。
auth_mode：Harbor支持两种认证方式，默认为本地存储，即账号信息存储在mysql下，本文先使用本地存储方式，另外一种认证方式LDAP将在后续章节单独介绍。
设置完毕后，配置文件为：
运行./prepare脚本更新配置。完成配置后，就可以使用docker-compose快速部署Harbor：
docker-compose up -d
安装完成后，访问Web UI，地址： http://bind_addr ，即配置的hostname地址，端口为80。如图：
使用Harbor
Web UI安装完成后，打开Web UI，点击登录，默认账户admin/Harbor12345,登录成功后进入项目管理界面：用户可以点击“我的项目”进行项目管理，比如新建项目、用户以及权限管理等。点击项目名称，进入该项目下的镜像管理界面，可以查看、检索镜像。
Docker client
以上是UI界面的使用，接下来介绍如何使用docker client进行镜像的管理，由于Harbor只支持Registry V2 API，因此Docker client版本必须>= 1.6.0。
由于我们配置认证服务使用的是http，Docker认为是不安全的，要使用我们部署的镜像仓库，需要配置本地docker，修改配置文件(/etc/default/docker)为：
DOCKER_OPTS="$DOCKER_OPTS --insecure-registry 42.62.x.x"
其中42.62.x.x是我们部署Harbor的地址，即hostname配置项值。配置完后需要重启docker服务。
验证能否登录：
docker login 42.62.x.x
登录成功后显示如下：
接下来我们上传一个镜像，以ubuntu镜像为例，首先从docker hub拉取ubuntu镜像：
docker pull ubuntu:14.04
然后为该镜像打上新的标签，标签格式为：Harbor地址/项目名/镜像名称:镜像标签，如：
docker tag ubuntu:14.04 \
42.62.x.x/library/ubuntu:14.04
push我们的镜像到Harbor仓库中：
docker push ubuntu:14.04 \
42.62.x.x/library/ubuntu:14.04
push成功后，我们就可以从Harbor仓库中使用docker pull拉取我们的镜像了，注意如果是私有项目，必须先使用docker login登录：
docker pull 42.62.x.x/library/ubuntu:14.04
Harbor作为mirror registry
Mirror是Docker Registry的一种特殊类型，它起到了类似代理服务器的缓存角色，在用户和Docker Hub之间做Image的缓存。其基本工作原理是，当用户pull一个镜像时，若镜像在mirror 服务器存在，则直接从mirror服务器拉取，否则若不存在该镜像，则由mirror server自动代理往dockerhub（可配置）中拉取镜像，并缓存到mirror服务器中，当客户再次拉取这个镜像时，直接从mirror server中拉取，不需要再次从docker hub中拉取。
Harbor目前不支持pull cache功能,已提交Github issue #120。不过我们只需要手动修改下配置即可完成，具体配置可参考官方Registry as a pull through cache.
我们在运行./prepare之前修改config/registry/config.yml文件，追加以下配置：
proxy:
remoteurl: https://registry-1.docker.io
如果需要访问私有仓库，需要填写Docker Hub的用户名和密码：
proxy:
remoteurl: https://registry-1.docker.io
username: [username]
password: [password]
然后重新启动Harbor服务：
注意不要执行./prepare
docker-compose stopdocker-compose rm -f
docker-compose up -d
除了设置Harbor（或者registry），还需要配置本地docker服务，指定--registry-mirror参数，修改docker配置文件(/etc/default/docker)：
DOCKER_OPTS="$DOCKER_OPTS --registry-mirror= http://42.62.x.x --insecure-registry 42.62.x.x"
注意替换42.62.x.x为你的registry地址。
注意：修改了docker配置文件，必须重启docker服务才能生效。
Harbor由于引进了认证功能，因此push操作时，必须保证project存在，比如push krystism/ffmpeg，必须保证Harbor创建了krystism project，否则会失败。为了能够正常push/pull dockerhub的官方镜像，务必创建library project，如图：
假设本地不存在python镜像：
我们第一次pull python后，Harbor发现不存在该镜像，于是自己作为代理往Docker Hub里拉取，拉取后保存到本地,可以通过Web UI查看。客户端再次拉取python镜像时，由于Harbor已经存在该镜像，因此不需要再往Docker Hub拉取，速度大幅度提高！
对接LDAP认证
Harbor支持两种认证方式，默认为本地存储，即账号信息存储在mysql下，上文已经具体介绍。接下来介绍另外一种认证方式LDAP，只需要修改配置文件即可。需要提供ldap url以及ldap basedn参数，并且设置auth_mode为ldap_auth。快速部署LDAP服务
为了测试方便，我们使用Docker启动一个LDAP服务器，启动脚本如下：
!/bin/bash
NAME=ldap_serverdocker rm -f $NAME 2>/dev/null
docker run --env LDAP_ORGANISATION="Unitedstack Inc." \
--env LDAP_DOMAIN="ustack.com" \
--env LDAP_ADMIN_PASSWORD="admin_password" \
-v
pwd
/containers/openldap/data:/var/lib/ldap \
-v
pwd
/containers/openldap/slapd.d:/etc/ldap/slapd.d \
--detach --name $NAME osixia/openldap:1.1.2
创建新用户，首先需要定义ldif文件，new_user.ldif：
dn: uid=test,dc=ustack,dc=com
uid: test
cn: test
sn: 3
objectClass: top
objectClass: posixAccount
objectClass: inetOrgPerson
loginShell: /bin/bash
homeDirectory: /home/test
uidNumber: 1001
gidNumber: 1001
userPassword: 1q2w3e4r
mail: [email protected]
gecos: test
通过以下脚本创建新用户，其中ldap_server为LDAP服务容器名称。
docker cp new_user.ldif ldap_server:/
docker exec ldap_server ldapadd -x \
-D "cn=admin,dc=ustack,dc=com" \
-w admin_password \
-f /new_user.ldif -ZZ
查看用户是否创建成功：
docker exec ldap_server ldapsearch -x -h localhost \
-b dc=ustack,dc=com -D "cn=admin,dc=ustack,dc=com" \
-w admin_password
检查test用户是否存在，若存在，则说明创建成功，否则需要使用docker logs查看日志。
配置Harbor使用LDAP认证
修改harbor.cfg文件关于LDAP配置项，如下：
auth_mode = ldap_auth
ldap_url = ldap://42.62.x.x
ldap_basedn = uid=%s,dc=ustack,dc=com
然后重新部署Harbor：
./prepare
docker-compose stop
docker-compose rm -f
docker-compose up -d
测试是否能够使用test用户登录：
docker login -u test -p 1q2w3e4r \
-e [email protected] 42.62.x.x
参考资料
Harbor项目： https://github.com/vmware/harbor官方配置mirror registry文档： https://github.com/docker/dist ... or.md
Daocloud关于mirror的博客： http://blog.daocloud.io/daocloud-mirror-free/
openLDAP部署： https://github.com/osixia/docker-openldap
欢迎大家使用Harbor Registry和反馈意见，可到GitHub上的Issues区和我们互动。也可以关注公众号：“亨利笔记”，在后台发信息"入群"，加入Harbor开源项目用户群交流。