企业实战(5) Docker私有镜像仓库Harbor的部署与使用详解
Harbor简介：
Harbor是一个用于存储和分发Docker镜像的企业级Registry服务器，通过添加一些企业必需的功能特性，例如安全、标识和管理等，扩展了开源Docker Distribution。作为一个企业级私有Registry服务器，Harbor提供了更好的性能和安全。提升用户使用Registry构建和运行环境传输镜像的效率。Harbor支持安装在多个Registry节点的镜像资源复制，镜像全部保存在私有Registry中， 确保数据和知识产权在公司内部网络中管控。另外，Harbor也提供了高级的安全特性，诸如用户管理，访问控制和活动审计等。
Harbor特性：
基于角色的访问控制 ：用户与Docker镜像仓库通过“项目”进行组织管理，一个用户可以对多个镜像仓库在同一命名空间（project）里有不同的权限。
镜像复制 ： 镜像可以在多个Registry实例中复制（同步）。尤其适合于负载均衡，高可用，混合云和多云的场景。
图形化用户界面 ： 用户可以通过浏览器来浏览，检索当前Docker镜像仓库，管理项目和命名空间。
AD/LDAP 支持 ： Harbor可以集成企业内部已有的AD/LDAP，用于鉴权认证管理。
审计管理 ： 所有针对镜像仓库的操作都可以被记录追溯，用于审计管理。
国际化 ： 已拥有英文、中文、德文、日文和俄文的本地化版本。更多的语言将会添加进来。
RESTful API ： RESTful API 提供给管理员对于Harbor更多的操控, 使得与其它管理软件集成变得更容易。
部署简单 ： 提供在线和离线两种安装工具， 也可以安装到vSphere平台(OVA方式)虚拟设备。
Harbor组件：
Harbor在架构上主要由6个组件构成：
-
Proxy：Harbor的registry, UI, token等服务，通过一个前置的反向代理统一接收浏览器、Docker客户端的请求，并将请求转发给后端不同的服务。
-
Registry： 负责储存Docker镜像，并处理docker push/pull 命令。由于我们要对用户进行访问控制，即不同用户对Docker image有不同的读写权限，Registry会指向一个token服务，强制用户的每次docker pull/push请求都要携带一个合法的token, Registry会通过公钥对token 进行解密验证。
-
Core services： 这是Harbor的核心功能，主要提供以下服务：
-
UI：提供图形化界面，帮助用户管理registry上的镜像（image）, 并对用户进行授权。
-
webhook：为了及时获取registry 上image状态变化的情况， 在Registry上配置webhook，把状态变化传递给UI模块。
-
token 服务：负责根据用户权限给每个docker push/pull命令签发token. Docker 客户端向Regiøstry服务发起的请求,如果不包含token，会被重定向到这里，获得token后再重新向Registry进行请求。
-
Database：为core services提供数据库服务，负责储存用户权限、审计日志、Docker image分组信息等数据。
-
Job Services：提供镜像远程复制功能，可以把本地镜像同步到其他Harbor实例中。
-
Log collector：为了帮助监控Harbor运行，负责收集其他组件的log，供日后进行分析。
各个组件之间的关系如下图所示：
环境介绍：
CentOS 7.5
Docker 19.03.8
Docker Engine 19.03.8
Docker-compose 1.25.4
Harbor 1.5.0
下载Harbor:
低版本，速度快：http://harbor.orientsoft.cn/
版本全，速度慢：https://github.com/goharbor/harbor/releases
安装Harbor：
1.下载解压
[root@localhost harbor]# wget http://harbor.orientsoft.cn/harbor-v1.5.0/harbor-offline-installer-v1.5.0.tgz
[root@localhost harbor]# ls
harbor-offline-installer-v1.5.0.tgz
[root@localhost harbor]# tar -xvf harbor-offline-installer-v1.5.0.tgz
[root@localhost harbor]# cd harbor
[root@localhost harbor]# ls
common docker-compose.notary.yml ha harbor.v1.5.0.tar.gz LICENSE prepare
docker-compose.clair.yml docker-compose.yml harbor.cfg install.sh NOTICE
2.修改配置文件
[root@localhost harbor]# vim harbor.cfg
...
#DO NOT use localhost or 127.0.0.1, because Harbor needs to be accessed by external clients.
hostname = 192.168.2.195
//设置访问地址，可以是ip、主机名，不可以设置为127.0.0.1或localhost
ui_url_protocol = http //不使用https就改为http
[root@localhost harbor]# ./prepare //执行官方自带脚本更新配置文件
3.开始安装
修改完配置文件后，在当前目录执行./install.sh，Harbor服务就会根据当前目录下的docker-compose.yml开始下载依赖的镜像，检测并按照顺序依次启动各服务。
[root@localhost harbor]# ./install.sh
[Step 0]: checking installation environment ...
Note: docker version: 19.03.8
Note: docker-compose version: 1.25.4
[Step 1]: loading Harbor images ...
52ef9064d2e4: Loading layer [==================================================>] 135.9MB/135.9MB
...
...
[Step 2]: preparing environment ...
Generated and saved secret to file: /data/secretkey
Generated configuration file: ./common/config/nginx/nginx.conf
Generated configuration file: ./common/config/adminserver/env
Generated configuration file: ./common/config/ui/env
Generated configuration file: ./common/config/registry/config.yml
Generated configuration file: ./common/config/db/env
Generated configuration file: ./common/config/jobservice/env
Generated configuration file: ./common/config/jobservice/config.yml
Generated configuration file: ./common/config/log/logrotate.conf
Generated configuration file: ./common/config/jobservice/config.yml
Generated configuration file: ./common/config/ui/app.conf
Generated certificate, key file: ./common/config/ui/private_key.pem, cert file: ./common/config/registry/root.crt
The configuration files are ready, please use docker-compose to start the service.
[Step 3]: checking existing instance of Harbor ...
[Step 4]: starting Harbor ...
Creating network "harbor_harbor" with the default driver
Creating harbor-log ... done
Creating registry ... done
Creating redis ... done
Creating harbor-db ... done
Creating harbor-adminserver ... done
Creating harbor-ui ... done
Creating harbor-jobservice ... done
Creating nginx ... done
✔ ----Harbor has been installed and started successfully.----
Now you should be able to visit the admin portal at http://192.168.2.195.
For more details, please visit https://github.com/vmware/harbor .
查看生成的容器：
[root@localhost harbor]# docker-compose ps
Name Command State Ports
-----------------------------------------------------------------------------------------------------------------------
harbor-adminserver /harbor/start.sh Up (healthy)
harbor-db /usr/local/bin/docker-entr ... Up (healthy) 3306/tcp
harbor-jobservice /harbor/start.sh Up
harbor-log /bin/sh -c /usr/local/bin/ ... Up (healthy) 127.0.0.1:1514->10514/tcp
harbor-ui /harbor/start.sh Up (healthy)
nginx nginx -g daemon off; Up (healthy) 0.0.0.0:443->443/tcp, 0.0.0.0:4443->4443/tcp,
0.0.0.0:80->80/tcp
redis docker-entrypoint.sh redis ... Up 6379/tcp
registry /entrypoint.sh serve /etc/ ... Up (healthy) 5000/tcp
说明：
- nginx：nginx负责流量转发和安全验证，对外提供的流量都是从nginx中转，所以开放https的443端口，它将流量分发到后端的ui和正在docker镜像存储的docker registry。
- harbor-jobservice：harbor-jobservice 是harbor的job管理模块，job在harbor里面主要是为了镜像仓库之前同步使用的;
- harbor-ui：harbor-ui是web管理页面，主要是前端的页面和后端CURD的接口;
- registry：registry就是docker原生的仓库，负责保存镜像。
- harbor-adminserver：harbor-adminserver是harbor系统管理接口，可以修改系统配置以及获取系统信息。
- harbor-db：harbor-db是harbor的数据库，这里保存了系统的job以及项目、人员权限管理。由于本harbor的认证也是通过数据，在生产环节大多对接到企业的ldap中；
- harbor-log：harbor-log是harbor的日志服务，统一管理harbor的日志。通过inspect可以看出容器统一将日志输出的syslog。
这几个容器通过Docker link的形式连接在一起，在容器之间通过容器名字互相访问。对终端用户而言，只需要暴露proxy （即Nginx）的服务端口。
常用命令：
docker-compose up -d （相当于 build + start ）：构建（容器）并启动（容器）整个project的所有service
docker-compose down -v（相当于 stop + rm ）：停止并移除整个project的所有services
docker-compose start [serviceName]：启动已存在但停止的所有service
docker-compose stop [serviceName]：停止运行的service
docker-compose restart [serviceName]: 重启服务
docker-compose images：列出所用的镜像
docker-compose ps：查看正在运行的镜像
停止Harbor：
docker-compose down -v：停止并移除整个project的所有services
[root@localhost harbor]# docker-compose down -v
Stopping harbor-jobservice ... done
Stopping nginx ... done
Stopping harbor-ui ... done
Stopping harbor-adminserver ... done
Stopping redis ... done
Stopping harbor-db ... done
Stopping registry ... done
Stopping harbor-log ... done
Removing harbor-jobservice ... done
Removing nginx ... done
Removing harbor-ui ... done
Removing harbor-adminserver ... done
Removing redis ... done
Removing harbor-db ... done
Removing registry ... done
Removing harbor-log ... done
Removing network harbor_harbor
启动Harbor：
docker-compose up -d ：构建（容器）并启动（容器）整个project的所有service
[root@localhost harbor]# docker-compose up -d
Creating network "harbor_harbor" with the default driver
Creating harbor-log ... done
Creating harbor-adminserver ... done
Creating registry ... done
Creating harbor-db ... done
Creating redis ... done
Creating harbor-ui ... done
Creating harbor-jobservice ... done
Creating nginx ... done
注意：
执行Harbor 启动 / 停止、docker-compose ps等命令都必须在Harbor安装目录下执行才可以，否则会报错。
[root@localhost ~]# docker-compose ps
ERROR:
Can't find a suitable configuration file in this directory or any
parent. Are you in the right directory?
Supported filenames: docker-compose.yml, docker-compose.yaml
端口占用处理：
如果端口占用，我们需要修改Harbor安装目录下的docker-compose.yml文件，做对应服务的端口映射。（端口变化后修改配置文件带上端口）
[root@localhost harbor]# vim docker-compose.yml
...
proxy:
image: vmware/nginx-photon:v1.5.0
container_name: nginx
restart: always
volumes:
- ./common/config/nginx:/etc/nginx:z
networks:
- harbor
ports:
- 80:80 //修改此处为新端口，如：59:80
- 443:443
- 4443:4443
depends_on:
- mysql
- registry
- ui
- log
logging:
driver: "syslog"
options:
syslog-address: "tcp://127.0.0.1:1514"
tag: "proxy"
networks:
harbor:
external: false
访问Harbor
启动完成后，我们访问刚才设置的hostname即：http://192.168.2.195，默认是80端口。
输入用户名：admin，默认密码：Harbor12345 登录系统。
管理员系统各个模块如下：
- 项目：新增/删除项目，查看镜像仓库，给项目添加成员、查看操作日志、复制项目等
- 日志：仓库各个镜像create、push、pull等操作日志
- 系统管理
用户管理：新增/删除用户、设置管理员等
复制管理：新增/删除从库目标、新建/删除/启停复制规则等
配置管理：认证模式、复制、邮箱设置、系统设置等 - 其他设置
用户设置：修改用户名、邮箱、名称信息
修改密码：修改用户密码
注意：
非系统管理员用户登录，只能看到有权限的项目和日志，其他模块不可见。
使用私有仓库push和pull镜像：
新建私有项目
上传（push）镜像
[root@localhost harbor]# docker tag nginx:latest 192.168.2.195/test/nginx:test
[root@localhost harbor]# docker push 192.168.2.195/test/nginx:test
[root@localhost harbor]# docker tag gatwayjar:latest 192.168.2.195/test/gatewayjar:test
[root@localhost harbor]# docker push 192.168.2.195/test/gatewayjar:test
The push refers to repository [192.168.2.195/test/gatewayjar]
7fa55cc3a370: Pushed
6d9807a29efe: Pushed
a52fcbff5465: Pushing [========================> ] 59.56MB/121.6MB
767f936afb51: Pushed
下载（pull）镜像
[root@localhost harbor]# docker pull 192.168.2.195/test/gatewayjar:test
test: Pulling from test/gatewayjar
169185f82c45: Already exists
4346af5b5a4f: Already exists
4094eab2320e: Already exists
c63e245a220a: Extracting [============> ] 11.3MB/46.36MB
相关报错解决：
Docker login Harbor报错解决：https://blog.csdn.net/qq_44895681/article/details/105573702