03.使用 KubeSphere 安装Harbor并为Docker进行相关配置
使用 KubeSphere 安装Harbor并为Docker进行相关配置
- 简介
- 1. KubeSphere安装Harbor
-
- 1.1 Harbor概述
-
- 1.1.1 Harbor特性
- 1.1.2 Harbor构成
- 1.2 Harbor安装
-
- 1.2.1 启用KubeSphere 应用商店
- 1.2.2 创建企业空间和项目
- 1.2.3 修改Harbor应用设置并安装
- 2. Docker配置使用Harbor私有仓库
-
- 2.1 Docker配置
-
- 2.1.1 添加私有仓库地址
- 2.2 使用Harbor仓库
-
- 2.2.1 创建仓库项目
简介
Harbor是构建企业级私有Docker镜像的仓库的开源解决方案，是 Docker Registry的更高级封装，除了提供友好的Web UI界面，角色和用户权限管理，用户操作审计等功能外，还整合了K8s的插件(Add-ons)仓 库，即Helm通过chart方式下载，管理，安装K8s插件，而chartmuseum 可以提供存储chart数据的仓库【注:helm就相当于k8s的yum】
简单来说，作为一个企业级私有Registry服务器，Harbor提供了更好的性能和安全。提升用户使用Registry构建和运行环境传输镜像的效率，方便了企业用户对image的管理和服务部署等。
本文章将详细介绍如何使用 KubeSphere 安装Harbor并为Docker进行相关配置。
往期文章参考:
01.使用 KubeKey 在Linux上预配置生产就绪的 Kubernetes 和 KubeSphere 集群
02.Kubernetes 和 KubeSphere 集群安装配置持久化存储（nfs）并通过StatefulSet动态为pod生成pv挂载
版本如下
| 名称 | 版本 |
|---|---|
| CentOS | 7.6+ |
| Kubernetes | 1.23.8 |
| KubeSphere | 3.3.1 |
| Harbor | 2.5.3 |
| 主机分配 |
| 主机名称 | IP | 角色 | 容器运行时 | 容器运行时版本 |
|---|---|---|---|---|
| master01 | 192.168.0.3 | control plane, etcd, worker | docker | 19.3.8+ |
| node01 | 192.168.0.5 | worker | docker | 19.3.8+ |
| node02 | 192.168.0.7 | worker | docker | 19.3.8+ |
| node03 | 192.168.0.8 | worker | docker | 19.3.8+ |
1. KubeSphere安装Harbor
1.1 Harbor概述
1.1.1 Harbor特性
基于角色控制：用户和仓库都是基于项目进行组织的，而用户在项目中可以拥有不同的权限
基于镜像的复制策略：镜像可以在多个 Harbor 实例之间进行复制（同步）
支持 LDAP/AD：Harbor 可以集成企业内部已有的 AD/LDAP（类似数据库的一张表），用于对已经存在的用户认证和管理
审计管理：所有针对镜像仓库的操作都可以被记录追溯，用于审计管理
支持 RESTful API：RESTful API 提供给管理员对于 Harbor 更多的操控, 使得与其它管理软件集成变得更容易
整合K8s插件仓库：提供存储chart数据的仓库（Helm Charts）
1.1.2 Harbor构成
Proxy： Nginx 前端代理，负责分发前端页面的访问和镜像上传和下载流量
UI：web 管理界面，包括前端页面和后端API，以及存储数据的数据库
Registry：镜像仓库，负责存储镜像文件，当镜像上传完毕后通过 hook 通知 UI 创建 Repository，Registry token 认证也是通过 UI 组件完成
AdminServer：系统的配置管理中心，附带检查存储用量。UI 和 JobService 启动时需要加载 AdminServer 的配置
JobService：与 Registry 通信，负责镜像复制工作，从一个 Registry Pull 镜像，Push 到另一个 Registry，并记录 job_log
Log：日志汇总组件，通过 docker 的 log-driver 把日志汇总到一起
1.2 Harbor安装
下面将介绍如何使用 KubeSphere可视化安装 Harbor，也可以使用docker-compose或者helm等其他方式安装。
docker-compose安装Harbor可参考：使用Docker Compose 安装 Harbor
没有安装KubeSphere可在k8s上执行以下命令安装KubeSphere：
# 安装命令： kubectl apply -f https://github.com/kubesphere/ks-installer/releases/download/v3.3.1/kubesphere-installer.yaml kubectl apply -f https://github.com/kubesphere/ks-installer/releases/download/v3.3.1/cluster-configuration.yaml # 检查安装日志： kubectl logs -n kubesphere-system $(kubectl get pod -n kubesphere-system -l 'app in (ks-install, ks-installer)' -o jsonpath='{.items[0].metadata.name}') -f # 查看所有 Pod 在 KubeSphere 相关的命名空间是否正常运行： kubectl get svc/ks-console -n kubesphere-system[官方参考文档]:在 Kubernetes 上安装 KubeSphere。
1.2.1 启用KubeSphere 应用商店
- 使用 admin 用户登录控制台，点击左上角的平台管理，选择集群管理。
- 点击定制资源定义，在搜索栏中输入 clusterconfiguration，点击结果查看其详细页面。
- 在自定义资源中，点击 ks-installer 右侧的操作图标，选择编辑 YAML。
- 在该 YAML 文件中，搜索 openpitrix，将 enabled 的 false 改为 true。完成后，点击右下角的确定，保存配置。
openpitrix:
store:
enabled: true # 将“false”更改为“true”。
- 在 kubectl 中执行以下命令检查安装过程：
kubectl logs -n kubesphere-system $(kubectl get pod -n kubesphere-system -l 'app in (ks-install, ks-installer)' -o jsonpath='{.items[0].metadata.name}') -f
详细图文参考 [02.Kubernetes 和 KubeSphere 集群安装配置持久化存储（nfs）并通过StatefulSet动态为pod生成pv挂载]中的第三节 KubeSphere存储持久化和其他组件安装
1.2.2 创建企业空间和项目
- 使用 admin 用户登录控制台，点击左上角的平台管理，选择访问控制。
- 点击企业空间，继续点击左侧 创建按钮，填写自己所需的企业空间信息后，并点击创建按钮。
- 点击列表中刚才创建的企业空间，然后点击 项目 ，继续点击创建按钮，填写要创建的项目信息，并确定。
- 点击列表中刚才创建的 项目。进入后，选择 应用负载 中的 应用 ，点击创建。 选择从应用商店，进入后搜索harbor即可。
1.2.3 修改Harbor应用设置并安装
- 点击 Harbor ，进入后点击安装，选择下一步。
- 如果不想使用ingress网关访问Harbor，则需要进行以下设置，然后点击安装
expose:
type: nodePort # 将 type 更改成 nodePort。
tls:
enabled: false # 关闭 tls。
certSource: auto
auto:
commonName: "192.168.0.5" # 将 commonName 更改成您自己的值。
secret:
secretName: ""
notarySecretName: ""
nodePort:
# NodePort 服务的名称。
name: harbor
ports:
http:
# 使用 HTTP 服务时，Harbor 监听的服务端口。
port: 80
# 使用 HTTP 服务时，Harbor 监听的节点端口。
nodePort: 30002
https:
# 使用 HTTPS 服务时，Harbor 监听的服务端口。
port: 443
# 使用 HTTPS 服务时，Harbor 监听的服务端口。
nodePort: 30003
# 仅在 notary.enabled 设置为 true 时需要此配置。
notary:
# Notary 监听的服务端口。
port: 4443
# The node port Notary listens on
nodePort: 30004
externalURL: http://192.168.0.5:30002 # 使用您自己的 IP 地址。
# The internal TLS used for harbor components secure communicating. In order to enable https
# in each components tls cert files need to provided in advance.
- 再次回到刚才新建的企业空间，查看项目下的应用负载，当Harbor的状态为running时就安装成功了。
2. Docker配置使用Harbor私有仓库
2.1 Docker配置
以下操作需要在集群每个节点执行
2.1.1 添加私有仓库地址
# 修改docker配置文件添加harbor地址
# vim /etc/docker/daemon.json
{
"insecure-registries": ["192.168.0.5:30002"]
}
# 集群每台主机需要重新启动docker加载配置
systemctl daemon-reload
systemctl restart docker
# 集群每台主机登录下仓库
[root@master01 docker]# docker login 192.168.0.5:30002
Authenticating with existing credentials...
WARNING! Your password will be stored unencrypted in /root/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store
Login Succeeded
2.2 使用Harbor仓库
初始账号密码
Account: admin
Password: Harbor12345
2.2.1 创建仓库项目
# 给自己要上传的镜像打上仓库项目地址tag，再使用push命令上传
[root@master01 ~]# docker tag basecloud-web 192.168.0.5:30002/test01/basecloud-web:1.0.0
[root@master01 ~]# docker push 192.168.0.5:30002/test01/basecloud-web:1.0.0
The push refers to repository [192.168.0.5:30002/test01/basecloud-web]
6e75cef470bf: Pushed
89961e3ae11e: Pushed
52afd6b950f3: Pushed
9aace8084497: Pushed
101af4ba983b: Pushed
d8466e142d87: Pushed
83ba6d8ffb8c: Pushed
e161c82b34d2: Pushed
4dc5cd799a08: Pushed
650abce4b096: Pushed
1.0.0: digest: sha256:a33b854837dd1aaac8c2225273cf1fb418372a4e30b9aeb9d57942ee3da6efa2 size: 2406
[root@master01 ~]# 回到项目界面，点击进入，可以看到仓库已有刚才上传的镜像了
[root@master01 ~]# 拉取刚才上传的镜像示例 docker pull 192.168.0.5:30002/test01/basecloud-web:1.0.0
往期文章参考:
01.使用 KubeKey 在Linux上预配置生产就绪的 Kubernetes 和 KubeSphere 集群
02.Kubernetes 和 KubeSphere 集群安装配置持久化存储（nfs）并通过StatefulSet动态为pod生成pv挂载