K8s & K3s 集群中 Hlem 化部署 Harbor

Harbor 简介

Harbor是VMware公司开源的企业级DockerRegistry项目,其目标是帮助用户迅速搭建一个企业级的Dockerregistry服务。
它以Docker公司开源的registry为基础,提供了管理UI,基于角色的访问控制(Role Based Access Control),AD/LDAP集成、以及审计日志(Auditlogging) 等企业用户需求的功能,同时还原生支持中文。

架构及组件

image
  • 主要组件包括proxy,他是一个nginx前端代理,主要是分发前端页面ui访问和镜像上传和下载流量,上图通过深蓝色线标志;
  • ui提供了一个web管理页面,当然还包括了一个前端页面和后端API,底层使用mysql数据库;
  • registry是镜像仓库,负责存储镜像文件,当镜像上传完毕后通过hook通知ui创建repositry,上图通过红色线标志,当然registry的token认证也是通过ui组件完成;
  • adminserver是系统的配置管理中心附带检查存储用量,ui个jobservice启动时候需要加载adminserver的配置,通过灰色线标志;
  • jobservice是负责镜像复制工作的,他和registry通信,从一个registry pull镜像然后push到另一个registry,并记录job_log,上图通过紫色线标志;log是日志汇总组件,通过docker的log-dirver把日志汇总到一起,通过蓝色线条标志。

依赖 & 部署

  • 底座环境: K8s/K3s
  • 软件依赖: Helm3 & Git
  • 存储依赖: Rook Ceph
# 配置 helm 源
helm repo add harbor https://helm.goharbor.io
helm repo update
helm pull harbor/harbor
tar xf harbor-x.x.x.tgz
  • 配置 PV & PVC

云原生的存储类可以有多种选择,nfs 或者 ceph 等多种类型的存储,本文选择 rook 已经在集群中配置好的存储类进行服务访问,查看本地可用的 sc :

kubectl get sc
image
image
  • 部署检查
# 0 部署
helm install harbor harbor
# 1 查看 pv & pvc
kubectl get pv -A | grep harbor
kubectl get pvc -A | grep harbor 
# 2 查看 pod
kubectl get pod -A | grep harbor 
# 3 查看 svc
kubectl get svc -A | grep harbor 
# 4 查看 ingress
kubectl get ingress -A | grep harbor 
image
  • Ingress 配置
    备注:helm 部署 harbor 以后,默认的 Ingress 是不可用的,需要结合实际情况进行配置,比如需要考虑到的问题有 Ingress-nginx 还是 treafik 的控制器控制的服务访问,正如我的集群环境使用到的正是基于 K3s 集群的 treafik 负载均衡器,所以配置方式如下:
kubectl get ingress -n default     harbor-harbor-ingress -oyaml > harbor-core-ingress.yaml
kubectl get ingress -n default     harbor-harbor-ingress-notary -oyaml > harbor-harbor-notary-ingress.yaml

编辑 ingress 的负载映射如下:


image
kubectl apply -f harbor-core-ingress.yaml
kubectl apply -f harbor-harbor-notary-ingress.yaml
image

强调说明: 删除无用信息,增加控制器字段,不要名称冲突即可。

  • 浏览器访问

配置访问主机hosts:


image
image
image

插件 & 使用

  • docker添加harbor证书

对于需要使用harbor仓库的节点,都要添加harbor证书:

kubectl get secrets  harbor-harbor-ingress  -o jsonpath="{.data.ca\.crt}" | base64 --decode 
image

在边缘节点添加证书,进行登录验证:

# 添加证书验证路径
mkdir -p /etc/docker/certs.d/core.harbor.domain
# 追加上文证书到证书文件中
vi /etc/docker/certs.d/core.harbor.domain/ca.crt
# 追加域名到 /etc/hosts
vi /etc/hosts
image
[root@vm3290 tmp]# docker login core.harbor.domain -u admin                    
Password: 
WARNING! Your password will be stored unencrypted in /root/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store

Login Succeeded
  • push插件
[root@vm3290 tmp]# helm plugin install https://github.com/chartmuseum/helm-push
Downloading and installing helm-push v0.9.0 ...
https://github.com/chartmuseum/helm-push/releases/download/v0.9.0/helm-push_0.9.0_linux_amd64.tar.gz
Installed plugin: push
[root@vm3290 tmp]# helm plugin ls
W0215 05:21:14.927672    4760 loader.go:223] Config not found: /etc/rancher/k3s/k3s.yaml
NAME    VERSION DESCRIPTION                      
push    0.9.0   Push chart package to ChartMuseum
image

拓展阅读

  • harbor 进行 helm 管理:
$helm plugin install https://github.com/chartmuseum/helm-push
$helm  repo add  mylibrary  http://core.harbor.domain/chartrepo/library --ca-file /etc/docker/certs.d/core.harbor.domain/ca.crt
$helm repo list
NAME    URL                                                   
stable  https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts
local   http://127.0.0.1:8879/charts                          
mylibrary   http://xxxx/chartrepo/library               
bitnami https://charts.bitnami.com  
image
  • harbor 上传 charts (helm3 不一定可行,需要结合不同的 helm 版本进行分析):
helm fetch stable/redis-ha   #下载charts
helm push redis-ha-2.0.1.tgz  mylibrary   #上传到私有仓库

你可能感兴趣的:(K8s & K3s 集群中 Hlem 化部署 Harbor)