目录
registry镜像仓库概述
Docker 镜像仓库(Docker Registry):
registry 容器:
私有仓库概述
搭建本地私有仓库示例
Harbor概述
harbor架构
详解构成
Harbor由容器构成
Harbor部署示例
环境准备
部署Docker-Compose服务
部署 Harbor 服务
启动Harbor
查看 Harbor 启动镜像
创建一个新项目
在其他客户端上传镜像
维护管理Harbor
通过Harbor Web创建项目
创建 Harbor 用户
查看日志
修改 Harbor.cfg 配置文件
移除 Harbor 服务容器同时保留镜像数据/数据库,并进行迁移
Docker 镜像仓库(Docker Registry)是一个用于存储和管理 Docker 镜像的中央仓库。registry 容器就是运行 Docker 镜像仓库服务的容器。
定义: Docker 镜像仓库是一个集中存储和管理 Docker 镜像的服务。它允许用户上传、下载和分享 Docker 镜像。最常见的 Docker Registry 是 Docker 官方提供的公共注册表(Docker Hub),但用户也可以搭建私有 Docker 镜像仓库,以在本地或私有网络中管理镜像。
功能:
存储镜像: 提供一个集中的地方存储 Docker 镜像。
版本控制: 允许同一镜像的不同版本存在。
访问控制: 可以配置访问权限,使镜像仓库可以是公开的或私有的。
镜像标签: 镜像可以用标签来区分不同版本或变体。
安全审计: 提供审计功能,追踪谁上传或下载了哪些镜像。
常见的 Docker 镜像仓库:
Docker Hub: 官方的公共 Docker 镜像仓库。
Quay: 一个高性能、可扩展的 Docker 镜像 registry 服务,提供强大的镜像管理和访问控制。
Harbor: 一个开源的企业级 Docker Registry,支持安全、可靠的镜像管理。
定义: registry 容器是运行 Docker 镜像仓库服务的 Docker 容器。它使用 registry 镜像,通过在容器内提供 registry 服务,允许用户在本地或私有网络中搭建自己的 Docker 镜像仓库。
运行 registry 容器的步骤:
docker pull registry
docker run -itd -v /data/registry:/var/lib/registry -p 5000:5000 --restart=always --name registry registry:latest
-itd
: 在容器中打开一个伪终端进行交互操作,并在后台运行。
-v
: 将宿主机的 /data/registry
目录挂载到容器的 /var/lib/registry
目录,实现数据的持久化。
-p
: 映射端口,使得可以通过宿主机的 5000 端口访问 registry 容器的服务。
--restart=always
: 容器退出时总是重启容器,确保服务的持续性。
--name registry
: 为容器命名为 registry。
registry:latest
: 使用最新版本的 registry 镜像。
功能:
提供镜像服务: 允许上传、下载和管理 Docker 镜像。
数据持久化: 使用 -v
参数将宿主机目录挂载到容器,确保数据的持久化。
端口映射: 使用 -p
参数映射宿主机端口,方便外部访问 registry 服务。
自动重启: 使用 --restart=always
参数,保证容器在退出时自动重启。
通过搭建 registry 容器,用户可以在本地或私有网络中建立自己的 Docker 镜像仓库,方便镜像的管理和共享。
Docker私有仓库是指企业内部使用的仓库,用于存放自身开发的企业级应用的镜像。私有仓库的主要优点包括节省网络带宽和提供镜像资源的有效利用。通过搭建本地私有仓库,企业可以在内部网络中快速下载和上传镜像,不受外网带宽等因素的影响。此外,私有仓库还可以配置仓库认证功能,以确保只有授权的人员可以访问和使用其中的镜像。
下载 registry 镜像:
docker pull registry
配置 daemon.json 文件: 在 /etc/docker/daemon.json
文件中添加私有镜像仓库地址,同时配置其他参数
vim /etc/docker/daemon.json
{
"insecure-registries": ["192.168.41.31:5000"],
"registry-mirrors": ["https://ae3f5qei.mirror.aliyuncs.com"]
}
重启 Docker 服务:
systemctl restart docker.service
Docker 容器的重启策略的解析:
no:
默认策略。
当容器退出时,不会自动重启容器。
on-failure:
在容器非正常退出时(退出状态非0),才会触发容器的自动重启。
on-failure:3:
在容器非正常退出时自动重启容器,最多重启3次。
限制了容器的最大重启次数。
always:
在容器退出时总是自动重启容器,不考虑退出的原因。
unless-stopped:
在容器退出时总是自动重启容器。
不考虑在 Docker 守护进程启动时就已经停止了的容器,即使在 Docker 守护进程启动时手动停止容器,也会被重启。
这些重启策略提供了对容器生命周期的不同控制选项,以满足不同场景下的需求。选择适当的重启策略可以确保容器服务的可用性和稳定性。
运行 registry 容器:
docker run -itd -v /data/registry:/var/lib/registry -p 5000:5000 --restart=always --name registry registry:latest
解释:
-itd
: 在容器中打开一个伪终端进行交互操作,并在后台运行。
-v
: 将宿主机的 /data/registry
目录绑定到容器的 /var/lib/registry
目录,实现数据的持久化。/var/lib/registry目录是registry容器中存放镜像文件的目录
-p
: 映射端口,访问宿主机的 5000 端口即可访问 registry 容器的服务。
--restart=always
: 容器退出时总是重启容器。
--name registry
: 创建容器并命名为 registry。
registry:latest
: 使用最新版本的 registry 镜像。
为镜像打标签:
docker tag centos:7 192.168.41.31:5000/centos:v1
上传到私有仓库:
docker push 192.168.41.31:5000/centos:v1
列出私有仓库的所有镜像:
curl http://192.168.41.31:5000/v2/_catalog
查看私有仓库的 centos 镜像有哪些 tag:
curl http://192.168.41.31:5000/v2/centos/tags/list
删除原有的 centos 镜像,然后从私有仓库下载:
docker rmi -f 8652b9f0cb4c
docker pull 192.168.41.31:5000/centos:v1
Harbor是一个由VMware公司开源的企业级Docker Registry项目。它的目标是帮助用户快速搭建一个企业级的Docker Registry服务。
Harbor基于Docker公司开源的Registry,并提供了一些企业用户需求的功能,如图形管理界面、基于角色的访问控制(Role Based Access Control)、AD/LDAP集成以及审计日志等。此外,Harbor还原生地支持中文。
Harbor的每个组件都以Docker容器的形式构建,并使用docker-compose来进行部署。用于部署Harbor的docker-compose模板可以在harbor/docker-compose.yml中找到。
Harbor的整体架构由以下几个组件组成:
代理层(Proxy Layer):代理层实质上是一个Nginx反向代理,负责接收不同类型的客户端请求,包括浏览器、用户脚本、Docker等,并根据请求类型和URI转发给不同的后端服务进行处理。
功能层(Functional Layer):
Portal:基于Angular的前端应用,提供Harbor用户访问的界面。
Core:Harbor的核心组件,封装了大部分的业务逻辑。
JobService:异步任务组件,负责处理Harbor中一些耗时的功能,如Artifact复制、扫描、垃圾回收等。
数据层(Data Layer):
Redis:主要作为缓存服务,存储一些生命周期较短的数据,并为JobService提供类似队列的功能。
PostgreSQL:存储Harbor的应用数据,包括项目信息、用户与项目的关系、管理策略、配置信息、Artifact的元数据等。
Harbor 在架构上主要有 Proxy、Registry、Core services、Database(Harbor-db)、Log collector(Harbor-log)、Job services 六个组件。
Proxy(代理):使用Nginx作为前端代理,Harbor 的 Registry、UI、Token 服务等组件,都处在 nginx 反向代理后边。会将来自浏览器和Docker客户端的请求转发给后端的不同服务。
Registry(注册表):负责存储Docker镜像,并处理Docker push/pull命令。由于要对用户进行访问控制,即不同用户对 Docker 镜像 有不同的读写权限,Registry 会指向一个 Token 服务,强制用户的每次 Docker pull/push 请求都要携带一个合法的 Token, Registry 会通过公钥对 Token 进行解密验证。
认证方式
基于令牌(Token-based)认证:这是Registry的默认认证方式。用户在进行Docker push/pull等操作时,需要提供有效的访问令牌(Token)。Registry会验证令牌的有效性和权限,并根据用户的权限控制对镜像的访问。
基于用户名和密码(Username and Password)认证:用户可以使用用户名和密码进行认证,以获取访问Registry的权限。这种方式需要在Registry中配置用户账户和密码,并在进行操作时提供正确的用户名和密码。
基于TLS/SSL证书(TLS/SSL Certificate)认证:Registry可以配置使用TLS/SSL证书进行认证和加密通信。客户端需要提供有效的证书来与Registry建立安全连接,并进行认证和授权。
基于OAuth认证:Registry可以与OAuth身份验证提供者集成,以实现更强大的身份验证和授权机制。用户可以使用OAuth提供者颁发的令牌来访问Registry,并根据OAuth提供者的权限进行控制。
Core services(核心服务):
UI(harbor-ui):提供图形化界面,帮助用户管理Registry上的镜像,并进行授权管理。
WebHook:用于及时获取Registry上镜像状态的变化,并将其传递给UI模块。
Token服务:根据用户权限为每个Docker push/pull命令签发Token。如果请求不包含Token,将被重定向到Token服务获取Token后再向Registry发起请求。
Database(harbor-db):为Core services提供数据库服务,存储用户权限、审计日志、Docker镜像分组等数据。
Job services(作业服务):用于镜像复制,可以将本地镜像同步到远程Harbor实例。
Log collector(日志收集器):负责收集其他组件的日志到一个统一的地方。
此外,还有一个名为harbor-adminserver的组件,作为后端的配置数据管理中心,负责管理Harbor的配置数据,而不具备其他功能。
Harbor的每个组件都以Docker容器的形式构建,并可以使用Docker Compose进行部署。在Harbor的docker-compose.yml文件所在的目录中执行docker-compose ps命令可以查看正在运行的容器。
总共有7个容器在运行,它们的名称分别是:
nginx:作为前端代理,接收来自浏览器和Docker客户端的请求,并将其转发给后端的不同服务。
harbor-jobservice:用于处理Harbor中的作业任务,例如镜像复制等。
harbor-ui:提供图形化界面,允许用户管理Registry上的镜像,并进行授权管理。
harbor-db:为Harbor的核心服务提供数据库服务,存储用户权限、审计日志、Docker镜像分组等数据。
harbor-adminserver:作为后端的配置数据管理中心,负责管理Harbor的配置数据,但没有太多其他功能。
registry:Harbor的核心组件,负责存储和管理Docker镜像。
harbor-log:用于收集其他组件的日志,并将其集中存储在一个地方。
需要注意的是,harbor-adminserver充当了数据配置管理中心,harbor-ui通过它来操作和管理所有的数据。这种架构使得数据的管理更加集中和统一。
通过使用Docker Compose进行部署,可以方便地管理和启动这些容器,确保Harbor的各个组件正常运行。
Harbor服务器是一个用于管理和存储Docker镜像的私有仓库。它安装了docker-ce(Docker的社区版)、docker-compose(用于管理多个Docker容器的工具)和harbor-offline-v1.2.2(Harbor的离线版本1.2.2)。
客户端服务器是一个使用Docker的服务器,它安装了docker-ce。它可以通过网络连接到Harbor服务器,并使用Harbor提供的功能来管理和获取Docker镜像。
这个架构允许在Harbor服务器上集中管理和存储Docker镜像,并通过客户端服务器来访问和使用这些镜像。
下载或上传Docker-Compose:
使用curl命令下载Docker-Compose二进制文件。该命令会从GitHub上的docker/compose仓库下载特定版本的Docker-Compose。请注意,uname -s
和uname -m
是用于获取操作系统和机器架构的命令。
curl -L https://github.com/docker/compose/releases/download/1.21.1/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose
赋予执行权限:
使用chmod命令为下载的Docker-Compose二进制文件赋予执行权限。
chmod +x /usr/local/bin/docker-compose
验证安装:
使用docker-compose命令验证Docker-Compose的安装是否成功。
docker-compose --version
以上步骤将下载或上传Docker-Compose二进制文件,并将其安装到/usr/local/bin/docker-compose路径下。然后,通过运行docker-compose --version命令,可以验证安装是否成功。
下载或上传Harbor安装程序:
使用wget命令下载Harbor离线安装程序。该命令会从指定的URL下载Harbor离线安装程序的压缩包。
wget http://harbor.orientsoft.cn/harbor-1.2.2/harbor-offline-installer-v1.2.2.tgz
解压安装程序:
使用tar命令解压下载的Harbor离线安装程序压缩包,并将其解压到/usr/local/目录下。
tar zxvf harbor-offline-installer-v1.2.2.tgz -C /usr/local/
修改Harbor安装的配置文件:
vim /usr/local/harbor/harbor.cfg
hostname = 192.168.41.31
harbor_admin_password = Harbor12345
保存并关闭文件。
以上步骤将下载或上传Harbor安装程序,并将其解压到/usr/local/目录下。然后,可以通过修改配置文件来设置Harbor服务器的IP地址或域名以及管理员的初始密码。
在配置好了harbor.cfg文件之后,可以按照以下步骤启动Harbor:
切换到Harbor安装目录: 使用cd命令切换到Harbor的安装目录。
cd /usr/local/harbor/
执行prepare命令: 运行./prepare命令,为Harbor启动的容器生成必要的文件和环境。
./prepare
执行install.sh命令: 运行./install.sh命令,它将拉取Harbor镜像并启动容器。
./install.sh
以上步骤将在配置好harbor.cfg文件后,为Harbor生成必要的文件和环境,并拉取Harbor镜像并启动容器。这样,就可以开始使用Harbor服务了。
要查看Harbor启动的镜像,可以按照以下步骤进行:
切换到Harbor安装目录: 使用cd命令切换到Harbor的安装目录。
cd /usr/local/harbor/
执行docker-compose ps命令: 运行docker-compose ps命令,它将显示Harbor启动的容器及其相关信息,包括容器的名称、状态和所使用的镜像。
docker-compose ps
以上步骤将在Harbor安装目录下执行docker-compose ps命令,以查看Harbor启动的容器及其相关信息,包括所使用的镜像。
创建一个新项目并上传镜像到Harbor
在浏览器中访问Harbor的WEB UI界面: 使用http://192.168.41.31访问Harbor的WEB UI界面。默认的管理员用户名和密码是admin/Harbor12345。
登录并创建新项目: 在登录界面输入管理员用户名和密码后,点击登录按钮。然后点击"+项目"按钮创建一个新项目。
填写项目信息: 在创建新项目的界面中,填写项目名称为"myproject-kgc",然后点击"确定"按钮创建新项目。
使用Docker命令登录并推送镜像: 使用以下Docker命令在本地登录Harbor并推送镜像。默认情况下,Registry服务器在端口80上监听。
登录Harbor:
docker login [-u admin -p Harbor12345] http://127.0.0.1
docker pull nginx
docker tag nginx:latest 127.0.0.1/myproject-kgc/nginx:v1
docker push 127.0.0.1/myproject-kgc/nginx:v1
按照以上步骤,将能够在Harbor中创建一个新项目,并通过Docker命令登录和推送镜像到该项目中。然后,您可以在Harbor的WEB界面中查看该项目下的镜像及其相关信息。
以上操作都是在 Harbor 服务器本地操作。如果其他客户端登录到 Harbor,就会报如下错误。出现这问题的原因为Docker Registry 交互默认使用的是 HTTPS,但是搭建私有镜像默认使用的是 HTTP 服务,所以与私有镜像交互时出现以下错误。
docker login -u admin -p Harbor12345 http://192.168.41.31
WARNING! Using --password via the CLI is insecure. Use --password-stdin.
Error response from daemon: Get https://192.168.41.31/v2/: dial tcp 192.168.41.31:443: connect: connection refused
要在其他客户端上传镜像到Harbor,解决办法是:在 Docker server 启动的时候,增加启动参数,默认使用 HTTP 访问。
在Docker客户端配置操作: 使用vim或其他文本编辑器打开Docker服务的配置文件docker.service。
vim /usr/lib/systemd/system/docker.service
ExecStart=/usr/bin/dockerd -H fd:// --insecure-registry 192.168.41.31 --containerd=/run/containerd/containerd.sock
或
ExecStart=/usr/bin/dockerd --insecure-registry 192.168.41.31
保存并关闭文件。
重启Docker服务: 使用systemctl命令重新加载配置文件并重启Docker服务。
systemctl daemon-reload
systemctl restart docker
再次登录Harbor: 使用docker login命令登录Harbor。可以使用用户名和密码进行登录,但请注意使用--password-stdin选项更安全。
docker login -u admin -p Harbor12345 http://192.168.41.31
登录成功后,凭据将被保存在/root/.docker/config.json文件中,以便下次登录时可以直接使用凭据登录Harbor。
下载和上传镜像: 使用docker pull命令下载镜像,并使用docker tag和docker push命令将镜像打标签并上传到Harbor。
docker pull 192.168.41.31/myproject-kgc/nginx:v1
docker pull cirros
docker tag cirros:latest 192.168.41.31/myproject-kgc/cirros:v2
docker push 192.168.41.31/myproject-kgc/cirros:v2
刷新Harbor的Web管理界面: 在Harbor的WEB UI界面中,导航到"myproject-kgc"项目下,将看到上传的镜像及其相关信息。
按照以上步骤,将能够在其他客户端配置Docker以上传镜像到Harbor。首先,在Docker客户端的配置文件中添加--insecure-registry选项,并重启Docker服务。然后,使用docker login命令登录Harbor,并使用docker pull、docker tag和docker push命令下载、打标签和上传镜像。最后,在Harbor的WEB界面中刷新,将看到上传的镜像及其相关信息。
要通过Harbor Web创建项目,可以按照以下步骤进行操作:
打开Harbor Web界面并登录。
导航到仓库页面,通常位于导航栏的顶部或侧边栏中。
在仓库页面上,将看到一个项目列表。单击列表上方的"+项目"按钮。
在弹出的对话框中,填写项目的名称。
如果你希望项目是私有的(只有特定用户或团队可以访问),请确保项目级别设置为"私有",并取消勾选相关选项。
如果你希望项目是公共的(任何人都可以访问),请将项目级别设置为"公共仓库",并保持相关选项处于选中状态。
单击"创建"按钮以创建项目。
现在,就可以将镜像推送到该项目中。在推送之前,请确保已经在本地配置了正确的Docker客户端,并且已经登录到Harbor仓库(如果项目是私有的)。
推送镜像后,其他用户将能够通过Harbor Web界面或命令行下载该项目下的镜像。
请注意,Harbor的镜像操作与Docker Hub类似,但具体细节可能会有所不同。根据具体情况和需求,可能需要进一步了解Harbor的文档或参考指南。
创建Harbor用户并分配权限
在Harbor的Web管理界面中,单击"系统管理",然后选择"用户管理"。
在用户管理页面上,单击"+用户"按钮。
填写用户名为"test-zhangsan",邮箱为"[email protected]",全名为"zhangsan",密码为"Abc123456",并在注释中添加"管理员"(可选)。
单击"创建"按钮以创建用户。如果需要将该用户设置为管理员角色或进行其他操作,可以单击左侧的"…"按钮进行相应设置。
添加项目成员
导航到项目页面,找到你的项目(例如"myproject-test")并单击进入。
在项目页面上,找到"成员"选项卡并单击。
单击"+成员"按钮。
填写之前创建的用户"test-zhangsan",并将角色设置为"开发人员"。
单击"创建"按钮以添加项目成员。如果需要更改成员角色或进行其他操作,可以单击左侧的"…"按钮进行相应设置。
在客户端上使用普通账户操作镜像
docker rmi 192.168.41.31/myproject-test/cirros:v2
docker logout 192.168.41.31
docker login 192.168.41.31
或者
docker login -u test-zhangsan -p Abc123456 http://192.168.41.31
docker pull 192.168.41.31/myproject-test/cirros:v2
docker tag cirros:latest 192.168.41.31/myproject-test/cirros:v3
docker push 192.168.41.31/myproject-test/cirros:v3
登录到Harbor的Web管理界面。
导航到"系统管理"或"管理"选项卡,通常位于导航栏的顶部或侧边栏中。
在系统管理页面上,会找到一个名为"日志"、"日志管理"或类似的选项。单击该选项以进入日志管理页面。
在日志管理页面上,可以选择查看不同类型的日志,例如系统日志、访问日志、操作日志等。选择"操作日志"选项以查看用户相关操作的日志。
根据你的需求,可以按时间顺序浏览日志,也可以使用搜索功能来筛选特定的操作日志。
如果需要导出日志,通常会有一个"导出"或"下载"按钮,可以使用该按钮将日志保存到本地。
请注意,具体的界面和选项可能因Harbor的版本和配置而有所不同。根据具体情况,可能需要进一步查阅Harbor的文档或参考指南
要修改Harbor的配置文件harbor.cfg中的可选参数
停止现有的Harbor实例: 在Harbor安装目录中运行以下命令,停止并删除现有的Harbor容器和相关卷。
cd /usr/local/harbor
docker-compose down -v
编辑harbor.cfg文件: 使用vim或其他文本编辑器打开harbor.cfg文件,对其中的可选参数进行修改。
vim harbor.cfg
注意:只能修改harbor.cfg文件中的可选参数,不要修改其他部分。
运行prepare脚本: 运行./prepare命令,它将根据新的配置文件填充配置。
./prepare
重新创建并启动Harbor实例: 运行docker-compose up -d命令,它将重新创建并启动Harbor容器。
docker-compose up -d
如果遇到防火墙相关的报错,请确保firewalld服务已启动,并执行以下命令重启防火墙服务:
systemctl restart firewalld.service
docker-compose up -d
以上步骤将停止现有的Harbor实例,更新配置文件,填充配置,然后重新创建并启动Harbor的实例。请确保在修改配置文件之前备份原始的harbor.cfg文件,以防止意外情况发生。
在Harbor服务器上操作:
切换到Harbor安装目录: 使用cd命令切换到Harbor的安装目录。
cd /usr/local/harbor
移除Harbor服务容器: 运行docker-compose down -v命令,它将停止并删除Harbor服务容器,并删除相关的卷。
docker-compose down -v
打包镜像数据: 如果你希望保留镜像数据,可以将镜像数据目录打包为一个压缩文件。
ls /data/registry/docker/registry/v2/repositories/myproject-test
cd /data/registry/docker/registry/v2/repositories/myproject-test
tar zcvf test-registry.tar.gz ./*
这将在当前目录下创建一个名为test-registry.tar.gz的压缩文件,其中包含myproject-test项目的镜像数据。
迁移Harbor服务:
如果需要重新部署Harbor并移除所有Harbor服务容器的数据,可以按照以下步骤进行操作:
cd /usr/local/harbor
docker-compose down -v
rm -r /data/database
rm -r /data/registry
以上步骤将移除Harbor服务容器的全部数据,包括数据库和镜像数据。请确保在执行这些操作之前备份了重要的数据,并且在重新部署之前已经做好了必要的准备工作。