Harbor仓库启用同步策略,发现同步失败,检查日志发现报错如下:
[ERROR] [/replication/transfer/image/transfer.go:268]: failed to pull the manifest of image kty/report:dev-v0.1.25: http error: code 404, message {"errors":[{"code":"MANIFEST_UNKNOWN","message":"manifest unknown","detail":{"Name":"kty/report","Revision":"sha256:290ad5353a76d4eb0c5969221618150af46534a1101f2a058eb99c7036dbfa7d"}}]}
[ERROR] [/replication/transfer/image/transfer.go:143]: http error: code 404, message {"errors":[{"code":"MANIFEST_UNKNOWN","message":"manifest unknown","detail":{"Name":"kty/report","Revision":"sha256:290ad5353a76d4eba1101f2ac5969221603418150af465058eb99c7036dbfa7d"}}]}
登录Harbor备份源,检查发现,镜像大小为零;
思考
镜像大小为零如何上传?
如何处理大小为零的镜像?直接删除?
如何避免推送大小为零的镜像到harbor仓库?
如何产生
登录harbor Web管理页面删除镜像,通过“docker push”命令推送镜像(与删除镜像相同)到harbor项目中报错“Layer already exists”,Web管理页面生成一个大小为零的镜像,且页面操作删除无效;
补充:
Harbor仓库里的镜像删除分为两步骤
软连接删除,通俗讲就是Web管理页面进行的删除,如果误删除重新推送镜像即可恢复;
物理文件删除,登录服务器通过镜像“vmware/registry:2.6.2-photon”进行删除,官方称之为垃圾回收(GC);
文档:垃圾回收(GC)
故障复现
解释 1.0 大小为零如何出现
docker push 10.10.1.43/kry/vmware/photon:1.0
解释:登录Harbor Web管理页面删除镜像,物理删除文件,通过“push”命令推送镜像相同镜像,命令行报错“Layer already exists”,Web出现大小为0的1.0;
注意:
push镜像之前删除掉“./kry/vmware/photon/_manifests/tags/1.0/”
push镜像之前删除掉“./kry/vmware/photon/_manifests”(只有一个镜像,多个正常镜像不要删除)
分别进行以上两步操作,都无法正常上传镜像;
解释 1.1 大小为零如何出现
docker tag 10.10.1.43/kry/vmware/photon:1.0 10.10.1.43/kry/vmware/photon:1.1
docker push 10.10.1.43/kry/vmware/photon:1.1
解释:ta镜像,然后通过“push”命令推送tag 1.1版本,命令行报错“Layer already exists”,Web出现大小为0的1.1;
解释 2.0 大小正常如何出现
docker tag hello-world:latest 10 10.10.1.43/kry/vmware/photon:2.0
docker push 10.10.1.43/kry/vmware/photon:2.0
解释:将“hello-world” tag 2.0版本并推送覆盖;
结果:
Web删除相同镜像,只要删除物理文件(GC或者手动删除目录)在上传相同镜像会报错,并且会产生一个大小不正常的镜像在harbor仓库中;
该镜像就算重新tag推送也是一样的,因为“DIGEST”值一致;
影响
镜像无法被正常删除;删除执行成功,刷新页面依然存在;
镜像复制时会报错,但是大小正常的镜像能被正常复制;
无法正常 pull 镜像;
问题
1.恢复镜像正常(后续使用);
解决:推送源镜像覆盖
2.删除镜像;
解决:推送源镜像或者tag其他镜像推送覆盖,Web管理页面操作删除,可选删除物理文件;
解决办法
1.重启harbor服务
cd /usr/local/harbor
docker-compose restart
2.推送镜像
docker push 10.10.1.43/kry/vmware/photon:1.0
docker push 10.10.1.43/kry/vmware/photon:1.1
注意:
推送源镜像覆盖,镜像恢复正常;
解决问题1;
3.tag其他镜像推送
docker pull hello-world:latest
docker tag hello-world:latest 10.10.1.43/kry/vmware/photon:1.0
注意:问题2另一种解决方式;
4.登录Web页面
注意:
如果需要镜像恢复正常继续使用到此结束;
5.Web页面删除镜像
登录Web管理页面--点击项目--确认勾选镜像--点击删除
注意:tag其他镜像上传只为删除Web页面显示大小不正常镜像,自选是否进行物理文件删除,需要删除继续执行以下命令;
6.预览删除物理文件(自选)
docker run -it --name gc --rm \
--volumes-from registry vmware/registry:2.6.2-photon \
garbage-collect --dry-run /etc/registry/config.yml
注意:不确定以后还需要使用该镜像时建议保留,不执行物理文件删除;
7.删除物理文件(自选)
docker run -it --name gc --rm \
--volumes-from registry vmware/registry:2.6.2-photon \
garbage-collect /etc/registry/config.yml