Harbor 镜像大小为零,揭秘原由!

Harbor仓库启用同步策略，发现同步失败，检查日志发现报错如下：

[ERROR] [/replication/transfer/image/transfer.go:268]: failed to pull the manifest of image kty/report:dev-v0.1.25: http error: code 404, message {"errors":[{"code":"MANIFEST_UNKNOWN","message":"manifest unknown","detail":{"Name":"kty/report","Revision":"sha256:290ad5353a76d4eb0c5969221618150af46534a1101f2a058eb99c7036dbfa7d"}}]}
[ERROR] [/replication/transfer/image/transfer.go:143]: http error: code 404, message {"errors":[{"code":"MANIFEST_UNKNOWN","message":"manifest unknown","detail":{"Name":"kty/report","Revision":"sha256:290ad5353a76d4eba1101f2ac5969221603418150af465058eb99c7036dbfa7d"}}]}

登录Harbor备份源，检查发现，镜像大小为零；

思考

镜像大小为零如何上传？
如何处理大小为零的镜像？直接删除？
如何避免推送大小为零的镜像到harbor仓库？

如何产生

登录harbor Web管理页面删除镜像，通过“docker push”命令推送镜像(与删除镜像相同)到harbor项目中报错“Layer already exists”，Web管理页面生成一个大小为零的镜像，且页面操作删除无效；

补充：

Harbor仓库里的镜像删除分为两步骤
软连接删除，通俗讲就是Web管理页面进行的删除，如果误删除重新推送镜像即可恢复；
物理文件删除，登录服务器通过镜像“vmware/registry:2.6.2-photon”进行删除，官方称之为垃圾回收(GC)；
文档：垃圾回收(GC)

故障复现

结果复现

解释 1.0 大小为零如何出现

docker push 10.10.1.43/kry/vmware/photon:1.0
解释：登录Harbor Web管理页面删除镜像，物理删除文件，通过“push”命令推送镜像相同镜像，命令行报错“Layer already exists”，Web出现大小为0的1.0；

注意：
push镜像之前删除掉“./kry/vmware/photon/_manifests/tags/1.0/”
push镜像之前删除掉“./kry/vmware/photon/_manifests”(只有一个镜像，多个正常镜像不要删除)
分别进行以上两步操作，都无法正常上传镜像；

解释 1.1 大小为零如何出现

docker tag 10.10.1.43/kry/vmware/photon:1.0 10.10.1.43/kry/vmware/photon:1.1
docker push 10.10.1.43/kry/vmware/photon:1.1
解释：ta镜像，然后通过“push”命令推送tag 1.1版本，命令行报错“Layer already exists”，Web出现大小为0的1.1；

解释 2.0 大小正常如何出现

docker tag hello-world:latest 10 10.10.1.43/kry/vmware/photon:2.0
docker push 10.10.1.43/kry/vmware/photon:2.0
解释：将“hello-world” tag 2.0版本并推送覆盖；

结果：

Web删除相同镜像，只要删除物理文件(GC或者手动删除目录)在上传相同镜像会报错，并且会产生一个大小不正常的镜像在harbor仓库中；
该镜像就算重新tag推送也是一样的，因为“DIGEST”值一致；

DIGEST.png

影响

镜像无法被正常删除；删除执行成功，刷新页面依然存在；
镜像复制时会报错，但是大小正常的镜像能被正常复制；
无法正常 pull 镜像；

问题

1.恢复镜像正常(后续使用)；
解决：推送源镜像覆盖

2.删除镜像；
解决：推送源镜像或者tag其他镜像推送覆盖，Web管理页面操作删除，可选删除物理文件；

解决办法

1.重启harbor服务

cd /usr/local/harbor
docker-compose restart

2.推送镜像

docker push 10.10.1.43/kry/vmware/photon:1.0
docker push 10.10.1.43/kry/vmware/photon:1.1

注意：
推送源镜像覆盖，镜像恢复正常；
解决问题1；

3.tag其他镜像推送

docker pull hello-world:latest
docker tag hello-world:latest 10.10.1.43/kry/vmware/photon:1.0

注意：问题2另一种解决方式；

4.登录Web页面

image.png

注意：
如果需要镜像恢复正常继续使用到此结束；

5.Web页面删除镜像

登录Web管理页面--点击项目--确认勾选镜像--点击删除
注意：tag其他镜像上传只为删除Web页面显示大小不正常镜像，自选是否进行物理文件删除，需要删除继续执行以下命令；

6.预览删除物理文件(自选)

docker run -it --name gc --rm \
--volumes-from registry vmware/registry:2.6.2-photon \
garbage-collect --dry-run /etc/registry/config.yml

注意：不确定以后还需要使用该镜像时建议保留，不执行物理文件删除；

7.删除物理文件(自选)

docker run -it --name gc --rm \
--volumes-from registry vmware/registry:2.6.2-photon \
garbage-collect /etc/registry/config.yml