docker registry提示Layer already exists但blob数据不存在

1 概述

1.1 环境

版本信息如下:
a、操作系统:centos 7.6
b、registry版本:v2.7.1


1.2 现象

registry的blob目录下的文件被GC之后,再重新docker push旧镜像提示Layer already exists,即从服务端响应的数据来看推送镜像是成功的,但在blob目录中写入相应的文件,即实际上推送镜像是失败的。执行docker pull请求,registry告知manifest unknown,即拉取镜像是失败的。


1.3 原因

1)docker push请求发送给registry,registry从缓存中查询到该blob数据是存在的,不会去文件系统中查看文件是否真的存在,因此registry响应客户端说Layer already exists。而实际上在文件系统层面,blob数据已被GC行为删除了。

2)docker pull请求到达registry时,registry会在文件系统层面查询manifest文件在blob目录下是否真的存在,因为确实找不到manifest文件(因为registry的GC行为会去blob目录下将该镜像的manifest文件、config文件、layer文件都删除了),所以响应manifest unknown,即拉取镜像是失败的。

1.4 解决方案

重启registry即可,缓存会被清空,registry则会从文件系统层面查询数据文件是否存在,不存在则提示客户端进行上传blob文件。

2 复现

2.1 步骤

1)推送镜像
2)使用rest delete api删除镜像的manifest文件
3)registry执行gc
4)重新推送旧镜像
5)拉取旧镜像

2.2 过程数据

2.2.1 推送镜像

docker push 192.168.0.70:5000/liujun/busybox:1.27

docker registry提示Layer already exists但blob数据不存在_第1张图片

2.2.2 使用rest delete api删除镜像

sha256=$( curl -H "Accept:application/vnd.docker.distribution.manifest.v2+json" http://192.168.0.70:5000/v2/liujun/busybox/manifests/1.27 2> /dev/null | sha256sum | awk '{print $1}' )

echo $sha256

curl -v -XDELETE http://192.168.0.70:5000/v2/liujun/busybox/manifests/sha256:$sha256

docker registry提示Layer already exists但blob数据不存在_第2张图片

2.2.3 执行gc、重新推送旧镜像、拉取旧镜像

export GO111MODULE=off

go build -o /tmp/registry ./cmd/registry

/tmp/registry garbage-collect -m --delete-untagged=true ./cmd/registry/config-example.yml

find /var/lib/registry/ -type f

docker push 192.168.0.70:5000/liujun/busybox:1.27

docker pull 192.168.0.70:5000/liujun/busybox:1.27

docker registry提示Layer already exists但blob数据不存在_第3张图片

3 小结

镜像推送,registry会去缓存查询数据,由于GC行为(单独的cmd命令)只是在文件系统层面删除了数据,没有修改缓存中的数据(数据是守护进程中的数据),会导致缓存和文件系统在数据上的不一致,并且registry会告知客户端Layer already exists,从而导致GC行为发生之后的推送旧镜像的操作实际上是失败的。
镜像拉取,registry会在文件系统层面查看数据(manifest文件、config文件、layer文件)是否真的存在。

你可能感兴趣的:(docker,docker,容器,运维)