镜像迁移脚本

在日常的服务部署开发中,我们有时需要迁移环境,将服务器上的私有镜像从一个服务器迁移到另一个服务器中。在以微服务为架构的项目中,我们的一个项目可能存在大量的镜像,对每一个镜像单独进行导出打包迁移即重复又麻烦,针对这种情况,我们可以通过开发脚本来实现快速的迁移部署,减少重复工作。

镜像迁移流程

  • 导出镜像为打包文件
  • 迁移镜像到其他服务器
  • 导入镜像
  • [可选]根据需要修改镜像标签
  • [可选]推送镜像到镜像中心

Python脚本处理

获取镜像列表

table格式显示镜像列表

bash环境中,我们一般通过 [docker] image ls命令会以 table格式显示服务器中的镜像。

镜像迁移脚本_第1张图片

json格式显示镜像列表

table格式显示的镜像虽然直观,但是脚本以流的方式读取内容为 str类型数据,str类型针对 table格式转化出的数据处理相对比较麻烦。所以针对镜像列表的获取,我们可以采用 json格式进行读取。

镜像迁移脚本_第2张图片

调用 docker image ls --help命令可知,docker 输出镜像列表支持通过 --format参数指定输出格式内容。

json格式显示镜像列表

调用 docker image ls --format json以json格式显示镜像列表

镜像迁移脚本_第3张图片

兼容旧版Docker显示json格式镜像列表

在旧版的docker中,没有默认的json模板,此时调用 docker image ls --format json命令将无法正确显示镜像列表,阅读 docker image ls --help的输出和docker go format官网文档。可以看到,docker是通过go template进行的格式化输出,针对这种情况,可以在输出时通过手动设置json模板 {{json .}}来显示json格式内容。

调用 docker image ls --format "{{json .}}"以json格式显示镜像列表

镜像迁移脚本_第4张图片

注意 --format string这里,以json模板进行输出时,""是可选项,但是在设置模板时,""是必选项,否则会导致输出错误。

Python获取shell输入流

bash环境中,我们一般通过管道 |获取上一步操作的输入流进行操作。在Python中,我们可以通过 os或者 subprocess库来执行shell命令。

subprocess获取输入流

在Python的subprocess依赖库中,可以通过 subprocess.getoutput(cmd)命令来获取输入流内容,将输入流转化为 str类型数据。

os获取输入流

在Python的os依赖库中,可以通过 os.popen(cmd).read()命令来获取输入流内容,将输入流转化为 str类型数据。

推荐使用os来获取输入流,具有更好的兼容性,即使在Python2版本上也支持使用

str转jsonl

以json格式输出的镜像列表,是每个镜像都以json格式进行输出,整体是以jsonl的格式,所以不可以通过 json.load()来解析转化json数据,针对该情况,可以编写函数来实现将输入流转化为列表进行处理。

def str2jsonl(string):
    """
    str类型数据转换为jsonl(列表)
    """
    jsonl = []
    lines = string.split('\n')
    for line in lines:
        if line.strip() != '':
            jsonl.append(json.loads(line))
    return jsonl

Python执行shell命令

在python中,可以通过 os.system(cmd)命令来执行shell命令。

导出镜像为打包文件

导出镜像并打包的命令为: docker save ${image_id} | gzip -c > ${filename}.tar.gz

def save_images():
    """
    导出镜像为.tar.gz文件到本地
    """
    # 执行shell命令,获取输入流
    images = os.popen('docker image ls --format "{{json .}}"').read()

    images = str2jsonl(images)

    for image in images:
        tag = ""
        for _tag in image['Tag'].split('.'):
            tag = tag + "_" + _tag
        # 导出镜像 | 将镜像打包为tar.gz文件
        os.system(f"docker save {image['Repository']}:{image['Tag']} | gzip -c > {image['Repository'].split('/')[-1]}_{tag}.tar.gz")

迁移镜像(网络互通)

导出镜像为 .tar.gz后,可以根据网络环境通过传输文件的方式将镜像传输到其他服务器中。

但是在网络互通的环境中,可以直接通过Python启动文件服务器的方式快速传输:

python3:python3 -m http.server 8000

python2: python -m SimpleHTTPServer 8080

在导出镜像服务器通过python命令快速启动一个文件服务器,其他服务器即可通过 IP:Port的方式访问获取文件。

在传输完文件后,尽快将文件服务器关闭,避免网络内其他人无授权访问主机内容。

导入镜像

导入镜像命令为: docker load -i ${filename}

def str2list(string):
    return string.split('\n')


def load_images():
    """
    导入镜像
    """
    # 执行shell命令,获取输入流
    images = os.popen('ls').read()

    images = str2list(images)

    for image in images:
        if '' != image:
            os.system(f"docker load -i {image}")

[可选]修改镜像标签

在进行服务迁移时,我们可能根据需要,需要修改镜像的标签,以便后续将镜像推送到指定镜像中心。一般这种情况下,修改镜像标签主要是修改镜像中心前缀和项目名,修改相对固定,可以通过脚本来实现统一修改。

修改镜像标签命令: docker tag ${old_image_tag} ${new_image_tag}

def fix_tags(image_center: str, project_name: str):
    # 执行shell命令,获取输入流
    images = os.popen('docker image ls --format "{{json .}}"').read()

    images = str2jsonl(images)

    for image in images:
        if len(image['Repository'].split("/")) >= 2:
            repository = f"{image['Repository'].split('/')[-2]}/{image['Repository'].split('/')[-1]}"
        else:
            repository = image['Repository'].split("/")[-1]
        os.system(f"docker tag {image['Repository']}:{image['Tag']}\t\t{image_center}/{project_name}/{repository}:{image['Tag']}")

[可选]推送镜像到镜像中心

登陆镜像中心命令: docker login -u ${username} ${image_center}

推送镜像标签命令: docker push ${image}

Docker会根据镜像名前缀推送到指定镜像中心。

def push_images():
    """
    推送镜像到镜像中心
    """
    # 执行shell命令,获取输入流
    images = os.popen('docker image ls --format "{{json .}}"').read()
   
    images = str2jsonl(images)

    for image in images:
        os.system(f"docker push -i {image['Repository']}:{image['Tag']}")

你可能感兴趣的:(docker,容器,docker,container,镜像迁移)