使用Python 3脚本自动化Harbor镜像复制

介绍：

在容器化应用程序的世界中，Docker镜像是构建和部署的核心。许多组织使用Harbor作为他们的镜像仓库管理解决方案。但有时候，需要将镜像从一个Harbor仓库复制到另一个，这可能会是一个繁琐的任务。为了简化这个过程，我们将介绍如何使用Python脚本来自动化这个任务。这个脚本将从源Harbor仓库中复制镜像，并将其推送到目标Harbor仓库，同时保留标签和元数据。

脚本概览：

在这个部分，我们将简要介绍脚本的基本结构和功能。该脚本使用Python的subprocess模块执行Curl命令来与Harbor API进行通信，并处理返回的JSON数据。它还利用Docker命令来拉取、标记、推送和删除镜像。

import subprocess
import json
import logging

# 配置日志
logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s')

# 替换这里的Harbor仓库地址和凭据
harbor_url = "https://harbor.test.com"
harbor_name = "harbor.test.com"
username = "admin"
password = "Harbor12345"

# 替换为新仓库的地址和凭据
new_harbor_url = "https://harbor.test.com"
new_harbor_name = "harbor.test.com"
new_harbor_pro = "test"
new_username = "admin"
new_password = "Harbor12345"

# 执行Curl命令获取项目列表
try:
    curl_output = subprocess.check_output(
        f'curl --insecure -u "{username}:{password}" -X GET -H "Content-Type: application/json" {harbor_url}/api/v2.0/projects|jq', 
        shell=True
    ).decode('utf-8')
except subprocess.CalledProcessError as e:
    logging.error(f"获取项目列表时出错: {e}")
    exit(1)

# 将Curl命令的输出解析为JSON
try:
    projects = json.loads(curl_output)
except json.JSONDecodeError as e:
    logging.error(f"无法解析JSON数据: {e}")
    exit(1)

# 遍历项目列表
for project in projects:
    project_name = project["name"]
    
    # 执行Curl命令获取项目下的镜像列表
    try:
        curl_output = subprocess.check_output(
            f'curl --insecure -u "{username}:{password}" -X GET -H "Content-Type: application/json" {harbor_url}/api/v2.0/projects/{project_name}/repositories|jq', 
            shell=True
        ).decode('utf-8')
    except subprocess.CalledProcessError as e:
        logging.error(f"获取项目 {project_name} 的镜像列表时出错: {e}")
        continue

    # 将Curl命令的输出解析为JSON
    try:
        repositories = json.loads(curl_output)
    except json.JSONDecodeError as e:
        logging.error(f"无法解析项目 {project_name} 的镜像列表: {e}")
        continue

    # 遍历镜像列表
    for repo in repositories:
        repo_name = repo["name"]
        repo_name_new_repo_name = repo_name.split("/", 1)

        if len(repo_name_new_repo_name) > 1:
            # 如果成功分割出两部分，repo_name_new_repo_name[1] 将包含第一个斜杠之后的部分
            new_repo_name = repo_name_new_repo_name[1]
        else:
            # 如果没有斜杠或只有一个斜杠，将保持原始 repo_name
            new_repo_name = repo_name
        
        # 执行Curl命令获取镜像标签列表
        try:
            curl_output = subprocess.check_output(
                f'curl --insecure -u "{username}:{password}" -X GET -H "Content-Type: application/json" {harbor_url}/api/v2.0/projects/{project_name}/repositories/{new_repo_name}/artifacts', 
                shell=True
            ).decode('utf-8')
        except subprocess.CalledProcessError as e:
            logging.error(f"获取镜像 {repo_name} 标签列表时出错: {e}")
            continue

        # 提取标签信息
        try:
            artifacts = json.loads(curl_output)
            for image_info in artifacts:
                digest = image_info["digest"]
                tags = image_info["tags"]
                # 遍历每个标签并构建镜像地址
                for tag in tags:
                    tag_name = tag["name"]
                    source_image_url = f"{harbor_name}/{project_name}/{new_repo_name}:{tag_name}"
                    new_image_url = f"{new_harbor_name}/{new_harbor_pro}/{new_repo_name}:{tag_name}"
                    
                    # 拉取源镜像
                    try:
                        subprocess.check_call(
                            f'docker pull {source_image_url}',
                            shell=True
                        )
                    except subprocess.CalledProcessError as e:
                        logging.error(f"无法拉取镜像 {source_image_url}: {e}")
                        continue
                    
                    # 标记新的镜像地址
                    try:
                        subprocess.check_call(
                            f'docker tag {source_image_url} {new_image_url}',
                            shell=True
                        )
                    except subprocess.CalledProcessError as e:
                        logging.error(f"无法标记镜像 {new_image_url}: {e}")
                        continue
                    
                    # 推送新镜像到新仓库
                    try:
                        subprocess.check_call(
                            f'docker push {new_image_url}',
                            shell=True
                        )
                    except subprocess.CalledProcessError as e:
                        logging.error(f"无法推送镜像 {new_image_url}: {e}")
                        continue
                    
                    # 删除本地源镜像
                    try:
                        subprocess.check_call(
                            f'docker rmi {source_image_url}',
                            shell=True
                        )
                    except subprocess.CalledProcessError as e:
                        logging.error(f"无法删除本地镜像 {source_image_url}: {e}")
                        continue
                    
        except (json.JSONDecodeError) as e:
            logging.error(f"无法解析镜像 {repo_name} 的标签信息: {e}")
            continue

logging.info("镜像复制完成。")

配置和前提条件：

在运行脚本之前，您需要配置一些参数，包括源Harbor仓库的地址、凭据，以及目标Harbor仓库的地址和凭据。此外，确保您的系统上已经安装了docker和jq工具。

代码解释：

在这一部分，我们将详细解释脚本的每个部分，包括如何获取项目、镜像和标签信息，如何处理异常情况，以及如何执行Docker命令来操作镜像。

安全性注意事项：

由于涉及凭据和敏感信息，我们将讨论如何在脚本中安全处理这些信息，以防止泄漏。

使用示例：

我们将提供一个具体的示例，展示如何运行脚本以复制Harbor仓库中的镜像。示例还将包括示例命令和输出。

扩展和自定义：

如果您希望根据特定需求对脚本进行扩展或自定义，我们将提供一些建议和示例，以便您可以根据自己的需求进行修改。

总结：

最后，我们将总结脚本的优势和用途，强调自动化复制镜像的重要性，并鼓励读者在他们的工作中考虑使用这个脚本来简化镜像管理任务。