ARM架构Docker镜像构建-基础知识
介绍ARM版本的Docker镜像的构建，包括ARM机器上Docker的安装，在ARM机器上构建镜像，及在amd64机器上使用buildx交叉构建arm版本镜像。
前言
现在很多地方都对服务的国产化适配有所要求，一般的国产化平台都提供arm版本的linux云环境供我们进行服务部署，因此需要构建arm版本的镜像。
测试机信息
| CPU | FT-1500A 4核 arm64 |
|---|---|
| 内存 | 8G |
| OS | 麒麟V10 |
| 包管理器 | apt |
ARM机器上安装Docker
Docker官方文档
Docker支持如下系统及架构
国产系统依据安装包的格式选择对应的参考系统即可，如麒麟v10基于ubuntu，可以按官方文档- Install Docker Engine on Ubuntu进行安装。
查看系统信息
geostar@geostar-ft1500a:~$ cat /proc/version
Linux version 4.4.131-20200515.kylin.desktop-generic (YHKYLIN-OS@Kylin) (gcc version 5.5.0 20171010 (Ubuntu/Linaro 5.5.0-12ubuntu1~16.04) ) #kylin SMP Fri May 15 11:29:10 CST 2020
这里可以看到系统是基于ubuntu16.04 的，所以我们添加ubuntu16.04（xenial）的软件源
添加软件源
参考：
https://mirrors.tuna.tsinghua.edu.cn/help/ubuntu/
https://mirrors.tuna.tsinghua.edu.cn/ubuntu-ports/
添加清华镜像软件源（arm架构）
# 默认注释了源码镜像以提高 apt update 速度，如有需要可自行取消注释
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu-ports/ xenial main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu-ports/ xenial main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu-ports/ xenial-updates main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu-ports/ xenial-updates main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu-ports/ xenial-backports main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu-ports/ xenial-backports main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu-ports/ xenial-security main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu-ports/ xenial-security main restricted universe multiverse
更新：
sudo apt-get install apt-transport-https
sudo apt-get clean
sudo apt-get update
安装Docker
# 卸载旧版本docker
sudo apt-get remove docker docker-engine docker.io containerd runc
sudo apt-get update
sudo apt-get install \
apt-transport-https \
ca-certificates \
curl \
gnupg-agent \
software-properties-common
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
# 确认key添加成功(查找：9DC8 5822 9FC7 DD38 854A E2D8 8D81 803C 0EBF CD88)
sudo apt-key fingerprint 0EBFCD88
编辑 /etc/apt/source.list，添加docker软件源（arm64 xenial），并保存
# https://docs.docker.com/engine/install/ubuntu/
deb [arch=arm64] https://download.docker.com/linux/ubuntu xenial stable
安装 docker
sudo apt-get update
# 安装Docker
sudo apt-get install docker-ce docker-ce-cli containerd.io
# 安装成功，查看版本
docker --version
Docker version 19.03.12, build 48a6621
在Dockerhub上查找已有的arm镜像
实际上很多镜像都有构建arm版本，对于直接使用的镜像，或者作为Dockerfile中FROM的镜像，如果有对应的arm版本，则可以直接使用，省略构建过程。以postgres为例，在dockerhub上可以看到
在具体的tag中也可以看到版本的镜像是否支持arm架构
但需要使用的镜像不是我们自己编译的时候，可以通过这种方式来确认该镜像是否有对应的arm版本。
ARM版本镜像构建（非ARM机器上执行）
参考：
-https://github.com/docker/cli/blob/master/experimental/README.md
-跨平台构建 Docker 镜像新姿势，x86、arm 一把梭
构建ARM镜像的两种方式
对于构建镜像的ARM版本，有如下两种方式：
- 在ARM机器上使用 docker build 进行构建；
- 在X86/AMD64 的机器上使用 docker buildx 进行交叉构建；
实际测试中发现第一种方式在某些情况下会有问题，建议采用结合采用这二种方式；
关于第二种构建方式，可先阅读跨平台构建 Docker 镜像新姿势，x86、arm 一把梭进行了解，以下简要介绍使用buildx交叉构建的方式；
⚠️注意：
交叉构建和交叉运行的方式会有一些无法预知的问题，建议简单的构建步骤（如只是下载解压对应架构的文件）可考虑在x86下交叉构建，复杂的（如需要编译的）则直接在arm机器上进行构建；
实际测试发现，使用qemu方式在x86平台下运行arm版本的镜像时，执行简单的命令可以成功（如arch），执行某些复杂的程序时（如启动java虚拟机），会无响应，所以镜像的验证工作应尽量放置到arm机器上进行；
上面第二点按如下方式测试：
docker run --rm --platform=linux/arm64 openjdk:8u212-jre-alpine arch可正常输出；docker run --rm --platform=linux/arm64 openjdk:8u212-jre-alpine java -version则会卡住，且需要使用docker stop停止容器才可以退出容器；
启用试验性功能
参考：https://docs.docker.com/engine/reference/commandline/cli/#experimental-features
注意：buildx 仅支持 docker19.03 及以上docker版本
如需使用 buildx，需要开启docker的实验功能后，才可以使用，开启方式：
- 编辑 /etc/docker/daemon.json
- 添加：
{
"experimental": true
}
- 编辑 ～/.docker/config.json 添加：
"experimental" : "enabled"
- 重启Docker使生效：
- sudo systemctl daemon-reload
- sudo systemctl restart docker
- 确认是否开启：
- docker version -f’{{.Server.Experimental}}’
- 如果输出true，则表示开启成功
使用buildx构建
buildx 的详细使用可参考：Docker官方文档-Reference-buildx
创建 buildx 构建器
使用 docker buildx ls 命令查看现有的构建器
docker buildx ls
创建并构建器：
# 下面的创建命令任选一条符合情况的即可
# 1. 不指定任何参数创建
docker buildx create --use --name multiarch-builder
# 2. 如创建后使用docker buildx ls 发现构建起没有arm架构支持，可使用--platform明确指定要支持的构建类型，如以下命令
docker buildx create --platform linux/arm64,linux/arm/v7,linux/arm/v6 --name multiarch-builder
# 3. 如需在buildx访问私有registry，可使用host模式，并手动指定配置文件，避免buildx时无法访问本地的registry主机
docker buildx create --platform linux/amd64,linux/arm64,linux/arm/v7,linux/arm/v6 --driver-opt network=host --config=/Users/hanlyjiang/.docker/buildx-config.toml --use --name multiarch-builder
buildx-config.toml 配置文件写法类似：
# https://github.com/moby/buildkit/blob/master/docs/buildkitd.toml.md
# registry configures a new Docker register used for cache import or output.
[registry."zh-registry.geostar.com.cn"]
mirrors = ["zh-registry.geostar.com.cn"]
http = true
insecure = true
启用构建器
# 初始化并激活
docker buildx inspect multiarch-builder --bootstrap
确认成功
# 使用 docker buildx ls 查看
docker buildx ls
修改Dockerfile
对 Dockerfile 的修改，大致需要进行如下操作：
- 确认基础镜像（FROM）是否有arm版本，如果有，则可以不用改动，如果没有，则需要寻找替代镜像，如没有替代镜像，则可能需要自行编译；
- 确认dockerfile的各个步骤中是否有依赖CPU架构的，如果有，则需要替换成arm架构的，如在构建jitis的镜像时，Dockerfile中有添加一个amd64架构的软件
ADD https://github.com/just-containers/s6-overlay/releases/download/v1.21.4.0/s6-overlay-amd64.tar.gz /tmp/s6-overlay.tar.gz
此时需要替换为下面的地址(注意amd64替换成了aarch64，当然，需要先确认下载地址中有无对应架构的gz包，不能简单做字符替换)：
ADD https://github.com/just-containers/s6-overlay/releases/download/v1.21.4.0/s6-overlay-aarch64.tar.gz /tmp/s6-overlay.tar.gz
当然，我们需要确认该软件有此架构的归档包，如果没有，则需要考虑从源码构建；
提示：
怎么确定一个可执行文件/so库的对应的执行架构？ 可以通过
file {可执行文件路径}来查看，如下面时macOS上执行file命令的输入，可以发现macOS上的git程序可以兼容两种架构-
x86_64&arm64e：file $(which git) /usr/bin/git: Mach-O universal binary with 2 architectures: [x86_64:Mach-O 64-bit executable x86_64] [arm64e:Mach-O 64-bit executable arm64e] /usr/bin/git (for architecture x86_64): Mach-O 64-bit executable x86_64 /usr/bin/git (for architecture arm64e): Mach-O 64-bit executable arm64e下面的命令则对一个so文件执行了file，可以看到其中的架构信息
ARM aarch64：file /lib/aarch64-linux-gnu/libpthread-2.23.so /lib/aarch64-linux-gnu/libpthread-2.23.so: ELF 64-bit LSB shared object, ARM aarch64, version 1 (GNU/Linux), dynamically linked, interpreter /lib/ld-linux-aarch64.so.1, BuildID[sha1]=880365ebb22114e4c10108b73243144d5fa315dc, for GNU/Linux 3.7.0, not stripped
docker buildx 构建arm64镜像的命令
使用 --platform来指定架构，使用 --push 或 --load 来指定构建完毕后的动作。
docker buildx build --platform=linux/arm64,linux/amd64 -t xxxx:tag . --push
提示：当指定多个架构时，只能使用 --push 推送到远程仓库，无法 --load，推送成功后再通过 docker pull --platform 来拉取指定架构的镜像
检查构建成果
- 通过
docker buildx imagetools inspect命令查看镜像信息，看是否有对应的arm架构信息； - 实际运行镜像，确认运行正常；（在arm机器上执行）
提示：如运行时输出 exec format error 类似错误，则表示镜像中部分可执行文件架构不匹配。
在x86上运行arm镜像
可参考 github/qemu-user-static ,简要描述如下：
-
执行如下命令安装：
docker run --rm --privileged multiarch/qemu-user-static --reset -p yes -
之后即可运行arm版本的镜像，如：
docker run --rm -t arm64v8/fedora uname -m