K8S容器内安装cur/telnet命令(Alpine Linux离线环境安装curl/telnet或其他工具)

背景

需求:

  • 微服务的基础是镜像,通常在最小化的Linux镜像中安装jdk,然后运行编译好的java程序。将镜像运行到K8S上就得到了微服务Pod,Pod通常使用安装K8S时配置的私有网段,与宿主机不同。
  • 很多时候需要排查从Pod网段内访问K8S宿主机网段、其它外部Linux网段或域名接口等等,需要在Pod容器内执行curl或telnet等常用命令。
  • 但普遍最常用的最小化的Linux容器镜像AlpineLinux中默认没有curl、telnet等工具,需要手动安装。

解决:

  • 方式一:(推荐不能停机的Pod使用)在个人电脑上创建可以上网的alpine Linux容器,获取curl安装包,传输到K8S容器内手动安装。
  • 方式二:(推荐可以停机、尚未上线的Pod使用)重新准备新的基础镜像供开发使用,制定标准,后续使用的最小化镜像都必须默认安装curl/telent等工具。

解决

方式一:容器不停机安装curl

简要步骤:

  1. 本地获取curl安装包:确认生产使用的alpine版本、拉取镜像运行容器、下载apk安装包。
  2. 将curl安装包复制到K8S宿主机:scp或lrzsz上传文件至K8S服务器。
  3. 将curl安装包复制到目标Pod容器:kubectl cp复制文件到具体容器。
  4. 容器内安装apk:登录容器安装curl。
  5. 测试curl的使用。
  6. 优点/缺点。

1.本地获取curl安装包:

确认生产alpine版本为3.8:
在K8S上,通过k9s工具/K8S-dashboard/docker exec等命令登录目标容器,执行命令cat /etc/os-release查看系统版本。

bash-4.4# hostname 
file-tg-cfd48df98-fnzbv
bash-4.4# cat /etc/os-release 
NAME="Alpine Linux"
ID=alpine
VERSION_ID=3.8.2
PRETTY_NAME="Alpine Linux v3.8"
HOME_URL="http://alpinelinux.org"
BUG_REPORT_URL="http://bugs.alpinelinux.org"
bash-4.4# 

在本人电脑(或其它运行docker可以上网的服务器)上,搜索拉取镜像,运行容器

PS C:\Users\Czm> docker pull alpine:3.8
3.8: Pulling from library/alpine
486039affc0a: Pull complete
Digest: sha256:2bb501e6173d9d006e56de5bce2720eb06396803300fe1687b58a7ff32bf4c14
Status: Downloaded newer image for alpine:3.8
docker.io/library/alpine:3.8
PS C:\Users\Czm> docker run -itd --name al38 alpine:3.8 /bin/sh
1e4353774d57297b44c10dafd4b30335015aae80bcee342dcf929bdf3f0bba92
PS C:\Users\Czm> docker ps
CONTAINER ID   IMAGE                                        COMMAND       CREATED         STATUS          PORTS     NAMES
1e4353774d57   alpine:3.8                                   "/bin/sh"     3 seconds ago   Up 2 seconds              al38

登录容器下载apk安装包:

PS C:\Users\Czm> docker exec -it al38 /bin/sh

更换alpine apk源为国内源:

# 清华大学源
sed -i 's/dl-cdn.alpinelinux.org/mirrors.tuna.tsinghua.edu.cn/g' /etc/apk/repositories
# 阿里云源
sed -i 's/dl-cdn.alpinelinux.org/mirrors.aliyun.com/g' /etc/apk/repositories
# 中科大源
sed -i 's/dl-cdn.alpinelinux.org/mirrors.ustc.edu.cn/g' /etc/apk/repositories

创建存放apk的目录,下载curl及其依赖:

/ # mkdir curl
/ # cd curl/ 
/curl # apk fetch curl -R -o /curl
Downloading libssh2-1.9.0-r1
Downloading zlib-1.2.11-r1
Downloading musl-1.1.19-r11
Downloading libcurl-7.61.1-r3
Downloading busybox-1.28.4-r3
Downloading libressl2.7-libssl-2.7.5-r0
Downloading nghttp2-libs-1.39.2-r0
Downloading libressl2.7-libcrypto-2.7.5-r0
Downloading ca-certificates-20191127-r2
/curl # ls
busybox-1.28.4-r3.apk               curl-7.61.1-r3.apk                  libressl2.7-libcrypto-2.7.5-r0.apk  libssh2-1.9.0-r1.apk                nghttp2-libs-1.39.2-r0.apk
ca-certificates-20191127-r2.apk     libcurl-7.61.1-r3.apk               libressl2.7-libssl-2.7.5-r0.apk     musl-1.1.19-r11.apk                 zlib-1.2.11-r1.apk
/curl #
/curl # apk fetch busybox-extras -R -o /curl
Downloading busybox-extras-1.28.4-r3

打包所有apk文件为一个tar包,方便传输:

/ # tar -zcvf czm-231110-Alpine3.8-curl.telnet.tgz /curl/

2.将curl安装包复制到K8S宿主机:scp或lrzsz上传文件至K8S服务器。

退出容器命令行,返回Windows cmd,执行docker cp命令,复制tar包到Windows。

PS C:\Users\Czm> docker ps
CONTAINER ID   IMAGE                                        COMMAND       CREATED        STATUS        PORTS     NAMES
1e4353774d57   alpine:3.8                                   "/bin/sh"     16 hours ago   Up 16 hours             al38
3127f7c3a2bd   anapsix/alpine-java:8_server-jre_unlimited   "/bin/bash"   7 weeks ago    Up 17 hours             tz
PS C:\Users\Czm> docker cp al38:/czm-231110-Alpine3.8-curl.telnet.tgz d:/czm-231110-Alpine3.8-curl.telnet.tgz
Successfully copied 2.78MB to d:\czm-231110-Alpine3.8-curl.telnet.tgz
PS C:\Users\Czm>

将tar包传输到K8S服务器

[sysma@prod-k8s-0001 ~]$ pwd
/home/sysma
[sysma@prod-k8s-0001 ~]$ ll |grep Alpine
-rw-r--r-- 1 sysma sysma    2781771 Nov 10 10:07 czm-231110-Alpine3.8-curl.telnet.tgz

3.将curl安装包复制到目标Pod容器:kubectl cp复制文件到具体容器。

[sysma@prod-k8s-0001 ~]$ ll |grep Al
-rwxr-xr-x 1 sysma sysma        365 Oct 31 09:28 07_getAllDeploy.sh
-rw-r--r-- 1 sysma sysma    2781771 Nov 10 10:07 czm-231110-Alpine3.8-curl.telnet.tgz
drwxr-xr-x 5 sysma sysma        326 Nov  3 09:30 czm_BathAlterDeployEnv
[sysma@prod-k8s-0001 ~]$ kubectl cp czm-231110-Alpine3.8-curl.telnet.tgz file-tg-cfd48df98-fnzbv:/ -c file-tg -n media
Error from server (NotFound): pods "file-tg-cfd48df98-fnzbv" not found
[sysma@prod-k8s-0001 ~]$ kubectl cp czm-231110-Alpine3.8-curl.telnet.tgz file-tg-9b658c46-xkd48:/ -c file-tg -n media
[sysma@prod-k8s-0001 ~]$ 

4. 容器内安装apk:登录容器安装curl。

使用K9S工具登录容器
K8S容器内安装cur/telnet命令(Alpine Linux离线环境安装curl/telnet或其他工具)_第1张图片
选择不是sider-car的容器
K8S容器内安装cur/telnet命令(Alpine Linux离线环境安装curl/telnet或其他工具)_第2张图片
刚才kubectl 复制的文件已经到了容器内部。
K8S容器内安装cur/telnet命令(Alpine Linux离线环境安装curl/telnet或其他工具)_第3张图片
解压,然后安装curl工具,貌似apk无法自动解决依赖问题,需要按如下顺序安装之前下载的apk安装包:
K8S容器内安装cur/telnet命令(Alpine Linux离线环境安装curl/telnet或其他工具)_第4张图片
实际操作如下:

bash-4.4# ls
busybox-1.28.4-r3.apk               libcurl-7.61.1-r3.apk               mii-tool-1.60_git20140218-r2.apk    zlib-1.2.11-r1.apk
busybox-extras-1.28.4-r3.apk        libressl2.7-libcrypto-2.7.5-r0.apk  musl-1.1.19-r11.apk
ca-certificates-20191127-r2.apk     libressl2.7-libssl-2.7.5-r0.apk     net-tools-1.60_git20140218-r2.apk
curl-7.61.1-r3.apk                  libssh2-1.9.0-r1.apk                nghttp2-libs-1.39.2-r0.apk
bash-4.4# apk add --no-network nghttp2-libs-1.39.2-r0.apk 
WARNING: Ignoring APKINDEX.adfa7ceb.tar.gz: No such file or directory
WARNING: Ignoring APKINDEX.efaa1f73.tar.gz: No such file or directory
(1/1) Installing nghttp2-libs (1.39.2-r0)
Executing glibc-bin-2.29-r0.trigger
OK: 24 MiB in 30 packages
bash-4.4# apk add --no-network libssh2-1.9.0-r1.apk 
WARNING: Ignoring APKINDEX.adfa7ceb.tar.gz: No such file or directory
WARNING: Ignoring APKINDEX.efaa1f73.tar.gz: No such file or directory
(1/1) Installing libssh2 (1.9.0-r1)
Executing glibc-bin-2.29-r0.trigger
OK: 24 MiB in 31 packages
bash-4.4# apk add --no-network libcurl-7.61.1-r3.apk 
WARNING: Ignoring APKINDEX.adfa7ceb.tar.gz: No such file or directory
WARNING: Ignoring APKINDEX.efaa1f73.tar.gz: No such file or directory
(1/1) Installing libcurl (7.61.1-r3)
Executing glibc-bin-2.29-r0.trigger
OK: 24 MiB in 32 packages
bash-4.4# apk add --no-network curl-7.61.1-r3.apk 
WARNING: Ignoring APKINDEX.adfa7ceb.tar.gz: No such file or directory
WARNING: Ignoring APKINDEX.efaa1f73.tar.gz: No such file or directory
(1/1) Installing curl (7.61.1-r3)
Executing busybox-1.28.4-r3.trigger
OK: 24 MiB in 33 packages
bash-4.4# 

5. 测试curl的使用。

从容器内部发送任意curl请求,成功。如图是post请求发送一个500MB文件到对端服务器
K8S容器内安装cur/telnet命令(Alpine Linux离线环境安装curl/telnet或其他工具)_第5张图片

6. 优点/缺点。

优点:pod不用重启,业务不用中断。
缺点:传输安装包复杂,需要提前准备相同版本alpine系统镜像。容器重启后curl、telnet工具丢失,还得重复再装一次。

方式二:容器停机,改为使用自定义基础镜像

就不详细写了,需要详细过程的留言。
简要步骤:

  1. 本地创建纯净alpine Linux容器
  2. 登录alpine Linux容器安装自定义软件
  3. 提交自定义容器为镜像:使用docker commit命令提交基础镜像。
  4. 联系开发更换底层基础镜像:将自定义镜像推送至harbor仓库,通知开发修改dockerfile,将FROM 基础镜像修改为自定已经向。
  5. 重新部署并登录容器测试:登录容器后,自带curl和其他命令。
    优点:一劳永逸,一次安装之后多次更新微服务都能在基础镜像容器中使用curl命令。
    缺点:容器需要重新发布,业务需要中断。

结束

你可能感兴趣的:(K8S,Docker,Linux,kubernetes,linux,容器)