kubectl logs、exec、port-forward 执行失败问题解决

问题描述

在master节点上执行kbuectl logs / exec / port-forward等命令均异常，具体表现如下：

root@master1:~# kubectl logs pod-name
Error from server (NotFound): the server could not find the requested resource ( pods/log kubia-manual)

root@master1:~# kubectl exec -it pod-name /bin/bash
error: unable to upgrade connection: pod does not exist

root@master1:~# kubectl port-forward pod-name 8888:8080
error: error upgrading connection: unable to upgrade connection: pod does not exist

不仅如此，执行任何pod操作或查看属于pod的子资源，都会显示 pod 不存在。

问题原因

原因是因为，我是用的VirtualBox虚拟化出了两台 ubuntu 主机搭建的 k8s ，详见 virtualbox 虚拟机组网 。在组网的过程中，我采用了双网卡方案，网卡1使用NAT地址转换用来访问互联网，网卡2使用Host-only来实现虚拟机互相访问。而 k8s 默认使用了网卡1的 ip 地址，这就导致了 工作节点的 ip 地址使用的是网卡1的 NAT 地址转换地址(不可以访问其他虚拟机)，从而导致的问题的产生。

问题发现

如果你确定自己就是因为这个问题的话，可以跳过这一节直接执行 解决方案 中的名命令来尝试恢复，或者你也可以通过如下方式来检查自己的kubectl命令无法执行是否也是该问题导致的：

在使用命令时携带-v=9参数来提高日志的输出等级，如下：

kubectl logs kubia-manual -v=9

从输出图中可以看到，kubectl先去访问了本机的apiserver来获取目标pod的信息（蓝框1，本机 ip 为192.168.56.11），返回结果正常，但是进一步去请求pod的log资源的时候就出现了 404 的情况（蓝框2），而当我们仔细查看pod的信息时，可以发现 它的hostIP居然是 NAT 地址转换模式的默认地址10.0.2.15！ (红框)。

logs 命令的日志输出

解决方案

因为这个地址是工作节点上的kubelet自动生成并发给管理节点的，所以现在我们要登录工作节点，然后手动指定他的 ip 地址：

在 kubelet 启动时指定 ip

首先修改文件 /etc/systemd/system/kubelet.service.d/10-kubeadm.conf，低版本的 ubuntu 中该文件可能位于/etc/systemd/kubelet.service.d/目录下：

sudo vi /etc/systemd/system/kubelet.service.d/10-kubeadm.conf

然后添加在ExecStart行之前新增一行，内容为：Environment="KUBELET_EXTRA_ARGS=--node-ip=192.168.56.21"，注意！这个 ip 地址要填写你 当前节点的 ip 地址，这个 ip 是可以正常访问管理节点的网卡 ip，如下：

EnvironmentFile=-/etc/default/kubelet
# Note: This dropin only works with kubeadm and kubelet v1.11+
[Service]
Environment="KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf"
Environment="KUBELET_CONFIG_ARGS=--config=/var/lib/kubelet/config.yaml"
# This is a file that "kubeadm init" and "kubeadm join" generates at runtime, populating the KUBELET_KUBEADM_ARGS variable dynamically
EnvironmentFile=-/var/lib/kubelet/kubeadm-flags.env
# This is a file that the user can use for overrides of the kubelet args as a last resort. Preferably, the user should use
# the .NodeRegistration.KubeletExtraArgs object in the configuration files instead. KUBELET_EXTRA_ARGS should be sourced from this file.
EnvironmentFile=-/etc/default/kubelet 
Environment="KUBELET_EXTRA_ARGS=--node-ip=192.168.56.21"
ExecStart=
ExecStart=/usr/bin/kubelet $KUBELET_KUBECONFIG_ARGS $KUBELET_CONFIG_ARGS $KUBELET_KUBEADM_ARGS $KUBELET_EXTRA_ARGS

添加完成后:wq保存退出，然后重启kubelet

重启 kubelet

执行下面命令即可：

systemctl stop kubelet.service && \
systemctl daemon-reload && \
systemctl start kubelet.service

正常情况下不会刷新任何内容，如果刷新了几条warning的话不用理会，然后登录管理节点再次尝试 可能需要十几秒的时间等待 kubelet 重启完成：

root@master1:~# kubectl logs kubia-manual
Kubia server starting...

root@master1:~# kubectl exec -it kubia-manual /bin/bash
root@kubia-manual:/# exit
exit
command terminated with exit code 130

root@master1:~# kubectl port-forward kubia-manual 8888:8080
Forwarding from 127.0.0.1:8888 -> 8080
Forwarding from [::1]:8888 -> 8080

发现所有命令都已经可用，至此，问题解决。

参考

• pods/log: NotFound resource
• kubenetes 1.4 修改kubelet启动参数修改方法