现象

在客户现场发现，容器应用访问外部系统超时，发现 pod 在解析外部系统的域名时时间很长，5秒、15秒、25秒时间不等。

环境及问题

在自己的虚机上搭建了三个节点，使用的OCP版本与客户相同，发现同样的问题，6个 pod 跑在三个节点上，分别每个节点2个 pod。

环境描述

在宿主机的/etc/hosts内添加解析或者在dnsmasq内添加解析规则，重启dnsmasq，没有配置上游dnsmasq，出问题的环境是OCP 3.9.51，我在该环境去解析另外一套OCP 3.9.25集群的访问入口地址。

测试方式 curl

curl -w %{time_namelookup}::%{time_total} -o 1 -k  https://cluster.ocp39-25.zhangsp.com:8443

现象

使用curl去测试，宿主机解析地址速度正常、pod内解析时间很长，分别有几段时间内为25s、15s、5s。

使用nslookup测试宿主机正常，pod内有时候会解析成功，有时候失败，提示找不到。

排查过程及结果

排除上游 DNS 的问题

不使用 dnsmasq 本地进行解析，把解析条目使用上游 dns 进行解析，发现每个 pod 同样存在一样的问题，可以先排除了因为没有使用上游 DNS 导致的解析慢问题。

ipv6 问题一

上网查了一些资料，发现有可能是ipv6的问题导致的，在 curl 调用时加入 -4 参数（curl -4 -w %{time_namelookup}::%{time_total} -o 1 -k https://cluster.ocp39-25.zhangsp.com:8443
），-4参数的意思是指明使用ipv4协议，在 6 个实例 pod 副本中，执行一个 for 循环脚本，sleep 三分钟执行一次curl，再sleep 3分钟执行 curl -4，测试了几个小时后，通过看日志可以非常有规律的看到，执行 curl 不加 -4 参数几乎都是要15秒左右才有响应，而 curl -4 都是在毫秒内完成 dns 解析和页面内容返回。

curl 与 curl -4 命令执行的交替输出

image

ipv6 问题二

直接关闭操作系统ipv6协议，在排查1环境中继续测试，将其中一个节点关闭ipv6协议，再进行测试几个小时，查看日志，发现跑在关闭 ipv6 节点的两个 pod ，使用 curl 和 curl -4 都是在毫秒内完成响应。

image

关闭操作系统ipv6协议

编辑：/etc/default/grub
在 GRUB_CMDLINE_LINUX 开头追加 ipv6.disable=1 参数

执行：

1、grub2-mkconfig -o /boot/grub2/grub.cfg

2、重启

检查：
通过ip或者ifconfig可以查看网卡是否有 inet6 字段

在 DevelopmentConfig 中加入 hostAliases

在排查2环境中继续测试，在DevelopmentConfig中加入 hostAliases ，这个字段内可以填写域名解析关系，会在pod内的/etc/hosts中添加相应解析规则，经过几个小时运行，查看6个pod的日志发现，每个pod在curl命令中都是在毫秒内响应了。

我在以上4个测试过程中的脚本里头也添加过 nslookup 和 dig 命令进行了测试。nslookup 命令的执行结果也有经常提示无法解析，不过是很快返回，不过再次执行就可以解析了。而dig每次都是快速就能返回了，怀疑 nslookup 和 dig 解析时候方式不一样。

结论

其实 OpenShift 目前的 Dnsmasq 加 Skydns 的 DNS 解析方案我遇到过各种各样的问题，红帽bug列表也把我遇到的大部分dns问题加进去了，解决方法大部分只能通过 workaround 的方式跳过 bug 来解决，期待以后的 OCP 新版本中的 CoreDns 能解决现在这些问题。

以前遇到的DNS问题

在配置了上游DNS时，不管宿主机还是Pod内解析SVC地址（如：x.x.svc, x.x.svc.cluster.local ）时，就会去上游DNS解析，很明显上游DNS是无法解析这种地址的；解决方法：

在/etc/dnsmasq.d/下创建一个.conf文件，内容为:

local=/svc/
local=/svc.cluster.local/

这两个字段是指明解析以上地址时强制使用本地的DNS，不走上游的，走本地DNS，而本地DNS（即skydns，包含在atomic-node服务中）是能够解析这些地址的。

重启dnsmasq服务。

排查工具

在排查问题的时候经常发现容器内没有各种命令，因为我基于 rhel7 镜像做了一个工具镜像，可以参考一下Dockerfile：

FROM registry.access.redhat.com/rhscl/s2i-base-rhel7
USER  root
# ocp.repo is /etc/yum.repos.d/ocp.repo, to config yum repo
ADD ./ocp.repo /etc/yum.repos.d/
RUN yum -y install wget bind-utils iproute net-tools.x86_64 tcpdump telnet traceroute iputils vim psmisc tree && yum clean all -y
Entrypoint sleep 30d

启动命令

oc new-app --docker-image=172.31.20.31:5000/tools-rhel7-images --name=tools

排查的时候执行脚本

我在容器启动的时候自动运行我设定的脚本，脚本放在configmap里面，方便修改，将 configmap 挂到 pod 内的一个路径下，在DC里头定义启动 pod 的命令为去该路径下执行该脚本。

configmap 内容

for ((i=1;i<=2000000000;i++));
  do
    dig cluster.ocp39-25.zhangsp.com >> dig.log &&sleep 3m &&curl -4 -w %{time_namelookup}::%{time_total} -o 1 -k https://cluster.ocp39-25.zhangsp.com:8443  >> test4.log &&sleep 3m&&curl -w %{time_namelookup}::%{time_total} -o 1 -k https://cluster.ocp39-25.zhangsp.com:8443  >> test.log &&sleep 3m
  done
echo finished;

在 pod 内注入 hosts解析和启动命令

DC 内容(包含hostAliases)

apiVersion: v1
kind: DeploymentConfig
metadata:
  annotations:
    openshift.io/generated-by: OpenShiftNewApp
  creationTimestamp: null
  generation: 1
  labels:
    app: tools
  name: tools
spec:
  replicas: 6
  revisionHistoryLimit: 10
  selector:
    app: tools
    deploymentconfig: tools
  strategy:
    activeDeadlineSeconds: 21600
    resources: {}
    rollingParams:
      intervalSeconds: 1
      maxSurge: 25%
      maxUnavailable: 25%
      timeoutSeconds: 600
      updatePeriodSeconds: 1
    type: Rolling
  template:
    metadata:
      annotations:
        openshift.io/generated-by: OpenShiftNewApp
      creationTimestamp: null
      labels:
        app: tools
        deploymentconfig: tools
    spec:
      containers:
      - command:
        - sh
        - /tmp/xjj/test2.sh
        image: 172.31.20.31:5000/tools-rhel7-images:latest
        imagePullPolicy: Always
        name: tools
        resources: {}
        terminationMessagePath: /dev/termination-log
        terminationMessagePolicy: File
        volumeMounts:
        - mountPath: /tmp/xjj
          name: test2-shell-t76xs
          readOnly: true
      dnsPolicy: ClusterFirst
      hostAliases:
        - hostnames:
            - cluster.ocp39-25.zhangsp.com
          ip: 172.31.20.11
      restartPolicy: Always
      schedulerName: default-scheduler
      securityContext: {}
      terminationGracePeriodSeconds: 30
      volumes:
      - configMap:
          defaultMode: 420
          name: test2-shell
        name: test2-shell-t76xs
  test: false
  triggers:
  - type: ConfigChange

参考链接

关闭系统ipv6

https://cloud.tencent.com/developer/article/1375080

给 pod 内添加hosts解析

https://kubernetes.io/docs/concepts/services-networking/add-entries-to-pod-etc-hosts-with-host-aliases/

OpenShift Pod 域名解析超慢问题

现象