kuberntes 中的 pod 基于 service 域名解析后,再负载均衡分发到 service 后端的各个 pod 服务中,如果没有 DNS 解析,则无法查到各个服务对应的 service 服务
从 K8S 1.11 开始,K8S 已经使用 CoreDNS,替换 KubeDNS 来充当其 DNS 解析
DNS 如何解析,依赖容器内 resolv 文件的配置
# cat /etc/resolv.conf
nameserver 10.200.254.254
search default.svc.cluster.local. svc.cluster.local. cluster.local.
options ndots:5
ndots:5:如果查询的域名包含的点 “.” 不到 5 个,那么进行 DNS 查找,将使用非完全限定名称(或者叫绝对域名),如果你查询的域名包含点数大于等于 5,那么 DNS 查询,默认会使用绝对域名进行查询。
Kubernetes 域名的全称,必须是 service-name.namespace.svc.cluster.local 这种模式,服务名
# nslookup kubernetes.default.svc.cluster.local
Server: 10.200.254.254
Address: 10.200.254.254:53Name: kubernetes.default.svc.cluster.local
Address: 10.200.0.1
None
用于想要自定义 DNS 配置的场景,而且需要和 dnsConfig 配合一起使用
Default
让 kubelet 来决定使用何种 DNS 策略。而 kubelet 默认使用宿主机的 /etc/resolv.conf(使用宿主机的DNS策略)
但 kubelet 可以配置使用什么文件来进行 DNS 策略,使用 kubelet 的参数:–resolv-conf=/etc/resolv.conf 来决定 DNS 解析文件地址
ClusterFirst
表示 POD 内的 DNS 使用集群中配置的 DNS 服务,使用 Kubernetes 中 kubedns 或 coredns 服务进行域名解析。如果解析不成功,才会使用宿主机的 DNS 进行解析
POD 是用 HOST 模式启动的(HOST模式),用 HOST 模式表示 POD 中的所有容器,都使用宿主机的 /etc/resolv.conf 进行 DNS 查询,但如果使用了 HOST 模式,还继续使用 Kubernetes 的 DNS 服务,那就将 dnsPolicy 设置为 ClusterFirstWithHostNet
apiVersion: v1
kind: ConfigMap
metadata:
name: coredns
namespace: namespace-test
data:
Corefile: |
.:53 {
errors
health
ready
kubernetes cluster.local 10.200.0.0/16 {
pods insecure
upstream 114.114.114.114
fallthrough in-addr.arpa ip6.arpa
namespaces namespace-test
}
prometheus :9153
forward . /etc/resolv.conf
cache 30
loop
reload
loadbalance
}
Coredns 规定协议
当前 CoreDNS 接受4种协议: DNS, DNS over TLS (DoT), DNS over HTTP/2 (DoH)
and DNS over gRPC。可以通过在服务器配置文件,在zone 前加个前缀来指定服务器接收哪种协议。
dns://
for plain DNS (the default if no scheme is specified).tls://
for DNS over TLS, see RFC 7858.https://
for DNS over HTTPS, see RFC 8484.grpc://
for DNS over gRPC. UDP非标准端口只在某些地区某些运营商有用,DoT,即DNS over TLS,支持DoT的公共DNS服务有Quad9的9.9.9.9
,Google的8.8.8.8
以及Cloudflare的1.1.1.1
,可以这么使用:
.:5301 {
forward . tls://9.9.9.9 {
tls_servername dns.quad9.net
}
cache
}
.:5302 {
forward . tls://1.1.1.1 tls://1.0.0.1 {
tls_servername 1dot1dot1dot1.cloudflare-dns.com
}
cache
}
.:5303 {
forward . tls://8.8.8.8 tls://8.8.4.4 {
tls_servername dns.google
}
cache
}
由于proxy
插件新版本已经移除,作为external plugin,需要自己编译CoreDNS。
- git clone https://github.com/coredns/coredns.git
- cd coredns
- make
CoreDNS使用了go modules机制,所以在make
过程中会自动下载依赖的package。可以通过HTTP_PROXY
环境变量指定,或者使用国内的一些镜像(如果你信得过的话)通过GOPROXY
环境变量指定。
则在make
前,要修改plugin.cfg
文件,加入以下:
- proxy:github.com/coredns/proxy
再make
,就会把插件编译进去。如果发现没有编译进去,可以先执行一下go generate coredns.go
再make
下载:https://github.com/coredns/deployment/tree/master/kubernetes
deploy.sh 用于生成用于 kube-dns 的集群上运行 CoreDNS 的 yaml 文件
coredns.yaml.sed 文件作为模板,它创建一个 ConfigMap 和一个 CoreDNS deployment 的yaml 文件
./deploy.sh 172.18.0.0/24 cluster.local 生成 yaml 文件,在使用 kubectl apply 部署在 k8s 中
计算表达式: MB required (default settings) = (Pods + Services) / 1000 + 54
容器内抓包
docker inspect --format "{{.State.Pid}}" container
# 进入 container namespace
nsenter -n -t ¥pid
# 对 53 端口进行抓包
# tcpdump -i eth0 -N udp dst port 53
https://coredns.io/
https://github.com/coredns/coredns
https://github.com/coredns/deployment/blob/master/kubernetes/Scaling_CoreDNS.md