Kubelet之TLS BootStrap启动

TLS BootStrap启动流程

创建bootstrap token与ConfigMap

(1).生成token创建secret

kind: Secret  
metadata:  
  #Name MUST be of form   "bootstrap-token-"  
  name: bootstrap-token-07401b  
  namespace: kube-system  

#Type MUST be 'bootstrap.kubernetes.io/token'
type: bootstrap.kubernetes.io/token
stringData:
  # Human readable description. Optional.
  description: "The default bootstrap token generated by 'kubeadm init'."

  # Token ID and secret. Required.
  token-id: 07401b
  token-secret: f395accd246ae52d

  # Expiration. Optional.
  expiration: 2017-03-10T03:22:11Z

  # Allowed usages.
  usage-bootstrap-authentication: "true"
  usage-bootstrap-signing: "true"

  # Extra groups to authenticate the token as. Must start with "system:bootstrappers:"
  auth-extra-groups: system:bootstrappers:worker,system:bootstrappers:ingress

1)Extra groups:
表明anyone使用该token进行认证的时候将拥有该组Group所绑定的权利.默认情况下该token具有system:bootstrappers组下的权利.
2)usage-bootstrap-*:
表示该secret能够用来干什么事.
3)id及token生成:
第一种方案:

echo $(openssl rand -hex 3).$(openssl rand -hex 8)

第二种方案:

echo "$(head -c 6 /dev/urandom | md5sum | head -c 6)"."$(head -c 16 /dev/urandom | md5sum | head -c 16)"

需要注意的是在使用 Bootstrap Token 进行引导时，Kubelet 组件使用 Token 发起的请求其用户名为system:bootstrap:，用户组为system:bootstrappers；so我们在创建ClusterRoleBinding时要绑定到这个用户或者组上

(2)ConfigMap的生成策略
首先需要根据(1)中生成的secret及token创建boot-kubeconfig文件
1)设置集群

kubectl config set-cluster bootstrap \
  --kubeconfig=bootstrap-kubeconfig-public  \
  --server=https://${KUBERNETES_MASTER}:6443 \
  --certificate-authority=ca.pem \
  --embed-certs=true

2)根据生成的kubeconfig文件生成configmap

kubectl -n kube-public create configmap cluster-info \
  --from-file=kubeconfig=bootstrap-kubeconfig-public

3)获取configmap详情

kubectl -n kube-public get configmap cluster-info -o yaml

4)RBAC授权允许匿名用户使用该ConfigMap

kubectl create role anonymous-for-cluster-info --resource=configmaps --resource-name=cluster-info --namespace=kube-public --verb=get,list,watch
kubectl create rolebinding anonymous-for-cluster-info-binding --role=anonymous-for-cluster-info --user=system:anonymous --namespace=kube-public

给system:bootstrappers组授权

(1)kubelet首次使用token启动授权

# enable bootstrapping nodes to create CSR
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: create-csrs-for-bootstrapping
subjects:
- kind: Group
  name: system:bootstrappers
  apiGroup: rbac.authorization.k8s.io
roleRef:
  kind: ClusterRole
  name: system:node-bootstrapper
  apiGroup: rbac.authorization.k8s.io

或者直接命令行:

kubectl create clusterrolebinding create-csrs-for-bootstrapping --clusterrole=system:bootstrappers --group=system:node-bootstrapper

anyone使用token进行认证通过后进入授权阶段.api-server从该token中获取namespace和name信息,并将该token特殊对待.授予anyone bootstrap权利,将该匿名用户划分到system:bootstraps组.至此anyone使用该token认证的时候都具有了system:node-bootstrapper的权利.

controller-manager配置

当api-server完成对kubelet获取证书请求的认证授权之后,需要controller-manager对kubelet生成证书并发.
(1)证书配置
为了使controller-manager完成证书的签名需要配置ca证书

--cluster-signing-cert-file="/var/lib/kubernetes/ca.pem"
--cluster-signing-key-file="/var/lib/kubernetes/ca-key.pem"

(2)Approval授权
为了完成kubelet的创建证书请求CSRs,需要告诉controller-manager通过CSR请求. 通过配置RBAC规则保证controller-manager只对kubelet发起的特定CSR请求自定批准. 以下配置告诉controller自动批准三种证书:

nodeClient kubelet第一次请求获取证书,表明该node暂时还没获取过证书.

# Approve all CSRs for the group "system:bootstrappers"
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: auto-approve-csrs-for-group
subjects:
- kind: Group
  name: system:bootstrappers
  apiGroup: rbac.authorization.k8s.io
roleRef:
  kind: ClusterRole
  name: system:certificates.k8s.io:certificatesigningrequests:nodeclient
  apiGroup: rbac.authorization.k8s.io

selfnodeclient 请求重新获取证书请求当证书过期之后.

# Approve renewal CSRs for the group "system:nodes"
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: auto-approve-renewals-for-nodes
subjects:
- kind: Group
  name: system:nodes
  apiGroup: rbac.authorization.k8s.io
roleRef:
  kind: ClusterRole
  name: system:certificates.k8s.io:certificatesigningrequests:selfnodeclient
  apiGroup: rbac.authorization.k8s.io

3)selfnodeserver kubelet server renew自己的证书发起的CSR请求,即是10250端口使用的证书
白话:nodeclient 类型的 CSR 仅在第一次启动时会产生，selfnodeclient 类型的 CSR 请求实际上就是 kubelet renew 自己作为 client 跟 apiserver 通讯时使用的证书产生的，selfnodeserver 类型的 CSR 请求则是 kubelet 首次申请或后续 renew 自己的 10250 api 端口证书时产生的

(3)自动续期下的引导过程

kubelet 读取 bootstrap.kubeconfig，使用其 CA 与 Token 向 apiserver 发起第一次 CSR 请求(nodeclient)
apiserver 根据 RBAC 规则自动批准首次 CSR 请求(approve-node-client-csr)，并下发证书(kubelet-client.crt)
kubelet 使用刚刚签发的证书(O=system:nodes, CN=system:node:NODE_NAME)与 apiserver 通讯，并发起申请 10250 server 所使用证书的 CSR 请求
apiserver 根据 RBAC 规则自动批准 kubelet 为其 10250 端口申请的证书(kubelet-server-current.crt)
证书即将到期时，kubelet 自动向 apiserver 发起用于与 apiserver 通讯所用证书的 renew CSR 请求和 renew 本身 10250 端口所用证书的 CSR 请求
apiserver 根据 RBAC 规则自动批准两个证书
kubelet 拿到新证书后关闭所有连接，reload 新证书，以后便一直如此

根据token创建kubeconfig文件

(1) 设置集群参数

API_SERVER = https://192.168.124.18:6443
kubectl config set-cluster bootstrap --certificate-authority=/etc/kubernetes/ssl/ca.key --embed-certs=true --server=${API_SERVER} --kubeconfig=bootstrap.kubeconfig

(2)设置客户端认证参数

kubectl config set-credentials kubelet-bootstrap --token=*.** --kubeconfig=bootstrap.kubeconfig

(3)设置默认上下文context

kubectl config set-context bootstrap --user=kubelet-bootstrap --cluster=bootstrap --kube-config=bootstrap.kubeconfig

(4)设置默认上下文
kubectl config use-context bootstrap --kubeconfig=bootstrap.kubeconfig

创建kubelet启动文件配置参数

(1)api-server配置token启动
--enable-bootstrap-token-auth
(2)controller-manager
1)--controllers=*,bootstrapsigner,tokenclean:自动签名
2)--experimental-cluster-signing-duration:指定证书超时时间
(3)kubelet设置自动获取证书
1)--rotate-certificates:自旋获取证书
2)开启自旋获取客户端及server端证书--feature-gates=RotateKubeletClientCertificate=true,RotateKubeletServerCertificate=true默认是开启的
3)--bootstrap-kubeconfig与--kubeconfig指定配置参数
(3)kubelet.service启动文件

[Unit]
Description=this is my kubelet
[Service]
EnvironmentFile=-/etc/kubernetes/config.conf
EnvironmentFile=-/etc/kubernetes/kubelet.conf
ExecStart=/usr/local/bin/kubelet \
       $KUBELET_CONFIG \
       $KUBELET_ADDRESS

Restart=on-failure
LimitNOFILE=65536
[Install]
WantedBy=multi-users.target

配置文件如下:

KUBELET_CONFIG="--cgroup-driver=systemd --runtime-cgroups=/systemd/system.slice
--kubelet-cgroups=/systemd/system.slice --cert-dir=/etc/kubernetes/ssl --cluster
-domain=cluster.local --cluster-dns=10.254.0.2 --bootstrap-kubeconfig=/etc/kuber
netes/bootstrap.kubeconfig --kubeconfig=/etc/kubernetes/kubeconfig --network-plu
gin=cni --pod-cidr=10.254.0.0/16 --rotate-certificates"
KUBELET_ADDRESS="--address=192.168.124.18"

Kubelet之TLS BootStrap启动

Kubelet之TLS BootStrap启动

TLS BootStrap启动流程

创建bootstrap token与ConfigMap

给system:bootstrappers组授权

controller-manager配置

根据token创建kubeconfig文件

创建kubelet启动文件配置参数

你可能感兴趣的:(Kubelet之TLS BootStrap启动)