使用kubeadm启动kubenetes集群

预制条件：
CentOS7，2GB RAM，2 CPU，Unique Host name and MAC address and proeuct_uuit， swap disabled
需要能直接访问外网，或者通过proxy访问外网（通过proxy需要treak来处理相应的proxy）
参考网站： https://kubernetes.io/docs/setup/independent/install-kubeadm/
每个机器要有不同的hostname，修改hostname

* 使用窗口界面，在安装centos的时候，打开Network设置，在这里设置
* 使用shell

    * echo "192-168-1-189.node" > /etc/hostname
    * echo "127.0.0.1   192-168-1-189.node" >> /etc/hosts
    * sysctl kernel.hostname=192-168-1-189.node

所有的机器以root账户运行

* 为每个机器安装docker

    * yum install -y docker
    * 配置docker的group （可选？在我的实践中并没有进行这个配置，但是并没有出现问题）

cat << EOF > /etc/docker/daemon.json
{
“exec-opts”: [“native.cgroupdriver=systemd”]
}
EOF

• systemctl enable docker && systemctl start docker

  • 安装 kubeadm, kubelet 和 kubectl

    • kubeadm the command to bootstrap the cluster
    • kubelet the component that run on all of the machines in your cluster and does things like starting pods and containters
    • kubectl the command line util to talk to your cluster
    • 配置Kubernetes repo，为了能使用yum来安装kubenetes

cat < /etc/yum.repos.d/kubernetes.repo [kubernetes]
name=Kubernetes
baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-x86_64
enabled=1 gpgcheck=1 repo_gpgcheck=1
gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg
https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg EOF

引用块内容

• setenforce 0 关闭SELinux – 这个需要修改/etc/selinux/config来彻底关闭SELinux，否则无法正常启动服务，修改了/etc/selinux/config以后需要重启机器来使配置修改生效
  * yum install -y kubelet kubeadm kubectl
  * systemctl enable kubelet && systemctl start kubelet

  • 关闭swap 在每个机器上运行 swapoff -a
  • systemctl stop firewalld.service

  • 运行 创建 cluster

    • kubeadm init 进行初始化

      • 根据选择的pod network 选择使用一个相应的flag， 对于Flannel 需要使用 –pod-network-cidr=10.244.0.0/16 这是一个固定式无需修改
      • kubeadm 再次运行之前需要先 tearing down cluster
      • 如果有两个网卡的话，需要指定network interface –apiserver-advertise-address=
      • 由于使用了Flannel所有这个命令要变种为 kubeadm init –apiserver-advertise-address=192.168.56.102 –pod-network-cidr=10.244.0.0/16 — 这个命令仅使用与我自己的配置了双网卡的机器

    • 加载配置

      • root 用户 export KUBECONFIG=/etc/kubernetes/admin.conf
      • 非 root 用户

    • pod network — 使DNS服务启动

      • 这里我们用 Flannel
      • 配置 iptable sysctl net.bridge.bridge-nf-call-iptables=1
      • 应用 kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/v0.9.1/Documentation/kube-flannel.yml

    • Note节点直接运行 kubuadm init输出的那个kubeadm join 命令来加入master节点

      • 注意Node节点上也需要运行 systemctl start kubelet

    • 安装Dashboard 服务

      • kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/master/src/deploy/recommended/kubernetes-dashboard.yaml
      • 运行 kubectl proxy
      • 在master机器上访问 http://localhost:8001/api/v1/namespaces/kube-system/services/https:kubernetes-dashboard:/proxy/
      • 运行Dashboard的时候可能需要只让系统保留一个网卡运行，之前两个网卡的时候打不开dashboard，用了一个网卡的环境可以打开

      • dashborad网页打开需要输入token

        • 参看网页 https://github.com/kubernetes/dashboard/wiki/Creating-sample-user

        • 创建admin-user, 创建一个yaml文件并输入以下内容，并运行命令kubectl create -f xxx.yaml

                  apiVersion: v1
                  kind: ServiceAccount
                  metadata:
                      name: admin-user
                      namespace: kube-system
          

  • 创建 ClusterRoleBinding，创建一个yaml文件并输入以下内容，并运行命令kubectl create -f xxx.yaml

                        apiVersion: rbac.authorization.k8s.io/v1beta1
                        kind: ClusterRoleBinding
                        metadata:
                            name: admin-user
                        roleRef:
                            apiGroup: rbac.authorization.k8s.io
                            kind: ClusterRole
                            name: cluster-admin
                        subjects:
                        - kind: ServiceAccount
                           name: admin-user
                           namespace: kube-system
    
    
    
    * 运行命令获得token
    
        * kubectl -n kube-system describe secret $(kubectl -n kube-system get secret | grep admin-user | awk '{print $1}')
    

    • 安装Heapster 插件 — 为dashboard 提供cpu和内存使用的统计

      • 下载最新版本的heapster

        • wget https://github.com/kubernetes/heapster/archive/v1.5.0.zip
        • unzip v1.5.0.zip
      • 进入 heapster-1.5.0/deploy/kube-config/influxdb 修改grafana.yaml 中的 GF_SERVER_ROOT_URL uncomments apiservier设置
      • 运行sh heapster-1.5.0/deploy/kube.sh start
  • kubectl get pods –all-namespaces 查看所有运行的服务的状态

  • 在使用ss 代理的情况下，需要先把需要的image pull下来

    • docker pull k8s.gcr.io/kube-apiserver-amd64:v1.9.1
    • docker pull k8s.gcr.io/kube-controller-manager-amd64:v1.9.1
    • docker pull k8s.gcr.io/kube-scheduler-amd64:v1.9.1
    • docker pull k8s.gcr.io/kube-proxy-amd64:v1.9.1
    • docker pull k8s.gcr.io/etcd-amd64:3.1.10
    • docker pull k8s.gcr.io/pause-amd64:3.0
    • docker pull k8s.gcr.io/k8s-dns-sidecar-amd64:1.14.7
    • docker pull k8s.gcr.io/k8s-dns-kube-dns-amd64:1.14.7
    • docker pull k8s.gcr.io/k8s-dns-dnsmasq-nanny-amd64:1.14.7
    • 在work节点上也需要pull 镜像，只需要pull docker pull k8s.gcr.io/kube-proxy-amd64:v1.9.1
  • 要是服务能够整个的运行需要彻底关闭SELinux，这需要设置 /etc/selinux/config

问题速查：
docker logs 查docker运行过程中的问题
https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm-init/
中文参考
参考https://mritd.me/2016/10/29/set-up-kubernetes-cluster-by-kubeadm/#21%E5%AE%89%E8%A3%85%E5%8C%85%E4%BB%8E%E5%93%AA%E6%9D%A5

运行init成功的例子：
Your Kubernetes master has initialized successfully!

You should now deploy a pod network to the cluster.
Run “kubectl apply -f [podnetwork].yaml” with one of the options listed at:
https://kubernetes.io/docs/concepts/cluster-administration/addons/

You can now join any number of machines by running the following on each node
as root:

kubeadm join –token cb327c.f171b1e736a5184e 192.168.56.102:6443 –discovery-token-ca-cert-hash sha256:392545adad830f474ee0409691d1cb9a6d8f2499decdd903c788ccb60e2cb247