kubernetes+docker+dashboard安装部署详细步骤

   对docker和kubernetes都不熟悉，搜了很多指导，在kubernetes集群中安装dashboard的时候总是会遇到各种问题，花了两天时间试了很多方法，终于安装成功，主体步骤来自https://blog.csdn.net/chenyufeng1991/article/details/79251498，补全安装过程中遇到的问题及解决方法。

        实验环境：
        1.OS:Centos7.5
            每个操作系统设置一个主机IP
        2.使用的软件包
     master：docker/kubernetes-master/etcd/flannel
     nodes：docker/kubernetes-node/flannel
        3.软件包说明
     kubernetes-master：Kubernetes服务端
     kubernetes-node：Kubernetes客户端
     etcd：服务发现的键值存储（可以理解为中间件，flannel服务通过它记录分配给各pod的地址段，每次分配前会在etcd中查询，从而不会重复分配）
     flannel：打通多台服务器上的docker容器之间的网路互通

        前提条件：
        1.master和node修改SELINUX配置文件，SELINUX=disabled，重启操作系统
        2.master和node执行systemctl stop firewalld和systemctl disable firewalld关闭防火墙，有安全需求的，可以根据需要启动防火墙，放开相应端口
        3.master和node修改主机名，可以使用hostnamectl命令直接修改，也可以修改/etc/hostname文件，将主机名与IP地址对应关系写入/etc/hosts文件
        4.开启路由转发功能，在master和node的/etc/sysctl.conf中添加net.ipv4.ip_forward = 1   执行sysctl -p执行该文件

        安装步骤：
        1.master安装配置

        yum install -y kubernetes-master etcd flannel docker
        此处如果有低版本kubectl等工具会报错，使用rpm -e卸载所有依赖，再次执行此命令即可

        etcd安装完成后配置
        vi /etc/etcd/etcd.conf

        ETCD_LISTEN_CLIENT_URLS="http://localhost:2379"   ###此处localhost修改为0.0.0.0
        ETCD_ADVERTISE_CLIENT_URLS="http://localhost:2379" ###此处localhost修改为主机IP地址，如果多个etcd构成集群，直接在后面加url

        完成以后配置后，启动etcd，加入自启动
        systemctl start etcd
        systemctl enable etcd

        配置Kubernetes，进入/etc/kubernetes目录：
        vi apiserver

        KUBE_API_ADDRESS="--insecure-bind-address=0.0.0.0"  ###apiserver服务绑定的地址（个人理解为apiserver监听地址）
        KUBE_ETCD_SERVERS="--etcd-servers=http://192.168.149.134:2379" ###url里面的IP地址修改为etcd配置文件中设置的主机IP地址
        KUBE_SERVICE_ADDRESSES="--service-cluster-ip-range=172.17.0.0/16" ###Kubernetes可以分配的IP范围，Kubernetes启动的每一个pod以及service都会分配一个IP地址，将会从这个范围分配。是Services管理的集群IP地址范围。后面etcd设置存储地址段的目录时，要与该地址段保持一致。
        KUBE_ADMISSION_CONTROL="--admission-control=NamespaceLifecycle,NamespaceExists,LimitRanger,SecurityContextDeny,ResourceQuota" ###是因为安装kubernetes而修改的配置

        vi config
        KUBE_MASTER="--master=http://192.168.149.134:8080" ###此处url中的IP地址修改为master主机IP地址

        2.node配置
    yum install -y kubernetes-node flannel docker

        配置kubernetes，进入/etc/kubernetes目录：
        vi config
        KUBE_MASTER="--master=http://192.168.149.134:8080" ###此处url中的IP地址修改为master主机IP地址

        vi kubelet
        KUBELET_ADDRESS="--address=0.0.0.0" ###kubelet启动后绑定的地址

        KUBELET_HOSTNAME="--hostname-override=node" ###此处为master执行get nodes时显示的名称，填可以解析的主机名或者IP地址，不能随意起

        KUBELET_API_SERVER="--api-servers=http://192.168.149.134:8080" ###此处IP地址为master的主机IP地址

        3.配置flannel，master及node节点上flannel的配置都要一样
      master及node节点，进入/etc/sysconfig目录

        vi flanneld
        FLANNEL_ETCD_ENDPOINTS="http://http://192.168.149.134:2379" ###此处IP地址为etcd配置文件中设置的主机IP地址

        FLANNEL_ETCD_PREFIX="/kube/network" ###下面etcd执行命令时使用该目录

        然后在master节点上执行以下命令：
    etcdctl mkdir /kube/network
    etcdctl mk /kube/network/config '{"Network":"172.17.0.0/16"}'  ###此处网段要与前面apiserver里面配置的参数一致

        4.分别在master、nodes上启动docker、etcd、flanneld并加入自启动
    master：
    systemctl start docker etcd flanneld
    systemctl enable docker etcd flanneld
    node：
    systemctl start docker flanneld
    systemctl enable docker flanneld

        5.启动服务
        启动master上的k8s服务，先启动apiserver
    systemctl start kube-apiserver kube-controller-manager  kube-scheduler
    systemctl enable kube-apiserver kube-controller-manager  kube-scheduler

        启动nodes上的k8s服务
    systemctl start kube-proxy kubelet
    systemctl enable kube-proxy kubelet

        6.验证
        访问http://kube-apiserver:port
        http://192.168.149.134:8080/ 查看所有请求url。

http://192.168.149.134:8080/healthz/ping 查看健康状况。

         在master上查看一些服务是否成功开启

         获取k8s客户端
         kubectl get nodes  ###可以获取到node
         获取k8s命名空间  
         kubectl get namespace ###要有kube-system

         7.开始安装dashboard（坑比较多的地方）
         master开始创建dashboard ui，在该步骤之前要先有kube-system命名空间
         在master上拉取以下代码：wget http://docs.minunix.com/docker/kubernetes-dashboard.yaml   ###wget下载不下来可以用curl -O 这个url下载下来，将里面的- --apiserver-host=http://192.168.149.134:8080  IP地址替换成自己的master主机IP地址，通过master的apiserver来访问运行在node容器中的dashboard

如果下载不下来，可以直接创建kubernetes-dashboard.yaml文件，将下面内容复制到该文件中保存即可

kind: Deployment
apiVersion: extensions/v1beta1
metadata:
  labels:
    app: kubernetes-dashboard
    version: v1.1.1
  name: kubernetes-dashboard
  namespace: kube-system
spec:
  replicas: 1
  selector:
    matchLabels:
      app: kubernetes-dashboard
  template:
    metadata:
      labels:
        app: kubernetes-dashboard
    spec:
      containers:
      - name: kubernetes-dashboard
        image: daocloud.io/minunix/kubernetes-dashboard-amd64:v1.1.1
        imagePullPolicy: Always
        ports:
        - containerPort: 9090
          protocol: TCP
        args:
          # Uncomment the following line to manually specify Kubernetes API server Host
          # If not specified, Dashboard will attempt to auto discover the API server and connect
          # to it. Uncomment only if the default does not work.
        - --apiserver-host=http://192.168.3.7:8080  ## 请修改为自己的kebu-apiserver
        livenessProbe:
          httpGet:
            path: /
            port: 9090
          initialDelaySeconds: 30
          timeoutSeconds: 30
---
kind: Service
apiVersion: v1
metadata:
  labels:
    app: kubernetes-dashboard
  name: kubernetes-dashboard
  namespace: kube-system
spec:
  type: NodePort
  ports:
  - port: 80
    targetPort: 9090
  selector:
    app: kubernetes-dashboard

    如果要通过node的IP地址直接访问dashboard，需要在ports里面添加nodeport
    最后的ports部分替换为：
spec:

type: NodePort
ports:

• port: 80
  targetPort: 9090
  nodePort: 30090 ###该端口自己定义，有取值范围
  selector:
  app: kubernetes-dashboard

  根据以上yaml创建pods：

  kubectl create -f kubernetes-dashboard.yaml

  如果报错，根据提示信息进行处理，如果修改yaml后重新执行上面命令提示已存在，可以执行以下删除命令后再执行创建命令

  kubectl delete -f kubernetes-dashboard.yaml

  8.查看是否创建成功：

  kubectl get pods --namespace=kube-system ###--namespace是指定在哪个命名空间中的pod，不加的话在default中查找

  容器status不为running说明容器状态不正常
  
  使用kubectl describe pods kubernetes-dashboard-2496492025-rwczb --namespace=kube-system命令查看这个容器创建过程中出现的问题，kubernetes-dashboard-2496492025-rwczb是上面命令查询结果中pod的名称
  
  根据提示信息发现是镜像拉取失败，细节是找不到文件或者文件夹，查看/etc/docker/certs.d/registry.access.redhat.com/redhat-ca.crt  是一个软链接，但是链接过去后并没有真实的/etc/rhsm，进行如下操作：
  1).yum安装
     yum install *rhsm*
       安装完成后查看上面的软连接是否有真实的连接文件，如果有，问题解决，手动拉取镜像文件
   docker pull registry.access.redhat.com/rhel7/pod-infrastructure:latest 
  
  2).如果上面的方法无法解决软连接问题，执行下面步骤
   curl -O  http://mirror.centos.org/centos/7/os/x86_64/Packages/python-rhsm-certificates-1.19.10-1.el7_4.x86_64.rpm
  
       执行以下命令
   rpm2cpio python-rhsm-certificates-1.19.10-1.el7_4.x86_64.rpm | cpio -iv --to-stdout ./etc/rhsm/ca/redhat-uep.pem | tee /etc/rhsm/ca/redhat-uep.pem
  
       然后再执行docker pull registry.access.redhat.com/rhel7/pod-infrastructure:latest 手动拉取镜像
       再次执行get pods命令，查看pod状态，发现status变为running，说明应用已正常运行。
  
      9.访问dashboard
  
      可以通过三种方式访问dashboard
      1).kubernetes-dashboard 服务暴露了 NodePort，可以使用 http://NodeIP:nodePort 地址访问 dashboard；

  2).通过 kube-apiserver 访问 dashboard，使用http://masterip:8080 地址访问
  3).通过 kubectl proxy 访问 dashboard：

      10.常用日志查看命令：
      journalctl -xue | kubelet 根据输出解决安装的问题

  kubectl describe pods -n=kube-system 查看内部pod启动错误的原因
  kubectl logs -f pods -n=kube-system 查看容器内部的日志