对docker和kubernetes都不熟悉,搜了很多指导,在kubernetes集群中安装dashboard的时候总是会遇到各种问题,花了两天时间试了很多方法,终于安装成功,主体步骤来自https://blog.csdn.net/chenyufeng1991/article/details/79251498,补全安装过程中遇到的问题及解决方法。

        实验环境:
        1.OS:Centos7.5
            每个操作系统设置一个主机IP
        2.使用的软件包
     master:docker/kubernetes-master/etcd/flannel
     nodes:docker/kubernetes-node/flannel
        3.软件包说明
     kubernetes-master:Kubernetes服务端
     kubernetes-node:Kubernetes客户端
     etcd:服务发现的键值存储(可以理解为中间件,flannel服务通过它记录分配给各pod的地址段,每次分配前会在etcd中查询,从而不会重复分配)
     flannel:打通多台服务器上的docker容器之间的网路互通

        前提条件:
        1.master和node修改SELINUX配置文件,SELINUX=disabled,重启操作系统
        2.master和node执行systemctl stop firewalld和systemctl disable firewalld关闭防火墙,有安全需求的,可以根据需要启动防火墙,放开相应端口
        3.master和node修改主机名,可以使用hostnamectl命令直接修改,也可以修改/etc/hostname文件,将主机名与IP地址对应关系写入/etc/hosts文件
        4.开启路由转发功能,在master和node的/etc/sysctl.conf中添加net.ipv4.ip_forward = 1   执行sysctl -p执行该文件

        安装步骤:
        1.master安装配置

        yum install -y kubernetes-master etcd flannel docker
        此处如果有低版本kubectl等工具会报错,使用rpm -e卸载所有依赖,再次执行此命令即可

        etcd安装完成后配置
        vi /etc/etcd/etcd.conf

        ETCD_LISTEN_CLIENT_URLS="http://localhost:2379"   ###此处localhost修改为0.0.0.0
        ETCD_ADVERTISE_CLIENT_URLS="http://localhost:2379" ###此处localhost修改为主机IP地址,如果多个etcd构成集群,直接在后面加url

        完成以后配置后,启动etcd,加入自启动
        systemctl start etcd
        systemctl enable etcd

        配置Kubernetes,进入/etc/kubernetes目录:
        vi apiserver

        KUBE_API_ADDRESS="--insecure-bind-address=0.0.0.0"  ###apiserver服务绑定的地址(个人理解为apiserver监听地址)
        KUBE_ETCD_SERVERS="--etcd-servers=http://192.168.149.134:2379" ###url里面的IP地址修改为etcd配置文件中设置的主机IP地址
        KUBE_SERVICE_ADDRESSES="--service-cluster-ip-range=172.17.0.0/16" ###Kubernetes可以分配的IP范围,Kubernetes启动的每一个pod以及service都会分配一个IP地址,将会从这个范围分配。是Services管理的集群IP地址范围。后面etcd设置存储地址段的目录时,要与该地址段保持一致。
        KUBE_ADMISSION_CONTROL="--admission-control=NamespaceLifecycle,NamespaceExists,LimitRanger,SecurityContextDeny,ResourceQuota" ###是因为安装kubernetes而修改的配置

        vi config
        KUBE_MASTER="--master=http://192.168.149.134:8080" ###此处url中的IP地址修改为master主机IP地址

        2.node配置
    yum install -y kubernetes-node flannel docker

        配置kubernetes,进入/etc/kubernetes目录:
        vi config
        KUBE_MASTER="--master=http://192.168.149.134:8080" ###此处url中的IP地址修改为master主机IP地址

        vi kubelet
        KUBELET_ADDRESS="--address=0.0.0.0" ###kubelet启动后绑定的地址

        KUBELET_HOSTNAME="--hostname-override=node" ###此处为master执行get nodes时显示的名称,填可以解析的主机名或者IP地址,不能随意起

        KUBELET_API_SERVER="--api-servers=http://192.168.149.134:8080" ###此处IP地址为master的主机IP地址

        3.配置flannel,master及node节点上flannel的配置都要一样
      master及node节点,进入/etc/sysconfig目录

        vi flanneld
        FLANNEL_ETCD_ENDPOINTS="http://http://192.168.149.134:2379" ###此处IP地址为etcd配置文件中设置的主机IP地址

        FLANNEL_ETCD_PREFIX="/kube/network" ###下面etcd执行命令时使用该目录

        然后在master节点上执行以下命令:
    etcdctl mkdir /kube/network
    etcdctl mk /kube/network/config '{"Network":"172.17.0.0/16"}'  ###此处网段要与前面apiserver里面配置的参数一致

        4.分别在master、nodes上启动docker、etcd、flanneld并加入自启动
    master:
    systemctl start docker etcd flanneld
    systemctl enable docker etcd flanneld
    node:
    systemctl start docker flanneld
    systemctl enable docker flanneld

        5.启动服务
        启动master上的k8s服务,先启动apiserver
    systemctl start kube-apiserver kube-controller-manager  kube-scheduler
    systemctl enable kube-apiserver kube-controller-manager  kube-scheduler

        启动nodes上的k8s服务
    systemctl start kube-proxy kubelet
    systemctl enable kube-proxy kubelet

        6.验证
        访问http://kube-apiserver:port
        http://192.168.149.134:8080/ 查看所有请求url。

kubernetes+docker+dashboard安装部署详细步骤_第1张图片

http://192.168.149.134:8080/healthz/ping 查看健康状况。

         在master上查看一些服务是否成功开启

         获取k8s客户端
         kubectl get nodes  ###可以获取到node
         获取k8s命名空间  
         kubectl get namespace ###要有kube-system

         7.开始安装dashboard(坑比较多的地方)
         master开始创建dashboard ui,在该步骤之前要先有kube-system命名空间
         在master上拉取以下代码:wget http://docs.minunix.com/docker/kubernetes-dashboard.yaml   ###wget下载不下来可以用curl -O 这个url下载下来,将里面的- --apiserver-host=http://192.168.149.134:8080  IP地址替换成自己的master主机IP地址,通过master的apiserver来访问运行在node容器中的dashboard

如果下载不下来,可以直接创建kubernetes-dashboard.yaml文件,将下面内容复制到该文件中保存即可

kind: Deployment
apiVersion: extensions/v1beta1
metadata:
  labels:
    app: kubernetes-dashboard
    version: v1.1.1
  name: kubernetes-dashboard
  namespace: kube-system
spec:
  replicas: 1
  selector:
    matchLabels:
      app: kubernetes-dashboard
  template:
    metadata:
      labels:
        app: kubernetes-dashboard
    spec:
      containers:
      - name: kubernetes-dashboard
        image: daocloud.io/minunix/kubernetes-dashboard-amd64:v1.1.1
        imagePullPolicy: Always
        ports:
        - containerPort: 9090
          protocol: TCP
        args:
          # Uncomment the following line to manually specify Kubernetes API server Host
          # If not specified, Dashboard will attempt to auto discover the API server and connect
          # to it. Uncomment only if the default does not work.
        - --apiserver-host=http://192.168.3.7:8080  ## 请修改为自己的kebu-apiserver
        livenessProbe:
          httpGet:
            path: /
            port: 9090
          initialDelaySeconds: 30
          timeoutSeconds: 30
---
kind: Service
apiVersion: v1
metadata:
  labels:
    app: kubernetes-dashboard
  name: kubernetes-dashboard
  namespace: kube-system
spec:
  type: NodePort
  ports:
  - port: 80
    targetPort: 9090
  selector:
    app: kubernetes-dashboard
    如果要通过node的IP地址直接访问dashboard,需要在ports里面添加nodeport
    最后的ports部分替换为:
spec:

type: NodePort
ports:

  • port: 80
    targetPort: 9090
    nodePort: 30090 ###该端口自己定义,有取值范围
    selector:
    app: kubernetes-dashboard

    根据以上yaml创建pods:

    kubectl create -f kubernetes-dashboard.yaml

    如果报错,根据提示信息进行处理,如果修改yaml后重新执行上面命令提示已存在,可以执行以下删除命令后再执行创建命令

    kubectl delete -f kubernetes-dashboard.yaml

    8.查看是否创建成功:

    kubectl get pods --namespace=kube-system ###--namespace是指定在哪个命名空间中的pod,不加的话在default中查找

    容器status不为running说明容器状态不正常
    
    使用kubectl describe pods kubernetes-dashboard-2496492025-rwczb --namespace=kube-system命令查看这个容器创建过程中出现的问题,kubernetes-dashboard-2496492025-rwczb是上面命令查询结果中pod的名称
    
    根据提示信息发现是镜像拉取失败,细节是找不到文件或者文件夹,查看/etc/docker/certs.d/registry.access.redhat.com/redhat-ca.crt  是一个软链接,但是链接过去后并没有真实的/etc/rhsm,进行如下操作:
    1).yum安装
       yum install *rhsm*
         安装完成后查看上面的软连接是否有真实的连接文件,如果有,问题解决,手动拉取镜像文件
     docker pull registry.access.redhat.com/rhel7/pod-infrastructure:latest 
    
    2).如果上面的方法无法解决软连接问题,执行下面步骤
     curl -O  http://mirror.centos.org/centos/7/os/x86_64/Packages/python-rhsm-certificates-1.19.10-1.el7_4.x86_64.rpm
    
         执行以下命令
     rpm2cpio python-rhsm-certificates-1.19.10-1.el7_4.x86_64.rpm | cpio -iv --to-stdout ./etc/rhsm/ca/redhat-uep.pem | tee /etc/rhsm/ca/redhat-uep.pem
    
         然后再执行docker pull registry.access.redhat.com/rhel7/pod-infrastructure:latest 手动拉取镜像
         再次执行get pods命令,查看pod状态,发现status变为running,说明应用已正常运行。
    
        9.访问dashboard
    
        可以通过三种方式访问dashboard
        1).kubernetes-dashboard 服务暴露了 NodePort,可以使用 http://NodeIP:nodePort 地址访问 dashboard;

    2).通过 kube-apiserver 访问 dashboard,使用http://masterip:8080 地址访问
    3).通过 kubectl proxy 访问 dashboard:

        10.常用日志查看命令:
        journalctl -xue | kubelet 根据输出解决安装的问题

    kubectl describe pods -n=kube-system 查看内部pod启动错误的原因
    kubectl logs -f pods -n=kube-system 查看容器内部的日志