DCOS之kubernetes集群搭建
环境准备：
| IP | 角色 |
数量
|
|---|---|---|
|
192.168.0.30/10.10.0.11
|
kubernetes master、etcd |
1
|
|
192.168.0.31/10.10.0.10
|
kubernetes node、etcd |
1
|
|
192.168.0.32/10.10.0.12
|
kubernetes node、etcd | 1 |
安装软件包：
Master
yum install kubernetes-master etcd -y
Node
yum install kubernetes-node etcd -y
配置etcd集群：
192.168.0.30：
# [member] ETCD_NAME=192.168.0.30 ETCD_DATA_DIR="/var/lib/etcd/default.etcd" ETCD_LISTEN_PEER_URLS="http://10.10.0.11:2380" ETCD_LISTEN_CLIENT_URLS="http://10.10.0.11:4001,http://127.0.0.1:4001" # [cluster] # if you use different ETCD_NAME (e.g. test), set ETCD_INITIAL_CLUSTER value for this name, i.e. "test=http://..." ETCD_INITIAL_ADVERTISE_PEER_URLS=“http://10.10.0.11:2380" ETCD_INITIAL_CLUSTER="192.168.0.30=http://10.10.0.11:2380,192.168.0.31=http://10.10.0.10:2380,192.168.0.32=http://10.10.0.12:2380" ETCD_ADVERTISE_CLIENT_URLS="http://10.10.0.11:4001"
针对几个URLS做下简单的解释：
[member]
- ETCD_NAME ：ETCD的节点名
- ETCD_DATA_DIR：ETCD的数据存储目录
- ETCD_SNAPSHOT_COUNTER：多少次的事务提交将触发一次快照
- ETCD_HEARTBEAT_INTERVAL：ETCD节点之间心跳传输的间隔，单位毫秒
- ETCD_ELECTION_TIMEOUT：该节点参与选举的最大超时时间，单位毫秒
- ETCD_LISTEN_PEER_URLS：该节点与其他节点通信时所监听的地址列表，多个地址使用逗号隔开，其格式可以划分为scheme://IP:PORT，这里的scheme可以是http、https
- ETCD_LISTEN_CLIENT_URLS：该节点与客户端通信时监听的地址列表
[cluster]
- ETCD_INITIAL_ADVERTISE_PEER_URLS：该成员节点在整个集群中的通信地址列表，这个地址用来传输集群数据的地址。因此这个地址必须是可以连接集群中所有的成员的。
- ETCD_INITIAL_CLUSTER：配置集群内部所有成员地址，其格式为：ETCD_NAME=ETCD_INITIAL_ADVERTISE_PEER_URLS，如果有多个使用逗号隔开
- ETCD_ADVERTISE_CLIENT_URLS：广播给集群中其他成员自己的客户端地址列表
192.168.0.31：
# [member] ETCD_NAME=192.168.0.31 ETCD_DATA_DIR="/var/lib/etcd/default.etcd" ETCD_LISTEN_PEER_URLS="http://10.10.0.10:2380" ETCD_LISTEN_CLIENT_URLS="http://10.10.0.10:4001,http://127.0.0.1:4001" # [cluster] # if you use different ETCD_NAME (e.g. test), set ETCD_INITIAL_CLUSTER value for this name, i.e. "test=http://..." ETCD_INITIAL_ADVERTISE_PEER_URLS=“http://10.10.0.10:2380" ETCD_INITIAL_CLUSTER="192.168.0.30=http://10.10.0.11:2380,192.168.0.31=http://10.10.0.10:2380,192.168.0.32=http://10.10.0.12:2380" ETCD_ADVERTISE_CLIENT_URLS="http://10.10.0.11:4001"
192.168.0.32:
# [member] ETCD_NAME=192.168.0.32 ETCD_DATA_DIR="/var/lib/etcd/default.etcd" ETCD_LISTEN_PEER_URLS="http://10.10.0.12:2380" ETCD_LISTEN_CLIENT_URLS="http://10.10.0.12:4001,http://127.0.0.1:4001" # [cluster] # if you use different ETCD_NAME (e.g. test), set ETCD_INITIAL_CLUSTER value for this name, i.e. "test=http://..." ETCD_INITIAL_ADVERTISE_PEER_URLS=“http://10.10.0.12:2380" ETCD_INITIAL_CLUSTER="192.168.0.30=http://10.10.0.11:2380,192.168.0.31=http://10.10.0.10:2380,192.168.0.32=http://10.10.0.12:2380" ETCD_ADVERTISE_CLIENT_URLS="http://10.10.0.12:4001"
配置Master
配置apiserver
/etc/kubernetes/apiserver
KUBE_API_ADDRESS="--address=0.0.0.0" # The port on the local server to listen on. KUBE_API_PORT="--port=8080" # Port minions listen on KUBELET_PORT="--kubelet_port=10250" # Comma separated list of nodes in the etcd cluster KUBE_ETCD_SERVERS="--etcd_servers=http://10.10.0.11:4001,http://10.10.0.10:4001,http://10.10.0.12:4001" # Address range to use for services KUBE_SERVICE_ADDRESSES="--service-cluster-ip-range=172.42.0.0/16" # default admission control policies KUBE_ADMISSION_CONTROL="--admission_control=NamespaceLifecycle,NamespaceExists,LimitRanger,SecurityContextDeny,ServiceAccount,ResourceQuota" # Add your own! KUBE_API_ARGS=""
配置controller-manager
/etc/kubernetes/controller-manager
KUBELET_ADDRESS="--machines=10.10.0.11,10.10.0.12" # Add your own! KUBE_CONTROLLER_MANAGER_ARGS="--service-account-private-key-file=/var/run/kubernetes/apiserver.key --root-ca-file=/var/run/kubernetes/apiserver.crt"
创建kubernetes集群的证书目录
mkdir -p /var/run/kubernetes chown -R kube.kube /var/run/kubernetes
启动Master上的三个服务
systemctl start kube-apiserver systemctl start kube-controller-manager systemctl start kube-scheduler systemctl enable kube-apiserver systemctl enable kube-controller-manager systemctl enable kube-scheduler
配置Node
分别在节点192.168.0.31 , 192.168.0.32上按照以下进行配置。现仅列出一个节点的具体配置。
配置kubelet
/etc/kubernetes/kubelet
KUBELET_ADDRESS="--address=0.0.0.0" # The port for the info server to serve on KUBELET_PORT="--port=10250" # You may leave this blank to use the actual hostname KUBELET_HOSTNAME="--hostname_override=192.168.0.31" # location of the api-server KUBELET_API_SERVER="--api_servers=http://10.10.0.11:8080" # Add your own! KUBELET_ARGS="--pod-infra-container-image=docker.io/kubernetes/pause:latest"
配置config
/etc/kubernetes/config
KUBE_LOGTOSTDERR="--logtostderr=true" # journal message level, 0 is debug KUBE_LOG_LEVEL="--v=0" # Should this cluster be allowed to run privileged docker containers KUBE_ALLOW_PRIV="--allow_privileged=false" # How the controller-manager, scheduler, and proxy find the apiserver KUBE_MASTER="--master=http://10.10.0.11:8080"
配置docker
/etc/sysconfig/docker
OPTIONS='--selinux-enabled=false --log-level=warning'
启动相关服务
systemctl start kubelet systemctl start kube-proxy systemctl enable kubelet systemctl enable kube-proxy
基础架构验证
在Master上查看集群信息
# kubectl get node NAME LABELS STATUS 192.168.0.31 kubernetes.io/hostname=192.168.0.31 Ready 192.168.0.32 kubernetes.io/hostname=192.168.0.32 Ready
创建一个pod
# kubectl run my-nginx --image=nginx --replicas=1 --port=80 CONTROLLER CONTAINER(S) IMAGE(S) SELECTOR REPLICAS my-nginx my-nginx nginx run=my-nginx 1
网络配置
这里网络部分是以插件的形式配置在kubernetes集群中，这里选用flannel。
安装flannel
在node 192.168.0.31、192.168.0.32安装flannel
# yum install flannel -y
配置flannel
# cat /etc/sysconfig/flannel FLANNEL_ETCD="http://10.10.2.120:4001" FLANNEL_ETCD_KEY="/coreos.com/network"
为flannel创建分配的网络
# etcdctl mk /coreos.com/network/config '{"Network": "172.16.0.0/16"}'
重置docker0网桥的配置
删除docker启动时默认创建的docker0网桥，flannel启动时会获取到一个网络地址，并且配置docker0的IP地址，作为该网络的网关地址，如果此时docker0上配置有IP地址，那么flannel将会启动失败。
# ip link del docker0
开启防火墙使用iptables service
这 里需要开启iptables，flanneld使container可以跨节点通信使用的是iptables的NAT功能，所以需要开启 iptables，我这里个人比较喜欢使用iptables，对于新的管理服务firewalld，我选择使用iptables来替代。
# yum install iptables-services -y # systemctl disable firewalld # systemctl stop firewalld # iptables -F # iptables-save # systemctl enable iptables # systemctl start iptables
启动flannel
# systemctl enable flanneld # systemctl start flanneld
查看原文：http://www.zoues.com/index.php/2016/02/27/dcos-k8s1/