1.规划
Master：
192.168.100.181
192.168.100.182
Node：
192.168.100.183
192.168.100.184
192.168.100.185
VIP：
192.168.100.180
ansible主机：
192.168.100.123
所有节点均部署etcd，版本etcd-v3.3.8
在ansible主机生成ssl证书，并将所有证书放在了/root/ssl下(这里我将所有证书分发至所有节点，但是实际有些证书相应节点并不需要，特此说明)
kubernetes二进制包以及压缩后的文件夹均位于/root/下，版本v1.11.1
在node节点部署flannel，版本flannel-v0.10.0
keepalived和haproxy部署在master节点，版本分别为keepalived-2.0.2和haproxy-1.5.18
2.配置ansible主机信任k8s节点
a.安装ansible
# yum -y install ansible # cat /etc/ansible/hosts | egrep -v "^#|^$" [master] 192.168.100.181 192.168.100.182 [node] 192.168.100.183 192.168.100.184 192.168.100.185
b.生成ssh认证所需的公钥和私钥
# ssh-keygen -t rsa -P '' # vim /root/password.txt 192.168.100.181 123456 192.168.100.182 123456 192.168.100.183 123456 192.168.100.184 123456 192.168.100.185 123456
注:password.txt密码文件里为IP及其对应root密码。
c.配置分发密钥的脚本并分发密钥
# vim pass.sh
#!/bin/bash
##分发秘钥
copy-sshkey()
{
file=/root/password.txt
if [ -e $file ]
then
echo "---password文件存在,分发秘钥---"
cat $file | while read line
do
host_ip=`echo $line | awk '{print $1}'`
password=`echo $line | awk '{print $2}'`
echo "$host_ip"
/usr/bin/expect << EOF
set time 20
spawn ssh-copy-id -i .ssh/id_rsa.pub root@$host_ip
expect {
"(yes/no)?"
{
send "yes\n"
expect "password:" {send "$password\n"}
}
"*password:"
{
send "$password\n"
}
}
expect eof
EOF
done
else
echo "---文件不存在---"
fi
}
copy-sshkey
if [ $? == 0 ]
then
echo "---脚本正常执行,删除密码文件--- "
rm -rf $file
else
echo "---脚本未正常执行--- "
fi
# chmod 755 pass.sh
# source pass.sh
d.在ansible主机配置hosts并复制至所有节点(另:请自行更改各节点hostname主机名)
# vim hosts 192.168.100.181 master1 192.168.100.182 master2 192.168.100.183 node01 192.168.100.184 node02 192.168.100.185 node03 # ansible all -m copy -a 'src=hosts dest=/etc/'
3.安装cfssl并签署证书
详见https://github.com/zhijiansd/ansible-k8s下的“安装cfssl并签署证书”
4.安装前准备
# curl -L https://storage.googleapis.com/etcd/v3.3.8/etcd-v3.3.8-linux-amd64.tar.gz -o /root/etcd-v3.3.8-linux-amd64.tar.gz # curl -L https://github.com/coreos/flannel/releases/download/v0.10.0/flannel-v0.10.0-linux-amd64.tar.gz -o flannel-v0.10.0-linux-amd64.tar.gz # wget https://storage.googleapis.com/kubernetes-release/release/v1.11.1/kubernetes-server-linux-amd64.tar.gz # tar -zxvf kubernetes-server-linux-amd64.tar.gz
注:下载的flannel、etcd、kubernetes皆位于/root/下
5.使用ansible-playbook命令部署集群
# git clone https://github.com/zhijiansd/ansible-k8s.git # mkdir -pv /etc/ansible/roles/ # cp -R ansible-k8s/* /etc/ansible/roles/ # ansible-playbook k8s.yaml
6.查看集群状况
# ansible 192.168.100.181 -a "etcdctl --endpoints=https://192.168.100.181:2379 ls /kube/network/subnets"
192.168.100.181 | SUCCESS | rc=0 >>
/kube/network/subnets/10.244.95.0-24
/kube/network/subnets/10.244.72.0-24
/kube/network/subnets/10.244.62.0-24
# ansible 192.168.100.181 -a "kubectl get cs"
192.168.100.181 | SUCCESS | rc=0 >>
NAME STATUS MESSAGE ERROR
scheduler Healthy ok
controller-manager Healthy ok
etcd-1 Healthy {"health":"true"}
etcd-4 Healthy {"health":"true"}
etcd-0 Healthy {"health":"true"}
etcd-3 Healthy {"health":"true"}
etcd-2 Healthy {"health":"true"}
# ansible 192.168.100.181 -a "kubectl get nodes"
192.168.100.181 | SUCCESS | rc=0 >>
NAME STATUS ROLES AGE VERSION
node01 Ready 1h v1.11.1
node02 Ready 1h v1.11.1
node03 Ready 1h v1.11.1
7.与1.8和1.9的不同之处
A.kube-apiserver
--admission-control选项从1.10版开始更改为了--enable-admission-plugins，且顺序无关紧要
关于准入控制器详见:
https://kubernetes.io/docs/reference/access-authn-authz/admission-controllers/
--insecure-bind-address选项现在已经取消，使用http的话，只能使用127.0.0.1:8080查看API
--secure-port，添加该选项，通过HTTPS提供服务的端口进行身份验证和授权
--experimental-encryption-provider-config，现在添加了该选项，用以加密数据，控制API数据在etcd中的加密方式
关于加密数据详见:
https://kubernetes.io/docs/tasks/administer-cluster/encrypt-data/
--kubelet-client-certificate和--kubelet-client-key，现在添加这两项，通过安全的端口和kubelet进行通信
--token-auth-file，这里去掉了该项，在这里我们使用kubeadm命令为每个node分别生成token
B.kube-controller-manager
--address命令现在已经弃用，改用--bind-address命令
--allocate-node-cidrs=true和--service-cluster-ip-range提示说要一起配置，但是--allocate-node-cidrs选项注释为是否在云提供商上分配和设置Pod的CIDR，我这没有上云，所以不甚明了
--leader-elect=true，添加该选项以实现kube-controller-manager高可用，启用选举功能，被选为 leader 的节点负责处理工作，其它节点为阻塞状态
--controllers=*,bootstrapsigner,tokencleaner，添加该选项，启用控制器。“ * ”启用所有默认控制器(默认禁用控制器：bootstrapsigner，tokencleaner)
--experimental-cluster-signing-duration，添加该选项，配置签署证书的有效期(默认值8760h0m0s，即1年)
--kubeconfig，添加该选项，指定 kubeconfig 文件路径，用来连接和验证 kube-apiserver
--use-service-account-credentials=true ，如果为true，请为每个控制器使用单独的服务帐户凭据
--feature-gates=RotateKubeletServerCertificate=true，开启 kublet server 证书自动审批、更新特性
C.kube-scheduler
--leader-elect=true，添加该选项以实现kube-scheduler高可用，启用选举功能，被选为 leader 的节点负责处理工作，其它节点为阻塞状态
--kubeconfig，添加该选项，指定 kubeconfig 文件路径，用来连接和验证 kube-apiserver
D.kubelet
--config，从1.10版开始，作为命令行标志的替代出现，通过该配置文件提供配置管理参数
关于kubelet-config配置，详见
https://kubernetes.io/docs/tasks/administer-cluster/kubelet-config-file/
KubeletConfig中的一些选项:
authentication.x509.clientCAFile: 指定签名客户端证书的 CA 证书，开启 HTTPS认证
authentication.webhook.enabled: 设置为false，关闭 HTTPS bearer token 认证
authentication.anonymous.enabled: 设置为 false，不允许匿名访问 10250 端口
authroization.mode: Kubelet服务器的授权模式。有效选项是AlwaysAllow或Webhook。Webhook模式使用SubjectAcce***eview API来确定授权。（默认为“AlwaysAllow”，授权任何成功通过身份验证的请求）
failSwapOn: 设置为false，关闭对于开启了swap的系统的限制
RotateCertificates: 设置为true，当证书过期时，通过从kube-apiserver请求新证书来自动轮换kubelet客户端证书
featureGates:
RotateKubeletClientCertificate: true
RotateKubeletServerCertificate: true
开启自动轮换的特性
关于kubelet身份验证/授权，详见:
https://kubernetes.io/docs/reference/command-line-tools-reference/kubelet-authentication-authorization/#overview
关于kubelet启用和配置证书轮换，详见:
https://kubernetes.io/docs/tasks/tls/certificate-rotation/
E.kube-proxy
--config，作为命令行标志的替代出现，现在处于alpha版本，以后可能会像kubelet一样强制通过该配置文件提供配置管理参数
注意:在centos7下如果使用ipvs代理模式是有问题的，这是一个bug，详见:
https://github.com/kubernetes/kubernetes/pull/65533
https://bugzilla.redhat.com/show_bug.cgi?id=1496859
https://bugzilla.redhat.com/show_bug.cgi?id=1557599
不过升级到4.x版内核可使用ipvs。
KubeProxyConfig中的一些选项:
clientConnection.kubeconfig: 指定 kubeconfig 文件路径，用来连接和验证 kube-apiserver
8.如要移植使用，请参见https://github.com/zhijiansd/ansible-k8s下的“移植注意事项”更改。如果在安装中有什么问题可以在GitHub上提issue，在博客下提问可能无法关注到问题，希望能解答你的问题。
注:
该篇文章参考了kubelet的证书轮换，地址:https://github.com/opsnull/follow-me-install-kubernetes-cluster