参考
https://www.cnblogs.com/netsa/category/1137187.html
http://www.eryajf.net/category/%E6%9C%AF%E4%B8%9A%E4%B8%93%E6%94%BB/%E4%BA%91%E8%AE%A1%E7%AE%97/k8s
以下记录安装的问题
（一）--证书安装
创建kubernetes证书的时候，echo '{"CN":"kubernetes","hosts":[""],"key":{"algo":"rsa","size":2048}}' | cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes -hostname="127.0.0.1,10.10.90.105,10.10.90.106,10.10.90.106,10.254.0.1,kubernetes,kubernetes.default" - | cfssljson -bare kubernetes
这个10.254.0.1这个ip一定要加进去
如果忘记加这个集群ip，后面来重新生成的话，建议做以下操作
1.etcdctl \
--ca-file=/etc/kubernetes/ssl/ca.pem \
--cert-file=/etc/kubernetes/ssl/kubernetes.pem \
--key-file=/etc/kubernetes/ssl/kubernetes-key.pem \
cluster-health
2.flannel
ETCD_ENDPOINTS='https://172.1.1.131:2379,https://172.1.1.132:2379,https://172.1.1.133:2379'
etcdctl --endpoints=${ETCD_ENDPOINTS} \
--ca-file=/etc/kubernetes/ssl/ca.pem \
--cert-file=/etc/kubernetes/ssl/kubernetes.pem \
--key-file=/etc/kubernetes/ssl/kubernetes-key.pem \
ls /kube-centos/network/subnets
3.kubectl get componentstatuses && ss -antl
4.查看kubernetes证书和私钥，检查是否更改成功
kubernetes.csr kubernetes-csr.json kubernetes-key.pem kubernetes.pem
openssl x509 -noout -text -in kubernetes.pem
kubernetes.csr kubernetes-csr.json kubernetes-key.pem kubernetes.pem
5.重启api等服务
systemctl restart kube-apiserver
systemctl restart kube-controller-manager
systemctl restart kube-scheduler
systemctl restart etcd
（二）--证书kubeconfig文件创建
1.token.csv文件 格式
不要使用提到的方式生成，正确的格式为
0c85f5.d0f24e941bc1273f,kubelet-bootstrap,10001,"system:kubelet-bootstrap"
这个格式的错误，直接导致node kubelet启动后，不能用正确的角色来发送证书请求，会报错system:anonymous，太坑
这个nodes也需要复制过去
（三）--创建高可用etcd集群
（四）--Master节点安装
1.service-node-port-range=30000-32767
2.日志可能会出现连接8080端口失败，这个是因为监听端口在127.0.0.1
cat /etc/kubernetes/apiserver
KUBE_API_ADDRESS="--advertise-address=172.1.1.131 --bind-address=172.1.1.131 --insecure-bind-address=172.1.1.131"
3.ss -antlp 查看监控端口
（五）--安装flannel网络插件
1.可能需要增加这个文件
[root@master etc]# cat /etc/cni/net.d/10-default.conf
{
"name": "flannel",
"type": "flannel",
"delegate": {
"bridge": "docker0",
"isDefaultGateway": true,
"mtu": 1400
}
}
2.在etcd中常见网络配置信息
3.核对相关配置信息
4.Kubernetes使用flannel做跨主机通讯的注意要点 - onlonely
iptables -P INPUT ACCEPT
iptables -P FORWARD ACCEPT
iptables -F
iptables -L -n
（六）--node节点部署
1.[root@node1 ~]# cat /etc/kubernetes/config|grep -v "#"
KUBE_LOGTOSTDERR="--logtostderr=true"
KUBE_LOG_LEVEL="--v=0"
KUBE_ALLOW_PRIV="--allow-privileged=true"
KUBE_MASTER="--master=https://172.1.1.131:6443"
KUBE_MASTER 一定要改成https
2.swap 分区请在/etc/fstab注释掉，并重启虚拟机和所有服务
3.[root@node1 system]# cat docker.service|grep -v "#"
[Unit]
Description=Docker Application Container Engine
Documentation=https://docs.docker.com
After=network-online.target firewalld.service flanneld.service
Wants=network-online.target
Requires=flanneld.service
[Service]
Type=notify
EnvironmentFile=-/run/flannel/docker
ExecStartPost=/sbin/iptables -I FORWARD -s 0.0.0.0/0 -j ACCEPT
ExecStart=/usr/bin/dockerd $DOCKER_NETWORK_OPTIONS --insecure-registry hh.registry.com --exec-opt native.cgroupdriver=systemd
ExecReload=/bin/kill -s HUP $MAINPID
LimitNOFILE=infinity
LimitNPROC=infinity
LimitCORE=infinity
TimeoutStartSec=0
Delegate=yes
KillMode=process
Restart=on-failure
StartLimitBurst=3
StartLimitInterval=60s
[Install]
WantedBy=multi-user.target
cat /run/flannel/docker
DOCKER_OPT_BIP="--bip=10.30.87.1/24"
DOCKER_OPT_IPMASQ="--ip-masq=true"
DOCKER_OPT_MTU="--mtu=1500"
DOCKER_NETWORK_OPTIONS=" --bip=10.30.87.1/24 --ip-masq=true --mtu=1500"
4.至于防火墙要不要关闭，有的人说k8s依赖于iptables
5.配置前我们需要现在master节点上执行如下操作，创建认证角色：
cd /etc/kubernetes
kubectl create clusterrolebinding kubelet-bootstrap \
--clusterrole=system:node-bootstrapper \
--user=kubelet-bootstrap
6.kube-proxy服务是代理作用，类似负载均衡一样，对外提供访问
（七）--coredns安装
1.安装方式有两种，上面参考的链接都可以
2.kubectl cluster-info查看
3.kubectl get services coredns -n kube-system 或者kubectl get pods -n kube-system -o wide
4.排错 kubectl logs -f coredns-6b66c5975c-lz5ss -n kube-system
（八）-- kubernetes-dashboard安装
1.dashboard 依赖于heapster，请参考<七>部署web-ui-kubernetes-1.8.6集群搭建，注意yaml文件中镜像地址的修改
2.kubectl delete -f deploy/kube-config/rbac/heapster-rbac.yaml
kubectl delete -f deploy/kube-config/influxdb/
3.访问dashboard，按照文章的去访问，我访问不了，好像是哪台node上启动了grafana，就是访问的哪台，当然可以固定一个node上，master做node我没有实现，原因在于启动kubelet端口需要改，嫌麻烦，不想弄
4.node1:4194 是监控信息，也可以通过浏览器访问
5.请选择所有命名空间
6.权限没有控制，任何都可以通过这个地址访问
Add
kubectl label nodes 172.1.1.132 zone=dashboard
cat /etc/kubernetes/yamlfile/heapster-1.5.0/deploy/kube-config/influxdb