K8S二进制部署之定义CA证书与ETCD

目录

引言

(1)kubeadm

(2)二进制包

kubeadm安装方式此链接有

一、CA证书

二、制作K8S集群证书流程

1、制作官方颁发的证书:

2、制作master端的证书(用于内部加密通讯,同时为了给与Client端颁发master签名的证书)

3、制作worker node端证书

CA 证书机构 (签发电子证书)

三、K8S 二进制集群部署

K8S二进制部署

四、ETCD集群部署

环境部署

 1、docker部署(所有节点)

五、ETCD集群部署

master节点操作

1、定义两个脚本

 创建ca证书

创建cfssl类型工具下载脚本

​编辑 #定义ca证书

​编辑 到node节点修改


引言

 目前生产部署Kubernetes集群主要有两种方式:

(1)kubeadm

Kubeadm 是一个 K8s 部署工具,提供 kubeadm init 和 kubeadm join,用于快速部 署 Kubernetes 集群。
官方地址:https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm/

(2)二进制包

从 github 下载发行版的二进制包,手动部署每个组件,组成 Kubernetes 集群。
Kubeadm 降低部署门槛,但屏蔽了很多细节,遇到问题很难排查。如果想更容易可 控,推荐使用二进制包部署 Kubernetes 集群,虽然手动部署麻烦点,期间可以学习很 多工作原理,也利于后期维护。
 

kubeadm安装方式此链接有

(11条消息) Kubernetes部署_啊啊啊啊啊建的博客-CSDN博客

一、CA证书

CA证书中包含密钥对 (rsa 非对称密钥)
CA证书可以对通信加密,同时标识身份的唯一性
.pem :证书

二、制作K8S集群证书流程

1、制作官方颁发的证书:

① 、创建ca密钥(文件定义) ca-key.pem
② 、创建ca证书(文件定义) ca.pem

2、制作master端的证书(用于内部加密通讯,同时为了给与Client端颁发master签名的证书)

① 创建过程:需要以下几部
设置私钥 确保安全加密 .pem
私钥签名 确保身份真实 .csr
制作证书(需要CA官方颁发) cert.pem
② 创建私钥
③ 私钥签名
④ 使用ca证书与密钥证书签名

3、制作worker node端证书

① 由master端制作node端密钥
② 对node端的证书进行签名
③ 创建一个配置文件(区别于服务端,进行客户端验证)
④ 生成证书

CA 证书机构 (签发电子证书)

在 Kubernetes 的组件之间进行通信时,数字证书的验证是在协议层面通过 TLS 完成的,除了需要在建立通信时提供相关的证书和密钥外,在应用层面并不需要进行特殊处理。采用 TLS 进行验证有两种方式:

        1、 服务器单向认证:只需要服务器端提供证书,客户端通过服务器端证书验证服务的身份,但服务器并不验证客户端的身份。这种情况
一般适用于对Internet开放的服务,例如搜索引擎网站,任何客户端都可以连接到服务器上进行访问,但客户端需要验证服务器的身份,以避免连接到伪造的恶意服务器。
        2 双向 TLS 认证:除了客户端需要验证服务器的证书,服务器也要通过客户端证书验证客户端的身份。这种情况下服务器提供的是敏感信息
,只允许特定身份的客户端访问。在Kubernetes中,各个组件提供的接口中包含了集群的内部信息。如果这些接口被非法访问,将影响集群的安全,因此组件之间的通信需要采用双向TLS认证。即客户端和服务器端都需要验证对方的身份信息。在两个组件进行双向认证时,会涉及到下面这些证书相关的文件:

        ① 服务器端证书:服务器用于证明自身身份的数字证书,里面主要包含了服务器端的公钥以及服务器的身份信息。
        ② 服务器端私钥:服务器端证书中包含的公钥所对应的私钥。公钥和私钥是成对使用的,在进行TLS验证时,服务器使用该私钥来向客户端
证明自己是服务器端证书的拥有者
        ③ 客户端证书:客户端用于证明自身身份的数字证书,里面主要包含了客户端的公钥以及客户端的身份信息。
        ④ 客户端私钥:客户端证书中包含的公钥所对应的私钥,同理,客户端使用该私钥来向服务器端证明自己是客户端证书的拥有者。
        ⑤ 服务器端 CA 根证书:签发服务器端证书的 CA 根证书,客户端使用该 CA 根证书来验证服务器端证书的合法性。
        ⑥ 客户端端 CA 根证书:签发客户端证书的 CA 根证书,服务器端使用该 CA 根证书来验证客户端证书的合法性。

三、K8S 二进制集群部署

k8s 默认有三种部署方式:Minikube 、kubeadm、 二进制 ————》工具部署/云平台部署

K8S二进制部署

分为几个模块部署
1、ETCD集群
2、FLANNEL网络
3、单master部署
4、node部署
5、多master署(LB部署haproxy + keepalived 或者nginx + keepalived )

四、ETCD集群部署

环境部署

官网源码包下载:https://github.com/kubernetes/kubernetes/releases?after=v1.13.1
ETCD 二进制包地址:https://github.com/etcd-io/etcd/releases

服务器类型 IP地址
master 192.168.32.10
node01 192.168.32.30
node02 192.168.32.40
vim /etc/hosts
192.168.32.10 master01
192.168.32.30 node01
192.168.32.40 node02

K8S二进制部署之定义CA证书与ETCD_第1张图片

 1、docker部署(所有节点)

yum install -y yum-utils device-mapper-persistent-data lvm2

cd /etc/yum.repos.d/
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

yum install -y docker-ce

systemctl stop firewalld
systemctl disable firewalld

setenforce 0

systemctl start docker
systemctl enable docker

tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": ["https://jqqwsp8f.mirror.aliyuncs.com"]
}
EOF
systemctl daemon-reload
systemctl restart docker

vim /etc/sysctl.conf
net.ipv4.ip_forward=1

sysctl -p
systemctl restart network
systemctl restart docker 

swapoff -a 

K8S二进制部署之定义CA证书与ETCD_第2张图片

K8S二进制部署之定义CA证书与ETCD_第3张图片

K8S二进制部署之定义CA证书与ETCD_第4张图片

K8S二进制部署之定义CA证书与ETCD_第5张图片

K8S二进制部署之定义CA证书与ETCD_第6张图片

五、ETCD集群部署

master节点操作

1、定义两个脚本

mkdir k8s
cd k8s
ls
etcd-cert.sh  etcd.sh
#etcd-cert.sh 是证书制作的脚本
#etcd.sh etcd启动脚本

cat etcd-cert.sh 
cat > ca-config.json < ca-csr.json < server-csr.json <

K8S二进制部署之定义CA证书与ETCD_第7张图片

K8S二进制部署之定义CA证书与ETCD_第8张图片 小结:

① 首先,必须先向CA机构申请证书,并且说明申请证书的用途(ca-config.json ——》www模块)
② 制作CA官方的证书文件,包含ca-Key.pem 密钥文件+ ca.pem 证书文件 ——————》官方的
③ 再根据官方认证的CA.PEM + CA-KEY.PEM 来制作server端的证书

查看etcd 启动脚本

#!/bin/bash
#以下为使用格式:etcd名称 当前etcd的IP地址+完整的集群名称和地址
# example: ./etcd.sh etcd01 192.168.1.10 etcd02=https://192.168.1.11:2380,etcd03=https://192.168.1.12:2380

ETCD_NAME=$1						#位置变量1:etcd节点名称
ETCD_IP=$2							#位置变量2:节点地址
ETCD_CLUSTER=$3						#位置变量3:集群

WORK_DIR=/opt/etcd					#指定工作目录(⭐⭐⭐⭐一定要写绝对路径)

cat <$WORK_DIR/cfg/etcd				#在指定工作目录创建ETCD的配置文件
#[Member]
ETCD_NAME="${ETCD_NAME}"				#etcd名称
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://${ETCD_IP}:2380"		#etcd IP地址:2380端口。用于集群之间通讯
ETCD_LISTEN_CLIENT_URLS="https://${ETCD_IP}:2379"	#etcd IP地址:2379端口,用于开放给外部客户端通讯

#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://${ETCD_IP}:2380"
ETCD_ADVERTISE_CLIENT_URLS="https://${ETCD_IP}:2379"	#对外提供的url使用https的协议进行访问
ETCD_INITIAL_CLUSTER="etcd01=https://${ETCD_IP}:2380,${ETCD_CLUSTER}"		#多路访问
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"		#tokens 令牌环名称:etcd-cluster
ETCD_INITIAL_CLUSTER_STATE="new"			#状态,重新创建
EOF

cat </usr/lib/systemd/system/etcd.service		#定义ectd的启动脚本
[Unit]										#基本项			
Description=Etcd Server						#类似为 etcd 服务
After=network.target						
After=network-online.target
Wants=network-online.target

[Service]									#服务项
Type=notify
EnvironmentFile=${WORK_DIR}/cfg/etcd		#etcd文件位置
ExecStart=${WORK_DIR}/bin/etcd \			#准启动状态及以下的参数
--name=\${ETCD_NAME} \
--data-dir=\${ETCD_DATA_DIR} \
--listen-peer-urls=\${ETCD_LISTEN_PEER_URLS} \
--listen-client-urls=\${ETCD_LISTEN_CLIENT_URLS},http://127.0.0.1:2379 \
--advertise-client-urls=\${ETCD_ADVERTISE_CLIENT_URLS} \ #以下为群集内部的设定
--initial-advertise-peer-urls=\${ETCD_INITIAL_ADVERTISE_PEER_URLS} \
--initial-cluster=\${ETCD_INITIAL_CLUSTER} \
--initial-cluster-token=\${ETCD_INITIAL_CLUSTER_TOKEN} \	#群集内部通信,也是使用的令牌,为了保证安全(防范中间人窃取)
--initial-cluster-state=new \
--cert-file=${WORK_DIR}/ssl/server.pem \		#证书相关参数
--key-file=${WORK_DIR}/ssl/server-key.pem \
--peer-cert-file=${WORK_DIR}/ssl/server.pem \
--peer-key-file=${WORK_DIR}/ssl/server-key.pem \
--trusted-ca-file=${WORK_DIR}/ssl/ca.pem \
--peer-trusted-ca-file=${WORK_DIR}/ssl/ca.pem
Restart=on-failure
LimitNOFILE=65536								#开放最多的端口号

[Install]
WantedBy=multi-user.target						#进行启动
EOF

systemctl daemon-reload							#参数重载
systemctl enable etcd
systemctl restart etcd

 创建ca证书

首先,创建证书目录,复制k8s目录下的证书创建脚本

mkdir etcd-cert
mv etcd-cert.sh etcd-cert
ls
ls etcd-cert

创建cfssl类型工具下载脚本

先从官网源中制作证书的工具下载下来
cat cfssl.sh

K8S二进制部署之定义CA证书与ETCD_第9张图片 

#先从官网源中制作证书的工具下载下来,(-o:导出)放在/usr/local/bin中便于系统识别
curl -L https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 -o /usr/local/bin/cfssl

#从另一个站点源中下载cfssljson工具,用于识别json配置文件格式
curl -L https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 -o /usr/local/bin/cfssljson

#下载cfssl-certinfo工具
curl -L https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64 -o /usr/local/bin/cfssl-certinfo

#给与权限
chmod +x /usr/local/bin/cfssl /usr/local/bin/cfssljson /usr/local/bin/cfssl-certinfo
 bash cfssl.sh

cd /usr/local/bin
ls

chmod +x *

K8S二进制部署之定义CA证书与ETCD_第10张图片

#返回etcd-cert目录

 #定义ca证书

cat > ca-config.json <

 #定义证书签名文件

cat > ca-csr.json <
#生成证书,生成ca-key.pem 和ca.pem
cfssl gencert -initca ca-csr.json | cfssljson -bare ca -
##指定etcd三个节点之间的通信验证使用的证书
#etcd节点服务端的签名文件
cat > server-csr.json <
#根据服务端签名文件生成证书
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=www server-csr.json | cfssljson -bare server

##以上签名文件制作完毕

K8S二进制部署之定义CA证书与ETCD_第11张图片

mkdir /opt/etcd/{cfg,bin,ssl} -p
ls /opt/etcd/*

K8S二进制部署之定义CA证书与ETCD_第12张图片 

cp etcd etcdctl /opt/etcd/bin/
到k8s目录下
cd etcd-cert/
cp *.pem /opt/etcd/ssl/
ls /opt/etcd/ssl

K8S二进制部署之定义CA证书与ETCD_第13张图片

 这里会卡,会报错,因为其他节点还没用加入进来

bash etcd.sh etcd01 192.168.32.10 etcd02=https://192.168.32.30:2380,etcd03=https://192.168.32.40:2380

ps -aux | grep etcd | grep -v grep

K8S二进制部署之定义CA证书与ETCD_第14张图片

scp -r /opt/etcd/ [email protected]:/opt/
scp -r /opt/etcd/ [email protected]:/opt/
scp /usr/lib/systemd/system/etcd.service [email protected]:/usr/lib/systemd/system/
scp /usr/lib/systemd/system/etcd.service [email protected]:/usr/lib/systemd/system/

K8S二进制部署之定义CA证书与ETCD_第15张图片

K8S二进制部署之定义CA证书与ETCD_第16张图片 

 到node节点修改

vim /opt/etcd/cfg/etcd

K8S二进制部署之定义CA证书与ETCD_第17张图片

K8S二进制部署之定义CA证书与ETCD_第18张图片

K8S二进制部署之定义CA证书与ETCD_第19张图片

K8S二进制部署之定义CA证书与ETCD_第20张图片

/opt/etcd/bin/etcdctl --ca-file=ca.pem --cert-file=server.pem --key-file=server-key.pem --endpoints="https://192.168.32.10:2379,https://192.168.32.30:2379,https://192.168.32.40:2379" cluster-health

你可能感兴趣的:(java,kubernetes,开发语言)