Jenkins骚操作第十三章之基于Kubernetes/K8S构建Jenkins持续集成平台(上)
文章目录
- 一、什么是Master-Slave分布式构建
- 二、操作流程
-
-
- 1、开启代理程序的TCP端口
- 2、新建节点
- 3、使用流水线项目
-
- 三、K8S实现master-slave分布式构建方案
-
-
- 1、传统Jenkins的master-slave方案缺陷
- 2、k8s简介
- 3、优势
-
- 四、安装K8S
-
-
- 1、三台机器安装docker
- 2、三台机器修改名称及hosts文件
- 3、关闭防火墙和关闭SELINUX
- 4、安装kubelet、kubeadm、kubectl
- 5、清空yum缓存
- 6、设置Yum安装源
- 7、master节点
- 8、常见错误
-
- 8.1、错误一
- 8.2、错误二
- 9、提示节点token命令
- 10、启动kubelet
- 11、安装calico
- 12、slave节点
- 13、kubectl常用命令
-
一、什么是Master-Slave分布式构建
Jenkins的Master-Slave分布式构建，就是通过将构建过程分配到从属Slave节点上，从而减轻Master节 点的压力，而且可以同时构建多个，有点类似负载均衡的概念。
二、操作流程
1、开启代理程序的TCP端口
2、新建节点
Manage Jenkins—Manage Nodes—新建节点
这个下载的jar包需要传递到从节点服务器上
==在192.168.10.134中下载git ==
yum install -y git
配置运行节点slave1
3、使用流水线项目
node('slave1'){
stage('pull code') {
checkout([$class: 'GitSCM', branches: [[name: '*/master']], extensions: [], userRemoteConfigs: [[credentialsId: 'fc695d81-0a6f-4319-96b0-6c4cede451ec', url: '[email protected]:root/tensquare_back.git']]])
}
}
查看分节点
三、K8S实现master-slave分布式构建方案
1、传统Jenkins的master-slave方案缺陷
1、Master节点发生单点故障时，整个流程都不可用了
2、每个 Slave节点的配置环境不一样，来完成不同语言的编译打包等操作，但是这些差异化的配置导致
3、资源分配不均衡，有的 Slave节点要运行的job出现排队等待，而有的Slave节点处于空闲状态
4、资源浪费，每台 Slave节点可能是实体机或者VM，当Slave节点处于空闲状态时，也不会完全释放掉资源
2、k8s简介
Kubernetes（简称，K8S）是Google开源的容器集群管理系统，在Docker技术的基础上，为容器化的 应用提供部署运行、资源调度、服务发现和动态伸缩等一系列完整功能，提高了大规模容器集群管理的 便捷性。 其主要功能如下：
1、使用Docker对应用程序包装(package)、实例化(instantiate)、运行(run)。
2、以集群的方式运行、管理跨机器的容器。以集群的方式运行、管理跨机器的容器。 解决Docker跨机器容器之间的通讯问题。解决Docker跨机器容器之间的通讯问题。
3、Kubernetes的自我修复机制使得容器集群总是运行在用户期望的状态。
大致工作流程：手动/自动构建 -> Jenkins 调度 K8S API -＞动态生成 Jenkins Slave pod -＞ Slave pod 拉取 Git 代码／编译／打包镜像 -＞推送到镜像仓库 Harbor -＞ Slave 工作完成，Pod 自动销毁 -＞部署到测试或生产 Kubernetes平台。（完全自动化，无需人工干预）
3、优势
1、服务高可用：当 Jenkins Master 出现故障时，Kubernetes 会自动创建一个新的 Jenkins Master
容器，并且将 Volume 分配给新创建的容器，保证数据不丢失，从而达到集群服务高可用。
2、动态伸缩，合理使用资源：每次运行 Job 时，会自动创建一个 Jenkins Slave，Job 完成后，Slave 自动注销并删除容器，资源自动释放，而且 Kubernetes 会根据每个资源的使用情况，动态分配Slave 到空闲的节点上创建，降低出现因某节点资源利用率高，还排队等待在该节点的情况。
3、扩展性好：当 Kubernetes 集群的资源严重不足而导致 Job 排队等待时，可以很容易的添加一个
Kubernetes Node 到集群中，从而实现扩展。
四、安装K8S
API Server：用于暴露Kubernetes API，任何资源的请求的调用操作都是通过kube-apiserver提供的接口进行的。
Etcd：是Kubernetes提供默认的存储系统，保存所有集群数据，使用时需要为etcd数据提供备份计划。
Controller-Manager：作为集群内部的管理控制中心，负责集群内的Node、Pod副本、服务端点
（Endpoint）、命名空间（Namespace）、服务账号（ServiceAccount）、资源定额
（ResourceQuota）的管理，当某个Node意外宕机时，Controller Manager会及时发现并执行自动化修复流程，确保集群始终处于预期的工作状态
Scheduler：监视新创建没有分配到Node的Pod，为Pod选择一个Node。
Kubelet：负责维护容器的生命周期，同时负责Volume和网络的管理
Kube proxy：是Kubernetes的核心组件，部署在每个Node节点上，它是实现Kubernetes Service的通信与负载均衡机制的重要组件
安装环境说明
1、三台机器安装docker
yum install -y yum-utils device-mapper-persistent-data lvm2
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
yum install -y docker-ce
systemctl stop firewalld.service
setenforce 0
systemctl disable firewalld.service
systemctl start docker
Docker -v
sudo systemctl enable docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
"registry-mirrors"：["https://8er2zxqs.mirror.aliyuncs.com"]
}
EOF
sudo systemctl daemon-reload
sudo systemctl restart docker
vim /etc/sysctl.conf
net.ipv4.ip_forward=1
sysctl -p
service network restart
systemctl restart docker
2、三台机器修改名称及hosts文件
hostnamectl set-hostname k8s-master
hostnamectl set-hostname k8s-node1
hostnamectl set-hostname k8s-node02
vim /etc/hosts
192.168.10.135 k8s-master
192.168.10.136 k8s-node1
192.168.10.137 k8s-node02
3、关闭防火墙和关闭SELINUX
systemctl stop firewalld
systemctl disable firewalld
setenforece 0
vim /etc/sysconfig/selinux永久关闭
selinux=disabled
modprobe br_netfilter
vim /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
vm.swappiness = 0
执行文件
sysctl -p /etc/sysctl.d/k8s.conf
kube-proxy开启ipvs的前置条件
cat > /etc/sysconfig/modules/ipvs.modules <所有节点关闭
swapoff -a临时关闭
vim /etc/fstab 永久关闭
4、安装kubelet、kubeadm、kubectl
kubeadm: 用来初始化集群的指令。
kubelet: 在集群中的每个节点上用来启动 pod 和 container 等。
kubectl: 用来与集群通信的命令行工具。
5、清空yum缓存
yum clean all
6、设置Yum安装源
cat < /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
安装
yum install -y kubelet-1.17.0 kubeadm-1.17.0 kubectl-1.17.0
设置开启自启动
systemctl enable kubelet
查看版本
kubelet --version
7、master节点
1、运行初始化命令
–apiserver-advertise-address=192.168.10.135 \必须是master的IP地址
kubeadm init --kubernetes-version=1.17.0 \
--apiserver-advertise-address=192.168.10.135 \
--image-repository registry.aliyuncs.com/google_containers \
--service-cidr=10.1.0.0/16 \
--pod-network-cidr=10.244.0.0/16
8、常见错误
8.1、错误一
问题
[WARNING IsDockerSystemdCheck]: detected “cgroupfs” as the Docker cgroup driver
解决思路
作为Docker cgroup驱动程序。，Kubernetes推荐的Docker驱动程序是“systemd”
解决方案：修改Docker的配置: vi /etc/docker/daemon.json，加入
{
“exec-opts”:[“native.cgroupdriver=systemd”]
}
然后重启Docker
8.2、错误二
问题
[ERROR NumCPU]: the number of available CPUs 1 is less than the required 2
解决思路
修改虚拟机的CPU的个数，至少为2个
9、提示节点token命令
必须记下，这是我的，不要复制我的，会报错
k8stoken:
kubeadm join 192.168.10.135:6443 --token 9ko17g.eq41vp9vx4la7fp2 \
--discovery-token-ca-cert-hash sha256:d73cde47f84fe106d20383d0adddbe9111e53838d8d80473c20333300027728a
10、启动kubelet
systemctl restart kubelet
配置kubectl工具
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
11、安装calico
mkdir k8s
cd k8s
//不检查凭证下载calico.yaml
wget --no-check-certificate https://docs.projectcalico.org/v3.10/getting-started/kubernetes/installation/hosted/kubernetes-datastore/calico-networking/1.7/calico.yaml
//地址修改，方便从节点通信
sed -i 's/192.168.0.0/10.244.0.0/g' calico.yaml
kubectl apply -f calico.yaml
查看所有pod的状态，确保所有pod都是running
kubectl get pod --all-namespaces -o wide
12、slave节点
让所有节点加入集群环境
kubeadm join 192.168.10.135:6443 --token 9ko17g.eq41vp9vx4la7fp2 \
--discovery-token-ca-cert-hash sha256:d73cde47f84fe106d20383d0adddbe9111e53838d8d80473c20333300027728a
启动kubelet
systemctl start kubelet
回到Master节点查看，如果Status全部为Ready，代表集群环境搭建成功
kubectl get nodes
13、kubectl常用命令
kubectl get nodes 查看所有主从节点的状态
kubectl get ns 获取所有namespace资源
kubectl get pods -n {$nameSpace} 获取指定namespace的pod
kubectl describe pod的名称 -n {$nameSpace} 查看某个pod的执行过程
kubectl logs --tail=1000 pod的名称 | less 查看日志kubectl create -f xxx.yml 通过配置文件创建一个集群资源对象kubectl delete -f xxx.yml 通过配置文件删除一个集群资源对象