k8s容器编排
1. k8s集群的安装
1.1 k8s的架构
image.png
除了核心组件，还有一些推荐的Add-ons：
| 组件名称 | 说明 |
|---|---|
| kube-dns | 负责为整个集群提供DNS服务 |
| lngress Controller | 微服务提供外网入口 |
| Heapster | 提供资源监控 |
| Dashboard | 提供GUI |
| Federation | 提供跨可用区的集群 |
| Fluentd-elasticsearch | 提供集群日志采集、存储与查询 |
1.2 修改IP地址、主机和host解析
| IP地址 | 主机名 |
|---|---|
| 10.0.0.11 | k8s-master |
| 10.0.0.12 | k8s-node-1 |
| 10.0.0.13 | k8s-node-2 |
1.3 master节点安装etcd
修改host：
echo '192.168.12.201 mirrors.aliyun.com' >>/etc/hosts
修改yum源：
curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
yum install etcd -y
vim /etc/etcd/etcd.conf
6行：ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379"
21行：ETCD_ADVERTISE_CLIENT_URLS="http://10.0.0.11:2379"
systemctl start etcd.service
systemctl enable etcd.service
etcdctl set testdir/testkey0 0
etcdctl get testdir/testkey0
etcdctl -C http://10.0.0.11:2379 cluster-health
1.4 master节点安装kubernetes
yum install kubernetes-master.x86_64 -y
vim /etc/kubernetes/apiserver
8行: KUBE_API_ADDRESS="--insecure-bind-address=0.0.0.0"
11行：KUBE_API_PORT="--port=8080"
17行：KUBE_ETCD_SERVERS="--etcd-servers=http://10.0.0.11:2379"
23行：KUBE_ADMISSION_CONTROL="--admission-control=NamespaceLifecycle,NamespaceExists,LimitRanger,SecurityContextDeny,ResourceQuota"
vim /etc/kubernetes/config
22行：KUBE_MASTER="--master=http://10.0.0.11:8080"
systemctl enable kube-apiserver.service
systemctl restart kube-apiserver.service
systemctl enable kube-controller-manager.service
systemctl restart kube-controller-manager.service
systemctl enable kube-scheduler.service
systemctl restart kube-scheduler.service
1.5 node节点安装kubernetes
两个节点都执行：
yum install kubernetes-node.x86_64 -y
vim /etc/kubernetes/config
22行：KUBE_MASTER="--master=http://10.0.0.11:8080"
vim /etc/kubernetes/kubelet
5行：KUBELET_ADDRESS="--address=0.0.0.0"
8行：KUBELET_PORT="--port=10250"
11行：KUBELET_HOSTNAME="--hostname-override=10.0.0.12"(本机IP)
14行：KUBELET_API_SERVER="--api-servers=http://10.0.0.11:8080"
systemctl enable kubelet.service
systemctl start kubelet.service
systemctl enable kube-proxy.service
systemctl start kube-proxy.service
1.6 所有节点配置flannel网络master节点：
两个节点都执行：
yum install kubernetes-node.x86_64 -y
vim /etc/kubernetes/config
22行：KUBE_MASTER="--master=http://10.0.0.11:8080"
vim /etc/kubernetes/kubelet
5行：KUBELET_ADDRESS="--address=0.0.0.0"
8行：KUBELET_PORT="--port=10250"
11行：KUBELET_HOSTNAME="--hostname-override=10.0.0.12"(本机IP)
14行：KUBELET_API_SERVER="--api-servers=http://10.0.0.11:8080"
systemctl enable kubelet.service
systemctl start kubelet.service
systemctl enable kube-proxy.service
systemctl start kube-proxy.service
测试：
iptables -P FORWARD ACCEPT
wget http://192.168.12.201/docker_image/docker_busybox.tar.gz
docker load -i docker_busybox.tar.gz
docker run -it docker.io/busybox:latest
[root@k8s-master ~]# vim /usr/lib/systemd/system/docker.service
第十七行后加入以下内容：
ExecStartPost=/usr/sbin/iptables -P FORWARD ACCEPT
systemctl daemon-reload
systemctl restart docker
1.7 配置master为镜像仓库
#master节点
vim /etc/sysconfig/docker
OPTIONS='--selinux-enabled --log-driver=journald --signature-verification=false --registry-mirror=https://registry.docker-cn.com --insecure-registry=10.0.0.11:5000'
systemctl restart docker
docker run -d -p 5000:5000 --restart=always --name registry -v /opt/myregistry:/var/lib/registry registry
#node节点
vim /etc/sysconfig/docker
OPTIONS='--selinux-enabled --log-driver=journald --signature-verification=false --insecure-registry=10.0.0.11:5000'
systemctl restart docker
2. 什么是k8s,k8s有什么功能?
k8s是一个docker集群的管理工具
2.1 k8s的核心功能
自愈: 重新启动失败的容器，在节点不可用时，替换和重新调度节点上的容器，对用户定
义的健康检查不响应的容器会被中止，并且在容器准备好服务之前不会把其向客户端广播。
弹性伸缩: 通过监控容器的cpu的负载值,如果这个平均高于80%,增加容器的数量,如果
这个平均低于10%,减少容器的数量
服务的自动发现和负载均衡: 不需要修改您的应用程序来使用不熟悉的服务发现机制，
Kubernetes 为容器提供了自己的 IP 地址和一组容器的单个 DNS 名称，并可以在它们之间进行负载均衡。
滚动升级和一键回滚: Kubernetes 逐渐部署对应用程序或其配置的更改，同时监视应
用程序运行状况，以确保它不会同时终止所有实例。 如果出现问题，Kubernetes会为您恢复更改，利用日益增长的部署解决方案的生态系统。
2.2 k8s的历史
2.3 k8s的安装
| 安装方法 | 说明 |
|---|---|
| yum安装 | 1.5版本 |
| 源码编译安装 | 难度最大，可以安装最新版 |
| 二进制安装 | 步骤繁琐，可以安装最新版，shell、ansible、saltstack |
| kubeadm 安装 | 最容易，网络，可以安装最新版 |
| minikube | 适合开发人员体验k8s，网络 |
2.4 k8s的应用场景
k8s最适合跑微服务项目!
3. k8s常用的资源
3.1 创建pod资源
k8s yaml的主要组成：
apiVersion: v1 api版本
kind: pod 资源类型
metadata: 属性
spec: 详细
k8s_pod.yaml
apiVersion: v1
kind: Pod
metadata:
name: nginx
labels:
app: web
spec:
containers:
- name: nginx
image: 10.0.0.11:5000/nginx:1.13
ports:
- containerPort: 80
pod资源:至少由两个容器组成,pod基础容器和业务容器组成
pod是k8s最小的资源单位
3.2 ReplicationController资源
rc：保证指定数量的pod始终存活,rc通过标签选择器来关联pod
k8s资源的常见操作：
kubectl create -f xxx.yaml
kubectl get pod|rc
kubectl describe pod nginx
kubectl delete pod nginx 或者kubectl delete -f xxx.yaml
kubectl edit pod nginx
创建一个rc：
apiVersion: v1
kind: ReplicationController
metadata:
name: nginx
spec:
replicas: 5
selector:
app: myweb
template:
metadata:
labels:
app: myweb
spec:
containers:
- name: myweb
image: 10.0.0.11:5000/nginx:1.13
ports:
- containerPort: 80
rc的滚动升级：
新建一个nginx-rc1.15.yaml
image.png
升级：
kubectl rolling-update nginx -f nginx-rc1.15.yaml --update-period=10s
回滚：
kubectl rolling-update nginx2 -f k8s_rc.yml --update-period=1s
查看升级回滚是否成功：
kubectl describe pod|grep 1.13
3.3 service资源
service帮助pod暴露端口
1. 创建一个service
[root@k8s-master svc]# cat k8s_svc.yml
apiVersion: v1
kind: Service
metadata:
name: myweb
spec:
type: NodePort
ports:
- port: 80 #clusterIP
nodePort: 30000 #nodeport
targetPort: 80 #podport
selector:
app: myweb2
2. 创建
[root@k8s-master svc]# kubectl create -f k8s_svc.yml
service "myweb" created
3. 修改文件kubectl edit myweb
[root@k8s-master svc]# kubectl edit svc myweb
# Please edit the object below. Lines beginning with a '#' will be ignored,
# and an empty file will abort the edit. If an error occurs while saving this file will be
# reopened with the relevant failures.
#
apiVersion: v1
kind: Service
metadata:
creationTimestamp: 2019-07-26T10:00:21Z
name: myweb
namespace: default
resourceVersion: "40169"
selfLink: /api/v1/namespaces/default/services/myweb
uid: 2dfb93c0-af8c-11e9-a5d2-000c29c93def
spec:
clusterIP: 10.254.214.106
ports:
- nodePort: 30000
port: 80
protocol: TCP
targetPort: 80
selector:
app: myweb
sessionAffinity: None
type: NodePort
status:
loadBalancer: {}
网页访问10.0.0.12:30000或者10.0.0.13:30000
出现如下画面：
image.png
修改nodePort范围
vim /etc/kubernetes/apiserver
KUBE_API_ARGS="--service-node-port-range=3000-50000"
service默认使用iptables来实现负载均衡,新版本中推荐使用lvs(四层负载均衡)
3.4 deployment资源
有rc在滚动升级之后,会造成服务访问中断,于是k8s引入了deployment资源
创建deployment:
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
name: nginx-deployment
spec:
replicas: 3
template:
metadata:
labels:
app: nginx
spec:
containers:
- name: nginx
image: 10.0.0.11:5000/nginx:1.13
ports:
- containerPort: 80
resources:
limits:
cpu: 100m
requests:
cpu: 100m
deployment升级和回滚
命令行创建deployment：
kubectl run nginx --image=10.0.0.11:5000/nginx:1.13 --replicas=3 --record
命令行升级版本：
kubectl set image deploy nginx nginx=10.0.0.11:5000/nginx:1.15
查看deployment所有历史版本：
kubectl rollout history deployment nginx
deployment回滚到上一个版本：
kubectl rollout undo deployment nginx
deployment回滚到指定版本：
kubectl rollout undo deployment nginx --to-revision=2
3.5 tomcat+mysql练习
在k8s中容器之间相互访问,通过VIP地址!
准备环境：
[root@k8s-node02 ~]# ll
total 1449636
-rw-r--r-- 1 root root 202872320 Jul 22 18:50 docker_centos6.9.tar.gz
-rw-r--r-- 1 root root 392823296 Jul 22 18:50 docker-mysql-5.7.tar.gz
drwxr-xr-x 2 root root 25 Jul 26 21:32 k8s
-rw------- 1 root root 519031808 Jul 26 20:59 kod.tar.gz
-rw-r--r-- 1 root root 369691136 Jul 22 18:50 tomcat-app-v2.tar.gz
[root@k8s-node02 ~]# docker load -i docker-mysql-5.7.tar.gz
[root@k8s-node02 ~]# docker load -i tomcat-app-v2.tar.gz
[root@k8s-node02 ~]# docker tag docker.io/mysql:5.7 10.0.0.11:5000/mysql:5.7
[root@k8s-node02 ~]# docker tag docker.io/kubeguide/tomcat-app:v2 10.0.0.11:5000/tomcat-app:v2
主节点环境准备：
[root@k8s-master tomcat_demo]# ll
total 16
-rw-r--r-- 1 root root 416 Jul 22 18:43 mysql-rc.yml
-rw-r--r-- 1 root root 145 Jul 22 18:43 mysql-svc.yml
-rw-r--r-- 1 root root 490 Jul 29 11:54 tomcat-rc.yml
-rw-r--r-- 1 root root 162 Jul 22 18:43 tomcat-svc.yml
[root@k8s-master tomcat_demo]# cat mysql-rc.yml
apiVersion: v1
kind: ReplicationController
metadata:
name: mysql
spec:
replicas: 1
selector:
app: mysql
template:
metadata:
labels:
app: mysql
spec:
containers:
- name: mysql
image: 10.0.0.11:5000/mysql:5.7
ports:
- containerPort: 3306
env:
- name: MYSQL_ROOT_PASSWORD
value: '123456'
[root@k8s-master tomcat_demo]# cat mysql-svc.yml
apiVersion: v1
kind: Service
metadata:
name: mysql
spec:
ports:
- port: 3306
targetPort: 3306
selector:
app: mysql
[root@k8s-master tomcat_demo]# cat tomcat-rc.yml
apiVersion: v1
kind: ReplicationController
metadata:
name: myweb
spec:
replicas: 1
selector:
app: myweb
template:
metadata:
labels:
app: myweb
spec:
containers:
- name: myweb
image: 10.0.0.11:5000/tomcat-app:v2
ports:
- containerPort: 8080
env:
- name: MYSQL_SERVICE_HOST
value: '10.254.61.36' (ip需根据实际修改)
- name: MYSQL_SERVICE_PORT
value: '3306'
[root@k8s-master tomcat_demo]# cat tomcat-svc.yml
apiVersion: v1
kind: Service
metadata:
name: myweb
spec:
type: NodePort
ports:
- port: 8080
nodePort: 30008
selector:
app: myweb
步骤：
##清除myweb，防止重复冲突
kubectl delete svc myweb
##创建：
kubectl create -f mysql-rc.yml
kubectl create -f mysql-svc.yml
vim tomcat-rc.yml
lvalue: '10.254.61.36'(ip使用kubectl get all查看)
kubectl create -f tomcat-rc.yml
kubectl create -f tomcat-svc.yml
网页访问10.0.0.13:30008/demo(端口kubuctl get all查看)
出现如下画面：
image.png
4. k8s的附加组件
4.1 dns服务
安装dns服务:
1. 下载dns_docker镜像包
wget http://192.168.21.201/docker_k8s_dns.tar.gz
2. 导入dns_docker镜像包(node2节点)
docker load -i docker_k8s_dns.tar.gz
3. 修改skydns-rc.yaml
spec:
nodeSelector:
kubernetes.io/hostname: k8s-node-2
containers:
4. 创建dns服务
kubectl create -f skydns-rc.yaml
5. 检查
kubectl get all --namespace=kube-system
6. 修改所有node节点kubelet的配置文件
vim /etc/kubernetes/kubelet
KUBELET_ARGS="--cluster_dns=10.254.230.254 --cluster_domain=cluster.local"
systemctl restart kubelet
4.2 namespace命令空间
namespace做资源隔离
位置：在所有yaml文件中加入namespace
在name之后，spec之前
例如：namespace: oldwang
[root@k8s-master tomcat_demo]# cat tomcat-rc.yml
apiVersion: v1
kind: ReplicationController
metadata:
name: myweb
namespace: oldwang
spec:
replicas: 1
selector:
app: myweb
template:
metadata:
labels:
app: myweb
spec:
containers:
- name: myweb
image: 10.0.0.11:5000/tomcat-app:v2
ports:
- containerPort: 8080
env:
- name: MYSQL_SERVICE_HOST
value: 'mysql'
- name: MYSQL_SERVICE_PORT
value: '3306'
[root@k8s-master tomcat_demo]# cat tomcat-svc.yml
apiVersion: v1
kind: Service
metadata:
name: myweb
namespace: oldwang
spec:
type: NodePort
ports:
- port: 8080
nodePort: 30008
selector:
app: myweb
4.3 健康检查
4.3.1 探针的种类
| 探针的种类 | 说明 |
|---|---|
| livenessProbe | 健康状态检查，周期性检查服务是否存活，检查结果失败，将重启机器 |
| readinessProbe | 可用性周期，周期性检查服务是否可用，不可用将从service的endpoints中移除 |
4.3.2 探针的检测方法
| 检测方法 | 说明 |
|---|---|
| exec | 执行一段命令 |
| httpGet | 检测某个http请求的返回状态码 |
| tcpSocket | 测试某个端口是否能够连接 |
liveness 探针的exec使用
vi nginx_pod_exec.yaml
apiVersion: v1
kind: Pod
metadata:
name: exec
spec:
containers:
- name: nginx
image: 10.0.0.11:5000/nginx:1.13
ports:
- containerPort: 80
args:
- /bin/sh
- -c
- touch /tmp/healthy; sleep 30; rm -rf /tmp/healthy; sleep 600
livenessProbe:
exec:
command:
- cat
- /tmp/healthy
initialDelaySeconds: 5
periodSeconds: 5
liveness探针的HTTPGet使用
vi nginx_pod_httpGet.yaml
apiVersion: v1
kind: Pod
metadata:
name: httpget
spec:
containers:
- name: nginx
image: 10.0.0.11:5000/nginx:1.13
ports:
- containerPort: 80
livenessProbe:
httpGet:
path: /index.html
port: 80
initialDelaySeconds: 3
periodSeconds: 3
liveness探针的tcpSocket使用
vi nginx_pod_tcpSocket.yaml
apiVersion: v1
kind: Pod
metadata:
name: tcpSocket
spec:
containers:
- name: nginx
image: 10.0.0.11:5000/nginx:1.13
ports:
- containerPort: 80
livenessProbe:
tcpSocket:
port: 80
initialDelaySeconds: 3
periodSeconds: 3
readiness探针的httpGet使用
vi nginx-rc-httpGet.yaml
aapiVersion: v1
kind: ReplicationController
metadata:
name: readiness
spec:
replicas: 2
selector:
app: readiness
template:
metadata:
labels:
app: readiness
spec:
containers:
- name: readiness
image: 10.0.0.11:5000/nginx:1.13
ports:
- containerPort: 80
readinessProbe:
httpGet:
path: /qiangge.html
port: 80
initialDelaySeconds: 3
periodSeconds: 3
4.4 dashboard服务
4.4.1. 上传并导入镜像,打标签
##上传镜像：
[root@k8s-node02 ~]# ll
-rw-r--r-- 1 root root 86984704 Jul 22 18:50 kubernetes-dashboard-amd64_v1.4.1.tar.gz
##导入镜像：
[root@k8s-node02 ~]# docker load -i kubernetes-dashboard-amd64_v1.4.1.tar.gz
##打标签：
[root@k8s-node02 ~]# docker tag index.tenxcloud.com/google_containers/kubernetes-dashboard-amd64:v1.4.1 10.0.0.11:5000/kubernetes-dashboard-amd64:v1.41
4.4.2. 创建dashborad的deployment和service
[root@k8s-master deploment]# cat dashboard-svc.yaml
apiVersion: v1
kind: Service
metadata:
name: kubernetes-dashboard
namespace: kube-system
labels:
k8s-app: kubernetes-dashboard
kubernetes.io/cluster-service: "true"
spec:
selector:
k8s-app: kubernetes-dashboard
ports:
- port: 80
targetPort: 9090
[root@k8s-master deploment]# cat dashboard.yaml
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
# Keep the name in sync with image version and
# gce/coreos/kube-manifests/addons/dashboard counterparts
name: kubernetes-dashboard-latest
namespace: kube-system
spec:
replicas: 1
template:
metadata:
labels:
k8s-app: kubernetes-dashboard
version: latest
kubernetes.io/cluster-service: "true"
spec:
containers:
- name: kubernetes-dashboard
image: 10.0.0.11:5000/kubernetes-dashboard-amd64:v1.4.1
resources:
# keep request = limit to keep this container in guaranteed class
limits:
cpu: 100m
memory: 50Mi
requests:
cpu: 100m
memory: 50Mi
ports:
- containerPort: 9090
args:
- --apiserver-host=http://10.0.0.11:8080
livenessProbe:
httpGet:
path: /
port: 9090
initialDelaySeconds: 30
timeoutSeconds: 30
[root@k8s-master deploment]# kubectl create -f .
4.4.3. 访问http://10.0.0.11:8080/ui/
image.png
4.5 通过apiservicer反向代理
第一种：NodePort类型
type: NodePort
ports:
- port: 80
targetPort: 80
nodePort: 30008
第二种：ClusterIP类型
type: ClusterIP
ports:
- port: 80
targetPort: 80
5. k8s弹性伸缩
k8s弹性伸缩,需要附加插件heapster监控
5.1 安装heapster监控
5.1.1. 上传并导入镜像,打标签
[root@k8s-node02 ~]# ls *.tar.gz
[root@k8s-node02 ~]# for n in `ls *.tar.gz`;do docker load -i $n ;done
[root@k8s-node02 ~]# docker tag docker.io/kubernetes/heapster_grafana:v2.6.0 10.0.0.11:5000/heapster_grafana:v2.6.0
[root@k8s-node02 ~]# docker tag docker.io/kubernetes/heapster_influxdb:v0.5 10.0.0.11:5000/heapster_influxdb:v0.5
[root@k8s-node02 ~]# docker tag docker.io/kubernetes/heapster:canary 10.0.0.11:5000/heapster:canary
5.1.2. 上传配置文件
[root@k8s-master heapster]# ll
total 20
-rw-r--r-- 1 root root 414 Jul 22 18:43 grafana-service.yaml
-rw-r--r-- 1 root root 622 Jul 30 12:16 heapster-controller.yaml
-rw-r--r-- 1 root root 249 Jul 22 18:43 heapster-service.yaml
-rw-r--r-- 1 root root 1473 Jul 22 18:43 influxdb-grafana-controller.yaml
-rw-r--r-- 1 root root 259 Jul 22 18:43 influxdb-service.yaml
[root@k8s-master heapster]# kubectl create -f .
5.1.3. 打开dashboard验证
网页访问10.0.0.11:/ui/，出现如下画面：
image.png
5.2 弹性伸缩
5.2.1 修改rc的配置文件
containers:
- name: myweb
image: 10.0.0.11:5000/nginx:1.13
ports:
- containerPort: 80
resources:
limits:
cpu: 100m
requests:
cpu: 100m
5.2.2 创建弹性伸缩规则
kubectl autoscale -n qiangge replicationcontroller myweb --max=8 --min=1 --cpu-
percent=8
5.2.3 测试扩容
yum install httpd-tools.x86_64 -y
ab -n 1000000 -c 30 http://172.16.99.2/index.html
扩容：
image.png
缩容:
image.png
6. 持久化存储
pv: persistent volume 全局的资源 pv，node
pvc: persistent volume claim 局部的资源(namespace)pod，rc，svc
6.1 安装nfs服务端(10.0.0.11)
yum install nfs-utils.x86_64 -y
mkdir /data
vim /etc/exports
/data 10.0.0.0/24(rw,async,no_root_squash,no_all_squash)
systemctl start rpcbind
systemctl start nfs
systemctl enable rpcbind
systemctl enable nfs
6.2 在node节点安装nfs客户端
yum install nfs-utils.x86_64 -y
showmount -e 10.0.0.11
6.3 创建pv和pvc
上传yaml配置文件,创建pv和pvc
[root@k8s-master volume]# ll
total 20
-rw-r--r-- 1 root root 292 Jul 30 15:33 mysql_pv2.yaml
-rw-r--r-- 1 root root 162 Jul 30 15:32 mysql_pvc.yaml
-rw-r--r-- 1 root root 291 Jul 30 15:29 mysql_pv.yaml
-rw-r--r-- 1 root root 581 Jul 30 15:38 mysql-rc-pvc.yml
-rw-r--r-- 1 root root 145 Jul 30 16:33 mysql-svc.yml
6.4 创建mysql-rc,pod模板里使用volume
volumeMounts:
- name: mysql
mountPath: /var/lib/mysql
volumes:
- name: mysql
persistentVolumeClaim:
claimName: tomcat-mysql
image.png
6.5 验证持久化
验证方法一：删除mysql的pod,数据库不丢
kubectl delete pod mysql-gt054
image.png
验证方法二：查看nfs服务端,是否有mysql的数据文件
HPE_APP存在说明持久化成功
image.png
6.6: 分布式存储glusterfs
（1）环境准备：
| 主机名 | IP地址 | 环境 |
|---|---|---|
| glusterfs01 | 10.0.0.14 | CentOS7.6，内存512M，增加两块10G硬盘，host解析 |
| glusterfs02 | 10.0.0.15 | CentOS7.6，内存512M，增加两块10G硬盘，host解析 |
| glusterfs03 | 10.0.0.16 | CentOS7.6，内存512M，增加两块10G硬盘，host解析 |
k8s-node节点添加glusterfs解析
（2）什么是glusterfs
Glusterfs是一个开源分布式文件系统，具有强大的横向扩展能力，可支持PB存储数量和
数千客户端，通过网络互联成一个并行的网络文件系统。具有可扩展性、高性能、高可用性等特点。
（3）安装glusterfs节点
所有节点：
yum install centos-release-gluster -y
yum install install glusterfs-server -y
systemctl start glusterd.service
systemctl enable glusterd.service
mkdir -p /gfs/test1
mkdir -p /gfs/test2
mkfs.xfs /dev/sdb
mkfs.xfs /dev/sdc
blkid
vim /etc/fstab
mount -a
（4）添加存储资源池
[root@glusterfs01 ~]# gluster pool list
UUID Hostname State
1de813d6-2ae6-40bd-a566-a64df0a6cceb localhost Connected
[root@glusterfs01 ~]# gluster peer probe glusterfs01
[root@glusterfs01 ~]# gluster peer probe glusterfs02
[root@glusterfs01 ~]# gluster pool list
UUID Hostname State
f6e62dbd-dc37-4bc0-9610-8b0f12f964e7 glusterfs02 Connected
1abe8071-b8f1-48a4-83af-1aa94ad860fe glusterfs03 Connected
1de813d6-2ae6-40bd-a566-a64df0a6cceb localhost Connected
[root@glusterfs01 ~]#
（5）glusterfs卷管理
创建分布式复制卷：
gluster volume create oldwang replica 2 glusterfs01:/gfs/test1 \
glusterfs01:/gfs/test2 glusterfs02:/gfs/test1 glusterfs02:/gfs/test2 force
启动卷：
gluster volume start oldwang
查看卷：
gluster volume info oldwang
挂在卷：
mount -t glusterfs 10.0.0.14:/oldwang /mnt
（6）分布式复制卷图解
image.png
（7）分布式复制卷扩容
扩容前查看容量：
df -h
扩容命令：
glusterfs volume add-brick oldwang glusterfs03:/gfs/test1 glusterfs03:/gfs/test2 force
扩容后查看容量：
df -h
7. 与jenkins集成实现ci/cd
| IP地址 | 服务 | 内存 |
|---|---|---|
| 10.0.0.11 | kube-apiserver 8080 | 1G |
| 10.0.0.13 | k8s-node2 | 2G |
| 10.0.0.14 | jenkins(tomcat+jdk) 8080、kubectl | 1G |
| 10.0.0.15 | gitlab 8080,80 | 2G |
7.1 安装gitlab并上传代码
7.1.1 安装:
wget https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7/gitlab-ce-11.9.11-ce.0.el7.x86_64.rpm
yum localinstall gitlab-ce-11.9.11-ce.0.el7.x86_64.rpm -y
7.1.2 配置:
vim /etc/gitlab/gitlab.rb
external_url 'http://10.0.0.15'
prometheus_monitoring['enable'] = false
7.1.3 应用并启动服务:
gitlab-ctl reconfigure
7.1.4 使用浏览器访问http://10.0.0.15,修改root用户密码,创建project
image.png
7.1.5 上传代码到git仓库
[root@glusterfs02 ~]# cd /srv/
rz -E
[root@glusterfs02 srv]# ll
total 232
-rw-r--r-- 1 root root 91014 Jul 31 15:25 xiaoniaofeifei.zip
[root@glusterfs02 srv]# unzip xiaoniaofeifei.zip
[root@glusterfs02 srv]# rm -fr xiaoniaofeifei.zip
[root@glusterfs02 srv]# git config --global user.name "Administrator"
[root@glusterfs02 srv]# git config --global user.email "[email protected]"
[root@glusterfs02 srv]# git init
[root@glusterfs02 srv]# git remote add origin http://10.0.0.15/root/xiaoniao.git
[root@glusterfs02 srv]# git add .
[root@glusterfs02 srv]# git commit -m "Initial commit"
[root@glusterfs02 srv]# git push -u origin master
[root@glusterfs02 srv]# yum install docker -y
[root@glusterfs02 srv]# vim dockerfike
FROM 10.0.0.11:5000/nginx:1.13
ADD . /usr/share/nginx/html
[root@glusterfs02 srv]# git add .
[root@glusterfs02 srv]# git commit -m "add dockerfile"
[root@glusterfs02 srv]# git push -u origin master
7.2 安装jenkins,并自动构建docker镜像
7.2.1 安装jenkins
cd /opt/
rz -E
[root@glusterfs01 opt]# ll
total 814604
-rw-r--r-- 1 root root 9128610 Jul 31 15:26 apache-tomcat-8.0.27.tar.gz
-rw-r--r-- 1 root root 569408968 Jul 31 15:26 gitlab-ce-11.9.11-ce.0.el7.x86_64.rpm
-rw-r--r-- 1 root root 166044032 Jul 31 15:26 jdk-8u102-linux-x64.rpm
-rw-r--r-- 1 root root 89566714 Jul 31 15:26 jenkin-data.tar.gz
-rw-r--r-- 1 root root 89566714 Jul 31 15:26 jenkins.war
rpm -ivh jdk-8u102-linux-x64.rpm
mkdir /app
tar xf apache-tomcat-8.0.27.tar.gz -C /app
rm -fr /app/apache-tomcat-8.0.27/webapps/*
mv jenkins.war /app/apache-tomcat-8.0.27/webapps/ROOT.war
tar xf jenkin-data.tar.gz -C /root
/app/apache-tomcat-8.0.27/bin/startup.sh
netstat -lntup
7.2.2 访问jenkins
访问http://10.0.0.14:8080/,默认账号密码admin:123456
image.png
7.2.3 配置jenkins拉取gitlab代码凭据
a. 在jenkins上生成秘钥对
[root@glusterfs02 ~]# ssh-keygen
image.png
b:复制公钥粘贴gitlab上
image.png
c:jenkins上创建全局凭据
image.png
image.png
7.2.4 拉取代码测试
image.png
拉取成功：
image.png
7.2.5 编写dockerfile并测试
vim dockerfile
FROM 10.0.0.11:5000/nginx:1.13
add . /usr/share/nginx/html
image.png
添加docker build构建时不add的文件
vim .dockerignore
dockerfile
docker build -t xiaoniao:v1 .
docker run -d -p 88:80 xiaoniao:v1
打开浏览器测试访问xiaoniaofeifei的项目
7.2.6 上传dockerfile和.dockerignore到私有仓库
git add docker .dockerignore
git commit -m "fisrt commit"
git push -u origin master
7.2.7 点击jenkins立即构建,自动构建docker镜像并上传到私有仓库
修改jenkins 工程配置
docker build -t 10.0.0.11:5000/test:v$BUILD_ID .
docker push 10.0.0.11:5000/test:v$BUILD_ID
7.3 jenkins自动部署应用到k8s
测试：
kubectl -s 10.0.0.11:8080 get nodes
[root@glusterfs01 opt]# kubectl -s 10.0.0.11:8080 get nodes
NAME STATUS AGE
10.0.0.13 NotReady 5d
[root@glusterfs01 opt]# kubectl -s 10.0.0.11:8080 get nodes
NAME STATUS AGE
10.0.0.13 NotReady 5d
if [ -f /tmp/xiaoniao.lock ];then
docker build -t 10.0.0.11:5000/xiaoniao:v$BUILD_ID .
docker push 10.0.0.11:5000/xiaoniao:v$BUILD_ID
kubectl -s 10.0.0.11:8080 set image -n xiaoniao deploy xiaoniao xiaoniao=10.0.0.11:5000/xiaoniao:v$BUILD_ID
echo "更新成功"
else
docker build -t 10.0.0.11:5000/xiaoniao:v$BUILD_ID .
docker push 10.0.0.11:5000/xiaoniao:v$BUILD_ID
kubectl -s 10.0.0.11:8080 create namespace xiaoniao
kubectl -s 10.0.0.11:8080 run xiaoniao -n xiaoniao --image=10.0.0.11:5000/xiaoniao:v$BUILD_ID --replicas=3 --record
kubectl -s 10.0.0.11:8080 expose -n xiaoniao deployment xiaoniao --port=80 --type=NodePort
port=`kubectl -s 10.0.0.11:8080 get svc -n xiaoniao|grep -oP '(?<=80:)\d+'`
echo "你的项目地址访问是http://10.0.0.13:$port"
touch /tmp/xiaoniao.lock
fi
jenkins一键回滚
kubectl -s 10.0.0.11:8080 rollout undo -n xiaoniao deploymen