1.1 Ansible介绍
Ansible 是一种IT自动化工具。它可以配置系统,部署软件以及协调更高级的IT任务,例如持续部署,滚动更新。Ansible 适用于管理企业IT基础设施,从具有少数主机的小规模到数千个实例的企业环境。Ansible 也是一种简单的自动化语言,可以完美地描述IT应用程序基础结构。
具备以下三个特点:
- 简单:减少学习成本
- 强大:协调应用程序生命周期
- 无代理:可预测,可靠和安全
使用文档:https://releases.ansible.com/ansible/
安装 Ansible:
yum -y install ansible
- Inventory:Ansible管理的主机信息,包括IP地址、SSH端口、账号、密码等
- Modules:任务均有模块完成,也可以自定义模块,例如经常用的脚本。
- Plugins:使用插件增加Ansible核心功能,自身提供了很多插件,也可以自定义插件。例如connection插件,用于连接目标主机。
- Playbooks:“剧本”,模块化定义一系列任务,供外部统一调用。Ansible核心功能。
1.2 主机清单
[master]
192.168.56.11 node_name=k8s-master1
192.168.56.12 node_name=k8s-master2
192.168.56.13 node_name=k8s-master3
[node]
192.168.56.11 node_name=k8s-master1
192.168.56.12 node_name=k8s-master2
192.168.56.13 node_name=k8s-master3
[k8s:children]
master
node
1.3 命令行使用
1、连接远程主机认证
SSH密码认证:
[webservers]
192.168.56.11:22 ansible_ssh_user=root ansible_ssh_pass=centos
192.168.56.12:22 ansible_ssh_user=root ansible_ssh_pass=centos
192.168.56.13
[dbservers]
192.168.56.13
SSH密钥对认证:
[webservers]
192.168.56.11:22 ansible_ssh_user=root ansible_ssh_key=/root/.ssh/id_rsa
192.168.56.12:22 ansible_ssh_user=root
也可以在配置文件中指定:
[defaults]
private_key_file = /root/.ssh/id_rsa # 默认路径
2、常用选项
选项 | 描述 |
---|---|
-C, --check | 运行检查,不执行任何操作 |
-e EXTRA_VARS,--extra-vars=EXTRA_VARS | 设置附加变量 key=value |
-u REMOTE_USER, --user=REMOTE_USER | SSH连接用户,默认None |
-k, --ask-pass | SSH连接用户密码 |
-b, --become | 提权,默认root |
-K, --ask-become-pass | 提权密码 |
3、命令行使用
ansible all -m ping
ansible all -m shell -a "ls /root" -u root -k
1.4 常用模块
1、shell
在目标主机执行shell命令。
ansible master -m shell -a "date" -k
2、copy
将文件复制到远程主机。
ansible master -m copy -a "src=./test.txt dest=/root" -k
3、file
管理文件和文件属性。
// 创建目录
ansible master -m file -a "path=/tmp/test state=directory" -k
// 删除文件
ansible master -m file -a "path=/root/test.txt state=absent" -k
//删除目录
ansible master -m file -a "path=/tmp/test state=absent" -k
4、yum
软件包管理
present,latest:表示安装
absent:表示卸载
ansible master -m yum -a "name=wget state=present" -k
ansible master -m yum -a "name=wget state=absent" -k
5、service/systemd
管理服务
ansible master -m systemd -a "name=NetworkManager state=restarted enabled=no daemon_reload=yes" -k
#state: started
#state: stopped
#state: restarted
#state: reloaded
6、unarchive
ansible master -m file -a "path=/tmp/python state=directory" -k
ansible master -m unarchive -a "src=/opt/software/Python-3.7.10.tgz dest=/tmp/python" -k
ansible master -m file -a "path=/tmp/python state=absent" -k
7、debug
执行过程中打印语句。
ansible localhost -m debug -a "msg={{ hostvars }}" -k
ansible master -m debug -a "msg={% for host in master %}ip={{ host.host.ip }}{% if not loop.last %},{% endif %}{% endfor %}" -k
ansible localhost -m debug -a "msg={{ name }}" -k
1.5 变量
变量是应用于多个主机的便捷方式; 实际在主机执行之前,变量会对每个主机添加,然后在执行中引用。
1、主机变量与组变量
[master]
192.168.56.11 ansible_ssh_user=root hostname=master1
192.168.56.12 ansible_ssh_user=root hostname=master2
[master:vars]
ansible_ssh_user=root hostname=master1
2、Register变量
- shell: date
register: result
- debug:
var: result
1.6 Playbook
Playbooks是Ansible的配置,部署和编排语言。他们可以描述您希望在远程机器做哪些事或者描述IT流程中一系列步骤。使用易读的YAML格式组织Playbook文件。
如果Ansible模块是您工作中的工具,那么Playbook就是您的使用说明书,而您的主机资产文件就是您的原材料。
与命令行执行模式相比,Playbooks使用ansible是一种完全不同的方式,并且功能特别强大。
https://docs.ansible.com/ansible/latest/user_guide/playbooks.html
---
- hosts: master
vars:
http_port: 80
remote_user: root
gather_facts: false
tasks:
- name: 安装wget最新版
yum: name=wget state=latest
- name: 打印变量
debug:
msg: http_port
1、主机和用户
- hosts: webservers
remote_user: root
2、定义变量
Ansible中的首选做法是不将变量存储在Inventory中。
除了将变量直接存储在Inventory文件之外,主机和组变量还可以存储在相对于Inventory文件的单个文件中。
- hosts: webservers
vars:
http_port: 80
3、任务列表
每个play包含一系列任务。这些任务按照顺序执行,在play中,所有主机都会执行相同的任务指令。play目的是将选择的主机映射到任务。
tasks:
- name: 安装wget最新版
yum: name=nginx state=latest
4、语法检查与调试
语法检查:ansible-playbook --check $path/playbook.yaml
测试运行,不实际操作:ansible-playbook -C $path/playbook.yaml
debug模块在执行期间打印语句,对于调试变量或表达式,而不必停止play。与'when:'指令一起调试更佳。
- hosts: master
remote_user: root
gather_facts: false
tasks:
- debug:
msg: "{{group_names}}"
- debug:
msg: "{{inventory_hostname}}"
5、任务控制
如果你有一个大的剧本,那么能够在不运行整个剧本的情况下运行特定部分可能会很有用。
tasks:
- name: 查看文件
shell: cat /etc/passwd
tags: cat
- name: 查看服务器时间
shell: date
tags: date
使用:
ansible-playbook test.yml --tags "cat"
ansible-playbook test.yml --tags "date"
ansible-playbook test.yml --skip-tags "cat"
6、流程控制
条件:
- hosts: master
remote_user: root
gather_facts: false
tasks:
- name: 只在192.168.56.11运行任务
debug: msg={{ inventory_hostname }}
when: inventory_hostname == '192.168.56.11'
循环:
- hosts: master
remote_user: root
gather_facts: false
tasks:
- name: 批量复制文件
copy: src=/etc/ansible/{{ item }} dest=/tmp
with_items:
- test1
- test2
- test3
常用循环语句:
语句 | 描述 |
---|---|
with_items | 标准循环 |
with_fileglob | 遍历目录文件 |
with_dict | 遍历字典 |
7、模板
- hosts: localhost
remote_user: root
gather_facts: false
tasks:
- name: template
template: src=/etc/ansible/test.conf.j2 dest=/etc/ansible/test.conf
定义变量:
{% set local_ip = inventory_hostname %}
条件和循环:
{% set list=['one', 'two', 'three'] %}
{% for i in list %}
{% if i == 'two' %}
-> two
{% elif loop.index == 3 %}
-> 3
{% else %}
{{i}}
{% endif %}
{% endfor %}
例如:生成连接etcd字符串
{% for host in groups['etcd'] %}
https://{{ hostvars[host].inventory_hostname }}:2379
{% if not loop.last %},{% endif %}
{% endfor %}
里面也可以用ansible的变量。
1.7 Roles
Roles是基于已知文件结构自动加载某些变量文件,任务和处理程序的方法。按角色对内容进行分组,适合构建复杂的部署环境。
1、定义Roles
Roles目录结构:
site.yml
webservers.yml
fooservers.yml
roles/
common/
tasks/
handlers/
files/
templates/
vars/
defaults/
meta/
webservers/
tasks/files
files/
templates/
-
tasks
-包含角色要执行的任务的主要列表。 -
handlers
-包含处理程序,此角色甚至在此角色之外的任何地方都可以使用这些处理程序。 -
defaults
-角色的默认变量 -
vars
-角色的其他变量 -
files
-包含可以通过此角色部署的文件。 -
templates
-包含可以通过此角色部署的模板。 -
meta
-为此角色定义一些元数据。请参阅下面的更多细节。
通常的做法是从tasks/main.yml
文件中包含特定于平台的任务:
# roles/webservers/tasks/main.yml
- name: added in 2.4, previously you used 'include'
import_tasks: redhat.yml
when: ansible_facts['os_family']|lower == 'redhat'
- import_tasks: debian.yml
when: ansible_facts['os_family']|lower == 'debian'
# roles/webservers/tasks/redhat.yml
- yum:
name: "httpd"
state: present
# roles/webservers/tasks/debian.yml
- apt:
name: "apache2"
state: present
2、使用角色
# site.yml
- hosts: webservers
roles:
- common
- webservers
定义多个:
- name: 0
gather_facts: false
hosts: all
roles:
- common
- name: 1
gather_facts: false
hosts: all
roles:
- webservers
3、角色控制
- name: 0.系统初始化
gather_facts: false
hosts: all
roles:
- common
tags: common
4、定义变量
组变量:
group_vars 存放的是组变量
group_vars/all.yml 表示所有主机有效,等同于[all:vars]
grous_vars/etcd.yml 表示etcd组主机有效,等同于[etcd:vars]
1.8 自动化部署K8S
1、 熟悉二进制部署K8S步骤
-
服务器规划
IP 角色 虚拟机配置 组件 192.168.56.11 master、node 2C 4G kube-apiserver、kube-controller-manager、kube-scheduler、etcd、kubelet、kube-proxy、keepalived、haproxy 192.168.56.12 master、node 2C 3G kube-apiserver、kube-controller-manager、kube-scheduler、etcd、kubelet、kube-proxy、keepalived、haproxy 192.168.56.13 master、node 2C 3G kube-apiserver、kube-controller-manager、kube-scheduler、etcd、kubelet、kube-proxy、keepalived、haproxy -
系统初始化
主要包括:关闭防火墙、关闭NetworkManager、关闭selinux、关闭swap分区、时间同步、优化参数等
-
生成自签证书
k8s推荐的通信方式是双认证通信,也就是客户端与服务端双向认证
需要生成的证书有:etcd证书、k8s证书、以及kube-controller-manager和kube-scheduler与kube-apiserver通信的配置文件等
-
部署docker
docker建议采用离线包安装
-
Etcd集群部署
创建目录 --> 分发二进制文件 --> 分发证书 --> 分发配置文件 --> 启动etcd --> 查看状态
-
部署高可用
keepalived + haproxy
-
部署Master
部署kube-apiserver、kube-controller-manager、kube-scheduler组件
-
部署bootstrap
bootstrap主要是用来自动给node颁发证书用的,之前用的都是手动颁发证书,每加入一台node节点需要颁发一次证书
-
部署Node
部署kubelet和kube-proxy
-
部署addons
部署Calico、CoreDNS、Dashboard、Metrics
2、Roles组织K8S各组件部署解析
编写建议:
- 梳理流程和Roles结构
- 如果配置文件有不固定内容,使用jinja渲染
- 人工干预改动的内容应统一写到一个文件中
3、下载所需文件
下载Ansible部署文件:
etcd版本:3.4
kubernetes组件版本:1.20.2
cfssl
cfssljson
etcd
etcdctl
kube-apiserver
kube-controller-manager
kubectl
kubelet
kube-proxy
kube-scheduler
4、修改Ansible文件
修改hosts文件,根据规划修改对应IP和名称。
# vim hosts
[master]
192.168.56.11 node_name=k8s-master1
192.168.56.12 node_name=k8s-master2
192.168.56.13 node_name=k8s-master3
[node]
192.168.56.11 node_name=k8s-master1
192.168.56.12 node_name=k8s-master2
192.168.56.13 node_name=k8s-master3
[etcd]
192.168.56.11 etcd_name=etcd-1
192.168.56.12 etcd_name=etcd-2
192.168.56.13 etcd_name=etcd-3
[lb]
192.168.56.11 lb_name=lb-master
192.168.56.12 lb_name=lb-backup
192.168.56.13 lb_name=lb-backup
[k8s:children]
master
node
修改group_vars/all.yml文件,修改软件包目录和证书可信任IP。
# vim group_vars/all.yml
# 相关目录
tools_dir: '/root/binary_tools' # 二进制文件存放目录
etcd_work_dir: '/opt/etcd' # ETCD工作目录
k8s_work_dir: '/opt/k8s' # K8S master节点工作目录
k8s_node_dir: '/opt/k8s_node' # K8S node节点工作目录
home_dir: '/root' # 用户home目录
tmp_dir: '/tmp/k8s' # 临时目录
# 时间同步服务器
time_server: '192.168.56.118'
# crontab文件
cron: /var/spool/cron/root
# 安装docker
docker: docker
# 集群网络
service_cidr: '10.96.0.0/16' # service网段
cluster_first_ip: '10.96.0.1' # service网段第一个IP
cluster_dns: '10.96.0.10' # dns IP
pod_cidr: '172.16.0.0/16' # pod网段
service_nodeport_range: '30000-32767' # 端口范围
cluster_domain: 'cluster.local' # 集群域名
# bootstrap信息
token_id: c8ad9c
token_secret: 2e4d610cf3e7426e
5、一键部署
架构图
部署命令
ansible-playbook -i hosts deploy.yml -uroot -k
集群清理命令clean
ansible-playbook -i hosts clean.yml -uroot -k
6、部署控制
如果安装某个阶段失败,可针对性测试.
例如:只运行部署插件
ansible-playbook -i hosts deploy.yml -uroot -k --tags addons
7、注意事项
1 验证集群
安装集群之后,第一时间先验证集群是否正常
创建一个pod
cat<
验证
# kubectl exec busybox -n default -- nslookup kubernetes
Server: 10.96.0.10
Address 1: 10.96.0.10 kube-dns.kube-system.svc.cluster.local
Name: kubernetes
Address 1: 10.96.0.1 kubernetes.default.svc.cluster.local
# kubectl exec busybox -n default -- nslookup kube-dns.kube-system
Server: 10.96.0.10
Address 1: 10.96.0.10 kube-dns.kube-system.svc.cluster.local
Name: kube-dns.kube-system
Address 1: 10.96.0.10 kube-dns.kube-system.svc.cluster.local
2 kubelet报错
如果之前有部署过k8s集群,再次部署有可能部署不成功的情况,报错信息一般是kubelet报错,需要删除节点的/var/lib/kubelet目录,然后再删除的时候报错,无法删除,则可以通过以下方法删除:
无法删除/var/lib/kubelet目录
[root@k8s-node2 k8s_node]# rm -rf /var/lib/kubelet
rm: cannot remove ‘/var/lib/kubelet/pods/0552a913-ea4a-4b91-84a7-87ca6d9f8611/volumes/kubernetes.io~secret/etcd-certs’: Device or resource busy
rm: cannot remove ‘/var/lib/kubelet/pods/0552a913-ea4a-4b91-84a7-87ca6d9f8611/volumes/kubernetes.io~secret/calico-node-token-7jrks’: Device or resource busy
rm: cannot remove ‘/var/lib/kubelet/pods/ea2b55a3-0891-4965-a64d-2f27b7d29bf6/volumes/kubernetes.io~secret/etcd-certs’: Device or resource busy
rm: cannot remove ‘/var/lib/kubelet/pods/ea2b55a3-0891-4965-a64d-2f27b7d29bf6/volumes/kubernetes.io~secret/calico-kube-controllers-token-sgpr9’: Device or resource busy
rm: cannot remove ‘/var/lib/kubelet/pods/cc699261-f1a5-4c8d-913f-9af943bc4117/volumes/kubernetes.io~secret/coredns-token-rnb5t’: Device or resource busy
rm: cannot remove ‘/var/lib/kubelet/pods/4533016b-95bf-4376-a3a0-57d8c2b37fc8/volumes/kubernetes.io~secret/kubernetes-dashboard-token-nzqr8’: Device or resource busy
rm: cannot remove ‘/var/lib/kubelet/pods/2b1e0ff1-23e7-412a-a1f3-a6b6d8c5c991/volumes/kubernetes.io~secret/kubernetes-dashboard-certs’: Device or resource busy
rm: cannot remove ‘/var/lib/kubelet/pods/2b1e0ff1-23e7-412a-a1f3-a6b6d8c5c991/volumes/kubernetes.io~secret/kubernetes-dashboard-token-nzqr8’: Device or resource busy
查看挂载信息
[root@k8s-node2 k8s_node]# df -HT | grep '/var/lib/kubelet/pods'
tmpfs tmpfs 1.5G 0 1.5G 0% /var/lib/kubelet/pods/0552a913-ea4a-4b91-84a7-87ca6d9f8611/volumes/kubernetes.io~secret/etcd-certs
tmpfs tmpfs 1.5G 13k 1.5G 1% /var/lib/kubelet/pods/0552a913-ea4a-4b91-84a7-87ca6d9f8611/volumes/kubernetes.io~secret/calico-node-token-7jrks
tmpfs tmpfs 1.5G 13k 1.5G 1% /var/lib/kubelet/pods/cc699261-f1a5-4c8d-913f-9af943bc4117/volumes/kubernetes.io~secret/coredns-token-rnb5t
tmpfs tmpfs 1.5G 13k 1.5G 1% /var/lib/kubelet/pods/ea2b55a3-0891-4965-a64d-2f27b7d29bf6/volumes/kubernetes.io~secret/etcd-certs
tmpfs tmpfs 1.5G 13k 1.5G 1% /var/lib/kubelet/pods/ea2b55a3-0891-4965-a64d-2f27b7d29bf6/volumes/kubernetes.io~secret/calico-kube-controllers-token-sgpr9
tmpfs tmpfs 1.5G 0 1.5G 0% /var/lib/kubelet/pods/2b1e0ff1-23e7-412a-a1f3-a6b6d8c5c991/volumes/kubernetes.io~secret/kubernetes-dashboard-certs
tmpfs tmpfs 1.5G 13k 1.5G 1% /var/lib/kubelet/pods/2b1e0ff1-23e7-412a-a1f3-a6b6d8c5c991/volumes/kubernetes.io~secret/kubernetes-dashboard-token-nzqr8
tmpfs tmpfs 1.5G 13k 1.5G 1% /var/lib/kubelet/pods/4533016b-95bf-4376-a3a0-57d8c2b37fc8/volumes/kubernetes.io~secret/kubernetes-dashboard-token-nzqr8
umount这些挂在,然后再删除
[root@k8s-node2 k8s_node]# umount $(df -HT | grep '/var/lib/kubelet/pods' | awk '{print $7}')
# 已查不到挂载信息,再次删除目录则不再报错
[root@k8s-node2 k8s_node]# df -HT | grep '/var/lib/kubelet/pods'