别让运维太忙,一文详解 Ansible 的自动化运维
自微信公众号:Linux运维学习
Ansible 是近年来越来越火的一款开源运维自动化工具,通过Ansible可以实现运维自动化,提高运维工程师的工作效率,减少人为失误。
Ansible 通过本身集成的非常丰富的模块可以实现各种管理任务,其自带模块超过上千个。更为重要的是,它操作非常简单,即使小白也可以轻松上手,但它提供的功能又非常丰富,在运维领域,几乎可以做任何事。
Ansible 自 2012 年发布以来,很快在全球流行,其特点如下:
如下图所示:Ansible 使用者可以采用多种方式和 Ansible 交互,图中展示了四种方式:
Ansible 工具集包含 Inventory、Modules、Plugins 和 API。
其中:Inventory:用来管理设备列表,可以通过分组实现,对组的调用直接影响组内的所有主机;Modules:是各种执行模块,几乎所有的管理任务都是通过模块执行的;Plugins:提供了各种附加功能;API:为编程人员提供一个接口,可以基于此做 Ansible的二次开发;具体表现如下:
Ansible 的作用对象不仅仅是 Linux 和非 Linux 操作系统的主机,也可以作用于各类PUBLIC/PRIVATE、商业和非商业设备的网络设施。
使用者使用 Ansible 或 Ansible-Playbooks 时,在服务器终端输入 Ansible 的 Ad-Hoc命令集或 Playbooks 后,Ansible 会遵循预选安排的规则将 Playbooks 逐步拆解为Play,再将 Play 组织成 Ansible 可以识别的任务,随后调用任务涉及的所有模块和插件,根据 Inventory 中定义的主机列表通过 SSH 将任务集以临时文件或命令的形式传输到远程客户端执行并返回执行结果,如果是临时文件则执行完毕后自动删除。
Ansible的安装部署非常简单,以RPM安装为例,其依赖软件只有Python和SSH,且系统默认均已安装。Ansible的管理端只能是Linux,如Redhat、Debian、Centos。
可以自行从互联网上直接下载Ansible所需软件包,本篇博客提供安装Ansible自动化运维工具所需的依赖软件包
[root@centos01 ~]# cd /mnt/ansiblerepo/ansiblerepo/repodata/
[root@centos01 ansiblerepo]# vim /etc/yum.repos.d/local.repo
[local]
name=centos
baseurl=file:///mnt/ansiblerepo/ansiblerepo
enabled=1
gpgcheck=0
[root@centos01 ~]# yum -y install ansible
[root@centos01 ~]# ansible --version
ansible 2.3.1.0
config file = /etc/ansible/ansible.cfg
configured module search path = Default w/o overrides
python version = 2.7.5 (default, Nov 6 2016, 00:28:07) [GCC 4.8.5 20150623 (Red Hat 4.8.5-11)]
Ansible 通过 SSH 对设备进行管理,而 SSH 包含两种认证方式:一种是通过密码认证,另一种是通过密钥对验证。前者必须和系统交互,而后者是免交互登录。如果希望通过 Ansible 自动管理设备,应该配置为免交互登录被管理设备。
[root@centos01 ~]# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):
Created directory '/root/.ssh'.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:cJz6NRTrvMDxX+Jpce6LRnWI3vVEl/zvARL7D10q9WY root@centos01
The key's randomart image is:
+---[RSA 2048]----+
| . . .|
| . . + oo|
| . = o o. oo|
| = * o..+ *|
| . S *.=+=*+|
| . o =+XooE|
| . ..=.++.|
| ..o ..|
| .. o. |
+----[SHA256]-----+
[root@centos01 ~]# ssh-copy-id -i .ssh/id_rsa.pub [email protected]
[root@centos01 ~]# ssh-copy-id -i .ssh/id_rsa.pub [email protected]
至此,已经完成 Ansible 的部署,接下来就可以通过 Ansible 对设备进行管理了。
Inventory 是 Ansible 管理主机信息的配置文件,相当于系统 Hosts 文件的功能,默认存放在 /etc/ansible/hosts。
在 hosts 文件中,通过分组来组织设备,Ansible 通过 Inventory 来定义主机和分组,通过在 ansible 命令中使用选项-i或—inventory-file来指定 Inventory。
[root@centos01 ~]# ansible -i /etc/ansible/hosts web -m ping
如果使用默认的 Inventory文件(/etc/ansible/hosts),也可以不指定 Inventory 文件,例如:
[root@centos01 ~]# ansible web -m ping
Ansible 通过设备列表以分组的方式添加到 /etc/ansible/hosts 文件来实现对设备的管理,所以在正式管理之前,首先要编写好 hosts 文件。hosts 文件中,以[ ]包含的部分代表组名,设备列表支持主机名和IP地址。
默认情况下,通过访问22端口(SSH)来管理设备。若目标主机使用了非默认的SSH端口,还可以在主机名称之后使用冒号加端口标明,以行为单位分隔配置。另外,hosts文件还支持通配符。
[root@centos01 ~]# vim /etc/ansible/hosts
............
[web]
192.168.100.20
192.168.100.30
[test]
www.benet.com:222
[mail]
yj1.kgc.cn
yj[2:5].kgc.cn
可以将一个主机同时归置在不同的组中。
配置完成之后,可以针对hosts定义的组进行远程操作,也可以针对组中的某一个或多个主机操作。例如:
1)只对web组中192.168.1.2主机操作,通过—limit参数限定主机的变更。
[root@centos01 ~]# ansible web -m command -a "systemctl status httpd" --limit "192.168.100.20"
192.168.100.20 | SUCCESS | rc=0 >>
2)只对192.168.100.20主机操作。通过IP限定主机的变更。
[root@centos01 ~]# ansible 192.168.100.20 -m command -a "systemctl status httpd"
192.168.100.20 | SUCCESS | rc=0 >>
3)只对192.168.100.0网段主机操作,这就需要使用到通配符来限定主机的变更了。
[root@centos01 ~]# ansible 192.168.1.* -m command -a "systemctl status httpd"
192.168.100.20 | SUCCESS | rc=0 >>
.......
192.168.100.30 | SUCCESS | rc=0 >>
.......
Ansible 的维护命令大多数是以 ansible 开头,在终端输入 ansible 后连续按两次Tab键,会补全所有跟 ansible 相关的命令。
[root@centos01 ~]# ansible
ansible ansible-console-2 ansible-galaxy ansible-playbook-2.7 ansible-vault-2
ansible-2 ansible-console-2.7 ansible-galaxy-2 ansible-pull ansible-vault-2.7
ansible-2.7 ansible-doc ansible-galaxy-2.7 ansible-pull-2
ansible-connection ansible-doc-2 ansible-playbook ansible-pull-2.7
ansible-console ansible-doc-2.7 ansible-playbook-2 ansible-vault
ansible 是生产环境中使用非常频繁的命令之一,主要在以下场景使用:
非固化需求;
临时一次性操作;
二次开发接口调用;
非固化需求是指临时性的维护,如查看web服务器组磁盘使用情况、复制一个文件到其他机器等。类似这些没有规律的、临时需要做的任务,我们成为非固化需求,临时一次性操作,语法如下:
Ansible <host-pattern> [options]
l -v(—verbose):输出详细的执行过程信息,可以得到执行过程所有信息;
l -i PATH(—inventory=PATH):指定inventory信息,默认为/etc/ansible/hosts;
l -f NUM(—forks=NUM):并发线程数,默认为5个线程;
l —private-key=PRIVATE_KEY_FILE:指定密钥文件;
l -m NAME,—module-name=NAME:指定执行使用的模块;
l -M DIRECTORY(—module-path=DIRECTORY) :指定模块存放路径,默认为/usr/share/ansible;
l -a ARGUMENTS(—args=ARGUMENTS):指定模块参数;
l -u USERNAME(—user=USERNAME):指定远程主机以USERNAME运行命令;
l -l subset(—limit=SUBSET):限制运行主机;
①检查所有主机是否存活,执行命令如下:
[root@centos01 ~]# ansible all -f 5 -m ping
192.168.100.20 | SUCCESS => {
"changed": false,
"ping": "pong"
}
192.168.100.30 | SUCCESS => {
"changed": false,
"ping": "pong"
}
②列出web组所有的主机列表,执行命令如下:
[root@centos01 ~]# ansible web --list
hosts (2):
192.168.100.20
192.168.100.30
③批量显示web组中的磁盘使用空间,执行命令如下:
[root@centos01 ~]# ansible web -m command -a "df -hT"
192.168.100.30 | SUCCESS | rc=0 >>
文件系统 类型 容量 已用 可用 已用% 挂载点
/dev/mapper/cl-root xfs 17G 4.4G 13G 26% /
devtmpfs devtmpfs 897M 0 897M 0% /dev
tmpfs tmpfs 912M 84K 912M 1% /dev/shm
tmpfs tmpfs 912M 0 912M 0% /sys/fs/cgroup
/dev/sda1 xfs 1014M 173M 842M 18% /boot
tmpfs tmpfs 183M 16K 183M 1% /run/user/42
tmpfs tmpfs 183M 0 183M 0% /run/user/0
192.168.100.20 | SUCCESS | rc=0 >>
文件系统 类型 容量 已用 可用 已用% 挂载点
/dev/mapper/cl-root xfs 17G 4.3G 13G 26% /
devtmpfs devtmpfs 897M 0 897M 0% /dev
tmpfs tmpfs 912M 84K 912M 1% /dev/shm
tmpfs tmpfs 912M 0 912M 0% /sys/fs/cgroup
/dev/sda1 xfs 1014M 173M 842M 18% /boot
tmpfs tmpfs 183M 16K 183M 1% /run/user/42
tmpfs tmpfs 183M 0 183M 0% /run/user/0
/dev/sr0 iso9660 4.1G 4.1G 0 100% /mnt
web关键字需要提前在/etc/ansible/hosts文件中定义组。
Ansible的返回结果非常友好,一般会用三种颜色来表示执行结果:
Ansible-doc用来查询ansible模块文档的说明,类似于man命令,针对每个模块都有详细的用法说明及应用案例介绍,语法如下:
ansible-doc [options] [module……]
列出支持的模块:
[root@centos01 ~]#ansible-doc -l
查询ping模块的说明信息:
[root@centos01 ~]# ansible-doc ping
\> PING (/usr/lib/python2.7/site-packages/ansible/modules/system/ping.py)
A trivial test module, this module always returns `pong' on successful contact. It
does not make sense in playbooks, but it is useful from `/usr/bin/ansible' to verify
the ability to login and that a usable python is configured. This is NOT ICMP ping,
this is just a trivial test module.
EXAMPLES:
\# Test we can logon to 'webservers' and execute python with json lib.
ansible webservers -m ping
MAINTAINERS: Ansible Core Team, Michael DeHaan
METADATA:
Status: ['stableinterface']
Supported_by: core
Ansible-playbook是日常应用中使用频率最高的命令,类似于Linux中的sh或source命令,用来执行系列任务。
其工作机制:通过读取预先编写好的playbook文件实现集中处理任务。Ansible-playbook命令后跟yml格式的playbook文件,playbook文件存放了要执行的任务代码,命令使用方式如下:
Ansible-playbook playbook.yml
Ansible-console是Ansible为用户提供的一款交互式工具,类似于Windows的cmd或者是Linux中shell。用户可以在ansible-console虚拟出来的终端上像shell一样使用Ansible内置的各种命令,这为习惯于使用shell交互式方式的用户提供了良好的使用体验。在终端输入ansible-console命令后,显示如下:
[root@centos01 ~]# ansible-console
Welcome to the ansible console.
Type help or ? to list commands.
root@all (2)[f:5]$ cd web
root@web (2)[f:5]$ list
192.168.100.20
192.168.100.30
command模块在远程主机执行命令,不支持管道、重定向等shell的特性。常用的参数如下:
在所有主机上运行“ls ./”命令,运行前切换到/home目录下。操作如下:
[root@centos01 ~]# ansible web -m command -a "chdir=/ ls ./"
shell模块在远程主机执行命令,相当于调用远程主机的Shell进程,然后在该Shell下打开一个子Shell运行命令。和command模块的区别是它支持Shell特性:如管道、重定向等。
示例如下:
[root@centos01 ~]# ansible web -m shell -a "echo hello world "
192.168.100.20 | SUCCESS | rc=0 >>
hello world
192.168.100.30 | SUCCESS | rc=0 >>
hello world
[root@centos01 ~]# ansible web -m shell -a "echo hello world > /1.txt"
192.168.100.20 | SUCCESS | rc=0 >>
192.168.100.30 | SUCCESS | rc=0 >>
copy模块用于复制指定主机文件到远程主机的指定位置。常见的参数如下:
示例如下:
[root@centos01 ~]# ansible web -m copy -a "src=/etc/hosts
dest=/root/a1.hosts mode=777 owner=root group=root"
hostname模块用于管理远程主机上的主机名。常用的参数如下:
示例如下:
[root@centos01 ~]# ansible 192.168.100.20 -m hostname -a "name=test"
yum模块基于yum机制,对远程主机管理程序包。常用的参数如下:
示例如下:
[root@centos01 ~]# ansible web -m shell -a "/usr/bin/rm -rf /etc/yum.repos.d/CentOS-*"
[root@centos01 ~]# ansible web -m shell -a "/usr/bin/mount /dev/cdrom /mnt"
[WARNING]: Consider using mount module rather than running mount
192.168.100.20 | SUCCESS | rc=0 >>
mount: /dev/sr0 写保护,将以只读方式挂载
192.168.100.30 | SUCCESS | rc=0 >>
mount: /dev/sr0 写保护,将以只读方式挂载
[root@centos01 ~]# ansible web -m yum -a "name=httpd state=present"
[root@centos01 ~]# ansible web -m shell -a "rpm -qa | grep httpd"
[WARNING]: Consider using yum, dnf or zypper module rather than running rpm
192.168.100.20 | SUCCESS | rc=0 >>
httpd-2.4.6-67.el7.centos.x86_64
httpd-tools-2.4.6-67.el7.centos.x86_64
192.168.100.30 | SUCCESS | rc=0 >>
httpd-2.4.6-67.el7.centos.x86_64
httpd-tools-2.4.6-67.el7.centos.x86_64
[root@centos01 ~]# ansible web -m shell -a "systemctl start httpd"
[root@centos01 ~]# ansible web -m shell -a "netstat -anptu | grep httpd"
192.168.100.20 | SUCCESS | rc=0 >>
tcp6 0 0 :::80 :::* LISTEN 2072/httpd
192.168.100.30 | SUCCESS | rc=0 >>
tcp6 0 0 :::80 :::* LISTEN 3098/httpd
管理端只是发送yum指令到被管理端,被管理端要存在可用的yum仓库才可以成功安装。
service模块为用来管理远程主机上的服务的模块。常见的参数如下:
示例如下:
[root@centos01 ~]# ansible web -m service -a "name=httpd enabled=yes state=restarted"
user模块主要用于管理远程主机上的用户账号。常见的参数如下:
创建用户示例如下:
[root@centos01 ~]# ansible web -m user -a "name=user01 system=yes uid=502 group=root groups=root shell=/etc/nologin
home=/home/user01 password=pwd@123"
playbook配置文件使用YAML语法,具有简洁明了、结构清晰等特点。playbook配置文件类似于shell脚本,是一个YAML格式的文件,用于保存针对特定需求的任务列表。上面介绍的ansible命令虽然可以完成各种任务,但是当配置一些复杂任务时,逐条输入就显得效率非常低下。
更有效的方案是在playbook配置文件中放置所有的任务代码,利用ansible-playbook命令执行该文件,可以实现自动化运维。YAML文件的扩展名通常为.yaml或.yml。
YAML语法与其他高级语言类似,其结构通过缩进来展示,通过“-”来代表项;“:”用来分隔键和值;整个文件以“—-”开头并以“…”结尾,如下所示:
[root@centos01 ~]# grep -v ^# /etc/ansible/hosts | grep -v ^$
[web1]
192.168.100.20
[web2]
192.168.100.30
[root@centos01 ~]# vim /etc/ansible/a.yml
---
- hosts: web1
remote_user: root
tasks:
- name: adduser
user: name=user1 state=present
tags:
- aaa
- name: addgroup
group: name=root system=yes
tags:
- bbb
- hosts: web2
remote_user: root
tasks:
- name: copy file to web
copy: src=/etc/passwd dest=/home
tags:
- ccc
...
所有的“-”和“:”后面均有空格,而且注意缩进和对齐,如下图所示:
playbook的核心元素包含:
playbook文件定义的任务需要通过ansible-playbook命令进行调用并执行。ansible-playbook命令用法如下:
ansible-playbook [option] /PATH/TO/PLAYBOOK.yaml
其中,[option]部分的功能包括:
执行playbook的示例如下:
[root@centos01 ~]# ansible-playbook --syntax-check /etc/ansible/a.yml
playbook: /etc/ansible/a.yml
[root@centos01 ~]# ansible-playbook -C /etc/ansible/a.yml
.................
192.168.100.20 : ok=3 changed=1 unreachable=0 failed=0
192.168.100.30 : ok=2 changed=1 unreachable=0 failed=0
[root@centos01 ~]# ansible-playbook --list-hosts /etc/ansible/a.yml
[root@centos01 ~]# ansible-playbook --list-tasks /etc/ansible/a.yml
[root@centos01 ~]# ansible-playbook --list-tags /etc/ansible/a.yml
[root@centos01 ~]# ansible-playbook /etc/ansible/a.yml
[root@centos01 ~]# ssh 192.168.100.20 tail -1 /etc/passwd
user1:x:1001:1001::/home/user1:/bin/bash
[root@centos01 ~]# ssh 192.168.100.30 ls -ld /home/passwd
-rw-r--r--. 1 root root 2342 7月 23 16:06 /home/passwd
通常情况下先执行:
ansible-playbook -C /PATH/TO/PLAYBOOK.yaml
命令进行测试,测试没问题后再执行 ansible-playbook /PATH/TO/PLAYBOOK.yml 命令。
需要触发才能执行的任务,当之前定义在tasks中的任务执行成功后,若希望在此基础上触发其他任务,这时就需要定义handlers。例如,当通过ansible的模块对目标主机的配置文件进行修改之后,如果任务执行成功,可以触发一个触发器,在触发器中定义目标主机的服务重启操作,以使配置文件生效。handlers触发器具有以下特点:
handlers是Ansible提供的条件机制之一。
handlers和task很类似,但是它只在被task通知的时候才会触发执行。
handlers只会在所有任务执行完成后执行。而且即使被通知了很多次,它也只会执行一次。
handlers按照定义的顺序依次执行。
handlers触发器的使用示例如下:
[root@centos01 ~]# ssh 192.168.100.20 netstat -anpt | grep 80
tcp6 0 0 :::80 :::* LISTEN 94858/httpd
[root@centos01 ~]# vim /etc/ansible/httpd.yml
---
- hosts: web1
remote_user: root
tasks:
- name: change port
command: sed -i 's/Listen\ 80/Listen\ 8080/g' /etc/httpd/conf/httpd.conf
notify:
- restart httpd server
handlers:
- name: restart httpd server
service: name=httpd state=restarted
...
[root@centos01 ~]# ansible-playbook -C /etc/ansible/httpd.yml
[root@centos01 ~]# ansible-playbook /etc/ansible/httpd.yml
[root@centos01 ~]# ssh 192.168.100.20 netstat -anpt | grep 8080
tcp6 0 0 :::8080 :::* LISTEN 103594/httpd
将多种不同的tasks的文件集中存储在某个目录下,则该目录就是角色。角色一般存放在 /etc/ansible/roles/ 目录,可通过ansible的配置文件来调整默认的角色目录,/etc/ansible/roles/ 目录下有很多子目录,其中每一个子目录对应一个角色,每个角色也有自己的目录结构,如下图所示:
/etc/ansible/roles/为角色集合,该目录下有自定义的各个子目录:
l mariadb:mysql角色;
Apache:httpd角色;
Nginx:Nginx角色;
每个角色的定义,以特定的层级目录结构进行组织。以mariadb(mysql角色)为例:
上述目录中,tasks、handlers、vars、meta、default至少应该包含一个main.yml文件,该目录下也可以有其他.yml文件,但是需要在main.yml文件中用include指令将其他.yml文件包含进来。
有了角色后,可以直接在yaml文件(playbook配置文件)中调用角色,示例如下:
- hosts: web
remote_user: root
roles:
- mysql
- httpd
可以只调用一个角色,也可以调用多个角色,当定义了角色后,用ansible-playbook PALYBOOK文件执行即可。
此时ansible会到角色集合的目录(/etc/ansible/roles)去找mysql和httpd目录,然后依次运行mysql和httpd目录下的所有代码。
下面来个安装及配置mariadb数据库的实例
需求分析:
要求被管理主机上自动安装mariadb,安装完成后上传提前准备好的配置文件至远端主机,重启服务,然后新建testdb数据库,并允许test用户对其拥有所有权限。
被管理主机配置yum仓库,自行配置,若被管理端可以连接互联网,那么直接将yum仓库指向互联网即可。