公司计划在年底做一次大型市场促销活动,全面冲刺下交易额,为明年的上市做准备。公司要求各业务组对年底大促做准备,运维部要求所有业务容量进行三倍的扩容,并搭建出多套环境可以共开发和测试人员做测试,运维老大为了在年底有所表现,要求运维部门同学尽快实现,当你接到这个任务时,有没有更快的解决方案?
同类自动化工具GitHub关注程度(2016-07-10)
同类的自动化运维工具 | Watch(关注) | Star(点赞) | Fork(复制) | Contributors(贡献者) |
---|---|---|---|---|
Ansible | 1387 | 17716 | 5356 | 1428 |
Saltstack | 530 | 6678 | 3002 | 1520 |
Puppet | 463 | 4044 | 1678 | 425 |
Chef | 383 | 4333 | 1806 | 464 |
Fabric | 379 | 7334 | 1235 | 116 |
rpm包安装: EPEL源
yum install ansible
编译安装:
yum -y install python-jinja2 PyYAML python-paramiko
python-babel python-crypto
tar xf ansible-1.5.4.tar.gz
cd ansible-1.5.4
python setup.py build
python setup.py install
mkdir /etc/ansible
cp -r examples/* /etc/ansible
git clone git://github.com/ansible/ansible.git --recursive
cd ./ansible
source ./hacking/env-setup
yum install python-pip python-devel
yum install gcc glibc-devel zibl-devel rpm-bulid openssl-devel
pip install --upgrade pip
pip install ansible--upgrade
ansible --version
配置文件
/etc/ansible/ansible.cfg
主配置文件,配置ansible工作特性
/etc/ansible/hosts
主机清单
/etc/ansible/roles/
存放角色的目录
程序
/usr/bin/ansible
主程序,临时命令执行工具
/usr/bin/ansible-doc
查看配置文档,模块功能查看工具
/usr/bin/ansible-galaxy
下载/上传优秀代码或Roles模块的官网平台
/usr/bin/ansible-playbook
定制自动化任务,编排剧本工具
/usr/bin/ansible-pull
远程执行命令的工具
/usr/bin/ansible-vault
文件加密工具
/usr/bin/ansible-console
基于Console界面与用户交互的执行工具
/etc/ansible/hosts
/etc/ansible/hosts
文件格式
inventory文件遵循INI文件风格,中括号中的字符为组名。可以将同一个主机同时归并到多个不同的组中;此外,当如若目标主机使用了非默认的SSH端口,还可以在主机名称之后使用冒号加端口号来标明
例:
[root@centos7 ~]#vim /etc/ansible/hosts
[web]
192.168.109.100
192.168.109.2
[db]
192.168.109.3
192.168.109.100 //这里默认有个all
[root@centos7 ~]#ansible db -m ping
192.168.109.100 | SUCCESS => {
"changed": false,
"ping": "pong"
}
192.168.109.3 | SUCCESS => {
"changed": false,
"ping": "pong"
}
如果主机名称遵循相似的命名模式,还可以使用列表的方式标识各主机
示例:
[websrvs]
www[01:100].example.com
[dbsrvs]
db-[a:f].example.com
Ansible 配置文件/etc/ansible/ansible.cfg (一般保持默认)
[defaults]
#inventory = /etc/ansible/hosts # 主机列表配置文件
#library = /usr/share/my_modules/ # 库文件存放目录
#remote_tmp = $HOME/.ansible/tmp #临时py命令文件存放在远程主机目录
#local_tmp = $HOME/.ansible/tmp # 本机的临时命令执行目录
#forks = 5 # 默认并发数
#sudo_user = root # 默认sudo 用户
#ask_sudo_pass = True #每次执行ansible命令是否询问ssh密码
#ask_pass = True
#remote_port = 22
#host_key_checking = False #检查对应服务器的host_key,建议取消注释第一次连接不用输入yes
#log_path = /var/log/ansible.log 生成日志文件
Ansible系列命令
ansible ansible-doc ansible-playbook ansible-vault ansible-console ansible-galaxy ansible-pull
ansible-doc:显示模块帮助
ansible-doc [options] [module...]
-a 显示所有模块的文档
-l, --list 列出可用模块
-s, --snippet 显示指定模块的playbook片段
示例:
ansible-doc –l 列出所有模块
ansible-doc ping 查看指定模块帮助用法
ansible-doc –s ping 查看指定模块帮助用法
ansible通过ssh实现配置管理、应用部署、任务执行等功能,建议配置ansible端能基于密钥认证的方式联系各被管理节点
ansible [-m module_name] [-a args]
--version 显示版本
-m module 指定模块,默认为command
-v 详细过程–vv-vvv更详细
--list-hosts 显示主机列表,可简写—list
-k, --ask-pass 提示连接密码,默认Key验证
-K, --ask-become-pass 提示输入sudo
-C, --check 检查,并不执行
-T, --timeout=TIMEOUT 执行命令的超时时间,默认10s
-u, --user=REMOTE_USER 执行远程执行的用户
-b, --become 代替旧版的sudo切换
ansible的Host-pattern
匹配主机的列表
All :表示所有Inventory中的所有主机
ansible all –m ping
* :通配符
ansible "*" -m ping
ansible 192.168.1.* -m ping
ansible "*srvs" -m ping
或关系
ansible "websrvs:appsrvs" -m ping
ansible "192.168.1.10:192.168.1.20" -m ping
逻辑与
ansible "websrvs:&dbsrvs" –m ping
在websrvs组并且在dbsrvs组中的主机
逻辑非
ansible 'websrvs:!dbsrvs' –m ping
在websrvs组,但不在dbsrvs组中的主机
综合逻辑
ansible 'websrvs:dbsrvs:&appsrvs:!ftpsrvs' –m ping
正则表达式
ansible "websrvs:&dbsrvs" –m ping
ansible "~(web|db).*\.magedu\.com" –m ping
ansible命令执行过程ansible all -m command -a 'ls /root'
1. 加载自己的配置文件默认/etc/ansible/ansible.cfg
2. 加载自己对应的模块文件,如command
3. 通过ansible将模块或命令生成对应的临时py文件,并将该文件传输至远程服务器的对应执行用户$HOME/.ansible/tmp/ansible-tmp-数字/XXX.PY文件
4. 给文件+x执行
5. 执行并返回结果
6. 删除临时py文件,sleep 0退出
执行状态:
绿色:执行成功并且不需要做改变的操作
黄色:执行成功并且对目标主机做变更
红色:执行失败
以wang用户执行ping存活检测
ansible all -m ping -u wang -k
以wang sudo至root执行ping存活检测
ansible all -m ping -u wang –b -k
以wangsudo至mage用户执行ping存活检测
ansible all -m ping -u wang –b -k --become-user mage
以wang sudo至root用户执行ls
ansible all -m command -u wang--become-user=root -a 'ls/root' -b –k -K
命令:
chdir: #运行该命令之前,切换到该目录。
creates: #一个文件当它已经存在时,这个步骤将不运行。
ansible srvs -m command -a 'service vsftpd start'
ansible srvs -m command -a 'echo magedu |passwd --stdin wang' 不成功此命令不支持$VARNAME < > | ;& 等,用shell模块实现
ansible srv -m shell -a 'echo xxxxx |passwd –stdin wang'
调用bash执行命令类似cat /tmp/stanley.md | awk -F'|' '{print $1,$2}' &> /tmp/example.txt这些复杂命令,即使使用shell也可能会失败,解决办法:写到脚本时,copy到远程,执行,再把需要的结果拉回执行命令的机器
[root@centos7 ~]#ansible all -m shell -a 'echo $HOSTNAME'
192.168.109.100 | SUCCESS | rc=0 >>
centos7.magedu.com
192.168.109.2 | SUCCESS | rc=0 >>
centos7
192.168.109.3 | SUCCESS | rc=0 >>
centos6.9
f1.sh
hostname
date .... 定义了一些脚本等
snsible websrvs -m script -a 'f1.sh'
ansible srv -m copy -a "src=/root/f1.sh dest=/tmp/f2.sh owner=wang mode=600 backup=yes"
如目标存在,默认覆盖,此处指定先备份
ansible srv -m copy -a "content='test content\n' dest=/tmp/f1.txt" 利用内容,直接生成目标文件
支持时间:minute,hour,day,month,weekday
ansible srv -m cron -a "minute=*/5 job='/usr/bin/ntpdate 172.16.0.1 &>/dev/null' name=Synctime" 创建任务
ansible srv -a 'crontab -l' 查看任务
ansible srv -m cron -a 'state=absent name=Synctime' 删除任务
计划任务目录路径 /var/spool/cron/root
ansible srv -m cron -a 'disabled=yes job="/usr/bin/ntpdate 172.16.0.1 &>/dev/null" name=Synctime'
disables=yes 前面加上注释 no的话取消注释
ansible srv -m fetch -a 'src=/root/a.sh dest=/data/scripts'
ansible srv -m file -a "path=/root/a.sh state=touch owner=wang mode=755" //创建空文件 并设置权限等
ansible web -m file -a 'src=/app/testfile dest=/app/testfile-link state=link' //创建软连接
ansible web -m hostname -a "name=websrv"
ansible srv -m yum -a 'name=httpd state=latest' 安装
ansible srv -m yum -a 'name=httpd,tftp state=latest' 安装多个
ansible srv -m yum -a 'name=httpd state=latest update_cache=yes'
update_cache=yes 相当于yum clean all
ansible srv -m yum -a 'name=httpd state=absent' 删除
ansible srv -m service -a 'name=httpd state=stopped enabled=yes'关闭并且设置开机启动 不支持多个命令
ansible srv -m service -a 'name=httpd state=started'启动
ansible srv –m service –a 'name=httpd state=reloaded'
ansible srv -m service -a 'name=httpd state=restarted'重启
ansible srv -m user -a 'name=user1 comment="test user" uid=2048 home=/app/user1 group=root'创建普通用户
ansible srv -m user -a 'name=sysuser1 system=yes home=/app/sysuser1 '创建系统用户
ansible srv -m user -a 'name=user1 state=absent remove=yes' 删除用户及家目录等数据
ansible srv -m group -a "name=testgroup system=yes"
ansible srv -m group -a "name=testgroup state=absent"
连接https://galaxy.ansible.com 下载相应的roles
中文 http://www.ansible.com.cn/index.html
列出所有已安装的galaxy
ansible-galaxy list
安装galaxy
ansible-galaxy install geerlingguy.redis
删除galaxy
ansible-galaxy remove geerlingguy.redis
ansible-pull
推送命令至远程,效率无限提升,对运维要求较高
ansible-playbook hello.yml
例子:
vim hello.yml
- hosts: test
remote_user: root
tasks:
- name: hello world
command: wall "hello world"
功能:管理加密解密yml文件
ansible-vault [create|decrypt|edit|encrypt|rekey|view]
ansible-vault encrypt hello.yml 加密
ansible-vault decrypt hello.yml 解密
ansible-vault view hello.yml 查看
ansible-vault edit hello.yml 编辑加密文件
ansible-vault rekey hello.yml 修改口令
ansible-vault create new.yml 创建新文件
Ansible-console:2.0+新增,可交互执行命令,支持tab
root@test(2)[f:10] $
执行用户@当前操作的主机组(当前组的主机数量)[f:并发数]$
设置并发数:forks n 例如:forks 10
切换组:cd 主机组例如:cd web
列出当前组主机列表:list
列出所有的内置命令:?或help
示例:
root@all (2)[f:5]$ list
root@all (2)[f:5]$ cd appsrvs
root@appsrvs (2)[f:5]$ list
root@appsrvs(2)[f:5]$ yum name=httpd state=present
root@appsrvs(2)[f:5]$ service name=httpd state=started
更多的内容及规范参见http://www.yaml.org
Dictionary:字典,通常由多个key与value构成
示例:
---
# An employee record
name: Example Developer
job: Developers
kill: Elite
也可以将key:value放置于{}中进行表示,用,分隔多个key:value
示例:
---
# An employee record
{name: Example Developer, job: Developer, skill: Elite}
YAML的语法和其他高阶语言类似,并且可以简单表达清单、散列表、标量等数据结构。其结构(Structure)通过空格来展示,序列(Sequence)里的项用”-“来代表,Map里的键值对用”:”分隔
示例:
name: John Smith
age: 41
gender: Male
spouse:
name: Jane Smith
age: 37
gender: Female
children:
- name: Jimmy Smith
age: 17
gender: Male
- name: Jenny Smith
age 13
gender: Female
ansible-playbook –t tagsname useradd.yml
vim test1.yml
- hosts: web
remote_user: root
tasks:
- name: install package
yum: name=httpd start=present
- name: start service
service: name=httpd state=started enabled=yes
ansible-playbook test1.yml 执行
playbook中的每一个play的目的都是为了让某个或某些主机以某个指定的用户身份执行任务。hosts用于指定要执行指定任务的主机,须事先定义在主机清单中
可以是如下形式:
one.example.com
one.example.com:two.example.com
192.168.1.50
192.168.1.*
Websrvs:dbsrvs两个组的并集
Websrvs:&dbsrvs两个组的交集
webservers:!phoenix 在websrvs组,但不在dbsrvs组
示例:-hosts: websrvs:dbsrvs
可用于Host和task中。也可以通过指定其通过sudo的方式在远程主机上执行任务,其可用于play全局或某任务;此外,甚至可以在sudo时使用sudo_user指定sudo时切换的用户
- hosts: websrvs
remote_user: root
tasks:
-name: test connection
ping:
remote_user: magedu
sudo: yes 默认sudo为root
sudo_user:wang sudo为wang
play的主体部分是task list。task list中的各任务按次序逐个在hosts中指定的所有主机上执行,即在所有主机上完成第一个任务后再开始第二个。在运行自下而下某playbook时,如果中途发生错误,所有已执行任务都将回滚,因此,在更正playbook后重新执行一次即可
task的目的是使用指定的参数执行模块,而在模块参数中可以使用变量。模块执行是幂等的,这意味着多次执行是安全的,因为其结果均一致
每个task都应该有其name,用于playbook的执行结果输出,建议其内容尽可能清晰地描述任务执行步骤。如果未提供name,则action的结果将用于输出
格式:
(1) action: module arguments
(2) module: arguments 建议使用
注意:shell和command模块后面跟命令,而非key=value
某任务的状态在运行后为changed时,可通过“notify"通知给相应的handlers
任务可以通过"tags"打标签,而后可在ansible-playbook命令上使用-t指定进行调用
示例:
tasks:
- name: disable selinux
command: /sbin/setenforce 0
如果命令或脚本的退出码不为零,可以使用如下方式替代
tasks:
- name: run this command and ignore the result
shell: /usr/bin/somecommand|| /bin/true
或者使用ignore_errors来忽略错误信息:
tasks:
- name: run this command and ignore the result
shell: /usr/bin/somecommand
ignore_errors: True
运行playbook的方式
ansible-playbook ... [options]
常见选项
--check 只检测可能会发生的改变,但不真正执行操作
--list-hosts 列出运行任务的主机
--limit 主机列表只针对主机列表中的主机执行
-v 显示过程-vv-vvv更详细
示例
ansible-playbook file.yml --check 只检测
ansible-playbook file.yml
ansible-playbook file.yml --limit websrvs
SHELL脚本
#!/bin/bash
# 安装Apache
yum install --quiet -y httpd
# 复制配置文件
cp /path/to/config/httpd.conf /etc/httpd/conf/httpd.conf
cp /path/to/httpd-vhosts.conf /etc/httpd/conf/httpd-vhosts.conf
# 启动Apache,并设置开机启动
service httpd start
chkconfig httpd on
Playbook定义
---
- hosts: all
tasks:
- name: "安装Apache"
command: yum install -q -y httpd
- name: "复制配置文件"
command: cp /tmp/httpd.conf/ etc/httpd/conf/httpd.conf
command: cp /tmp/httpd-vhosts.conf/ etc/httpd/conf/httpd-vhosts.conf
- name: "启动Apache,并设置开机启动"
service: name=httpd state=started enabled=yes
---
- hosts: allre
mote_user: root
tasks:
- name: create mysql user
user: name=mysql system=yes uid=36
- name: create a group
group: name=httpd system=yes
示例:httpd.yml
- hosts: websrvs
remote_user: root
tasks:
- name: Install httpd
yum: name=httpd state=present
- name: Install configure file
copy: src=files/httpd.conf dest=/etc/httpd/conf/
- name: start service
service: name=httpd state=started enabled=yes
- hosts:websrvs
remote_user: root
tasks:
- name: Install httpd
yum: name=httpd state=present
- name: Install configure file
copy: src=files/httpd.conf dest=/etc/httpd/conf/
notify: restart httpd
- name: ensure apache is running
service: name=httpd state=started enabled=yes
handlers:
- name: restart httpd
service: name=httpd status=restarted
示例:
- hosts: websrvs
remote_user: root
tasks:
- name: add group nginx
tags: user
user: name=nginx state=present
- name: add user nginx
user: name=nginx state=present group=nginx
- name: Install Nginx
yum: name=nginx state=present
- name: config
copy: src=/root/config.txt dest=/etc/nginx/nginx.conf
notify:
- Restart Nginx
- Check Nginx Process
handlers:
- name: Restart Nginx
service: name=nginx state=restarted enabled=yes
- name: Check Nginx process
shell: killall -0 nginx > /tmp/nginx.log
示例:httpd.yml
- hosts: websrvs
remote_user: root
tasks:
- name: Install httpd
yum: name=httpd state=present
- name: Install configure file
copy: src=files/httpd.conf dest=/etc/httpd/conf/
tags: conf
- name: start httpd service
tags: service
service: name=httpd state=started enabled=yes
ansible-playbook –t conf httpd.yml
-t //--tags
本机先安装httpd 把httpd配置文件 /etc/httpd/conf/httpd.conf 里面端口改为8080
[root@centos7 app]#cat httpd.yml
---
- hosts: web
remote_user: root
tasks:
- name: install httpd
yum: name=httpd
- name: copy config file
copy: src=/app/httpd.conf dest=/etc/httpd/conf/
- name: start httpd
service: name=httpd state=started enabled=yes
[root@centos7 app]#ansible-playbook httpd.yml
现在把端口改为80
[root@centos7 app]#cat httpd.yml
---
- hosts: web
remote_user: root
tasks:
- name: install httpd
yum: name=httpd
- name: copy config file
copy: src=/app/httpd.conf dest=/etc/httpd/conf/
notify: restart httpd
- name: start httpd
service: name=httpd state=started enabled=yes
handlers:
- name: restart httpd
service: name=httpd state=restarted
[root@centos7 app]#ansible-playbook --limit 192.18.109.1 httpd.yml 只针对这一台机器
[root@centos7 app]#ansible web -m shell -a 'ss -ntl|grep 80'
192.168.109.100 | SUCCESS | rc=0 >>
LISTEN 0 128 :::80 :::*
192.168.109.2 | SUCCESS | rc=0 >>
LISTEN 0 128 :::80 :::*